Anthropic est traînée devant la justice : des abonnés de Claude s’estiment trompés sur les limites réelles de leur abonnement. Entre promesses marketing et petites lignes techniques, le fossé serait bien plus large qu’annoncé.
Et ça c’est pas le pire. Le pire je trouve c’est de facturer un mauvais résultat. Quand un artisan fait mal son travail il refait gratuitement. Avec une IA si le résultat ne convient pas, ça dit « tu as raison » et il faut repayer.
1 « J'aime »
En API c’est pareil. C’est juste l’interface qui change. Une bonne interface peut effectivement intégrer le calcul des coûts avant lancement.
Un artisan du bâtiment a une garantie décennale. Si on découvre une malfaçon 8 ans après les travaux (par exemple en faisant une ouverture dans une cloison ou l’on découvre une épissure, ce qui est évidemment interdit), on peut se retourner légalement contre l’artisan, et son assurance devra payer les travaux de remise en conformité. Et je ne suis pas d’accord avec votre vision, j’ai conçu et mis en place l’électricité dans plusieurs maisons en intégralité, obtenu des labels de qualité, et j’ai toujours tout fait parfaitement dans les règles de conformité des NFC-15-100 et même au delà (comme mettre systématiquement du 2.5 sur les circuits prises, alors que le 1.5 est autorisé tant qu’on ne dépasse pas 8 prises sur le circuit).
Avec ces logiciels, vous n’avez absolument aucune garantie, zéro, nada. Que le résultat soit mauvais, moyen, inadapté, halluciné, incomplet, faux, bon ou excellent, vous payez la même chose, très cher. Il n’y a non seulement aucune obligation de résultat, mais aussi aucune garantie après vente.
Son exemple « tu as raison » illustre à merveille le fonctionnement de ces logiciels. Pendant 2 ans ou j’ai utilisé intensivement au quotidien ces outils, j’avais des « tu as raison » à la pelle, puisque ces logiciels se trompent très souvent (lorsqu’on est très pointu dans un domaine, cela se voit, et au début on perd naïvement son temps à rentrer des « tu te trompes » comme si on s’adressait à quelqu’un).
1 « J'aime »
Tu n’as simplement pas compris ce qui est vendu et ce pour quoi tu payes.
Si tu veux acheter un résultat, tu fais appel à un développeur freelance ou à une ESN, qui te vendra un résultat au forfait.
Quand tu payes pour une IA, on ne te vend pas un résultat (et pour cause, tu ne dis même pas ce que tu veux au moment où tu payes), on te vend de la capacité de calcul et l’accès à un logiciel pour exploiter cette capacité de calcul.
Demander un remboursement parce que tu n’as pas eu le résultat que tu espérais, c’est un peu comme demander le remboursement d’une voiture de location parce que tu t’es trompé de route et n’a pas réussi à aller à ta destination.
Non, c’est quasiment impossible de calculer le coût avant lancement. Le coût va dépendre de la sémantique du prompte (et déterminer ça revient à faire le traitement), de ce que vont répondre les éventuels outils MCP qui vont être appelés (et là encore, c’est impossible à anticiper, il faut faire les opérations pour s’en rendre compte…), et il y a même une part d’aléatoire (qui est là par conception, c’est impossible de ne pas l’avoir, on perdrait quasiment tout l’intérêt des LLM…), qui fait que deux prompts rigoureusement identiques ne donneront pas le même résultat, et pas le même coût.
Le coût des IA est au nombre de tokens d’entrée et sortie.
Il est possible de connaitre le nombre de tokens d’entrée. Pour la sortie il existe aussi des ruses du genre « réponds en moins de x tokens » pour avoir une estimation fiable.
En plus limiter les tokens de sortie ne baisse pas forcément la qualité ça limite aussi le blabla.
Les usages de l’utilisation d’IA en tokens commencent à s’intégrer dans la compréhension des usages. Et @MattS32 a raison : on ne paie pas pour un résultat, on paie pour une disponibilité de puissance de calcul. Sinon, ça reviendrait à acheter une toile, des pinceaux et de la peinture et de crier au scandale parce qu’on n’a pas produit un Picasso. 
Cela étant, là n’est pas le sujet. Le sujet précis est le mode x5/x20 qu’il est possible de payer 100€/200€. En théorie, à usage et contexte identiques, le x20 est censé donné 4 fois plus d’usages sauf qu’en usage classique, il n’en fournit que 1,7 fois plus à moins d’utiliser cette formule de façon spécifique, ce qui n’est ni annoncé sur la page de l’abonnement directement, ni clairement expliqué dans les usages. C’est ça qui est attaqué. Et ChatGPT propose exactement la même formule pour la même gamme de prix. A voir si la pratique est la même.
Sur un chat simple, oui. Mais c’est ridiculement faible donc pas présentable à l’utilisateur… Par exemple, sur Claude on est entre 1 et 5$ le million de token en entrée. Tu crois vraiment que ça aurait du sens de dire à l’utilisateur quand il envoie un prompt de 1000 tokens (ce qui est déjà un gros prompt), « Attention, ça va te coûter 1/2 centime, tu confirmes ? » ?
Sur un chat agent, non, sauf à devoir revalider à chaque itération, faisant alors perdre une grande partie de l’intérêt d’un agent. En 41 jours d’utilisation active de Claude Code, de façon peu intensive (je passe en moyenne probablement pas plus d’1h par jour sur des projets que je fais avec Claude… allez, comptons 100h au total pour être large), j’ai totalisé 63 000 « messages ». Dont probablement largement moins de 1000 que j’ai écrits, et pas beaucoup plus que j’ai lus. Ça fait 630 messages par heure d’utilisation. Si à chaque message je devais valider son coût, de devrais donc en moyenne toutes les 10s cliquer sur un bouton pour dire OK, je valide ces 0.x centimes de coût.
Ce serait complètement catastrophique en termes d’expérience utilisateur.
Juste histoire d’estimer le coût moyen par message sur un cas réel, j’ai regardé mes statistiques de consommation de token par modèle :
Au tarif API, j’en aurais donc eu pour 2.16$ en entrée (le seul coût qui est estimable de façon fiable avant traitement). Avec une estimation de coût à valider avant chaque envoi de prompt, j’aurais donc en moyenne du regarder 630 estimations de coût par heure pour valider 2.16 cent de dépense par heure…
Et même à supposer que le coût de sortie soit estimable (à la limite, il pourrait faire une moyenne des dernières semaines pour faire une estimation du coût en fonction de l’historique de l’utilisateur) en comptant le coût en sortie, j’arriverai au total à 291$. Soit en moyenne un coût de 0.5 cent par message… Cliquer 630 fois par heure pour valider à chaque fois un demi cent de dépense, désolé, mais perso j’ai mieux à faire de mon temps 
Encore une fois, non. Même si l’utilisateur met une telle restriction dans son prompt, pour constater la présence de cette restriction ça implique d’avoir analysé la sémantique du prompt. Donc ça ne peut pas être fait en amont. Et accessoirement, une telle « ruse » n’offre aucune garantie de résultat, il peut tout a fait te sortir 10 fois ce que tu as mis.
Ensuite, avec un agent, on a des itérations successives. Même si la sortie finale fait 100 tokens, tu peux tout aussi bien avoir 0 token intermédiaires (« Quelle est la température moyenne à Paris en juillet. Répond en moins de 100 tokens. ») que plusieurs dizaines ou centaines de milliers (« Fait moi une application pour suivre les congés de mes salariés. Dans l’application, l’administrateur doit pouvoir définir les différents types de jours de congés et les règles pour fixer le nombre de congés attribués à chaque employé. Les employés doivent avoir accès à une vue calendrier, sur laquelle il peuvent positionner leurs jours de congés, soumis à l’approbation de leur manager. Une demande non approuvée ou rejetée dans un délai de 15 jours après la demande est automatiquement approuvée. Ne me pose pas de question, prends toutes les décisions d’architecture, de fonctionnalités et d’UX/UI toi même en te basant sur l’état de l’art. Répond en moins de 100 tokens. »). Ce n’est pas anticipable.
Le prompt sur la température de Paris, il m’a répond en 1 seconde, et la réponse fait sans doute effectivement moins de 100 tokens, sans aucune consommation de token intermédiaire.
Le prompt sur la gestion des congés, ça fait bientôt 6 minutes qu’il tourne, il a déjà exécuté 5 commandes, créé plusieurs dizaines de fichiers, consommé 13 000 tokens… La réponse finale (le dernier message, destiné à l’utilisateur, quand il estimera avoir fini le travail) fera peut-être bien moins de 100 tokens. Mais c’est pas pour autant que le coût du traitement de mon prompt était estimable sur la base du nombre de tokens du prompt et du plafond (non garanti) à 100 tokens de la réponse finale…
Quand tu poses une question simple, oui. Question simple qui de toute façon n’est jamais un problème d’un point de vue coût : sur des questions simples, même avec un abonnement Pro non Max, ce qui va te limiter c’est bien plus ta propre capacité à écrire des questions et lire les réponses que le quota de ton abonnement.
Quand tu demandes des trucs plus compliqués, contraindre la réponse peut fortement contraindre la qualité, puisque ça va limiter la capacité de l’agent à explorer diverses pistes, à faire preuve de « créativité »…
Donc non, je persiste : calculer de façon fiable le coût d’une réponse à un prompt sans réellement faire le traitement n’est pas possible.
Et voilà, il a fini. Et il a à priori bien respecté la consigne de limiter sa réponse à 100 tokens, là voilà :
Et l’appli qu’il a pondue :
(elle est jolie, mais pas du tout utilisable pour l’instant… mais je n’en tiendrai pas rigueur à Anthropic, c’est parfaitement attendu et normal que ça ne marche pas au poil au premier jet…)
Mais au tarif API, y en aurait quand même eu pour près de 5$ :
Coût qu’il était absolument impossible d’estimer de façon fiable à partir du prompt.
Quand tu achètes un tournevis et un marteau, tu n’as pas non plus la garantie que ce que tu ferras avec sera parfaitement réussi…
Une IA est un outil, pas un prestataire de service.
Et non, ce n’est pas très cher pour ce que ça permet de faire. Très loin de là… Avec mon abonnement à Claude que je paye 18€ par mois, j’ai développé sur mon temps libre en une semaine une application web pour la gestion des adhésions d’une association. Ça gère les inscriptions, les préinscriptions sur liste d’attente, les différents créneaux de l’activité, ça génère les statistiques sur les âges, sexe, communes que la mairie nous demande chaque année, ça gère le suivi de certaines ressources de l’association. Et le tout parfaitement adapté à nos besoins précis, puisque basé sur dix années d’expérience de la gestion de l’association… Il m’aurait sans doute fallu plus de temps pour trouver et tester des solutions sur étagère gratuites que ce que ça m’a pris pour développer notre outil sur mesure. Et ça va faire gagner chaque année des dizaines d’heures de travail à nos bénévoles, tout en automatisant complètement notre conformité au RGPD (anonymisation automatique des données des anciens adhérents, suppression des données personnelles par les adhérents eux-même depuis leur espace en ligne, etc…). Pour même pas 10€ si on tient compte que mon abonnement me permet de faire encore beaucoup plus que ça. Il m’aurait sans doute fallu dix fois plus de temps pour faire l’appli entièrement moi même. Et pour un résultat sans doute moins bon, parce que je suis une quiche en frontend… C’est vraiment pas cher.
« peu méticuleux, mal organisé, matériaux médiocres »), c’est juste un jugement de valeur, pas un problème de sécurité. La garantie décennale couvre les « dommages, malfaçons et vice-cachés pendant 10 ans après la livraison de travaux ». Si un artisan a fait le sagouin et que tu t’en aperçois, c’est de la malfaçon. Et si vraiment il ne veut rien entendre, c’est ton assurance qui l’attaquera. Je connais ces deux cas. Mais si un électricien monte du Zenitech au lieu de Schneider, c’est du jugement de valeur, les deux répondent aux exigences et normes de sécurité (NF).
Très mauvais exemple. Dans ce cas, la réussite dépend principalement de ton savoir faire. Avec un mauvais ciseau à bois, je peux tailler un tenon / mortaise impeccable, car mon savoir faire est plus important que l’outil en réalité, il me permet d’adapter ma façon de faire aux imperfections de l’outil. Alors qu’ici, tu délègues le savoir faire à l’outil, sans garantie de résultat, quitte à tâtonner et a recommencer plusieurs fois (ce qui serait compliqué pour fabriquer un meuble). Ces outils entretiennent aussi la mauvaise croyance qu’il vaut mieux déléguer à une machine plutôt que d’apprendre, penser et faire par soi-même, comme si on n’avait pas le temps, que le temps joue contre nous, qu’il est notre ennemi.
Le coût dépend de ton expertise. Plus tu es expert et pointu dans un domaine, plus tu as de hautes attentes, et donc plus tu vas formuler des prompts longs, précis, détaillés, avec potentiellement beaucoup de contexte fourni. Et donc, plus ça coûte cher. Cela coute même très cher aux entreprises, parfois même plus que de faire appel à un expert humain. Les abonnements à 20€ (appelés souvent « Pro ») sont en réalité très limités, tu ne peux pas atteindre ce niveau d’expertise. Par exemple avec Claude Pro, un seul de mes prompts atteint pratiquement la limite mensuelle. J’ai bien dit un seul (mais avec beaucoup de contexte, documentations fournies, et le prompt est long, très détaillé et demandant de multiples vérifications). Lorsque tu demandes au modèle de multiples vérifications, validations, sources de confiance, ça va vite. Mais quand je dis que ça coûte cher, ce n’est pas seulement sur ton compte bancaire. Le coût d’exploitation des logiciels, les infrastructures, cela représente de l’argent certes, mais l’argent est un concept donc ce n’est pas grave, ce qui est grave c’est que ça hypothèque la vie future sur Terre, en consommant énormément d’eau, d’électricité, en polluant, en détruisant le vivant. Pour moi, si utiliser ces logiciels revient à tuer 10 Rana temporaria à chaque prompt, alors que ça coute 10 centimes ou 5000€ n’a aucune importance, le prix à payer est bien trop élevé.
Tu as simplement une très mauvaise compréhension de l’utilisation des IA. C’est pareil, c’est des outils, et la réussite dans leur utilisation dépend du savoir faire de l’utilisateur, qui doit là aussi adapter sa façon de faire aux imperfections de l’outil.
Un bon développeur obtiendra d’excellents résultats avec une IA, même moyenne, alors qu’un débutant ne s’en sortira pas forcément convenablement, même avec la meilleure des IA.
Là encore, on voit que tu connais mal le sujet. Car justement, non, un expert ne va pas coûter plus cher pour une même tâche réalisée avec IA qu’un débutant, c’est tout le contraire. Un meilleur prompt (et la longueur du prompt, c’est en fait négligeable aujourd’hui dans le coût, ce n’est pas parce qu’un prompt est plus long que ça va forcément coûter plus cher), un contexte plus cadré (plutôt que justement de donner par exemple tout le code et toute la documentation du projet), il arrivera à obtenir le résultat qu’il veut en consommant beaucoup moins de tokens…
Ce qui fait que certains experts consomment énormément de tokens, ce n’est pas parce qu’ils en consomment plus pour une même tâche. C’est parce qu’ils vont réaliser beaucoup plus de tâches…
Concernant cette croyance, je suis d’accord. Tu es est la parfaite illustration, puisque justement tu crois que c’est ça (« tu délègues le savoir faire à l’outil »). Mais non justement, utiliser correctement l’IA, en tout cas pour le code, ce n’est PAS lui déléguer le savoir. C’est lui déléguer essentiellement l’écriture du code, parfois lui demander de faire des propositions sur l’archi (mais au final, c’est l’utilisateur qui les comprend et les valide), d’extraire des données (notamment pour analyser des gros logs ou des dumps de base de données, parce qu’elle va être capable d’écrire bien plus vite que l’humain des petits scripts que l’humain serait sans problème capable d’écrire, mais en beaucoup plus de temps… il pourra du coup consacrer plus de temps au vrai travail utile, analyser les données extraites…), automatiser des tâches répétitives.
Ou comment montrer que tu n’utilises pas Claude Pro 
-
Il n’y a pas de limite mensuelle (c’est hebdomadaire, même si l’abonnement lui est mensuel).
-
Il y a une limite par session de 5h qui fait qu’il n’est pas possible de consommer ton quota hebdomadaire en un seul prompt (à minima, tu dois lui demander de continuer quand ta sessions se réinitialise, et ce plusieurs fois, parce que tu ne grilleras jamais ton quota hebdomadaire en seulement une ou deux sessions…).
Je vois vraiment mal comment on pourrait atteindre ne serait ce que la limite hebdomadaire en un seul prompt, sauf justement à avoir très mal fait les choses (beaucoup trop de contexte et beaucoup trop de demandes dans un seul prompt, ce qui n’est pas du tout efficient justement : ce n’est pas parce que ton IA mouline des heures pour traiter ta demande que ta demande était bien faite…).
Bon je veux bien t’accorder le bénéfice du doute et croire que tu as juste confondu limite mensuelle et hebdomadaire, et que tu as réussi à la consommer en un seul prompt. Mais ça ne disqualifie pas pour autant l’outil pour les millions de développeurs qui arrivent déjà à en tirer beaucoup sans exploser la limite de leur forfait…
Tu es naïf ou de mauvaise foi. Je connais ces outils depuis 1979, lorsque j’ai porté ELIZA sur certaines machines de l’époque, j’étais fasciné par ce code. Je n’ai pas découvert ces outils lors du buzz marketing d’OpenAI, comme s’ils surgissaient tout à coup du néant. Je n’ai jamais cessé de suivre les évolutions et de les utiliser. On utilisait déjà ces outils dès le début des années 2000 au cinéma. Je partage l’avis de certains spécialistes du domaine, concernant les limites des modèles actuels, pour les avoir abondamment et intensivement testés dans 5 domaines ou j’ai une expertise. Je ne dis pas que tout est à jeter, je dis que ces modèles sont intrinsèquement conçus pour donner l’impression d’être efficaces. Comprendre : ce n’est pas parce-que ton site web fonctionne qu’il est bien conçu et efficace.
La majorité du grand public utilise ces outils pour faire des choses qu’ils ne savent pas faire, pas pour gagner du temps en tant qu’experts. Mon frère, qui n’a jamais codé de sa vie, a pris un abonnement Pro à ChatGPT juste pour générer des jeux qu’il vend sur les plateformes. Cela l’éclate, car il a toujours rêvé de faire des jeux, mais n’a jamais rien compris au code, malgré des tentatives d’apprentissage ou il s’est très vite découragé. Lui aussi est confronté aux limites l’obligeant à attendre des heures entre les prompts. Un ami utilise ces outils pour trafiquer ses photos pro (les rendre plus « pro » à son sens, puisqu’il ne connaît rien à la photo) et faire des effets visuels dans ses clips, car il ne sait pas du tout utiliser Fusion ou After Effects. Ces gens n’ont aucune envie d’apprendre (ils pensent ne pas en avoir la capacité, que ça va prendre des années, ils veulent tout tout de suite), ils préfèrent donc déléguer à une machine, car ce qu’ils veulent ce n’est pas acquérir du savoir, c’est obtenir un résultat à présenter / vendre aux autres, le plus rapidement possible et en fournissant le moins d’effort possible. Cette démarche est courante, c’est la solution de facilité. Ces machines favorisent cela. Or, je suis totalement à l’inverse de ça. Ce que j’aime, c’est créer en partant de rien, me creuser la tête pour y arriver. Le résultat final ne m’extasie pas, ce qui me fait vibrer, c’est tout ce qu’il faut faire pour y parvenir. Que je sois réalisateur de films, musicien, développeur, concepteur de machines, c’est la même chose, je pars de rien, d’une idée, et je conçois, j’apprends tout ce qui est nécessaire (je suis boulimique d’apprendre, je lis une bonne centaine de livres chaque année), puis je crée. Ces logiciels me sont utiles pour des tâches rébarbatives, répétitives, mais c’est tout. Il n’est pas question que je leur confie la création même, c’est m’ôter ma raison de vivre.
Je comprends parfaitement à quoi servent ces outils : à achever notre auto-destruction, comme l’évoquent certains spécialistes et penseurs. Nous nous sommes inventé des dieux, puis nous avons joué à être ces dieux, et maintenant nous voulons créer des machines qui nous surpasseront en tous points (on en est encore loin). Ce qu’on appelle abusivement IA de nos jours a été théorisé dans les années 50, sur des bases fausses (on croyait savoir comment fonctionnait un cerveau, mais on se trompait). Le discours sur l’amélioration de la vie (ça va nous sauver, nous guérir de toutes les maladies, et mon uc sur la commode), c’est du marketing pour profanes, à court terme ça sert surtout à faire gagner plus d’argent (en allant plus vite ou en payant moins de gens). Mais la raison d’être de ces outils c’est que notre espèce primitive ne s’arrêtera que lorsqu’elle se sera auto-détruite, et certains voient en ces outils ce graal. On veut se brûler les ailes, on fait tout pour foncer vers le mur, pensant qu’on va l’éviter à la dernière seconde, ça provoque des frissons à certains. C’est la seule et unique raison de ces logiciels. Comme Grothendieck, qui était non seulement l’un des plus grands mathématiciens, mais aussi quelqu’un de très lucide et soucieux de la vie, je pense que 99% de ce que nous inventons ne sert absolument à rien, sinon à continuer une effrénée course en avant sans but qui ne s’arrêta que par un crash. Des inventions importantes, majeures, il y en a très peu. Les antibiotiques en font partie. Mais ces logiciels ? En quoi ça améliore le vivant que de faire générer un site web à Claude ?
Tu as pris l’exemple d’un site web. Pourquoi tu ne l’as pas fait toi-même ? C’est pas compliqué, tu apprends le PHP, l’HTML5, le JS, le SQL (pour utiliser MariaDB par exemple), et tu sauras faire ton site, le retoucher, le faire évoluer, exactement comme tu le souhaites, sans te tracasser à générer des prompts pour une machine. Et tu en retireras une satisfaction bien supérieure, celle du travail bien accompli et méritant. Alors, pourquoi tu ne l’as pas fait ?
Pour Claude, tu m’as très bien compris. En un prompt, j’atteint la limite m’obligeant à attendre, donc il ne peut pas générer le résultat de ma demande. J’utilise Claude, ChatGPT, DeepSeek, Qwen, Perplexity (multi-modèles), Gemini, Kimi, GLM et quelques autres. J’ai un abonnement à vie a certains, qui m’a été offert, mais avec les limites des offres « Pro ». Parallèlement à mes activités, j’ai monté une startup en 1999 dans l’imagerie numérique, encore balbutiante à l’époque, que j’ai revendue en 2007. J’ai toujours beaucoup d’avantages liés à cette opération.
Tu n’as pas compris ce que j’évoquais. Admettons que tu sois expert en assembleur ARMv7, et que tu as le code d’un driver pour un appareil qui a un soucis. Pour que l’outil puisse chercher d’ou vient le problème, il faut lui fournir du contexte, le plus de contexte possible, sinon il va y aller au petit bonheur la chance, il va inventer, halluciner, te trouver des problèmes là ou il n’y en a pas. Le prompt peut être long, mais ce qui l’est bien davantage, c’est tout le code et toute la documentation nécessaire à la compréhension des conventions, protocoles et modèles de fonctionnement des drivers. Plus tu fournis de contexte, plus ça coute cher. Pour un driver que j’ai développé, pour une machine que j’ai conçue, AUCUN modèle n’a trouvé la bug, malgré un énorme contexte. Et pour cause, le bug n’était pas détectable, il n’y avait pas de bug en soit, le défaut venait de l’ordre dans lequel étaient effectuées les opérations. En clair, il a suffit d’inverser 2 lignes de code pour résoudre le problème. Mais les machines n’ont pas pu le voir, tout comme elles sont assez mauvaises en création d’objets 3D complexes, ne pouvant pas voir le résultat de leurs incohérences, alors que nous, on les voit directement.
Pourquoi ? Parce que je sais faire tout ça (je suis dev, principalement backend, depuis plus de 20 ans), mais que j’ai pas envie de passer 50h de mon temps libre à faire une webapp, qui serait sans doute moins réussie au final. Je suis nul en design, du fait de ma spécialisation plutôt backend, et ça ne me fait pas du tout envie d’apprendre ça, surtout justement maintenant que des outils permettent de m’en passer… Ce qui ne m’empêche pas de comprendre très bien le code que Claude m’a pondu pour le back, et à peu près comprendre celui du front, suffisament pour faire certains correctifs moi même, et pour orienter Claude directement dans la bonne direction pour des correctifs plus lourds (que je délègue, non par incapacité de le faire, mais par rapidité, car encore une fois, le temps que je consacre à mon assoce, je préfère le passer à jouer plutôt qu’à coder…).
Vu l’article, j’ai l’impression que ces types des boîtes d’IA ont pris des cours ou ont embauché des gens écrivant des contrats d’assurances. 