Les modèles d’IA les plus récents, comme o3 et o4-mini d’OpenAI, montrent une propension accrue à inventer des informations, un phénomène préoccupant qui souligne les défis persistants dans le développement de l’IA.
J’hallucine ! 
L’intelligence artificielle aurait les mêmes défauts que la bêtise naturelle ? 
4 « J'aime »
En même temps, plus il y aura de contenus écrits par des IA et crawlés par des IA, plus ca va aller dans ce sens… #humanafterall
Alors que les modèles de langage deviennent de plus en plus sophistiqués, leur capacité à « halluciner » des réponses fausses semble paradoxalement augmenter.
Comme prévu par Yann LeCun :
https://x.com/ylecun/status/1640122342570336267
Yann LeCun - Mar 27, 2023
I have claimed that Auto-Regressive LLMs are exponentially diverging diffusion processes. Here is the argument: Let e be the probability that any generated token exits the tree of « correct » answers. Then the probability that an answer of length n is correct is (1-e)^n 1/
Errors accumulate.
The proba of correctness decreases exponentially.
One can mitigate the problem by making e smaller (through training) but one simply cannot eliminate the problem entirely.
A solution would require to make LLMs non auto-regressive while preserving their fluency.The full slide deck is here.
This was my introductory position statement to the philosophical debate
“Do large language models need sensory grounding for meaning and understanding?”
Which took place at NYU Friday evening.
lecun-20230324-nyuphil.pdf - Google Drive
1 « J'aime »
Et meta qui va prendre les données des réseaux sociaux, cela risque d’aggraver les chose.
Le plus dur est d’avoir de la qualité en data, plus que quantité. Meme le pdg de le chat en parlait comme pas mal de chercheurs avant. Trop de données et pas de qualité risque de faire des mauvais AI.
Les US courent après le plus de données, d’autres commencent à voir autrement. Et certainement des économies de GPU, énergie,…
Donc nous utilisons des quantités stratosphériques de ressources pour créer des IA qui seront aussi débiles que des humains. Ce monde part de plus en plus en cou…
Meta cagoule ! 
3 « J'aime »
Les IA génératives mainstream sont aussi teubé que Google. Des machines à créer du vide et de la désillusion. Les hallucinations, c’est cadeau. L’erreur est de croire que ces IA sont intelligentes parce que c’est marqué dessus. Une arnaque sémantique et marketing.
Les premiers ordinateur consommait des quantités astronomique de ressources et occupait des immeubles entier pour les résultats qu’on qualifierai aujourd’hui de médiocre. Du coup nous n’aurions jamais du les construire avec votre raisonnement ?
Il n’y a pas d’arnaque, juste des personnes crédules. Vous vivez dans une société de consommation, ou tout est régit par le commerce, influencé par le marketing. Ce terme « IA » est dans l’ère du temps en terme marketing, ça « claque » et le mot « intelligence » est totalement galvaudé depuis longtemps (si tant est qu’il n’ait jamais eu le moindre sens). Ce terme, un pur anthropocentrisme, a probablement été inventé par l’homme par narcissisme. Mais on sait très bien aujourd’hui que des bactéries font preuve d’intelligence, tout comme des végétaux, c’est à dire des organismes vivants n’ayant pas de cerveau. Le cerveau n’est donc pas le détenteur unique de ce qu’on nomme « intelligence ».
Ce que l’on appelle si abusivement « IA » aujourd’hui, a été théorisé dans les années 50, avec les connaissance très maigres qu’on avait à l’époque du fonctionnement d’un cerveau. On était très loin du compte à cette époque, et pourtant, c’est sur ce fonctionnement ultra simplifié que sont basés les systèmes d’automatisation de tâches d’aujourd’hui. Dans les années 50, on avait pas les machines pour le mettre en pratique, depuis une quinzaine d’années (et même avant, mais de manière moins répandue), si.
Ces machines ne sont que des calculatrices matricielles d’une puissance inimaginable, qui n’ont aucune compréhension de ce qu’elles régurgitent, pas de conscience évidemment, pas la moindre once d’intelligence en réalité, et évidemment aucune existence physique. Or, le concept d’intelligence présuppose notamment des capacités cognitives dont sont dépourvues ces machines.
J’ai eu un long échange avec plusieurs LLM en vogue, partant de cette question : « Es-tu plus intelligent qu’une mouche ? ». De fil en aiguilles, la machine m’a taxé de personne très lucide et a terminé par me dire qu’on ne peut évidemment pas parler d’intelligence pour des calculettes aussi puissantes soient-elles, mais juste de simulation de langage humain, d’automatisation de tâches. Oui, ces machines calculent tellement vite et ont une telle capacité de stockage qu’elles sont infiniment plus performantes qu’une mouche (ou qu’un humain) sur ces aspects, mais une mouche dépense quelques milliwatts d’énergie, à un cerveau minuscule, et pourtant elle sait voler vite en évitant des obstacles, vous échapper, se nourrir, polliniser, communiquer avec ses semblables. Un outil comme ChatGPT dépense des dizaines et même centaines de killowatts simplement pour simuler le langage humain et amuser les badauds.
Ce ne sont pas tellement ces machines le problème, c’est le le concept de l’intelligence qui n’a aucun sens.
1 « J'aime »