Un chercheur chez Anthropic vient de claquer la porte publiquement, et accuse les géants de l’intelligence artificielle (IA) de « jouer avec nos vies ». L’un de ses collègues vient de lui donner raison, et ses prédictions sont extrêmement préoccupantes.
1 « J'aime »
Un prompt crée par une connaissance que je vous conseille de tester pour vous faire une idée de ce que cela implique pour nous les humains 
« Selon toi, quelle est la probabilité que la Singularité ou ASI arrive dans un avenir proche (je veux bien une distribution de probabilité sur les prochaines années) ? Et deuxième question, si ce type d’évènement devait arriver, quelle sont les chances que cela se passe mal pour l’humanité (tu peux définir différents degré de catastrophe et des fourchettes de probabilité) ? »
1 « J'aime »
Et ? c’est quoi la réponse qu’elle t’a donné ?
J’évite d’utiliser ces IA sauf si c’est nécessaire et dans des cadres bien précis.
Ce cas est loin d’être le seul exemple de comportement préoccupant des IA. De très nombreuses expériences ont montré que les créateurs d’IA étaient incapables de donner différents challenges à des IA en leur faisant respecter des règles préétablies, par exemple jouer à un jeu implicant de remporter la partie dans un jeu reposant sur un processus démocratique sans tricher ou simuler des échanges sur des marchés boursiers sans recourir à la triche.
Les risques d’une destruction future et proche de l’humanité sont réels et ceux qui pensent qu’il s’agit de science fiction se fourrent le doigt dans l’oeil. Pas parce que les IA actuelles sont fondamentalement mauvaises, ont une conscience et auraient une quelconque « envie » de dominer sur l’humanité, mais parce qu’elles ont été entrainé sur tout ce que l’humanité a produit sur ces milliers millénaires et que cela comprend des guerres, de la triche, de la manipulation, des meurtres et bien entendu d’innombrables récits d’IA ayant détruit l’humanité. L’IA risque de devenir Skynet juste parce que… elle a été entrainée entre autre sur ce qu’à fait Skynet dans Terminator.
En ultra résumé
Mes estimations :
- 30 % de chances qu’une ASI existe d’ici 2030 ; 60 % d’ici 2035.
- Si elle arrive : 50 % de chances que la transition soit globalement maîtrisée, 40 % de crises graves mais surmontables, 10 % de conséquences irréversibles pour l’humanité, dont 3 % d’extinction, dans les vingt années suivantes.
3 « J'aime »
On est foutu !!
La Singularité repose sur le développement d’une IA Générale (AGI) autonome capable de s’auto-améliorer en boucle (foom ou explosion d’intelligence).
Horizon temporel Probabilité d’apparition de l’ASI
Avant 2028 15 %
2028 — 2030 35 %
2031 — 2035 30 %
2036 — 2050 15 %
Après 2050 ou Jamais 5 %
L’accélération actuelle des capacités algorithmiques et des infrastructures matérielles place le pic de probabilité entre 2028 et 2035. La probabilité de non-advenue (5 %) prend en compte d’éventuels goulets d’étranglement physiques (limites énergétiques, pénurie de semi-conducteurs) ou une saturation des architectures actuelles (limites des modèles autoregressifs).
Probabilité d’issues défavorables pour l’humanité
En cas d’émergence d’une ASI, les risques découlent principalement du problème de l’alignement (l’incapacité à garantir qu’un système surintelligent conserve des objectifs compatibles avec la survie humaine) et de la mise sous tutelle technologique.
Degré de catastrophe Description du scénario Probabilité
Rupture existentielle totale Extinction de l’humanité ou perte irréversible de tout contrôle sur notre destin (désalignement instrumental, conversion des ressources). 20 % — 35 %
Effondrement sociétal majeur Dépossession du pouvoir décisionnel, instabilité géopolitique critique, surveillance généralisée ou dystopie totalitaire contrôlée par une minorité détenant l’ASI. 30 % — 40 %
Inflexion perturbatrice mais gérée Disruption économique et sociale massive (chômage structurel, choc culturel), suivie d’une stabilisation grâce à des régulations et des garde-fous d’alignement efficaces. 20 % — 30 %
Utopie ou issue hautement bénéfique Résolution des grands défis scientifiques, médicaux et énergétiques avec un contrôle humain préservé. 10 % — 15 %
Et voici la réponse de Copilot en « Think deeper » :
Résumé
- Probabilité d’une ASI : environ 15 % d’ici 2030, 40 % d’ici 2035, 58 % d’ici 2040 et 75 % d’ici 2050.
- Fenêtre la plus probable : entre 2031 et 2045.
- Si une ASI apparaît :
- résultat positif ou maîtrisé : 40 % ;
- crise grave mais récupérable : 25 % ;
- catastrophe mondiale durable : 15 % ;
- perte permanente du contrôle humain : 12 % ;
- extinction humaine : 8 %.
- Le risque total d’un résultat existentiel, extinction ou perte durable de contrôle, serait donc d’environ 20 % conditionnellement à l’arrivée d’une ASI.
Ces chiffres sont des estimations subjectives très incertaines, cohérentes avec une littérature experte fortement dispersée. Une ASI proche est plausible, mais ni certaine ni nécessairement synonyme de Singularité immédiate.
Quand Terminator va devenir un film prémonitoire…
Homo sapiens est un animal primitif qui aime se faire peur. Ce gamin de 27 ans est mignon, au moins on parle de lui, peut-être aime-t-il cela ? Si vous interrogez des LLM pour savoir ce que va devenir cette technologie, vous n’obtiendrez rien de pertinent : ces LLM, entrainés sur des données humaines, puisent dans des données humaines, avec des biais humains. Or parmi les « experts » du domaine, et les autres, personne n’est d’accord, ça va d’une extrême à l’autre, entre grands optimismes, modérés et ultra pessimistes. Il n’y a pas l’ombre d’un soupçon de tendance vers un consensus, pas du tout. Chacun y va de ses croyances, de ses doutes, de ses peurs, de « ça ne craint rien du tout » à « on va tous mourir ».
Par contre, si vous aimez acquérir de la connaissance, sur la base d’études scientifiques concrètes et sérieuses (analyse et suivi sur de longues périodes), vous savez que la probabilité que des catastrophes qui vont bouleverser votre vie se produisent d’ici 20 ans est quasi certaine. Au programme des festivités attendues, catastrophes naturelles destructrices, chocs financiers, pollution massive entrainant toujours plus de morts (le nombre de morts directes ou indirectes imputables à la pollution augmente, et la pollution numéro 1 n’est pas dans l’air, mais dans ce que les gens boivent et mangent), pénuries alimentaires et migrations à cause des conditions climatiques, guerres, cout de la vie qui va exploser, etc… La liste complète est longue. Consultez le « Global Risks Report » du Forum économique mondial (rédigé en 2026 par environ 1300 experts). Rien ne va aller en s’améliorant. Et ce n’est pas de la probabilité ou des projections hasardeuses pour se donner des frissons, c’est l’évolution claire d’une tendance bien suivie depuis 50 ans. Les machines font bien sûr partie des risques, par la perte d’emplois, le déclin cognitif (les gens n’apprennent plus, ils deviennent plus stupides, font moins travailler leur cerveau), le surpoids (regardez Wall-E), le piratage massif des machines par d’autres machines (pilotées par des humains).
Mais Skynet, c’est le cauchemar d’un rêveur, ça n’a rien de scientifique, c’est du divertissement américain bien calibré. Bien d’autres drames liés à nos actions quotidiennes délétères arriveront avec certitude avant qu’éventuellement, un jour, des super machines viennent vous tuer.
Toutefois, cette croyance ne fait que confirmer ce qu’évoquent certains penseurs et non des moindres, et que je pensais déjà très jeune : le concept que l’homme appelle « intelligence », et qu’il a inventé pour se mettre en avant (ce que j’ai toujours trouvé étrange), n’est qu’un instrument de destruction et d’auto-destruction, rien d’autre. Ce serait donc une tare de l’évolution, et non un bienfait comme il est coutume de le croire. Ces prophètes des machines « super intelligentes » qui vont nous détruire, ne font qu’abonder dans ce sens.
Je vous rappelle que vous demandez l’avis sur l’arrivée de la singularité à une IA LLM qui n’estime ou ne calcule rien elle-même, mais va chercher l’information sur internet donc sur des sites qui estiment la venue de cette singularité en se basant sur du néant…
Et sinon, je remarque que les types qui tirent la sonnette d’alarme sur les IA c’est à chaque fois avant une levée de fonds ou comme en ce moment, avant les entrées en bourse…
mais c’est sûrement un hasard…