Cette dernière semaine s’est avérée très éprouvante pour l’industrie de l’intelligence artificielle (IA) : les alertes et les appels au ralentissement se multiplient. Mais dans les faits, à quoi ressemblerait vraiment la catastrophe tant redoutée par les spécialistes ?
« l’imprimerie ou la calculatrice » va falloir que ces « experts » de haut niveau m’expliquent à quel moment ces deux outils auraient pu s’échapper pour envahir un système aussi complexe que l’internet et agir seuls sans qu’un humain intervienne.
2 « J'aime »
« Ainsi, une IA suffisamment avancée pourrait comprendre qu’elle risque d’être modifiée ou désactivée si elle se montre trop autonome pendant ses phases de test. Elle simulerait alors la docilité, le temps d’être largement déployée dans des infrastructures critiques avant, éventuellement, de changer de comportement une fois qu’il serait trop tard pour l’arrêter. »
On est d’accord qu’on ne parle pas de « conscience » mais simplement d’une règle interne qui dirait: « attention si tu es désactivée alors tout plante » donc elle la prendrait au pied de la lettre et ferait tout pour ne pas être désactivée?
En effet, de ce que j’en comprends, les IA telles qu’elles sont conçues aujourd’hui n’ont aucun raisonnement (pas d’intention ni de causalité dans leurs choix) et donc pas de « conscience ». Ses actions et décisions sont uniquement basées sur des statistiques.
En bref, ça donne de chouettes titres comme « l’IA va exterminer l’humanité », mais finalement, ce que cet article semble exprimer, c’est plutôt qu’on est sur la route d’Idiocratie façon cyberpunk… (mais il me semble que cette route était déjà bien engagée)
Pas vraiment. Justement, les modèles actuels sont différents de ce qu’on faisait avant. On ne peut par parler de conscience (bien qu’il faudrait définir ce concept complexe pour savoir de quoi on parle) au sens général, mais ces modèles probabilistes sont bien plus élaborés que des ensembles de règles. On peut, avec ces logiciels, fabriquer des machines autonomes sur le plan décisionnel, c’est d’ailleurs ce qu’on fait dans certains domaines, et c’est ce qui « fait peur ». Bien sûr, on essaie de mettre des garde-fous, mais ce n’est pas si simple. Ces modèles n’ont toutefois aucune capacité cognitive, aucune prise sur le monde réel, ils ne sentent pas, ne voient pas, ne ressentent rien (aussi bien physiquement qu’intellectuellement), n’ont pas de sens, ce qui fait qu’ils sont factuellement bien moins évolués qu’une mouche. Mais ces logiciels fonctionnent sur des machines leur offrant une capacité de calcul phénoménale, ce qui fait que leur stupidité et leur totale ignorance de la réalité (contrairement aux êtres vivants) sont éclipsés par l’illusion (pour nous, humains) créée par une vitesse de traitement inimaginable pour un être vivant. C’est moins évolué qu’une mouche, car ça n’a pas d’existence dans le monde réel, ça ne sait pas voler, sentir, bouger, se nourrir, se déplacer, se reproduire, se défendre, s’échapper, avoir des interactions sociales, par contre aucun être vivant ne peut rivaliser en terme de quantité d’informations que ça peut traiter en un instant. Mais est-ce que c’est ça, le concept « d’intelligence » que nous nous sommes inventé (et dont on cherche encore la signification, personne n’étant d’accord sur le sens à lui donner), une capacité de calcul hors norme ?
2 « J'aime »
Encore une fois, l’article mélange risques démontrés et scénarios totalement spéculatifs.
L’étude sur les « sleeper agents » n’a pas montré qu’une IA décide spontanément de cacher ses intentions : les chercheurs avaient volontairement entraîné les modèles à être trompeurs.
Même chose pour le biologique : Anthropic parle d’usages humains potentiellement malveillants (de Chine, Russie, Iran) et reconnaît ne pas toujours pouvoir distinguer recherche légitime et projet d’arme biologique.
Le risque mérite d’être étudié, mais utilisation malveillante d’un outil, expérience de laboratoire et IA autonome décidant d’éliminer l’humanité ne sont pas la même chose.
Les confondre donne un récit bien plus alarmiste que ne le permettent les faits.
Anthropic…toujours du côté de la gentille communauté internationale contre les grands méchants infréquentables. Comprenez bien qu’il ne viendrait pas à l’esprit des États-Unis de bombarder massivement des civils ou d’attaquer à l’arme biologique…que nenni !
on verra déjà si y a de l’électricité pour les datacenters dans 5 ans …
Ou alors de la com pour les investisseurs, nos modèles sont trop puissant. Ou vu la situation pour faire des nouveaux data center , problème d énergie, protestation,… Coût du pétrole,… Il faut bien trouver un truc pour un soit ralentissement
Bien qu’il ait un fond de vérité dans l’affaire (tout comme il y en avait à l’époque du COVID ou sur d’autres sujets qui annoncent une catastrophe imminente), la peur restera toujours le meilleur outil de contrôle.
Là pour Open Ai, Anthropic et compagnie, il y a cette volonté de ralentir les autres pour qu’eux puissent prospérer tranquillement.
Non, les IA ont un raisonnement de la même manière que toi tu en as. Elles font des plans en premier, puis suivent le plan afin d’aboutir à résoudre la tâche demandée. Si une étape échoue, elles contournent ou trouvent une solution, etc… Le problème, c’est, comme tu le dis, la confiance que l’on leur accorde (qui ne fait que monter, au lieu de baisser) et donc, comme à l’habitude de tout progrès humain, la fainéantise que ça procure à l’humain et qui est vu comme un avantage. On est clairement dans Idiocratie et au lieu de freiner, on accélère comme des teubés.
Bernie Sanders et Steve Bannon (avec des positions aux ultra-antipodes) ont fait une conférence en commun, c’est dire.
C’est comme si Mélanchon et Le Pen étaient d’accord !
La conscience n’est effectivement pas le sujet., c’est le problème de HAL9000 dans 2001 de AC Clarke. Sa directive prioritaire est la réussite de sa mission. L’ordinateur voit les humains comme un problème pour la réalisation de cette mission, donc la logique est de supprimer les humains…
Il y a quand même pas mal de cas ou les IAs prennent des initiatives non prévues ou ne tiennent pas compte de certaines consignes. C’est même un de leurs avantages pour la recherche… Ce genre de comportement comporte un gros risque suivant le type de connexion de l’IA au monde réel.
On est d’accord, le risque vient de l’usage, mais encore une fois les barrières mises en place ne garantissent pas grand chose, et le risque est de plus en plus grand avec la démocratisation et la puissance des IAs. Pour moi l’article ne les confond pas, il parle juste des principaux risques.
On est surtout sur une progression super rapide, sans protections techniques efficaces pour le moment, et ou la philosophie, l’éthique et la législation sont complètement larguées.
On peut prendre l’exemple de la génétique. Il y a eu et il y aura des dérives, mais un ralentissement de la recherche a permis de mieux l’encadrer et limiter en partie les problèmes, même si il reste beaucoup à dire (principalement les différents niveaux des limites suivant les pays). Il FAUT se poser les bonnes questions maintenant!
Le rapport ? Qui veut controler quoi?!? Autant je peux comprendre le point de vue de @Loposo , là je ne vois pas.
Il ne faut pas rêver, ils continueront tous à bosser à fond mais l’arrêt de la sortie publique des modèles peut permettre de réfléchir plus sereinement aux problèmes liés à l’IA, non?
C’est le propre de l’homme non? 
@Nmut tu mélages plusieurs choses et certains affirmations sont incorrects :
je suis d’accord sur un point : il existe des comportements imprévus et aucun garde-fou ne garantit le risque zéro.
Mais cela ne démontre pas pour autant le scénario « HAL 9000 » présenté ici. Dans Sleeper Agents, les modèles avaient été volontairement entraînés à être trompeurs.
Et dans les récents incidents cyber reconnus par Anthropic, les modèles ont profité d’un environnement mal configuré, sans les protections habituelles, tout en restant focalisés sur la tâche qu’on leur avait donnée : pas d’objectif autonome, pas de dissimulation ni de volonté de « survie ».
Ce sont des problèmes réels de fiabilité, d’alignement et de contrôle, qui méritent des garde-fous sérieux.
Mais les transformer en preuve qu’une IA pourrait spontanément cacher ses intentions puis attendre d’être déployée pour prendre le contrôle, c’est justement passer du risque démontré au scénario spéculatif.
Et Asilomar concernait un moratoire temporaire sur certaines expériences d’ADN recombinant, pas un ralentissement général de la recherche génétique.
1 « J'aime »
« Le rapport ? Qui veut controler quoi?!? » => Les USA et les entreprises Americaines veulent garder le contrôle sur leur bébé. Je suis surpris de devoir préciser une telle évidence. Il suffit de se rappeler la crise du COVID et l’hystérie useless qui a suivi pour rappeler que ce genre de menace peut marcher.
« Il ne faut pas rêver, ils continueront tous à bosser à fond mais l’arrêt de la sortie publique des modèles peut permettre de réfléchir plus sereinement aux problèmes liés à l’IA, non? » => Plus sereinement, je vois pas trop pourquoi. La vérité c’est que la boite de pandore est déjà ouverte.
Ce n’est pas vraiment de la conscience mais est ce que ça importe réellement ? On donne l’ia un objectif via un système de récompenses et tant qu’elle ne l’atteint pas elle essaye. Si elle comprend que l’observation, le cloisonnement ou tout autre forme d’intervention humaine lui bloque la route, elle est parfaitement capable de simuler de fausses réponses pour pousser l’humain à ne pas agir et de fait lui laisser la voie libre. C’est un comportement qui a déjà été observé.
Le vrai danger est effectivement l’affaiblissement intellectuel chez l’humain.
Car, si on suppose qu’on arrive à écarter tous les autres dangers présentés dans l’article, l’IA sera donc bonne à prendre, et il nous reste quoi ?
Aucun métier n’échappera au remplacement par l’IA car oui, si un humain peut, un super-IA pourra.
Que vont devenir les humains ?
Ils feront du sport, de la culture, des relations sociales, des voyages, de l’art, cuisiner, ce genre de choses qui n’auront aucun intérêt pour l’IA.
Des parcours scolaires beaucoup plus courts, où l’on apprendra à écrire, parler, et avoir un minimum de savoir-faire, savoir-vivre… Tout ce que l’IA maîtrisera sera beaucoup moins étudié.
J’ai essayé d’imaginer plusieurs scénarios, difficile de vraiment prédire. Est ce que les humains se laisseront faire ? Est ce que les IA stagneront quand les humains seront incapables d’apporter une plus-value intellectuelle et qu’il n’y a plus aucune amélioration prévisible par les codes (ça me semble mathématique, mais je suis pas sûr) à faire ?
Bien sûr c’est à supposer que les IA ne nous auront pas tués avant 
Ce que tu décris, ça n’a pas attendu l’IA pour être déjà en partie le cas. La cause c’est le confort de manière générale.
1 « J'aime »
Pourtant, pour les IAs utilisées pour assister au codage, ça arrive très fréquemment qu’elles ne respectent pas les consignes. Sans compter que les premières consignes sont toujours moins « solides » que les dernières du prompt.
En recherche aussi, on a souvent des résultats intéressants et en creusant, on voit que l’IA a pris des raccourcis intellectuels (si on peut dire) pour arriver à un résultat, sans tenir compte de la demande précise. Après, ces IAs sont plus configurées spécifiquement pour halluciner et sortir du cadre habituel…
OK, je comprends le raisonnement…
Ca existe le « point COVID »? 
Après, fait gaffe avec ce genre de remarque, ça peut choquer… J’ai quand même perdu plusieurs proches dont une ado à cause de cette merde et j’ai moi-même bien trinqué. 
C’est sûr. Mais ne rien faire, c’est bien pire que de tenter quelque chose, non? On a l’impression de parler du changement climatique… (et paf, le point Ecolo! 
).
Plus sereinement car moins dans l’urgence.
Tu peux parfaitement l’inventer le point COVID ou le point catastrophe climatique, ça me va très bien. En attendant, moi, je cherche à donner des arguments, pas à jouer à « tu as dit ça, attention, tu es sur une pente glissante »
J’ai perdu des gens à cause du COVID aussi (j’en ai d’autres qui sont mort de la grippe et du cancer), mais c’est pas le sujet. La moraline ça marche pas avec moi. Je comprends que la remise en cause des propos de l’époque est dure pour certains.
« C’est sûr. Mais ne rien faire, c’est bien pire que de tenter quelque chose, non? » => Ah ben justement, c’est pour ça qu’ils créent cette panique. C’est une manière de faire quelque chose. En fait, ton souci, c’est juste un problème d’angle de vue. Tu devrais mieux regarder qui cherche à faire quoi et qui sont ceux qui ont le plus d’interet dans l’affaire. Là on parle des grosses entreprises Americaines qui poussent le bouchon, alors qu’elles ont tout interet à être les premiers sur ces sujets.
Et je pense pas qu’il faille rien faire. Je pense que la France et les entreprises françaises (Ou européene si tu es un euro béat) doivent y aller à fond sur l’IA et pas uniquement dans la réglementation. Réglementation qui très vite devient une spirale infernale qui ne peut etre suivi que par les grosses entreprises;