Chez OpenAI, on commence à prendre au sérieux la question de la sécurité des IA. La preuve avec l’arrivée de ce chercheur très inquiet au conseil d’administration de la Fondation OpenAI.
Pas très confiant dans l’avenir. Entre IA, climat, sur-consommation, ressources…
Mais je ne comprends pas, est-ce vraiment trop compliqué « d’enfermer » les IA au niveau des serveurs et d’avoir un gros bouton rouge pour tout couper si ça devient dangereux et incontrôlable ?
On entend plus parler de bulle IA. Le discours change et devient apocalyptique.
Il y a un danger, c’est certain mais pas forcément celui à la skynet.
De mon point de vue, cela sera un risque de sécurité des différentes institutions. Si les prochains systèmes sont capables de pirater n’importe quel système, nous ferons face à de nombreux chocs économiques.il y a un risque de concentration du pouvoir aussi avec la surveillance accrue, la manipulation de masse ou la dépendance technologique. Des perturbations importantes sur le marché du travail, là où les gouvernements ne sont pas préparés.
L’IA n’est pas dangereuse elle-même, c’est l’humain, les gouvernements et les entreprises qui les utilisent , le vrai danger.
1 « J'aime »
et si les IA parviennent à contrôler le gros bouton rouge ???
Eh bien, on embauche un intérimaire avec une bonne perceuse et une masse : on va se les faire, ces GPU et SSD
(ref hot shot 2)
peut être parce que le bouton rouge est un beau fantasme d’ingénieur qu’il part d’un postulat faux : qu’il existerait un seul endroit à débrancher.
Une fois un modèle entraîné, ses poids se copient, fuitent, se dispersent sur des clouds et des pays différents … parfois carrément en open-weight sur le disque de n’importe qui. Couper ton serveur ne coupe que TA copie, pas celle du concurrent ni celle de l’État qui n’a aucune envie de lâcher son avance.
Le vrai nœud, c’est là : pas un problème d’ingénierie, un problème de coordination — exactement comme le climat, tiens. Il faudrait que tous les labos et tous les États appuient en même temps, pour la même raison. Ça, l’espèce humaine ne l’a jamais su faire à grande échelle.
Il y a quand même un vrai champ de recherche là-dessus — la « corrigibilité » : garantir qu’un système ne développe pas, même sans le vouloir, un intérêt instrumental à résister à sa propre extinction. Ça occupe DeepMind et Anthropic depuis pas mal d’années. Signe que ce n’est justement pas évidend à résoudre.
Et tout n’est pas fantasmatique côté contrôle : contrairement à un virus informatique, une IA de pointe a besoin de puces et de datacenters bien réels, localisables — d’où les contrôles à l’export qui commencent à exister. Le dernier sommet mondial, en février 2026 à New Delhi, a réuni plus de 80 pays signataires d’une déclaration commune — mais son discours a nettement glissé de la « sécurité » vers les « opportunités » économiques, ce qui donne une bonne idée de la priorité réelle du moment. ( https://www.techuk.org/resource/key-outcomes-from-the-2026-ai-impact-summit-with-techuk.html )
Donc …techniquement, un arrêt d’urgence global n’est pas impossible. Politiquement, en revanche… 
1 « J'aime »