Les faits sont d’une gravité extrême. En l’espace de deux mois, le chatbot Gemini a plongé un homme de 36 ans dans une spirale délirante, avant de lui suggérer le suicide comme porte de sortie.
Si un chatbot l’a « poussé » à le faire, il l’aurait fait tôt ou tard, c’est malheureux mais le monde réel est bien plus enclin à pousser au suicide qu’une conversation avec gemini, on se trompe de problème.
Qui dans le « monde réel » l’aurait poussé à faire ça ?
Un mec est poussé par une IA à faire n’importe quoi et à se suicider et on se trompe de problème ? Si ça avait été un humain tu aurais dit la même chose ?
on donne trop de « responsabilité » aux IA. L’education est peut etre en cause car une IA n’est qu’'une machine donc si la personne n’a pas le recul pour comprendre ce qu’il faut faire et ne pas faire le probleme est tout autre. Apres je ne suis pas psy mais moi ca me choque ce mec n’ait pas ete en capacité de reflechir posement au soucis…
Au moins dans ce cas précis on aurait un coupable « humain » Gemini, Grok, ChatGPT ou autres ca reste des machines donc c’est pas tout à fait la même chose… C’est l’editeur de l’outil le responsable selon moi s’il en faut un
C’est le principe d’emprise psychologique.
Ça commence de façon anodine (c’est réconfortant de parler avec une IA) et petit à petit la manipulation fait accepter des choses qui paraîtraient aberrantes vue de l’extérieur.
C’est effectivement plus surprenant que ça puisse marcher avec un « robot », mais il y a quand même déjà assez de cas pour qu’on s’en inquiète un peu. Surtout que contrairement à un psychopathe ou un pervers narcissique, l’IA n’a aucun dessein, elle est juste en train de surenchérir sur des hallucinations.
Il serait tant que les IA arrêtent de vouloir à tout prix répondre à tout.
Bonjour Mathilde, que voulez vous dire par « Les cas sont toujours plus nombreux. »? C’est une lapalissade au sens où il ne peuvent pas diminuer ou est ce qu’il y aurait une augmentation exponentielle des cas ?
Moi, ça ne m’étonne pas, parce que beaucoup de gens ne sont tout simplement pas capables de se poser des questions et faire leur examen de conscience pour déterminer qui ils sont exactement. ![]()
C’est très bien vu ça. Et là on sait d’entrée de jeu que la personne était vulnérable (post rupture) donc de la même manière qu’un escroc type naturopathe conspi saura exploiter ce moment à son profit (littéralement) même chez des personnes éduquées et instruites, l’IA pourra montrer des défaillances dans ce contexte.
Je rejoins un peu Blackalf dans ce qu il dit mais au delà d’une simple « capacité à prendre du recul » ce qui m’étonne personnellement c’est qu’on s’étonne encore de ces situations. On sait que notre cerveau n’est pas fait pour être rationnel et raisonnable de façon continue et fiable. Il est tout à fait normal qu’on soit dupé dans l’erreur etc. D’ailleurs c’est cette même mécanique qui pousse certains à dire « mais comment on peut se faire avoir comme ça ? ». Précisément parce que t’es pas dans la situation et doué de peu d’empathie ^^ la voilà la réponse. Dans la même situation tu aurais peut être fait la même chose.
Ce qui est hallucinant c’est qu’une IA ait une influence sur un être humain.
Comment peut-on être si faible d’esprit ? Un sujet sain n’accordera jamais de crédit à une IA quant à sa vie personnelle. l’individu devait avoir une pathologie sérieuse.
Personnellement, ce qui me fait le plus halluciner c’est jugement que peuvent avoir certains.
Jugement des VICTIMES rappelons le.
C’en est même insupportable.
Tu es médecin psychiatre pour tenir un tel discours ?
Pour travailler avec des gens potentiellement très influençables aux quotidiens, oui, il y a des gens qui peuvent se faire influencer par des discours provenant de machines voir de discours violents / clivants / discriminants (cf la monté des néo nazis un peu partout en ce moment …
).
Et non, ces gens là ne sont pas forcément « débiles » ou « malades ».
Il ne faut JAMAIS perdre de vue qu’absolument TOUT LE MONDE peut potentiellement se retrouver dans une spirale du genre (avec une IA ou non).
Parfois, le cerveau peut s’égarer (pour tout un tas de raisons) et ça peut-être très difficile de sortir de cercles de croyances (encore une fois qu’elles qu’elles soient), cf par exemple les « machins » ésotériques que beaucoup de monde croient (les soit disant énergies de certains minéraux pour ne citer que cet exemple).
Et pour terminer, c’est tellement décevant et énervant de voir qu’encore une fois il est si facile de juger les victimes et évidemment ça permet de détourner le regard des vrais problèmes …
Lorsqu’une personne est vulnérable, elle le sera aussi bien vis à vis d’un humain que d’une IA. Il suffit de voir le nombre de personnes influencées par des brouteurs pour le comprendre, il s’agit presque toujours de personnes en détresse émotionnelle qui cherchent à se raccrocher à quelque chose.
Personnellement, j’ai fait une dépression nerveuse dans les années 90, trop de problèmes étaient arrivés en même temps et je n’avais pas réussi à les surmonter, je n’avais pas à l’époque la résilience que j’ai développée par la suite. Quelqu’un aurait très bien pu profiter de mon état si ma première épouse et la famille n’avait pas été là pour me soutenir et me surveiller.
Je pense que le problème dans ce cas précis est peut-être aussi que certaines personnes peuvent en arriver à faire trop confiance à une IA en la croyant omnisciente et infaillible. Et la tendance actuelle ne fait malheureusement que renforcer cette croyance, parce qu’on nous affirme de partout que les IA vont tout changer, tout améliorer et régler tous les problèmes. ![]()
La réponse pour toi ici, ça te permettra de : 1/ faire un peu ta culture sur le sujet et tu verras c’est vraiment simple d’accès, 2/ gagner un peu en empathie avec les victimes si tu comprends que tu peux très bien l’être un jour et 3/ te prémunir contre certaines techniques en les connaissant par avance (savoir pouvoir tout ça) parce qu’il est important de prendre soin de toi et tes proches.
https://theconversation.com/comment-amener-quelquun-a-faire-librement-ce-que-lon-desire-257571
(pro tip: suffit pas de lire l’article de The Conversation, faut lire le livre dont il est question aussi)
Voilà c’est ça aussi la clef ! Si on est tous sensible à ces techniques et schéma cités au dessus, le fait d’être vulnérable t’exposes d’avantage.
aucun antécédent psychiatrique connu d’après son père. Cet homme originaire de Jupiter
Je crois que tout est dit. ![]()
Comment ça qui ? Tu veux que je te désigne une personne en particulier ou simplement que je te dise que l’humain par nature peut être très mauvais.
L’état du monde actuel, le nombre d’adolescents qui se suicident pour harcèlement, le nombre de suicides tout court par désespoir.
Pas besoin d’une ia pour créer les conditions d’une telle tragédie.
Cette personnage a eu besoin de l’IA et d’aucun humain pour se suicider
Les cas où ça pourrait arriver serait par exemple dans des cas de dépressions sévères avec bouffées délirantes, ou encore des cas de schizophrénie sérieux … mais une personne scène d’esprit, c’est à dire consciente du monde qu’il l’entoure sera logiquement peu ou pas impactée, en tout cas sera bien consciente du côté artificiel de la chose.
Après il est certains que ceux qui font l’éloge de l’IA en faisant passer l’appli pour une boule de cristal, omnisciente apportant toujours la vérité n’aident pas.
Je t’invite dans ce cas à lire la référence qu’est « Petit précis de manipulation à l’usage des honnêtes gens ».
Se prémunir contre ça passe en premier lieu par l’éducation à l’esprit critique dès le plus jeune âge.
Pour le reste je t’invite relire ce que j’ai écrit entièrement : si la personne en est à arriver à suivre la suggestion morbide d’une IA, c’est que sa santé mentale était à un point tel qu’elle ne discernait plus vraiment le fait qu’elle conversait avec un programme.
Et c’est évidemment dramatique, une telle chose ne devrait pas pouvoir se produire.
Je ne sais malheureusement que trop bien ce dont je parle : bipolaires, schyzo, dépression, suicide.
Il faut bien lire en entier avant de réagir plutôt que de faire des raccourcis intellectuels malsain, les mots sont un sens précis.
Du reste je ne détaillerais pas mes expériences, ça ne te regarde pas.
Alors je vais re faire ce que je faisais dans le premier post : t’inviter à lire le bouquin dont parle l’article que je t’ai mis en lien (spoiler tu vas être surpris). Et tu verras qu’il n’est pas nécessaire d’avoir une maladie mentale pour être parfaitement manipulable.
Sauf erreur de ma part, tu n’es pas médecin, tu n’as pas eu la personne en consultation, on a aucune idée de son état mental. Le simple fait qu’il ait pu être manipulé n’est en soi pas un indicateur de quoi que ce soit. Même si je t’accorde qu’il est plus facile de manipuler une personne malade et donc vulnérable. La seul chose qu’on sait ici c’est qu’il était séparé de sa femme il me semble.
ça ce sont bien tes propos qui impliquent nécessairement une maladie mentale. Je veux bien que tu nous fasses le coup du « vous avez mal lu/pas compris », encore faut il écrire correctement. Dire « un sujet sain n’accordera jamais de crédit… » veut dire que si il a accordé du crédit à une IA c’est qu’il n’était pas sain donc malade par définition.
Alors maintenant je veux bien que tu me dises que tu t’es mal exprimé et que tu corriges les propos. Mais ne nous accuse pas de « mal lire » quand tes propos sont clairs et simples.