Un chercheur en cybersécurité a pu contourner les sécurités de ChatGPT et lui faire écrire un programme malveillant non détecté par les antivirus.
Oui enfin, si vous demandez a des développeurs de faire des bout de code segmenter pour les réunir à la fin… ils vont aussi faire des malware "à l’insu de leur plein gré ".
3 « J'aime »
Leur IA en + d’avoir des biais politiques elle nous fais des virus faits maison
Ca commence à faire beaucoup. Pas très Charlie tout ça
Ou un super outil pour assister un programmeur comme pour la majorité des utilisateurs qui l’utilisent ainsi. Ou pour essayer de comprendre une panne, pour faire une recette, pour x ou y autre raisons… C’est pas l’outil le soucis hein…
2 « J'aime »
Ce n’est pas ce qu’il dit.
Il dit que la malveillance est dans l’organisateur du virus.
Ici, c’est le chercheur, mais ça pourrait être un gouvernement ou autre.
1 « J'aime »
Je pense aussi que ce n’est pas l’outil, le souci, c’est l’usage que l’on en fait. Il y aura toujours des antisociaux et des psychopathes ne serait-ce que sur la route du super-marché.
Il faut faire attention et prendre ses précautions comme d’habitude face au danger des virus : ne pas fréquenter certains sites, ne pas télécharger des choses qui ne sont pas de source fiable etc…
1 « J'aime »
Je suis pour le fait de légiférer à quelques niveaux mais pas pour interdire ChatGPT complètement. Et puis ChatGPT, ce n’est pas comme distribuer des armes à tous ! 
Cela viendrait même pas à l’esprit de la plupart des gens.
C’est une IA. Tout ce qu’elle pond, un mec mal intentionné trouvera ses infos sur le web, peut être en plus de temps mais arrivera au même résultat, avec même plus de compréhension car il y aura passé plus de temps. Des générateurs de malware, ça existe depuis belle lurette hein… L’IA n’a pas créer un malware, le mec lui a demandé de faire un bout de code pour ceci, un pour cela etc… Comment voulez vous empêcher cela.
Si vous pouvez réparer votre vélo avec une mitraillette accessible à tous, c’est pas l’outil le souci hein…
Non mais avec une clé à molette je peux dévisser un écrou. Et puis je peux aussi ouvrir un crane… Donc non ce n’est pas la faute de l’outil.
1 « J'aime »
ni faux ni fallacieux tu le reprends même avec ton exemple et les bombes…
L’intelligence artificielle n’est dans le cas cité ni meilleur ou pire que l’humain, elle ne peux pas présumé de l’utilisation de ces réponses. Sinon elle ne dirait ni ferait jamais rien.
Exemple un politique ou tu tires une phrase d’un discours pour le décrédibiliser… l’aurait il fait si il pouvait anticipé son utilisation…
On parle d’un outils, le bien ou le mal dépend ce que l’on fait de l’outils… alors c’est un discours du lobby des armes à feu américain, alors ce n’est pas bien… mais combien de couteaux tuent à travers son utilisateur ? devons nous interdire tous les couteaux ?
Tu parles de risque complètement nuisible et crédible, mais ça ne veut pas dire que l’outils est à jeter, comme le bébé et l’eau du bain…
J’ai lu des articles plutôt positif d’un point de vue santé, notamment dans l’analyse des radios… ça peut sauver des vies.
La encore ce n’est pas l’outils le problème, c’est bien qui comment et pourquoi on l’utilise qui compte. Effectivement, je ne sui pas persuadé que l’ouvrir à tout le monde, au moins au début, soit une bonne idée.
tu dis :
L’IA est une arme. Mise entre les mains des malfaisants, ça décuple leurs capacités de nuisances. Même avec des QI de 107.
tu prends déjà parti !! pour moi je dirai :
L’IA est un outil. Mise entre les mains des malfaiteurs c’est une armes, entre les mains des docteurs ça sauve des vies.
Quand tu reprends « l’explication de texte » , tu veux nous dire quoi ? que tout le monde est en tueur en puissance ? que personnes ne sait raisonner ? quand tu dis « on ne met pas des armes à la disposition de tous », je prendrais l’exemple de l’arme nucléaire qui ne sont que dans le mains de certains, et qui font trembler le monde tout autant. Je me demande donc qui sont les certains à qui tu accorderai ta confiance ?
Enfin: « Non un quidam qui est une brêle en informatique ne pourra pas concevoir un outil extrêmement pointu de piratage sans ces IA » il ne t’aura pas échappé que le teste n’est pas effectué par une brêle informatique. Tout le monde n’est pas apte à faire un algorithme alors scinder cette algo pour en faire des bouts de code capable de déjoué des systèmes de sécurité sans même savoir comment fonctionne le dit système ??? Franchement non, il faut arrêter !
Oui il y a un risque mais il faut arrêter le « tout le monde peux ». C’est loin d’être aussi simple, il faut aussi clairement des compétence. La on est clairement dans le yaquafontquon… Je t’accorde, comme le dit l’article que pour une personne ayant les compétence ça va plus vite, c’est déjà de trop, il faut faire en sorte que ça ne se reproduise pas.
Quant à l’interdiction de certains états tu te glorifies que des démocraties interdisent l’outils à tous ? alors qu’en parallèle tu nous explique que les autres systèmes politiques sont le problème et qu’il ne vont pas l’interdire ? J’entends donc que la chine est un autre ? pourtant il sont à priori pas mal avancé sur l’IA … ça me parait déjà trop tard pour interdire.
1 « J'aime »
Je vois la dangerosité, mais je le redis l’exemple donné n’est pas donné à tous. C’est juste une réalité ! J’ai même dit que l’ouvrir à tous dans un premiers temps n’est pas forcément une bonne idée… mais vous n’avez pas du le lire non plus…
Et non je ne fais pas d’amalgame, j’observe par contre que vous semblez vouloir faire peur et essayant de tout simplifier…
Et non encadrer pour certains et légiférer pour les autres ne veut rien dire en soit, ce n’est ni interdire, ni résoudre les problème.
Ensuite les sciences la santé et les trois petit points peu faire beaucoup de monde…
Je suis d’accord sur le fait qu’il faut créer les barrières pour sécurisé l’ensemble. L’expérience dans l’article a justement pour rôle de savoir si des dérivent sont possible, et voir comment s’en protégé… complètement fermé tu ne crée pas de garde fou ! D’ou l’importance des tests réalisés, limité l’accès est une bonne chose au début, l’ouvrir au fur et a mesure permet d’évité les biais…
J’ai jamais dit être en total désaccord, c’est le discours volontairement agressif et dépeignant un monde tout en noir qui me pose problème.
Ce petit refrain qui semble dire que ceux qui ne sont pas d’accord avec toi ne savent pas réfléchir par exemple… Alors non je ne suis pas d’accord avec ton approche, ce qui ne veut pas dire que je vis dans le monde des bisounours. Un outils quel qu’il soit peut être dangereux comme il peut etre vraiment utile. Faut il s’interdire l’outil en question demande à bien poser le pour et le contre, et faut il l’avoir bien mesuré… Une fois mesuré on applique les garde fou nécessaire.
Tu as pris l’exemple des armes à feu, l’exemple est bon, d’abord parce que des démocraties on fait des choix différents sur cet outils. Ensuite parce que les plus restrictifs sont quand même empêtrer dans des commerces illégaux ce qui pose la question du contrôle. Ensuite pour l’utilisation de conquête fait par certain et de défense pour d’autre…
Que de nuance, et il en manque bien d’autre, pour un outils de toute façon créé pour tuer…
Ce que n’est pas l’IA. tu pars du principe qu’elle est dors et déjà dévié a cette fonction, je pense que non et qu’il faut faire en sorte que ce ne soit pas le cas ! Je pense que c’est notre différence.
@ABC,
Je ne suis pas totalement en désaccord avec toi, mais on sort du cadre de l’article là.
Ici, il s’agissait de dire que découper un problème en de multiple sous-ensemble afin de le soumettre à un expert (ici, l’IA) puis le recombiner ensuite, est en majeur partie (plus de 90% ?) de la responsabilité de l’organisateur (découpeur/recombineur) plutôt que de l’expert.
Après, il est évident qu’il y aura d’autre problèmes avec ChatGPT qui nuiront et il faudra légiférer, voir restreindre son utilisation avec le temps. Ca ne se fera pas en 3 mois.
Et il ne pourra pas non plus avec. Même pas en rêve. Parce qu’il ne saura ni quoi demander à l’IA pour obtenir les pièces dont il a besoin (il ne sait même pas quelles sont les pièces dont il a besoin) ni comment assembler ces pièces ensemble (avec les adaptations nécessaires pour que ça marche…). Tout ça, ça nécessite déjà à la base des connaissances avancées sur ce qu’on veut… En l’occurrence, c’est bien un expert en sécurité qui a réussi à faire pondre des briques de malwares à ChatGPT, pas une brêle en informatique… Demande à une vraie brêle en informatique de le faire. Et là tu verras que non, il n’y arrivera pas.
Pour la désinformation, c’est une autre affaire. Parce que là effectivement, ça ne demande pas forcément des compétences très poussées. Mais le quidam moyen aura quand même du mal à donner a « sa » création la visibilité qu’il faut. Car c’est ça le nerf de la désinformation, ce n’est pas la qualité du photo montage, on s’en passe très bien (y a qu’à voir le nombre de gens qui croient à la terre plate ou qu’on n’a pas marché sur la Lune…), c’est la diffusion de la fausse information. Une fausse information sans pouvoir de diffusion, ça reste bien sagement dans son coin. Comme les briques de malwares sans les connaissances pour les assembler…
Accessoirement, pour en revenir au cas du malware : écrire un malware basique comme celui qu’Aaron Mulgrew a fait, c’est à la portée de n’importe quel développeur. C’est juste un logiciel qui cherche les .doc/.docx/.pdf sur le disque dur et les envoie vers un Google Drive, le tout caché dans un économiseur d’écran (qui est un exécutable comme un autre). Vraiment, un développeur qui n’est pas capable d’écrire un tel logiciel en moins d’une journée de travail, il ne mérite pas le titre de développeur…
Après, il y a l’affinage pour ne pas être détecté par les anti-virus qui est sans doute plus compliqué (en l’occurrence, notamment le recours à la stéganographie… un truc dont la brêle lambda n’a même jamais entendu parler, donc aucune chance qu’il ait l’idée d’y recourir et demande à ChatGPT du code pour en faire…). Mais en même temps, la version de base qui échappait à plus de 90% des anti-virus, c’est déjà pas mal… Et si tu lis les explications de Aaron Mugler sur les solutions mises en œuvre pour rendre le code indétectable, tu verras que c’est bien lui qui a trouvé les solutions, en s’appuyant sur ses propres compétences et connaissances (et notamment, sur ses connaissances sur la façon de fonctionner de deux des anti-virus qui détectaient son malware), pour demander à Chat GPT d’écrire le code implémentant ces solutions… Bref, là encore, des solutions pointues obtenues par un demandeur pointu, pas par une brêle.
La vraie difficulté ensuite, c’est surtout, comme pour la désinformation, de réussir à diffuser le malware… Et là-dessus, Chat GPT n’aide pas.
1 « J'aime »
chatGPT, crée moi du code TRUC :
- qui va récupérer tous les document word sur un disque dur
- qui va ajouter la macro TRUC dans ces documents en auto exécutable
- et qui va écrire sur toutes les page du doc word TRUC WUZ HIRE, TRUC RULEZ
En quoi c’est un virus ?
Autre réflexion : ça rappelle mon patron qui me fait des specs à l’arrache, puis qui s’en accapare les mérites du programme une fois qu’il est fait et qu’il marche bien.
Tout à fait d’accord avec vous. Les IA purement malveillantes ne semblent pas encore exister mais pour combien de temps ? La prudence, dans cette jungle qu’est internet, me semble être sage. Attention aux fausses bonnes idées dont l’enfer est pavé !
1 « J'aime »
Si tu lis bien, 5 antivirus ont jugé sa première ébauche de suspicieux, ce qui l’a « motivé » à affiner pour le rendre indétectable sur Virustotal. Donc les 5 qui le détectaient dans sa préversion…comment te dire…
Les commentaires me font sourire. Il faut faire une loi…, il faut interdire…, il faut mettre des barrières…, etc… Nous avons des milliers de lois, de règlements, de principes, et l’application est très limitée et chaque jour nous voyons des exemples de transgressions. Donc je pose la question: comment faites vous pour faire appliquer des limites à un système qui agit mondialement? L’exemple des réseaux sociaux pourrait vous donner la réponse : « Ben on sait pas, et en fait on ne sait pas le faire ». Prenons juste l’exemple des feux rouges, postez vous à un carrefour et regardez. Transposez au monde entier.
1 « J'aime »
Mais… sérieusement ? C’est le titre qui est « malveillant ». 
Et littéralement « corrigé » dans la 1ère phrase qui le suit =>
« Un chercheur en cybersécurité a pu contourner les sécurités de ChatGPT et lui faire écrire un programme malveillant non détecté par les antivirus. »
C’est le chercheur en cybersécurité qui a créé le programme. Via (grosse emphase sur le « via ») l’intermédiaire de ChatGPT (et de son ordinateur, et de son écran, et de sa chaise, et de son bureau, et de… vous voyez où je veux en venir ?).
C’est ridicule de titrer ça.
Et ça n’a absolument rien de nouveau. Depuis la sortie de cette IA le but du jeu est de contourner les « mesures » qui contraignent son usage.
On peut très certainement lui faire écrire la pire constitution du monde possible, en contournant tout ce qui est à priori illégal. Devra-t-on alors titrer aussi faussement « ChatGPT a mis au point la pire constitution du monde pour le prochain dictateur, repérée par les ONG les plus vénères » ?
1 « J'aime »
Absolument d’accord.
Toute cette opération ne me semble servir qu’à faire du buzz autour du chercheur et à faire parler de lui. Bon, apparemment ça marche.
Visiblement, il n’aurai pas eu besoin de ChatGPT pour créer son virus, et il connait suffisamment bien comment fonctionnent les anti-virus pour pouvoir les contourner.
On peut penser, à tort ou à raison, que les IAs sont dangereuses mais en l’occurrence l’expérimentation du chercheur n’a rien montré du tout dans ce sens.
Comme l’a dit un visiteur, l’expérience ne montre pas que ChaGPT permet à une « brêle en informatique » de faire un virus non détectable.
1 « J'aime »
Tout à fait.
Quelqu’un qui n’a pas le niveau, ni la volonté, ni l’idée, ne fera rien de l’outil !
Si on me donnait une centrale nucléaire, je saurais pas quoi en faire ni la faire tourner (ça serait juste une catastrophe. :D).
Si je devais opérer quelqu’un, et que je demandais à l’IA, je saurais pas non plus comment faire ça bien car j’ai pas du tout l’expertise pour ça.
L’IA ne remplace pas l’expérience. Elle fait gagner du temps à ceux qui ont déjà des compétences dans le domaine où ils posent des questions. C’est là son intérêt, et son potentiel.
Le jour où un gamin de 2 ans est capable de faire pondre un virus indétectable à une IA, alors on pourra rediscuter du danger du truc. Ou de la mauvaise sécurité générale en vogue, parce que si un gamin arrive à faire ça, pourquoi il n’y a pas eu quelqu’un pour faire exactement l’inverse et demander à l’IA un audit de sécu’ sur son système pour anticiper les défenses ?
Il suffit de poser la question à l’envers… ou de tester son propre système. Puis de corriger.
C’est pour ça qu’il faut poser l’inverse et son contraire à une IA. Pas uniquement dans le sens qui nous intéresse. Ça permet aussi de voir quand elle se rate.