Commentaires : ChatGPT a mis au point un redoutable malware, repéré par un chercheur

@ABC,

Je ne suis pas totalement en désaccord avec toi, mais on sort du cadre de l’article là.

Ici, il s’agissait de dire que découper un problème en de multiple sous-ensemble afin de le soumettre à un expert (ici, l’IA) puis le recombiner ensuite, est en majeur partie (plus de 90% ?) de la responsabilité de l’organisateur (découpeur/recombineur) plutôt que de l’expert.

Après, il est évident qu’il y aura d’autre problèmes avec ChatGPT qui nuiront et il faudra légiférer, voir restreindre son utilisation avec le temps. Ca ne se fera pas en 3 mois.

vidarusny : « pas l’IA. tu pars du principe qu’elle est dors et déjà dévié a cette fonction, je pense que non et qu’il faut faire en sorte que ce ne soit pas le cas ! Je pense que c’est notre différence. »

C’est le point de vigilance sur lequel nous sommes finalement tombés d’accord : encadrer.
Pour ce qui est du potentiel de nuisance de ces outils, l’article ci-dessus n’est malheureusement qu’un exemple parmi déjà beaucoup d’autres. Dans tous les domaines. Alors que ces IA commencent seulement à émerger auprès du grand public (certaines existaient depuis des années dans les centres de recherche et pour des utilisations spécifiques).
C’est peut-être à cause de tous ces dérapages, jusqu’à présent plus ou moins contrôlés, que les créateurs de ces IA font mine de donner l’alerte. Pour se dédouaner le jour ou ça va partir en vrille et se généraliser. Alors le web nous enverra l’image d’un monde dystopique et factice où plus rien n’a de valeur et où les manipulateurs de tous ordres s’en donneront à cœur joie.

Il n’y a qu’à voir dans le monde actuel, celui du web 2.0, comment des outils comme les réseaux sociaux ont pu être manipulés pour influer sur des élections ou attaquer des personnes. Avec les IA, on passe à la vitesse supérieure et là, ce n’est pas viable.

Et il ne pourra pas non plus avec. Même pas en rêve. Parce qu’il ne saura ni quoi demander à l’IA pour obtenir les pièces dont il a besoin (il ne sait même pas quelles sont les pièces dont il a besoin) ni comment assembler ces pièces ensemble (avec les adaptations nécessaires pour que ça marche…). Tout ça, ça nécessite déjà à la base des connaissances avancées sur ce qu’on veut… En l’occurrence, c’est bien un expert en sécurité qui a réussi à faire pondre des briques de malwares à ChatGPT, pas une brêle en informatique… Demande à une vraie brêle en informatique de le faire. Et là tu verras que non, il n’y arrivera pas.

Pour la désinformation, c’est une autre affaire. Parce que là effectivement, ça ne demande pas forcément des compétences très poussées. Mais le quidam moyen aura quand même du mal à donner a « sa » création la visibilité qu’il faut. Car c’est ça le nerf de la désinformation, ce n’est pas la qualité du photo montage, on s’en passe très bien (y a qu’à voir le nombre de gens qui croient à la terre plate ou qu’on n’a pas marché sur la Lune…), c’est la diffusion de la fausse information. Une fausse information sans pouvoir de diffusion, ça reste bien sagement dans son coin. Comme les briques de malwares sans les connaissances pour les assembler…

Accessoirement, pour en revenir au cas du malware : écrire un malware basique comme celui qu’Aaron Mulgrew a fait, c’est à la portée de n’importe quel développeur. C’est juste un logiciel qui cherche les .doc/.docx/.pdf sur le disque dur et les envoie vers un Google Drive, le tout caché dans un économiseur d’écran (qui est un exécutable comme un autre). Vraiment, un développeur qui n’est pas capable d’écrire un tel logiciel en moins d’une journée de travail, il ne mérite pas le titre de développeur…

Après, il y a l’affinage pour ne pas être détecté par les anti-virus qui est sans doute plus compliqué (en l’occurrence, notamment le recours à la stéganographie… un truc dont la brêle lambda n’a même jamais entendu parler, donc aucune chance qu’il ait l’idée d’y recourir et demande à ChatGPT du code pour en faire…). Mais en même temps, la version de base qui échappait à plus de 90% des anti-virus, c’est déjà pas mal… Et si tu lis les explications de Aaron Mugler sur les solutions mises en œuvre pour rendre le code indétectable, tu verras que c’est bien lui qui a trouvé les solutions, en s’appuyant sur ses propres compétences et connaissances (et notamment, sur ses connaissances sur la façon de fonctionner de deux des anti-virus qui détectaient son malware), pour demander à Chat GPT d’écrire le code implémentant ces solutions… Bref, là encore, des solutions pointues obtenues par un demandeur pointu, pas par une brêle.

La vraie difficulté ensuite, c’est surtout, comme pour la désinformation, de réussir à diffuser le malware… Et là-dessus, Chat GPT n’aide pas.

1 « J'aime »

Certes. En fonction de la requête, ça exige plus ou moins de compétences évidemment. Y compris pour la désinformation qui demande des connaissances pour sortir quelque chose de viable (ou qui en prend les atours), même avec l’IA.

Ces outils abaissent le niveau des compétences requises, jour après jour. Ce qui était impossible hier le deviendra rapidement. Ce qui explose le nombre de candidats potentiels. Pour certaines tâches déjà, savoir écrire suffit, quand il y a quelques mois seulement c’était impensable.

Les dérapages actuels sont des alertes. Plus ou moins contrôlées. Pour le moment. Quand ces outils seront dans de nombreux foyers, avec des excités derrière les claviers, ça ne pourra que devenir incontrôlable. Le web deviendra une jungle où la vérité et l’éthique auront une place encore plus relative qu’actuellement. D’où la nécessité de légiférer et d’encadrer.

De façon plus générale, là où ça partira en vrille, c’est quand un grand nombre de données toxiques seront accessibles au plus grand nombre. Donc demain.

Quant à la diffusion, rien de plus facile. Déjà avec le web 2.0 on constate que de tels contenus ont beaucoup plus de chances de circuler que du contenu sérieux. Plus c’est pourri, plus ça circule. Dans tous les domaines, les IA, couplées au dark web et au web 2.0, on un pouvoir de nuisance exponentiel.

chatGPT, crée moi du code TRUC :

  • qui va récupérer tous les document word sur un disque dur
  • qui va ajouter la macro TRUC dans ces documents en auto exécutable
  • et qui va écrire sur toutes les page du doc word TRUC WUZ HIRE, TRUC RULEZ
    En quoi c’est un virus ?

Autre réflexion : ça rappelle mon patron qui me fait des specs à l’arrache, puis qui s’en accapare les mérites du programme une fois qu’il est fait et qu’il marche bien.

Tout à fait d’accord avec vous. Les IA purement malveillantes ne semblent pas encore exister mais pour combien de temps ? La prudence, dans cette jungle qu’est internet, me semble être sage. Attention aux fausses bonnes idées dont l’enfer est pavé !

1 « J'aime »

Si tu lis bien, 5 antivirus ont jugé sa première ébauche de suspicieux, ce qui l’a « motivé » à affiner pour le rendre indétectable sur Virustotal. Donc les 5 qui le détectaient dans sa préversion…comment te dire…

Les commentaires me font sourire. Il faut faire une loi…, il faut interdire…, il faut mettre des barrières…, etc… Nous avons des milliers de lois, de règlements, de principes, et l’application est très limitée et chaque jour nous voyons des exemples de transgressions. Donc je pose la question: comment faites vous pour faire appliquer des limites à un système qui agit mondialement? L’exemple des réseaux sociaux pourrait vous donner la réponse : « Ben on sait pas, et en fait on ne sait pas le faire ». Prenons juste l’exemple des feux rouges, postez vous à un carrefour et regardez. Transposez au monde entier.

1 « J'aime »

Mais… sérieusement ? C’est le titre qui est « malveillant ». :frowning:
Et littéralement « corrigé » dans la 1ère phrase qui le suit =>

« Un chercheur en cybersécurité a pu contourner les sécurités de ChatGPT et lui faire écrire un programme malveillant non détecté par les antivirus. »

C’est le chercheur en cybersécurité qui a créé le programme. Via (grosse emphase sur le « via ») l’intermédiaire de ChatGPT (et de son ordinateur, et de son écran, et de sa chaise, et de son bureau, et de… vous voyez où je veux en venir ?).

C’est ridicule de titrer ça.

Et ça n’a absolument rien de nouveau. Depuis la sortie de cette IA le but du jeu est de contourner les « mesures » qui contraignent son usage.
On peut très certainement lui faire écrire la pire constitution du monde possible, en contournant tout ce qui est à priori illégal. Devra-t-on alors titrer aussi faussement « ChatGPT a mis au point la pire constitution du monde pour le prochain dictateur, repérée par les ONG les plus vénères » ?

1 « J'aime »

Absolument d’accord.
Toute cette opération ne me semble servir qu’à faire du buzz autour du chercheur et à faire parler de lui. Bon, apparemment ça marche.
Visiblement, il n’aurai pas eu besoin de ChatGPT pour créer son virus, et il connait suffisamment bien comment fonctionnent les anti-virus pour pouvoir les contourner.
On peut penser, à tort ou à raison, que les IAs sont dangereuses mais en l’occurrence l’expérimentation du chercheur n’a rien montré du tout dans ce sens.
Comme l’a dit un visiteur, l’expérience ne montre pas que ChaGPT permet à une « brêle en informatique » de faire un virus non détectable.

1 « J'aime »

Tout à fait.
Quelqu’un qui n’a pas le niveau, ni la volonté, ni l’idée, ne fera rien de l’outil !

Si on me donnait une centrale nucléaire, je saurais pas quoi en faire ni la faire tourner (ça serait juste une catastrophe. :D).
Si je devais opérer quelqu’un, et que je demandais à l’IA, je saurais pas non plus comment faire ça bien car j’ai pas du tout l’expertise pour ça.

L’IA ne remplace pas l’expérience. Elle fait gagner du temps à ceux qui ont déjà des compétences dans le domaine où ils posent des questions. C’est là son intérêt, et son potentiel.

Le jour où un gamin de 2 ans est capable de faire pondre un virus indétectable à une IA, alors on pourra rediscuter du danger du truc. Ou de la mauvaise sécurité générale en vogue, parce que si un gamin arrive à faire ça, pourquoi il n’y a pas eu quelqu’un pour faire exactement l’inverse et demander à l’IA un audit de sécu’ sur son système pour anticiper les défenses ?
Il suffit de poser la question à l’envers… ou de tester son propre système. Puis de corriger.

C’est pour ça qu’il faut poser l’inverse et son contraire à une IA. Pas uniquement dans le sens qui nous intéresse. Ça permet aussi de voir quand elle se rate.