Commentaires : ChatGPT a mis au point un redoutable malware, repéré par un chercheur

Un chercheur en cybersécurité a pu contourner les sécurités de ChatGPT et lui faire écrire un programme malveillant non détecté par les antivirus.

Oui enfin, si vous demandez a des développeurs de faire des bout de code segmenter pour les réunir à la fin… ils vont aussi faire des malware "à l’insu de leur plein gré ".

3 « J'aime »

Leur IA en + d’avoir des biais politiques elle nous fais des virus faits maison
Ca commence à faire beaucoup. Pas très Charlie tout ça

Exactement comme les terroristes segmentent la conception d’une bombe artisanale, en fragmentant le process. Chaque composante prise séparément ne ferait pas de mal à une mouche. Mais entres des mauvaises mains ça peut faire BOOM! :bomb:

Même plus besoin d’aller sur le dark web.

On est loin du monde merveilleux où l’IA bienveillante détecte des maladies rares sur des radios ou aide à lutter contre l’illettrisme. Des fonctions bénéfiques marginales qui risquent de n’être que des cache-misères pour l’immense majorité des utilisations qui seront toxiques, complotistes, nuisibles ou criminelles.
L’outil idéal pour tous les tarés. Avec une force décuplée en donnant le pouvoir de conception à des gens qui n’auraient jamais pu nuire sans ces IA. Les fake news et autres complotismes qui ont déjà fait vaciller des démocraties sur le web 2.0 ne ressembleront qu’à des bombinettes ou des pétards mouillés en comparaison. Surtout quand les IA spécialisées dans un domaine seront utilisées de façon complémentaires. Donc demain.

Des news du genre à propos des IA, on va en avoir de plus en plus. Arrêter le monstre avant qu’il ne nous échappe complètement.

2 « J'aime »

vidarusny : « Oui enfin, si vous demandez à des développeurs de faire des bouts de code segmentés pour les réunir à la fin… ils vont aussi faire des malwares à l’insu de leur plein gré. »

Faux et fallacieux. 99,99% des dév en question ne sauront pas le faire. Les 0,01 restants travaillent pour des gouvernements, des institutions cadrées, ou sont déjà dans l’illégalité quand ce n’est pas pour des états criminels comme la Russie ou l’Iran. Autant vendre des kits pour fabriquer des armes et des bombes dans les supermarchés. Vous vous attendez à quoi ?
L’IA va décupler ce pouvoir de nuisance. Elle apporte des compétences aux déséquilibrés, aux criminels et aux terroristes, qu’ils n’auraient jamais pu avoir sans. Ce ne sont pas les esprits chagrins qui manquent. Même piètres développeurs.
C’est une arme nouvelle et extrêmement redoutable dans la guerre asymétrique. Il n’y a même pas de débat, sauf à être aveugle, raisonner tout de travers et en creux. En clair un truc pour les nuisibles et les tarés.

4 « J'aime »

Ou un super outil pour assister un programmeur comme pour la majorité des utilisateurs qui l’utilisent ainsi. Ou pour essayer de comprendre une panne, pour faire une recette, pour x ou y autre raisons… C’est pas l’outil le soucis hein…

2 « J'aime »

Si vous pouvez réparer votre vélo avec une mitraillette accessible à tous, c’est pas l’outil le souci hein…

Il faut encadrer pour certains usages (santé, sciences… ) et légiférer pour le reste. En clair, bloquer ces outils pour l’essentiel.

Ce n’est pas ce qu’il dit.
Il dit que la malveillance est dans l’organisateur du virus.
Ici, c’est le chercheur, mais ça pourrait être un gouvernement ou autre.

1 « J'aime »

Merci de l’explication de texte. Que je vous envoie en retour.
C’est justement ce que j’explique, si vous avez la volonté de comprendre. Ces outils donnent des capacités de nuisances aux tarés qui sans ça, ne peuvent pas faire du tort (ou alors avec beaucoup plus de moyens et de compétences, ce qui limite le nombre de candidats).
Regardez ce que donne la vente d’armes accessible à tous aux USA. 180 morts quotidiens. Soit, 1 Bataclan par jour. C’est beau le libertarisme…

L’IA est une arme. Mise entre les mains des malfaisants, ça décuple leurs capacités de nuisances. Même avec des QI de 107.

Sauf à être pro NRA, pro Russe, pro dictature, anti démocratie ou juste haineux de son prochain, on ne met pas des armes à la disposition de tous. La majeure partie des IA doivent être restreintes à des usages spécifique et très encadrés. Elles n’ont rien à faire accessibles à tous sur le web. Du moins, pas en l’état actuel.

Je pense aussi que ce n’est pas l’outil, le souci, c’est l’usage que l’on en fait. Il y aura toujours des antisociaux et des psychopathes ne serait-ce que sur la route du super-marché.

Il faut faire attention et prendre ses précautions comme d’habitude face au danger des virus : ne pas fréquenter certains sites, ne pas télécharger des choses qui ne sont pas de source fiable etc…

1 « J'aime »

Donc, distribution d’armes pour tous. C’est en lisant ce genre de commentaires qu’on réalise que légiférer et partiellement interdire n’est pas une option, mais une obligation.

Je suis pour le fait de légiférer à quelques niveaux mais pas pour interdire ChatGPT complètement. Et puis ChatGPT, ce n’est pas comme distribuer des armes à tous ! :smiley:

Cela viendrait même pas à l’esprit de la plupart des gens.

Mettre à la disposition de chacun un outil qui permet de concevoir aisément des outils virtuels ou réels, même avec 0 compétence en développement, en conception d’armes physiques ou de désinformation, c’est mettre à la disposition de tous une arme qui peut attaquer les citoyens, les institutions, les entreprises, les démocraties, manipuler, nuire et tuer. De façon directe ou indirecte. On a déjà assez du web 2.0.

La Russie, l’Iran, la Corée du Nord et les ennemis de la démocratie n’attendent que ça. D’ailleurs ils sont déjà à l’œuvre et seraient ravis d’avoir à leur service des milliers de petites mains armées de ces IA, pour faire le sale boulot à leur place.

De toute façon, l’interdiction de certaines IA au public va tomber dans de nombreux pays. L’Italie, peut-être l’Allemagne et bientôt beaucoup d’autres on déjà entamé le process. Même aux USA ces IA font débat. Et même le concepteur de ChatGPT a alerté sur les dangers de cet outil et la probabilité qu’il échappe complètement à son créateur.

C’est une IA. Tout ce qu’elle pond, un mec mal intentionné trouvera ses infos sur le web, peut être en plus de temps mais arrivera au même résultat, avec même plus de compréhension car il y aura passé plus de temps. Des générateurs de malware, ça existe depuis belle lurette hein… L’IA n’a pas créer un malware, le mec lui a demandé de faire un bout de code pour ceci, un pour cela etc… Comment voulez vous empêcher cela.

Si vous pouvez réparer votre vélo avec une mitraillette accessible à tous, c’est pas l’outil le souci hein…

Non mais avec une clé à molette je peux dévisser un écrou. Et puis je peux aussi ouvrir un crane… Donc non ce n’est pas la faute de l’outil.

1 « J'aime »

Faux.
Non un quidam qui est une brêle en informatique ne pourra pas concevoir un outil extrêmement pointu de piratage sans ces IA. Même pas en rêve.
Idem pour la désinformation en temps réel, pondre une flopée d’images fausses dans le but de manipuler ne s’improvise pas, sauf à avoir une armée d’infographistes anti démocratie sous la main pour pas un rond. Bon courage pour le recrutement. Vous vous trompez complètement et n’avez pas saisi la puissance de ces outils.
Essayez de faire ce que vous dites. Pondez-nous un outil de piratage en quelques heures ou une campagne complète de dénigrement en quelques minutes avec le verbatim et les images adéquats. Si d’ici 1 à 2 heures vous n’avez pas réussi sans les IA de toutes natures, vous comprendrez que votre discours ne tient pas. Et s’il vous faut des semaines, voir des mois en éclatant votre PEL, ça arrivera trop tard.

Si les IA avaient la capacité de nuisance d’une clé à molette, le souci ne se poserait pas.
Ce n’est pas de la faute de l’arme si des nuisibles détruisent des citoyens ou renversent des démocraties. Donc autant distribuer les armes dans les supermarchés… On voit ce que ça donne de l’autre côté de l’Atlantique. Aussi bien pour ce qui est des armes réelles que virtuelles. Dans un cas comme dans l’autre, compter sur la responsabilité de chacun est un leurre. C’est aux états de légiférer et c’est ce qu’il va se passer.

ni faux ni fallacieux tu le reprends même avec ton exemple et les bombes…
L’intelligence artificielle n’est dans le cas cité ni meilleur ou pire que l’humain, elle ne peux pas présumé de l’utilisation de ces réponses. Sinon elle ne dirait ni ferait jamais rien.
Exemple un politique ou tu tires une phrase d’un discours pour le décrédibiliser… l’aurait il fait si il pouvait anticipé son utilisation…
On parle d’un outils, le bien ou le mal dépend ce que l’on fait de l’outils… alors c’est un discours du lobby des armes à feu américain, alors ce n’est pas bien… mais combien de couteaux tuent à travers son utilisateur ? devons nous interdire tous les couteaux ?
Tu parles de risque complètement nuisible et crédible, mais ça ne veut pas dire que l’outils est à jeter, comme le bébé et l’eau du bain…
J’ai lu des articles plutôt positif d’un point de vue santé, notamment dans l’analyse des radios… ça peut sauver des vies.
La encore ce n’est pas l’outils le problème, c’est bien qui comment et pourquoi on l’utilise qui compte. Effectivement, je ne sui pas persuadé que l’ouvrir à tout le monde, au moins au début, soit une bonne idée.

tu dis :
L’IA est une arme. Mise entre les mains des malfaisants, ça décuple leurs capacités de nuisances. Même avec des QI de 107.
tu prends déjà parti !! pour moi je dirai :
L’IA est un outil. Mise entre les mains des malfaiteurs c’est une armes, entre les mains des docteurs ça sauve des vies.

Quand tu reprends « l’explication de texte » , tu veux nous dire quoi ? que tout le monde est en tueur en puissance ? que personnes ne sait raisonner ? quand tu dis « on ne met pas des armes à la disposition de tous », je prendrais l’exemple de l’arme nucléaire qui ne sont que dans le mains de certains, et qui font trembler le monde tout autant. Je me demande donc qui sont les certains à qui tu accorderai ta confiance ?

Enfin: « Non un quidam qui est une brêle en informatique ne pourra pas concevoir un outil extrêmement pointu de piratage sans ces IA » il ne t’aura pas échappé que le teste n’est pas effectué par une brêle informatique. Tout le monde n’est pas apte à faire un algorithme alors scinder cette algo pour en faire des bouts de code capable de déjoué des systèmes de sécurité sans même savoir comment fonctionne le dit système ??? Franchement non, il faut arrêter !

Oui il y a un risque mais il faut arrêter le « tout le monde peux ». C’est loin d’être aussi simple, il faut aussi clairement des compétence. La on est clairement dans le yaquafontquon… Je t’accorde, comme le dit l’article que pour une personne ayant les compétence ça va plus vite, c’est déjà de trop, il faut faire en sorte que ça ne se reproduise pas.

Quant à l’interdiction de certains états tu te glorifies que des démocraties interdisent l’outils à tous ? alors qu’en parallèle tu nous explique que les autres systèmes politiques sont le problème et qu’il ne vont pas l’interdire ? J’entends donc que la chine est un autre ? pourtant il sont à priori pas mal avancé sur l’IA … ça me parait déjà trop tard pour interdire.

1 « J'aime »

Sophisme. Ces IA elles, permettent d’être dans l’action en fourbissant les armes adéquates en temps réel ou à peine plus aux nuisibles. Une arme ne pense pas en effet.
Si vous n’êtes pas capable de percevoir la dangerosité de ces outils, normal que vous prêchiez leur mise à disposition pour tous. Sauf que dans tous, ça inclue des milliers de gens ou d’entités criminelles qui sans ça ne pourraient nuire. Ça va de l’ado perturbé aux états terroristes. Et ça fait du monde.
Il faut encadrer, légiférer et dans certains cas interdire. Que vous soyez d’accord ou pas. Ne serait-ce que pour vous protéger vous et chacun de nous. Citoyens, entités diverses, états…

Vous ne m’avez même pas lu. C’est ce que j’explique, mais sans faire d’amalgame fallacieux comme vous.

#dialoguedesourds

Je vois la dangerosité, mais je le redis l’exemple donné n’est pas donné à tous. C’est juste une réalité ! J’ai même dit que l’ouvrir à tous dans un premiers temps n’est pas forcément une bonne idée… mais vous n’avez pas du le lire non plus…

Et non je ne fais pas d’amalgame, j’observe par contre que vous semblez vouloir faire peur et essayant de tout simplifier…

Et non encadrer pour certains et légiférer pour les autres ne veut rien dire en soit, ce n’est ni interdire, ni résoudre les problème.
Ensuite les sciences la santé et les trois petit points peu faire beaucoup de monde…

Je suis d’accord sur le fait qu’il faut créer les barrières pour sécurisé l’ensemble. L’expérience dans l’article a justement pour rôle de savoir si des dérivent sont possible, et voir comment s’en protégé… complètement fermé tu ne crée pas de garde fou ! D’ou l’importance des tests réalisés, limité l’accès est une bonne chose au début, l’ouvrir au fur et a mesure permet d’évité les biais…

Tous, donc une arme qui sera utilisée pour nuire avec des moyens décuplés jamais vu. Vous croyez quoi ? Que chacun sera bienveillant envers son prochain ? Bienvenu sur terre en 2023.

L’évidence, la puissance de ces outils n’est plus à démontrer. Si même le créateur de ChatGPT donne l’alerte sur la dangerosité de cet outil, ça ne vous met pas la puce à l’oreille ?

C’est vous qui simplifiez. Je n’ai jamais dit que c’était simple. C’est pourquoi il faudra un peu de temps. Que des géants de la tech américaine appellent à un moratoire (comme demandé par certains), le temps d’encadrer tout ça. Mais il ne faudra pas que ça prenne des années.

Finalement, nous ne sommes pas si en désaccord que ça. En effet, il faut placer des barrières.

J’ai jamais dit être en total désaccord, c’est le discours volontairement agressif et dépeignant un monde tout en noir qui me pose problème.

Ce petit refrain qui semble dire que ceux qui ne sont pas d’accord avec toi ne savent pas réfléchir par exemple… Alors non je ne suis pas d’accord avec ton approche, ce qui ne veut pas dire que je vis dans le monde des bisounours. Un outils quel qu’il soit peut être dangereux comme il peut etre vraiment utile. Faut il s’interdire l’outil en question demande à bien poser le pour et le contre, et faut il l’avoir bien mesuré… Une fois mesuré on applique les garde fou nécessaire.
Tu as pris l’exemple des armes à feu, l’exemple est bon, d’abord parce que des démocraties on fait des choix différents sur cet outils. Ensuite parce que les plus restrictifs sont quand même empêtrer dans des commerces illégaux ce qui pose la question du contrôle. Ensuite pour l’utilisation de conquête fait par certain et de défense pour d’autre…
Que de nuance, et il en manque bien d’autre, pour un outils de toute façon créé pour tuer…
Ce que n’est pas l’IA. tu pars du principe qu’elle est dors et déjà dévié a cette fonction, je pense que non et qu’il faut faire en sorte que ce ne soit pas le cas ! Je pense que c’est notre différence.