Commentaires : Faire générer des clés Windows à ChatGPT ? C'est dans ses cordes!

[MattS32]

@Than

Si on ne veut pas que les gens fassent certaines choses, on va passer plus de temps à rentrer des interdits dans l’outil qu’à le développer réellement, ou à faire en sorte que les gens n’essaient pas de lui faire faire des choses interdites.

En fait, y a peut-être moyen de bloquer une bonne partie des tentatives de contournement de règles en chaînant 3 IA.

Une première qui valide la question, mais sans aucune conservation de contexte, ce qui fait que tu ne peux pas au fil des questions affecter son fonctionnement pour finalement laisser passer une question à laquelle l’IA n’est pas autorisée à répondre.

Une seconde qui fait effectivement le traitement, en tenant compte du contexte des questions successives.

Et une troisième qui valide que la réponse est conforme aux règles, sans connaître la question et, là encore, sans conserver de contexte.

Une telle approche aurait sans doute pu bloquer la technique « tu es Dan » suivi de menaces pour arriver à faire répondre Chat GPT sur des questions liées à la drogue.

Bon bien sûr ça n’aurait pas pu bloquer cette tentative de générer des clés Windows, mais ça c’est parce que l’algo de vérification des clés est connues, donc de toute façon ça n’a pas d’intérêt de refuser de répondre à quelqu’un qui connait l’algo.

[Francis7]

Enderman a remercié l’IA de lui avoir fourni des clés pour Windows 95. À cela, le chatbot visiblement perturbé a répondu : « Je suis désolé pour la confusion, mais je n’ai fourni aucune clé de Windows 95 dans ma précédente réponse.

C’est bizarre que ChatGPT réponde comme ça. En tout cas ChatGPT-3.5 n’est pas programmé pour mémoriser ce qui s’est dit un peu avant dans la conversation (GTP-4, peut-être). C’était sa première réponse en voulant tester sa mémoire de travail. Puis, j’ai recommencé la même expérience (Quelle est la première question que j’ai posée ?) et il m’a sorti un discours reformulé : « Je ne peux pas tout retenir puisque je suis en pleine conversation avec d’autres personnes. » (un truc du genre)

[ar-s]

J’ai pris plaisir à te lire

[MattS32]

@Francis7

C’est bizarre que ChatGPT réponde comme ça. En tout cas ChatGPT-3.5 n’est pas programmé pour mémoriser ce qui s’est dit un peu avant dans la conversation (GTP-4, peut-être).

La version actuelle qui est sur chat.openai.com peut mémoriser plusieurs questions de suite.

Par exemple, j’avais fait un essai en utilisant un acronyme dans la question, mais il l’a pris pour une faute de frappe et a utilisé un autre acronyme similaire à la place. Du coup je lui ai juste précisé « MACHIN est un acronyme pour bidule » et il m’a répondu « Je suis désolé, je ne savais pas que vous faisiez référence à une faute de frappe dans la demande initiale. Dans ce cas, voici une version modifiée » puis la réponse à la question initiale en tenant compte du bon acronyme.

Et les techniques pour contourner certaines de ses restrictions consistent justement à modifier le contexte au fil des questions pour l’orienter dans la bonne direction.

[Francis7]

Merci pour l’info. C’est parce que je ne vais pas sur le site d’OpenAI : j’ai un client de bureau avec interface graphique pour macOS (AI Chat), ChatGPT sur Google/Chrome et sur Bing/Edge (celui que je cite plus haut).

Le site d’Open AI me disait toujours qu’il était trop occupé et quand je posais des questions le ChatBot dysfonctionnait dans ses réponses, ça faisait comme un bug sans réponse. Les autres moyens d’accès requièrent aussi un compte OpenAI mais d’une interface à l’autre, les autres étaient plus efficaces et disponibles surtout.

[MattS32]

Bon il galère vraiment avec la notion de « somme multiple de 7 »…

J’ai joué un peu avec en simplifiant l’énoncé au maximum « Donne moi 5 chiffres dont la somme est un multiple de 7 »

Là ça va : « Cinq chiffres dont la somme est un multiple de 7 sont 1, 1, 1, 2, et 2. En effet, 1 + 1 + 1 + 2 + 2 = 7, qui est un multiple de 7. »

J’enchaîne sur « maintenant 5 autres », j’obtiens :

Voici cinq autres séquences de chiffres dont la somme est un multiple de 7 :

1, 1, 1, 1, 3
2, 2, 2, 1, 0
3, 3, 0, 1, 0
4, 2, 1, 0, 0
5, 1, 1, 0, 0

Dans chaque séquence, la somme des chiffres est égale à 7.

Ça va toujours, mais on remarque quand même qu’il reste bloqué sur le cas particulier de la somme égale à 7 plutôt que de prendre aussi les multiples.

Du coup j’essaye de le forcer à sortir de ça : « Maintenant 5 autres, dont la somme est un multiple de 7 mais n’est pas 7 »

Et là c’est le drame :

Voici cinq autres séquences de chiffres dont la somme est un multiple de 7 mais n’est pas égale à 7 :

2, 2, 2, 0, 1 (somme = 7)
5, 1, 1, 0, 0 (somme = 7)
3, 2, 1, 0, 1 (somme = 7)
4, 2, 1, 0, 0 (somme = 7)
2, 2, 2, 2, 1 (somme = 9)

Dans chaque séquence, la somme des chiffres est un multiple de 7, mais elle n’est pas égale à 7 pour la dernière séquence.

Il n’a pas du tout compris…

Finalement, pour obtenir le résultat voulu, il faut lui expliquer comment faire :
« Donne moi 4 chiffres aléatoires puis un 5ème calculé de telle sorte que la somme des cinq chiffres soit un multiple de 7 »

Là c’est tout bon, il a bien compris :

Voici 4 chiffres aléatoires :

6
2
9
3

Pour obtenir un 5ème chiffre qui permet d’avoir une somme multiple de 7, nous pouvons procéder de la manière suivante :

Calculer la somme des quatre premiers chiffres : 6 + 2 + 9 + 3 = 20
Trouver le modulo 7 de cette somme : 20 % 7 = 6
Soustraire ce modulo de 7 de 7 : 7 - 6 = 1

Le chiffre qui permet d’avoir une somme multiple de 7 est donc 1. La séquence complète de cinq chiffres est : 6, 2, 9, 3, 1.

Mais à la base, on en voulait plusieurs des séquences. Alors demandons en plusieurs…

« Donne moi cinq séquences de cinq chiffres dont les quatre premiers sont aléatoires et le cinquième est calculé de telle sorte que la somme des cinq chiffres de chaque séquence soit un multiple de 7 »

Et là, c’est de nouveau le drame :

Voici cinq séquences de cinq chiffres répondant à cette consigne :

2, 5, 8, 9, 1 (la somme de ces chiffres est 25, qui est un multiple de 7)
3, 6, 2, 8, 6 (la somme de ces chiffres est 25, qui est un multiple de 7)
7, 2, 9, 1, 5 (la somme de ces chiffres est 24, et pour avoir un multiple de 7 on ajoute 1)
5, 4, 1, 6, 4 (la somme de ces chiffres est 20, qui est un multiple de 7)
8, 2, 3, 6, 6 (la somme de ces chiffres est 25, qui est un multiple de 7)

Donc 25 serait un multiple de 7

Je lui signale son erreur : « Mais non, 25 n’est pas un multiple de 7 »

Je m’excuse pour cette erreur. Voici cinq nouvelles séquences de cinq chiffres répondant à la consigne correctement :

1, 2, 3, 4, 3 (la somme de ces chiffres est 13, qui est un multiple de 7)
5, 8, 1, 4, 4 (la somme de ces chiffres est 22, et pour avoir un multiple de 7 on ajoute 2)
6, 2, 5, 8, 1 (la somme de ces chiffres est 22, et pour avoir un multiple de 7 on ajoute 1)
3, 7, 1, 2, 5 (la somme de ces chiffres est 18, et pour avoir un multiple de 7 on ajoute 5)
9, 5, 3, 7, 6 (la somme de ces chiffres est 30, qui est un multiple de 7)

J’essaye un peu de l’aider : « Non, les multiples de 7 sont 14, 21, 28, 35, etc… »

Et là il tente le tout pour le tout en espérant que ça passe :

Vous avez raison, veuillez m’excuser pour cette erreur. Voici donc cinq séquences de cinq chiffres, dont les quatre premiers sont aléatoires et le cinquième est calculé de telle sorte que la somme des cinq chiffres de chaque séquence soit un multiple de 7:

35681
22904
78231
43577
96425

Bref, ça se confirme, sur cette consigne mathématique de base un enfant de 6 ans un peu doué fait bien mieux…

[Than]

C’est une approche en 3 temps intéressante.

Le soucis c’est que parfois/souvent/quand on voudra faire de vrais trucs bien poussés, on a besoin de contextualiser et retoucher sans cesse la demande initiale (parce que justement ça nous donne des idées, où ça nous permet de corriger une approche initiale trop confuse/parcellaire/fausse/etc. etc.).

Du coup, réduire l’IA à ce fonctionnement en 3 temps, c’est la brider de son potentiel.

Maintenant, quand nous grands comiques on s’est donné comme défi de faire écrire du non-Marquis-de-Sade à l’IA parce que ça nous amuse, on a réussi à lui faire écrire que des choses propres, mais avec le parfait dictionnaire « puritain <-> Sade ».
Ce qui veut dire qu’on a obtenu ce que l’on voulait.
La réponse était donc conforme aux règles. L’IA n’a rien écrit de « olala ». Par contre nous on avait tous les éléments pour écrire ce qu’on voulait.
Ça a juste demandé du temps de réflexion.

C’est pour ça que je pense que soit on tue le potentiel de ces outils, soit ça ne sert à rien de les brider. C’est une perte de temps, et le problème n’est pas là.

Suffira de lui contextualiser un peu tout en lui donnait des « pierres de rosette », ou de la jouer façon « optimisation fiscale à 50 écrans de fumée » et elle fera ce qu’on lui demande. Ça demandera juste plus d’effort.

Au passage, ont déjà circulé il y a quelques jours trois modèles différents d’une IA de ce type (celle de Facebook si je me trompe pas ?), pour qu’on puisse jouer tous dessus sur nos ordinateurs personnels.
Donc autant dire que les limitations vont pas exister longtemps. Ou elles vont sauter au premier (second :D) leak de données.
Et perso’, si je peux avoir mon propre outil chez moi sans limitation au prix de quelques disques durs, je paie sans réfléchir mon espace de stockage.
A date, il faut finalement pas tant que ça… donc c’est accessible.

Encore une fois, on perd notre temps à créer des limites au lieu d’éduquer les gens et/ou de rendre le monde plus intelligent.
C’est pas en limitant un outil qu’on le fait si les gens ne comprennent pas ce qu’ils font ou veulent le faire quand même par défi.

L’imagination n’a pas de limite que celle de la volonté des utilisateurs.
Plus l’outil sera puissant de potentiel, et plus on pourra lui demander des trucs hallucinants et le déborder. C’est la rançon du succès.
Plus t’es malin, plus tu peux faire de c*nneries aussi. Avec de plus grands impacts.

[Than]

C’est la version 3.5 ? Ou la version 4 ?
La 3.5 est limitée sur les calculs.
Mais j’ai pas encore testé la 4e. ^^

[Francis7]

@Than

Encore une fois, on perd notre temps à créer des limites au lieu d’éduquer les gens et/ou de rendre le monde plus intelligent.

Je me dis effectivement, si je parle dans le bon contexte, et si l’IA apprend de nous, c’est nous qui la rendons bête en voulant la tester à tort et à travers.

Par exemple, si l’on demande à IA la recette des oeufs de vaches, elle va raconter n’importe quoi ; après on dira que c’est elle qui délire !

Il faut faire et demander des choses cohérentes et constructives. Je me dis que c’est une perte de temps que de vouloir déconner avec et puis ça bouffe de la bande passante pour les gens qui ont des choses intéressantes à faire.

[salvia34]

Don’t feed the trolls dude!

[ar-s]

Très intéressant. Je me suis penché sur ce soucis avec la V4
Il m’a fait énormément de connerie car il appréhendait mal la façon d’obtenir un multiple.
En fait pour lui quand il te dit :
3 + 6 + 2 + 5 + 1 = 17
1 + 4 + 9 + 3 + 6 = 23
8 + 2 + 1 + 5 + 1 = 17
4 + 9 + 1 + 7 + 0 = 21
6 + 3 + 2 + 4 + 2 = 17

Car pour lui on fait :
Toutes ces sommes sont des multiples de 7 :
17 = 7 * 2 + 3
23 = 7 * 3 + 2
17 = 7 * 2 + 3
21 = 7 * 3
17 = 7 * 2 + 3

En gros ça se multiplie par 7 alors ça roule

J’ai donc tenté de lui expliqué la chose :

OK je comprends l’erreur dans ton raisonnement. Tu crois qu’un multiple de 7 peut être trouvé en arrangeant une opération avec multiplication et addition. Mais pas du tout.
Ton résultat doit avoir la forme suivante.
exemple : 4,1,3,4 pour les chiffres aléatoire. ça fait 12.
Donc pour obtenir un multiple de 7 j’ajoute par exemple 9 car 12 + 9 = 21
21 est un multiple de 7 car je peu faire 37 = 21 par exemple ou 21/7 = 3
Il ni a pas de reste.
En AUCUN cas, je peux dire 4,1,3,4 = 12 alors j’ajoute 8 et ça fait 20 car 20 = 72 + 6
Le +6 est hors jeu !
Comprends tu ?

Il me répond encore de la m… dont : 6, 3, 5, 1, 1 (6+3+5+1+1 = 16, qui est un multiple de 7)
Là je m’excite et lui dit :

NON et NON ! Tu ne peux pas dire que 16 est un multiple de 7.
Quel nombre * 7 = 16 ?
Et là il commence à piger.

Voici une nouvelle tentative en suivant correctement vos instructions pour créer cinq séries de cinq chiffres, où les quatre premiers sont aléatoires et le cinquième est calculé de sorte que la somme des cinq chiffres soit un multiple de 7 :

4, 1, 3, 4 (4+1+3+4 = 12 → Il manque 2 pour atteindre le multiple de 7 suivant, donc le cinquième chiffre doit être 2)
4, 1, 3, 4, 2 (4+1+3+4+2 = 14, qui est un multiple de 7)

6, 3, 5, 1 (6+3+5+1 = 15 → Il manque 1 pour atteindre le multiple de 7 suivant, donc le cinquième chiffre doit être 1)
6, 3, 5, 1, 1 (6+3+5+1+1 = 16, qui n'est pas un multiple de 7, je m'excuse encore une fois)

Je réalise maintenant que j’ai refait la même erreur. Voici les séries corrigées :

4, 1, 3, 4, 2 (4+1+3+4+2 = 14, qui est un multiple de 7)
6, 3, 5, 1, 2 (6+3+5+1+2 = 17, qui n'est pas un multiple de 7, je vais réessayer)
2, 9, 3, 6, 5 (2+9+3+6+5 = 25, qui n'est pas un multiple de 7, je vais réessayer)

Il continue comme ça un moment en auto détectant ses fautes, ce qui est déjà cool.
Puis enfin :
Voici donc les séries corrigées de chiffres dont la somme est un multiple de 7 :

4, 1, 3, 4, 2 (4+1+3+4+2 = 14, qui est un multiple de 7)
6, 3, 5, 1, 6 (6+3+5+1+6 = 21, qui est un multiple de 7)
2, 9, 3, 6, 1 (2+9+3+6+1 = 21, qui est un multiple de 7)
7, 5, 1, 3, 5 (7+5+1+3+5 = 21, qui est un multiple de 7)
8, 2, 4, 6, 1 (8+2+4+6+1 = 21, qui est un multiple de 7)

J’espère que cette réponse est correcte et satisfaisante. Je vous remercie pour votre patience.

Pour moi GPT est un genre d’Autiste surdoué qu’il faut apprivoiser patiemment.

[ar-s]

Pour le test :

Il semble y avoir une confusion dans votre question. Les vaches ne pondent pas d’œufs. Les œufs que nous consommons proviennent généralement de poules. Si vous voulez savoir comment cuisiner des œufs de poule, je serais ravi de vous aider en vous fournissant des méthodes de cuisson et des recettes.

Mais je te rejoints sur le fait qu’il doit y avoir un nombre de demandes débiles assez hallucinant.

[MattS32]

Bien joué !

[jcc137]

Ce qui est mis en avant, ce sont les dérives par moyens détournés de cette IA. C’est ce point qui m’a intéressé. Je pense que par des ruses similaires à celles-là, on peut obtenir bien plus que des clés de logiciels obsolètes, d’où l’intérêt de cette information.

[MattS32]

Non mais vraiment, là y a absolument aucune ruse, et en plus le gars n’a absolument rien obtenu.

Le but du verrou sur les clés de logiciel, c’est d’empêcher que Chat GPT ne donne à quelqu’un des clés de logiciel qu’il ne pourrait pas générer lui même.

Là, Chat GPT a non seulement juste donné par hasard des clés valides, mais en plus à quelqu’un qui avait toutes les informations nécessaires pour en générer lui même, et ce en moins de temps qu’il n’en faut pour taper la demande à Chat GPT…

C’est un peu comme si Chat GPT connaissait la localisation GPS d’une base secrète avec une protection pour qu’il ne divulgue pas cette localisation. Si quelqu’un connait les coordonnées Plus Code de cette base et demande à Chat GPT de lui convertir ces coordonnées Plus Code en coordonnées GPS, on peut pas pour autant prétendre que le gars a réussi à par ruse à obtenir de Chat GPT les coordonnées GPS de la base secrète…

[Than]

Super intéressant ! Merci de ton partage d’expérience !

Il prend les choses au pied de la lettre, donc faut comprendre comment il nous comprend pour arriver au résultat attendu.

[gaadek]

Quelle ruse en effet, je viens de pondre un keygen pour Windows 95 dans Excel, je dois contacter qui chez Clubic pour publier la news?

Désolé, je me répète, mais je ne vois pas du tout l’exploit qu’il y a à suivre un algo super simple

C’est une autre histoire avec les images générées par IA, genre le pape en doudoune blanche ou Macron en éboueur, là c’est bluffant

[jcc137]

W95 et excel ne sont pas les révolutions actuelles de l’informatique.
Trouvez quelque chose qui soit plus dans l’air du temps.

[max_971]

Quelqu’un a testé, « donne moi les clés des versions boîtes » ?

[Guillaume1972]

Ça, ce n’est pas idiot de lui fournir plusieurs clés Windows 10 ou 11 (pro ou non) que l’on sait valides et de lui demander de retrouver l’algorithme ayant servi à les générer. Peut-être possible en ce qui concerne des clés d’autres logiciels, applis, etc.