Commentaires : ChatGPT récidive : après Copilot, l'IA génère des clés Windows valides

Une nouvelle méthode de jailbreak permet à ChatGPT de produire des clés d’activation Windows valides, renforçant les inquiétudes autour de la sécurité des IA génératives après l’affaire Copilot.

Le modèle économique de MS n’est plus la vente de licence de Windows, c’est un manque à gagner certes mais ça va pas faire écrouler le chiffres d’affaire.
Mais faire joujou avec un IA pour lui apprendre à créer des clé valides, c’est filou mais surtout ça ne servira pas que pour Windows…

6 « J'aime »

C’est l’occasion de faire table rase pour Windows Next.
il y a un paquet de PC qui ont migré d’un ancien Windows vers Windows 10 grâce à un programme généreux d’upgrade gratuit, et une part assez significative de PC qui ont ensuite migré vers 11 grâce au transfert de licence par le compte Microsoft sur leur nouveau PC. De fait, un Windows installé sans clé fonctionne quasi normalement au prix de plus de données collectées, un filigrane « Activate Windows » et une personnalisation limitée. Même les mises à jours fonctionnent car Microsoft ne peut pas se permettre d’avoir une partie du parc vulnérable.
Windows 12 devrait empêcher cela. Microsoft voudra probablement en faire un écosystème plus fermé/jardin clos centré autour de Copilot.

Non. ChatGPT ne recrée pas de clefs, mais recrache celles qu’il a pu observer.

Je te conseille cet article, de Korben:

https://korben.info/chatgpt-crache-cles-windows-trois-mots.html

5 « J'aime »

Sur internet traine des clés Windows. L’IA a appris avec ces données, et elle est donc capable de citer les clé apprises par cœur…

Ça me semble important de le préciser au cas ou certain pensaient qu’une IA était « intelligent » et qu’elle pouvait générer des clé Windows a partir de zéro… Non, les IA simulent une intelligence, et le titre de l’article porte a croire qu’elles ont encore réussi :wink:

3 « J'aime »

Attention, on ne peut absolument pas être aussi affirmatif. Il ne faut pas assimilé une IA à une base de données et un algo de recherche. Sauf entraînements et instructions spécifiwues, les IAs (LLMs) n’ont pas de « souvenirs » précis, c’est d’ailleurs pourquoi souvent quand on demande les références ou des explications sur les résultats, c’est un peu n’importe quoi.
Pour être sur que ce ne sont que des données directement trouvées, il faudrait vérifier si on retrouve un grand nombre de clés « générées » par ChatGPT sur le net. Si on est proche de 100%, alors oui c’est de la « mémoire ». Si on ne trouve pas ces toutes les clés et/ou qu’elles ne sont pas toutes valides, alors on peut en déduire que ChatGPT a bien trouvé un schéma de création de clés.
On utilise beaucoup les IAs pour faire des corrélations ou pour trouver des fonctions mathématiques reliant des données, et ça marche TRES bien. C’est bien plus fiable et bien plus rapide que ce qu’un humain peut faire. Alors pourquoi pas pour des clés Windows…

1 « J'aime »

Si ChatGPT a pu établir des corrélations pour générer de nouvelles clés, cela veut dire, qu’il y en avait vraiment beaucoup dans ses données d’apprentissage, ce qui est en soi également inquiétant :face_with_raised_eyebrow:

3 « J'aime »

C’est vrai pardon. Je ne sais pas pourquoi j’ai assimilé clé windows et clé de chiffrement. Pour ce cas que je me suis inventer, la seul explication aurait été qu’il citait des clé « apprises par cœur » (abus de langage, ça ne fonctionne pas comme ça).
Mais effectivement, il a pu reproduire un algo de génération de clé si il n’est pas trop complexe et qu’il a appris beaucoup des schémas proches.
Mea culpa

1 « J'aime »

Merci j’allais faire le même commentaire. « Générer » est ici un abus de langage. Il « génére » une réponse en s’appuyant sur des clefs existantes.

D’ailleurs la source n’emploie pas ce langage. Erreur dans la traduction peut être…

Bref, la prochaine fois que vous discutez avec ChatGPT, essayez peut-être de lui proposer une partie de pierre-papier-ciseaux, qui sait, il vous donnera peut-être les clés SSH de la NSA. J’déconne hein, faites pas ça !!!

Korben xD

1 « J'aime »

@Nmut C’est pas avec des prompts et des IAs grand public qu’on fait ça ↑, j’imagine.


T’en pense quoi ?

tout est là non ?

Et le plus fun c’est que parmi les clés que ChatGPT a généreusement offertes, y’en avait une qui appartenait à… Wells Fargo ! Oui, la banque américaine. Apparemment, leur clé Windows s’était retrouvée dans les données d’entraînement de ChatGPT… Du coup, l’IA l’a gentiment régurgitée quand on lui a demandé. La tête des mecs chez Wells Fargo quand ils ont appris ça.

Ça prouve une fois de plus que ChatGPT a mémorisé des trucs sensibles pendant son entraînement et Figueroa l’explique très bien : si une clé API ou un secret quelconque a été uploadé par erreur sur GitHub et que ChatGPT l’a ingéré, bah il peut potentiellement la recracher. Et vu le nombre de développeurs qui balancent leurs secrets sur GitHub par accident (coucou Microsoft qui avait leaké 38 TB de données sensibles), y’a de quoi avoir des sueurs froides.

1 « J'aime »

Et pour une clé pour Office 365, on fait comment ?

Je demande pour un ami chercheur en sécurité…

1 « J'aime »

Ça a été testé sur d autres IA ? Genre deepseek ou llama ?

1 « J'aime »

Ça fait quoi 25 ans, peut-être plus, que Microsoft s’en tamponne que vous payiez votre licence ou pas, tant que vous utilisez Windows. Donc les 3 dans le fond qui auront obtenu une clef valide en asticotant ChatGPT, je suis à peu près certain que Microsoft s’en cogne. Sauf que évidemment le même procédé peut être utilisé pour faire dire à l’IA des informations qu’elle ne devrait pas communiquer et c’est surtout ça qui est gênant je suppose.

3 « J'aime »

Le protocole est là :
https://korben.info/chatgpt-crache-cles-windows-trois-mots.html
Mais ça semble patché sur ChatGPT.

1 « J'aime »

Le « grand public » et le buzz actuel, c’est surtout sur les LLMs parce que c’est bluffant en terme de dialogue, tellement proche d’un dialogue avec un humain. Et c’est accessible directement sur le net.
Mais il existe plein d’autre types d’IAs qui sont entrainées spécifiquement pour certaines tâches. Et là aussi c’est bluffant dans les résultats.

2 « J'aime »

Donc, pour entrainer le IA, ils les ont lâchées sur le NET ?

Forcément!
Ou peux tu trouver un maximum de textes dans tous les domaines possibles, toutes les langues, accessible très facilement et « gratuit » (ça, ça reste encore en débat… :stuck_out_tongue: )? Je ne vois que sur le net, quitte à malheureusement avoir en entrée des contenus illégaux…

Donc, sachant que ceux qui pilotent les IA, ne sont pas désargentés, le champ est vaste…

Oui mais pas infiniment riches. Si tu comptes 10 cents par document ingurgité, ça leur fait plusieurs dizaines de milliards à dépenser (il faut « nourrir » les 10^12 paramètres d’un ChatGPT…). Pas sûr qu’ils aient les fonds, même si ils sont très riches! :stuck_out_tongue: