+1.
« Les bons artistes copient, les grands artistes volent » disait Steve Jobs… Phrase qu’il avait lui même piqué à Picasso, qui lui même l’avait prise à…
Et contrairement à ce que semblent croire certains qui n’ont visiblement toujours pas compris comment fonctionnent les modèles d’IA générative, une IA générative ne se contente pas de ressortir ce qu’elle a appris en le maquillant un peu pour que ça se voit pas trop… Ça c’est ce que fait le collégien qui copie Wikipedia pour faire son exposé.
L’IA générative, elle fonctionne bien comme le ferait un humain, qui a appris des choses, ce qui a crée des connexions dans son cerveau, et influe du coup sur son travail. Une IA générative ne stocke pas les contenus qui lui ont servi à son apprentissage (et c’est pour ça qu’elle est incapable de sortir une source… tout comme si on demande à un humain de dessiner un mouton, il va faire un dessin basé sur ce qu’il a appris de ce qu’est un mouton et sera strictement incapable de donner la source de cette apprentissage…).
C’est physiquement impossible que le modèle d’IA stocke ce qu’il a appris, et donc c’est strictement impossible qu’il se contente de recracher à l’identique ce qu’il a appris puis le maquille.
Petit exemple pour bien se rendre compte de cette impossibilité : le modèle Llama2 de base a 7 milliards de paramètres. Ça c’est le nombre de données qu’il peut stocker dans sa « mémoire ». Sachant qu’un paramètre est juste un nombre stocké sur 32 bits. Soit en gros au maximum 28 Go de données.
Et pour l’apprentissage, ils ont utilisé 2 000 milliards de « tokens », un « token » étant l’équivalent d’un mot dans un texte. Soit si on compte une moyenne de 4 octets par token, 70 fois plus de données que la capacité mémoire du modèle.
Il est donc physiquement impossible que le modèle stocke de façon brute les données qu’il apprend.
Exactement comme un cerveau, chaque entrée va modifier les valeurs de certains paramètres, et c’est comme ça qu’il apprend. Mais il ne stocke pas les données d’apprentissage. C’est impossible.
Alors oui, une IA qui a appris des œuvres de Van Gogh saura produire d’autres œuvres avec le style de Van Gogh. Elle sera par contre incapable de faire une copie conforme d’un tableau de Van Gogh « de mémoire ».
Et un peintre qui a appris des œuvres de Van Gogh saura produire d’autres œuvres avec le style de Van Gogh. Il sera par contre incapable de faire une copie conforme d’un tableau de Van Gogh « de mémoire ».