Les modèles de langage comme ChatGPT continuent d’halluciner selon les requêtes de leurs utilisateurs. Pour OpenAI, c’est à cause des méthodes de formation, de la façon dont les modèles sont évalués et du mécanisme interne de génération du texte.
la 3eme va vous etonnay
2 « J'aime »
Ce problème est connu depuis le début.
Je me souviens d’avoir étudié des outils pour générer des résumés de texte. On avait vu deux méthodes : Une qui prenait des phrases au hasard dans un livre et une autre qui générait du texte. Cette dernière fonctionnait bien tant qu’elle restait dans un domaine particulier, mais se mettait à raconter n’importe quoi dès qu’on changeait de domaine. Par exemple, il avait transformé un article sur la mort de Jean Paul 2 en seisme qui faisait 15 mors ( Ou un truc du genre), parce que l’article en question parlait de seisme au vatican après sa mort.
C’était il y a 20 ans. Bon après c’était des outils bien plus basiques, mais ils étaient déjà amusant.
Cette analogie, cette référence qui sert de base d’apprentissage est complètement fausse car elle omet volontairement la mauvaise réponse donnée. En réalité, une question à choix multiple se note de la manière suivante :
- La bonne réponse vaut 1 point
- Ne pas répondre vous donne 0 à la question
- Se tromper et donner une mauvaise réponse (en ayant voulu tenter sa chance) est noté -1
Ce qui fait ici que la faute est sanctionnée par une note négative, ce qui n’est pas le cas pour l’apprentissage de l’IA.
A l’université, les QCM sont notés de cette façon si bien qu’avec 10 bonnes réponses et 10 mauvaises vous obtenez la note finale de 0/20 à votre partiel ou examen final. En QCM, quand on ne sait pas, il ne faut pas répondre, il ne faut pas tenter sa chance car soit on obtient 10/20 avec 10 bonnes réponses et 10 questions ignorées ou bien c’est 0/20 avec les 10 mauvaises réponses qui valent chacune -1. → C’est le redoublement ou bien la porte.
Un autre post pour expliciter l’un des mécanismes de l’apprentissage.
Dans une perspective comportementaliste (behavioriste), la récompense gratifie le bon comportement adopté dans une résolution de problème. Le mauvais comportement attendu est sanctionné par la punition. C’est l’apprentissage par renforcement positif si c’est bon et négatif si c’est pas bon. Ici, l’IA n’est pas sanctionnée du tout en cas d’erreur. Mais comment pourrait-on appliquer cette méthode à une machine puisqu’elle n’a pas de réponses physiologiques liées au plaisir ou à la douleur de la punition ?
C’est sur que je n’ai jamais entendu une ia dire « je ne sais pas ». Il a vraiment tendance à essayer de te faire plaisir pour que la réponse te conviennes. Après entendu la challengeant et lui faisant citer des sources on voit que la réponse était hors contexte. Comme d’hab, ça pousse la personne devant le pc à faire preuve d’un regard critique … ce qui pose problème à beaucoup de monde …
La dernière va vous surprandre.
1 « J'aime »
A l’université ? C’est quelque chose qui se pratique parfois, mais c’est loin d’etre un généralité. En tout cas je ne l’ai jamais constaté lors de mes études.
Quand à un tel systeme pour une IA, à ma connaissance l’entrainement d’une IA ne fonctionne pas comme ça en juste c’est vrai ou c’est faux, mais en mode qu’est ce qui est le plus probable ou le moins probable. Ainsi avec un tel systeme ça me semble compliqué de dire non. Cela dit, je suis dev, mais je suis par contre encore assez ignare à ce domaine.
À la limite ce qui pourrait être fait, c’est d’interrompre le traitement et de faire une réponse générique si les probabilités sont trop faibles ou trop peu discriminantes (plusieurs mots avec des probabilités proches, alors qu’ils sont distants les uns des autres). Mais forcément ça ferait aussi perdre des cas où ça répondait correctement.