Les modèles d’intelligence artificielle générative ont beau impressionner par leurs prouesses, ils restent parfois sujets à d’inexplicables divagations que l’on nomme « hallucinations ». Pour y remédier, Meta propose d’intégrer des « couches de mémoire » capables de doper l’apprentissage tout en préservant la rapidité d’exécution.
Et la question des droits sera encore plus importante! Les données stockées étant maintenant une copie et plus l’équivalent d’une « inspiration » des données de base…
Je suis sceptique sur le fait que ça améliore franchement la qualité, qui, pour moi, ne sera toujours plus ou moins une moyenne des données qu’ils possèdent.
Donc, après oui, si les données sont bonnes sur un sujet, les réponses seront plus qualitatives sur ce sujet.
Dans tous les cas, je pense qu’utiliser ces outils pour avoir une réponse à question n’est pas un bon usage. L’usage de l’IA que je vois aujourd’hui, c’est de faire gagner du temps sur des sujets que l’on maîtrise.
Ca semble être un filtre permettant de remplacer ou annuler une infos venant de la « mémoire » du LLM par une info véritable, si présente. Le pb habituellement des couches de mémoire (memory layer) est qu’elles prennent pas mal de mémoire, allouant en gros un neurone par information stockée. Meta a réussi à les répartir sur plusieurs GPUs.
1 « J'aime »
C’est ce que les anti-IA essaye de faire croire mais n’importe qui qui s’intéresse au fonctionnement des llm, comprends qu’on est loin d’un simple moyenne, c’est plus simple a comprendre comme ça mais c’est juste n’importe quoi…
2 « J'aime »
donc si je comprends c’est toujours du LLM, pas le nouveau prototype de meta de LCM (Large Concept Model) ?
Oui, le papier parle de modifier la couche centrale des transformers de leur LLM. Aucune mention des LCMs.
Mais les LCMs on,t aussi des transformers, donc c’est peut-être applicable aux deux?
1 « J'aime »
Je ne suis pas anti IA et je m’interesse aux LLM (Sans etre expert).
Etre critique n’est pas etre anti quelque chose. Dire que c’est n’importe quoi, ce n’est pas un argument. Le nombre d’« expert internet » en tout genre que j’ai vu me dire que tel propos était n’importe quoi pour deux ans après venir répéter ça 
Je me posais la même question 