Le groupe Canal+ a eu la bonne idée de développer sa propre usine à intelligence artificielle, l’IA Factory. Une initiative stratégique qui lui permet de garder la main sur ses développements et d’innover dans l’analyse des données.
a été conçue pour être agnostique en termes de modèles de langage
Ouah, il faut un CTO et 1,2 Md € pour ça ?
Mise à part l’analyse vidéo (et encore), je ne vois rien de transcendant là devant. On parle juste d’un chatbot utilisant un LLM combiné à de la RAG. Les éléments complexes là dedans (LLM, entrainement LLM, DB vectorielle, segmentation sémantique…) ont déjà des outils existants.
On a décidé de ne pas confier toutes nos données à l’extérieur
Ah bah, c’est sûr que les envoyer à AWS ce n’est pas les confier à l’extérieur…
5 « J'aime »
la plupart des grosses structures sont sur azure, aws ou google cloud, avec des contrats bétons. En plus la clé privée appartient à la grosse structure.
Si un jour quelqu’un arrive à prouver que AAG peut lorgner sur les données (et je suis le premier à encourager les hackers de tout poil de le faire), alors le business de AAG s’écroule du jour au lendemain. Pas sûr que le jeu en vaille la chandelle.
Pour revenir à la RAG : je ne vois pas en quoi une RAG peut aider, vu que la taille de son vecteur censé représenter le document est ridicule.
Enfin ce qui est transcendant ce n’est pas tant le « juste chatbot + LLM », mais les 1.2 Md pour payer les experts qui alimenteront le chatbot+LLM.
Car si tu récupères un llama ou un olmo tu risque d’avoir des pondérations un peu …vide.
Le RAG permet de faire évoluer la base documentaires indépendamment du modèle. S’il fallait refaire l’apprentissage du modèle à chaque document modifié ou ajouté, le coût serait énorme.
Mais c’est bien le document complet, et pas juste le vecteur, qui est utilisé pour construire la réponse, le vecteur ne sert qu’à trouver des documents qui sont sémantiquement proche de la question posée, et c’est ensuite le document complet qui est passé au LLM, avec la question.
1 « J'aime »
Et ben ça doit être facile à faire un chatbot comme ça, tout le monde s’y met…
(avant que Mr Jmelapète vienne se mêler de tout et de rien comme d’hab, je précise que c’est du sarcasme)