Une semaine seulement après le séisme provoqué par DeepSeek R1 sur le marché de l’IA, Hugging Face contre-attaque. L’entreprise vient d’annoncer le projet Open-R1, qui vise à créer une version totalement transparente du modèle de raisonnement chinois qui fait trembler la Silicon Valley.
Ah là on commence à discuter. Hâte de voir le résultat.
2 « J'aime »
Cette initiative de Hugging Face est très intéressante si elle permet de bien de lever le voile sur les jeux de données d’entraînement et les détails techniques.
1 « J'aime »
si ça marche, dans ce cas-là pas mal de pays pourront stopper les projets de dev et ça donnera accès à tout le monde, là où les USA se voyait tout-puissant
il y avait déjà le deepseek V3 qu on pouvait tout téléchargé de ce que j’ai compis
GitHub - deepseek-ai/DeepSeek-V3
juste à voir larry ellison, en gros, ils auront bien pris les milliards des gens pour faire leurs petites fortunes, les chinois ont montré qu’on peut faire beaucoup moins cher
en tout cas tout ca c’est cool, là je test krita AI diffusion, c’est fou aussi gratuit, open source, inutile d’avoir Photoshop
Je vois pas le but, R1 est déjà opensource, si on veut supprimer les biais il faut juste faire un model finetuné.
1 « J'aime »
parce que c’est un modèle open-weight et pas open source peut être ? 
Le seul moyen d’effacer tous les biais, c’est de refaire tout l’apprentissage depuis le début. Et pour ça il faut les vraies sources, pas juste les poids. Parce que R1 n’est pas open source, il est seulement open-weight (comme la plupart des modèles improprement dits open-source).
1 « J'aime »
C’est quoi la différence ?
Dans un modèle open-weight, ce qui est ouvert c’est ce qui est nécessaire à l’utilisation du modèle, en particulier les données qui sont générées par le processus d’entrainement (qui sont des poids, d’où open-weight).
Dans un modèle vraiment open-source, on a aussi accès au code qui permet de faire l’entrainement.
Dans le premier cas, on n’a qu’un contrôle limité sur les biais éventuels du modèle. Par exemple, un modèle qui n’aurait été entraîné qu’avec des écrits d’avant 1960 il ne va pas du tout faire les même réponses que le même modèle entraîné exclusivement sur des écrits de 50 dernières années. On pourra partiellement effacer certains biais en faisant du renforcement, mais ça ne les effacera pas complètement, et surtout, il est difficile de faire du renforcement contre un biais qu’on n’a pas forcément identifié.
Dans le second cas, on peut, si on a les ressources nécessaires (parce que ça nécessite beaucoup de calcul, pour un LLM à plusieurs milliards de paramètres un bon entrainement c’est des mois de travail avec plusieurs milliers de GPU), choisir exactement les données d’apprentissage qu’on veut, ce qui donne un contrôle total sur le modèle.
1 « J'aime »
Merci Matt