Meta serait sur le point de rendre son modèle d’IA open source.
Bon, un peu de contexte:
- Un modèle open source en IA, ça ne veut rien dire. Ok, tu peux avoir les coefficients du réseau neuronal après l’entraînement, mais vu qu’ils n’ont aucun sens, tu ne peux les modifier au pif et espérer modifier le comportement
- Un modèle open source de 200 milliards de paramètres est totalement inutile pour le quidam moyen. Vu qu’il faut un serveur avec 128 H100 pour le faire tourner en inférence, ça n’a aucun intérêt.
- Pareil, si tu voulais l’améliorer en le sur-entraînant, tu dois avoir une machine de folie que de toute façon tu n’as pas.
Bref, en gros, seul le papier académique est important et ils sont souvent disponibles même chez les concurrents. C’est donc uniquement que du PR cette annonce. Ça fait longtemps que Meta fourni une version 7B en téléchargement et personne ne l’a améliorée.
Pour le quidam moyen, c’est tout à fait exact, mais c’est tout aussi vrai pour des programmes plus simples comme un SGBD SQL.
Mais sur un plan académique, il y a d’hors et déjà des travaux autour de l’IA de Meta.
Certain le faisant tourner sur un simple micro ordinateur.
Aucun intérêt pratique direct, mais plein d’enseignements.