Le géant des cartes graphiques vient de frapper un grand coup dans le monde de l’IA. En lançant NVLM 1.0, une famille de modèles de langage multimodaux open source, l’entreprise se positionne comme un acteur majeur de l’IA générative, au risque de faire de l’ombre à ses propres clients.
J’ai vu les exemples donnés sur la page de nvidia il y a qq jours et j’ai été bluffé NVLM: Open Frontier-Class Multimodal LLMs - NVIDIA ADLR
Il faut une vram (virtuelle) de fou et plusieurs gpu pour bricoler donc cela va faire les affaires d’un certain fabricant ^^
Bon en reproche que j’ai c’est justement de ne pas aborder les besoins matériels + precisement
Dans quelle mesure la collaboration de Nvidia avec Mistral AI, a contribué à la conception de cette IA NVLM ?
On constate en tout cas que dans leur tableau comparatif de perf, Mistral AI n’y figure pas, comme s’il était déjà hors course…
Quoi qu’il en soit, à ce jour, la taille du modèle (NVLM) ne le rend pas accessible au commun des mortels.
2 exemples tirés du pdf (sont pas présent sur la page de mon lien au dessus)
1 derniere
Viennent du pdf de la publication complète dispo sur [2409.11402] NVLM: Open Frontier-Class Multimodal LLMs
nVidia et open-source dans une même phrase… 
Ca va dépendre des futurs quantisations sur hugginface ou directement à l’intérieur de LmStudio.
LmStudio est capable de splitter sur plusieurs GPU ( et d’utiliser la RAM et CPU mais ce n’est pas conseillé tellement c’est ralenti).
Entre ma ram et vram 64Go et 28go, je peux déjà charger des gros trucs pour un particulier, mais j’évite de mettre en ram+cpu, c’est trop lent, par contre je charge des modèles 70B sur les 28Go à conditions de bien choisir la quantisation et le format GGUF et ça marche vite et bien.
Reste à savoir si il y aura un NVLM au format GGUF.
1 « J'aime »