Le nombre d’utilisateurs de ChatGPT ne cesse d’étonner. Il vient ainsi dernièrement de passer une barre symbolique impressionnante !
1 « J'aime »
Ils ont mis chat GPT dans la tete des gens pour l’IA, comme Google a fait pour la recherche. A partir de là, la concurrence va avoir du mal à se démarquer
2 « J'aime »
hebergez les modèles chez vous, n’envoyez plus vos requêtes sur le net
Gemma 2
Gpt 4o
Llamma 3.1
Mistral
Grok
modèls originaux de différentes tailles et modèles modifiés moins conformistes.
1 « J'aime »
+1 pour le fait de faire tourner en local quand c’est possible. Mais il faut tout de même du bon matos pour avoir des temps de réponse potables.
Par contre non, GPT-4o n’est pas open-weight, donc pas possible de le faire tourner en local (et de toute façon même s’il l’était, avec un nombre de paramètres estimé entre 1500 et 2000 milliards, personne n’a chez lui le matériel capable de faire tourner un tel modèle).
ces applis sont plutôt destinés à des data centers d’une entreprise voire à du cloud.
Ce serait déraisonnable pour un particulier d’installer ça à la maison. Et pourquoi faire comme dirait si drôlement les nuls.
Non, LM Studio c’est bien destiné à un usage « client », c’est fondamentalement pas grand chose de plus qu’une interface graphique pour facilement faire tourner un modèle en local et lui faire des requêtes.
D’ailleurs le premier point mis en avant sur la page d’accueil de web studio, c’est de faire tourner sur son laptop :
Quand on veut héberger sur un serveur, on prend un Ollama et on requête via des API REST ou un front web.
1 « J'aime »
sauf que tu confonds les IA d’analyse comme whisper, qui analyse des données et les transforment après un apprentissage (whisper vous fait vos sous titre de vidéo avec une installation de 3go et le besoin d’une carte graphique de 10Go de ram) alors que d’autres ont besoin de beaucoup plus comme Chat GPT 3 par exemple nécessite plus de 700Go de stockage, 40 à 100Go de Vram. Et là on est juste sur le modèle, pas sur les données.
Source : chat GPT, oui, je lui ai posé la question
Certaines IA sont localisables, d’autre non.
700go de stockage et 100go de vram reste accessible a n’importe qui.
je confonds pas et je suis un early user de
StoryToolkitAI
Gpt 4o est dispo mais pas comme modèle à part entière, c est plutôt du llama affiné sauce gpt 4o, je sais pas comment ils s’y prennent, il faut du méchant matos pour affiner un bon modèle.
1 « J'aime »
Oui, donc ce n’est pas GPT 4o, et ça en est très loin.
C’est du fine tuning de Llama3 fait en lui donnant un dataset issu de GPT. En gros, ils créent plein de prompts, ils les donnent à GPT, ils récupèrent ses réponses, et ils réinjectent dans Llama les couples prompt/réponse pour l’entraîner. En l’occurrence, la dataset de base utilisé (celui là : lightblue/tagengo-gpt4 · Datasets at Hugging Face ) ne contient que 75 000 prompts dans 74 langues (15 000 en anglais, langue la plus représentée dans le dataset), et Ruslan en a extrait un sous-ensemble et a entrainé Llama3 avec ce sous-ensemble, avec 2 cartes nVidia A100 (expliqué ici : ruslandev/llama-3-8b-gpt-4o-ru1.0 · Hugging Face ).
Au final, ça n’a de GPT 4o que le nom, quelque soit l’entrainement qu’on applique dessus, un Llama3 8b (donc la version « light » de Llama3, à seulement 8 milliards de paramètres, la version complète de Llama3 c’est 70 milliards, et ça monte même à plus de 400 avec Llama3.1) ne peut en aucun cas atteindre le niveau de performances d’un GPT 4o à 1500-2000 milliards de paramètres, il ne pourra que vaguement s’en approcher sur des prompts proches de ceux utilisés pour l’entrainement. Et en l’occurrence, 3000 prompts principalement spécialisés sur le russe (Ruslan mentionne que son sous-ensemble de dataset est à 80% en Russe, et on peut voir là que le dataset ne fait que 3000 entrées : ruslandev/tagengo-subset-gpt-4o · Datasets at Hugging Face ), donc ça va donner un modèle qui au final sera meilleur que Llama3 sur du russe (mais quand même loin de GPT 4o), mais sans doute moins bon que Llama3 dans les autres langues.
Utiliser ce modèle en français, ou même en anglais, n’a probablement aucun intérêt par rapport à une utilisation de Llama3 « brut » (d’autant plus qu’il est basé sur Llama3, alors que Llama3.1 est dispo et plus performant…).
2 « J'aime »
effectivement Llama 3.1 est vraiment performant, même la petite version de 5 go fait du bon boulot en traduction, capable de reprendre la présentation et traduire très correctement l’intégralité du texte ( pas trop long quand même, histoire de respecter les tokens) sans halluciner, bien-sur comme c’est de la trad je mets la chaleur à 0.
Les autres modèles peuvent traduire, mais même avec la chaleur à 0, j’ai des résultat aléatoires du type réponse traduction en anglais alors que j’explicite que je veux une traduction française.
Ce Llama est également très efficace sur le Chinois simplifié et complexe qu’il est capable d’utiliser dans les deux sens, c’est assez incroyable.
1 « J'aime »
Lorsqu’on entraine un réseau de neurone, le résultat est une énorme quantité de « poids », correspondant en gros à la valeur de chacun des paramètres à la fin de l’entrainement.
Un modèle open weight, c’est un modèle dont seuls ces poids sont libres (par exemple Llama), pas le code qui a permis de générer ces poids (si le code est libre aussi, c’est un modèle open source).
1 « J'aime »
1 ssd de 1to pci express de top qualité ca coute 300€ max.
4 4090 à 1900€ ca fait 7600€
On rajoute la cm et le cpu, ca coute moins de 10000€, largement accessible pour beaucoup d’entre nous.
Il existe surrement des puces ia moins cher et plus performante pour ce use case, mais j’ai pas cherché.
Beaucoup achete des pc gaming rog ally ou alienware a 5000€, je connais des pros qui ont des workstation a base de threadripper ou des mac pro a plus de 8000€, c’est pas choquant.
On est pas tous pauvre, dieu merci
Tu parle de faire tourner un chatgpt3 like en local quand meme. Le prix est assez faible je trouve meme.
Visiblement, la réalité n’existe pas pour certains ici.
Ah, c’est donc ça.
Ah et d’ailleurs, tiens, donc, Dieu rentre dans l’équation ?
Bon, bref, il va falloir arrêter la mascarade un jour et vite.
10K€ dans un PC reste une somme très importante (voir clairement trop) pour énormément de monde (je ne parle pas du domaine professionnel spécifique)
Venir oser prétendre le contraire c’est juste se moquer d’une très grande partie des gens.
2 « J'aime »
J’approuve, 10000 c’est au moins 8 mois de salaires…
Et les gens au dessus de 2000 net/mois c’est pas su courant…
Réalité…
Il y’a des macbook a 8000€ et des alienware a 5000€ qui se vendent bien.
Et la france est un pays pauvre, 10000€ pour un suisse, un usa ou un norvegien c’est 2 mois de salaire max par exemple. Il serait bon de sortir de la sphere france et voir international.
Le sens de ma remarque c’est surtout pour 10000€ tu peux faire tourner gpt3, ce qui est peu cher comme ticket d’entrée je trouve.
Je pourrais le faire pour m’amuser, mais ce serait inutile.
Edit: en prenant des 7900xtx on arrive à presque diviser par 2 le prix, 6000€ pour le gpt3, ca va faut pas abuser non plus.
A voir si ca tourne sans Cuda par contre…
Non. Déjà GPT3 il faut de l’ordre de 300 Go de VRAM pour le faire tourner sur des GPU (175 milliards de paramètres, 2 octets par paramètre). Ce que tu n’as pas pour 10000€.
Ensuite avec un budget de 10000€ si tu met les 10000€ dans le matos, il te reste rien pour payer le modèle. Donc il te faut un modèle open weight ou open source. Ce qui n’est pas le cas de GPT3.
Fondamentalement, de toute façon, GPT3 tu peux pas le faire tourner chez toi sans signer un trèèèèès gros chèque à OpenAI (très très gros : pour l’instant à priori personne d’autre que Microsoft, qui est l’un des plus gros investisseurs d’OpenAI, si ce n’est le plus gros, n’a réussi à proposer un montant suffisamment élevé pour avoir le droit de faire tourner GPT sur ses propres machines…).
Je crois qu’on le sais tous que gpt3 n’est pas open source.
Tu peux en trouver sur huggingface dispo souvent sans restriction, certains avec licence, je t’invite a aller voir.
300 go, ca fait 12 7900xtx a 1000€, on mets la barre a 15000€, ca reste encore largement accessible.
J’ai deja bossé avec bull et le cea, on a negocier des sequoina avec des h100 et les tarifs n’ont rien à voir (plusieur millions) poyr des accelerateur AI.
15000 balle c’est rien
Bref c’est juste une reflexion de comptoire, y’a pas vraiment de debat.
Ben oui, c’est bien pour ça qu’il est ridicule d’imaginer qu’on peut faire tourner l’équivalent à la maison avec 10000€ de budget 
Parce que la quantité de mémoire n’est pas tout, après faut aussi la bande passante et la puissance de traitement pour avoir des temps de réponse acceptables… Un Llama 8b sur une RTX 3080, ça descend péniblement en dessous de 5-10s pour pondre une réponse potable. Un modèle avec 175 milliards de paramètre, même avec 12 7900 XTX, ça sera encore bien plus lent…
Ça doit faire sérieux dans les négo un mec qui connait pas le nom de la boîte et sait pas écrire le nom des produits