Mistral Small 3 devient le pendant open source de GPT-4o mini, qui est quant à lui propriétaire. Plus petit que ses concurrents, il se démarque par des performances plus élevées et une latence particulièrement faible, ce qui en fait un modèle d’IA de choix pour bien des usages.
Que vaut mistral face a ChatGPT ?
Oui 4090 quand même. Dire qu avec une 4060 je fais des image diffusion 1000 par 1000 en 5 ou10s bon de bug mais plus le pluggin krita. Les Mac autant de ram c est pour compensé le manque de gpu Cuda ?
La ou Apple et d autres on une stratégie intelligente avec des modèles spécialisés donc plus petit et plus efficace certainement
C’est un modèle 24B, donc il faut environ 24 Go de RAM en 8 bits pour le faire tourner. D’où la 4090 minimum (doit sans doute aussi pouvoir tourner sur une 3090, ça sera « juste » deux fois plus lent).
Peut-être que quelqu’un en fera une requantification en 4 bits, ce qui permettrait de le faire tourner sur des cartes avec moins de RAM.
Oui mais ça m impressionne au final la quantité de puissance. Est ce a vouloir tout faire plutôt que spécialisé.
je commence à tester les ia, car j avoue avant ça m interressait peu, car pas au niveau en modélisation 3d de conception meca.
Quand je vois la puissance juste pour des images j imagine pour les vidéos, ou suno (toujours pas d’alternative open source) on va sur une sur consommation énergétique, car les server vont donner ça accessible à tous et les gens réfléchissent pas sur la puissance consommé. Juste à voir les appels en visio dans le métro ce qui apporte rien plutôt que juste l audio, les vidéo 4k YouTube sur des petits écrans de smartphone,…
Bref perso l ia je la vois surtout du spécialisé type I ia pour codage, synthèse de documents, management, musique etc… Qu un gros truc qui fait tout.
Justement, avec la puissance que ça consomme, ça restera pas longtemps « accessible à tous », ce qui de fait limitera les utilisations : il y a un moment où les boîtes qui fournissent ces services vont vouloir arrêter de perdre de l’argent, et là c’est pas avec 3 bannières de pub ou un abonnement à quelques euros par mois qu’ils arriveront à couvrir les frais de fonctionnement pour des services de génération de vidéo…
Il y a quelques temps, une estimation avait été faite concernant Copilot : sur un abonné à 10$ par mois, Microsoft perdrait 20$ par mois… Ce qui veut dire que si à terme le coût énergétique ne diminue pas drastiquement, le prix d’entré de tels abonnements va probablement monter aux alentours de 40$…
On voit déjà bien cette augmentation des prix d’ailleurs chez OpenAI, sur leur modèle le plus avancé, o1, le prix facturé est 100 fois celui de GPT-4o mini…
Oui, c’est sans doute ce qui va le plus se développer, avec une exécution en local. Mais des IA plus générales peuvent être utiles pour aider sur certains problèmes complexe.
Une 4090 ou un mac avec 32 go de ram ( 3000euros mini). ben c est pas demain la veille que ces IA open source vont se démocratiser…
Faut être plus précis, quelle version ?
copilot pro ce serait pas plutôt 30$/mois ?
Pardon, j’ai pas été assez précis, je parlais de GitHub Copilot.
Et au passage ce n’était pas une perte de 30$ par mois, mais un coût de 30$ par mois, donc en fait 20$ de perte. Je corrige le message initial.
mistral-small:22b-instruct-2409-q4_K_S tourne sur mon PC avec Ollama (RTX3070, 64GB de RAM). Il tourne moins vite que les modèles Llama/Mistral/Qwen 7-8B car une partie des calculs sont faits sur le CPU
Il y a déjà sur Ollama