Non connaissais pas non plus 
Faudra que je l’essaye, il aurait peut être même pu servir aujourd’hui
Car j’ai dévié un peu du jeu sur le theme : et l’ia en local sur linux?
Bon ma carte graphique est un peu limitante avec ces 10go de vram
Mais est ce possible ?
A priori il y a 2 méthodes faciles pour essayer de s’amuser avec, Ollama et Gpt4all
C’est ce dernier que j’ai testé, permet de lancer le calcul sur le cpu, gpu ou les 2 et d’utiliser du coup la ram système si nécessaire (donc mes 32go )
Plus un modèle utilise de paramètres plus il mange de la mémoire, avec 7milliards de paramètre cela donne un besoin de 8go de ram
Installation simple , sur GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. on a le lien Flatpak Install GPT4ALL on Linux | Flathub , et cela s’installe donc avec une ligne dans un terminal flatpak install flathub io.gpt4all.gpt4all
Puis on lance avec flatpak run io.gpt4all.gpt4all
Choix du modele
Ici Mistral Open Orca (au pif)
Il m’a bien fait marrer
Ici il ne connait pas orca manifestement : limite « est ce que cela se mange? »
Usage cpu pendant processing (faudrait que je tente avec plus que les 4 threads par defaut dans les options
(A priori c’est le gpu qui bosse ici, 228W)
C’est cela qui a été assez amusant aussi, je lui parle de nebflix avec une faute faite pour tester, il part direct à la faute:
A savoir dans les paramètres il y a une ligne qui parle de Datalake, si elle est cochée tout ce que l’on tape part sur le serveur pour être partagé avec le monde
