Faire fonctionner une intelligence artificielle directement sur son ordinateur, en local, sans abonnement ni connexion permanente au cloud, devient un peu plus accessible. Hugging Face vient de lancer Llama Windows, une application gratuite et open source qui permet de télécharger et d’utiliser des modèles d’IA sur Windows 11, sans passer par la ligne de commande.
Attention en local, les moteurs CPU, Vulkan sur iGPU, NPU utilisent la mémoire centrale. Ils saturent le bus mémoire et peuvent rendre la machine très lente, même en utilisant peu de coeurs (ce qui limite, ce n’est pas la capacité de calcul mais la capacité de bouger de la RAM) surtout sur DDR4.
C’est moi ou les moteurs sont (quasi tous) chinois ?
Sans une carte graphique avec beaucoup de VRAM l’utilisation de LLM en local est quand même très limité (j’ai seulement 4GO sur ma carte graphique et j’en suis très frustré).