Jusqu’à 128 Go de RAM et 4 To de SSD pour une machine puissante, avant tout conçue pour les développeurs en intelligence artificielle… mais qui fera forcément de l’œil à tous les usagers.
« et qui passe carrément à un maximum de 126 TOPS en usage combiné »
Combiné à quoi ?
1 « J'aime »
Ça fait cher pour une carte graphique intégrée sans possibilité de mise à jour … pour un gamer une solution micro atx ou mini itx sera un bien meilleur choix.
NPU + CPU + GPU
À voir par contre si ces 126 sont vraiment le max atteint avec les 3 simultanément ou juste la somme des TOP de chacun des circuits… Les 3 ensemble n’arrivent pas forcément à la somme des 3, du fait des limites de consommation.
un poil chère en effet ^^
Question, comment on charge un modèle IA sans gpu, car pour générer des images on utilise la vram principalement, d ou le truc d avoir des gros gpu
Ça utilise la VRAM parce que tu fais tourner le modèle sur un GPU, mais dès lors que tu le fait tourner sur un CPU ou un NPU, ça utilise la RAM au lieu de la VRAM (et sur Strix Halo, c’est de toute façon unifié, si tu n’ajoutes pas une carte graphique).
Les logiciels qui gèrent le chargement et l’exécution du modèle (par exemple Ollama ou LMStudio) ont des options pour choisir sur quelles unités de calcul le modèle va tourner (éventuellement même un mix d’unités). Généralement ça choisi automatiquement les plus performantes.
« ça utilise la RAM au lieu de la VRAM (et sur Strix Halo, c’est de toute façon unifié, si tu n’ajoutes pas une carte graphique »
J’apporte une petite correction, oui on a le même type de mémoire pour les taches CPU/NPU/GPU, mais le propre d’un bus mémoire unifié est de pouvoir stocké autant des données utiles à l’un ou à l’autre et c’est là l’important : sans avoir à cloner et dédoubler, utiliser différents pointeur mémoires, c’est pourtant ce qui se passe … Ton apu va se comporter comme un GPU bien qu’utilisant la même mémoire, le cpu va charger dans son espace ram dédié avant de l’envoyer vers la Vram ou Ram dédiée à l’apu, dans un vrai systeme unifié, il n’ y a qu’un pointeur/ ordonnaceur mémoire, il n’y aura pas de copie en zone CPU ou GPU, pas de doublons, les données sont accessibles sans cloisonnement et sans clonage ( processus père/ fils héritage), c’est ce que promettait AMD HSA, mais on attend encore … Pour expérience, regarde comment lmstudio ou ollama travaillent, tu verras, que ton apu travaille comme un GPU et que malheureusement, l’espace mémoire est cloisonné, pas unifié, il y a de la copie d’un espace vers l’autre. Ce serait super d’avoir un vrai systeme HSA.
1 « J'aime »
Une machine jetable.
N’empêche que c’est cher…
Je redis ce que j’ai toujours dit : les Mini PC actuels sont très bien mais ils sont bien trop chers.
Pour 2300 euros vous avec une APU qui équivaut à une 4060 , certes , c’est super et d’ailleurs je me demande pourquoi AMD ne sort pas des 9000G qui en seraient équipés, MAIS… Pour un PC non evolutif à 1 ans de la sortie de RDN4, je ne vois pas l’intérêt.
Autant partir sur une solution mini ITX , c’est bien moins cher et tout aussi bien
1 « J'aime »
D’après mes recherches, et si je ne le trompe pas, Ollama (et d’autres outils IA open-source) ne savent pas (encore) exploiter les NPU des Ryzen.
Le nombre de TOPS semble ne pas dépasser les 50, avec un débit estimé pour un LLM de 70B quantifié autour de 3 tok/s, et pour un LLM d’au maximum 32B quantifié un débit de 16 à 40 tok/s.
Pour comparaison, un PC mini-ITX+i9+RTX 5090 a un nombre de TOPS maximum autour de 2000, un débit autour de 19 tok/s pour un LLM de 70B et un débit de maximum 55 tok/s pour un LLM de 32B.
Pour des solutions professionnelles (Ollama + LLMs open-source de 30B à 70B),la solution Mini-PC semble le meilleur choix.
Si on compare la consommation électrique, le classement n’est plus le même : 100 W maxi pour la solution Ryzen, plus de 500 W pour la solution mini-PC.
Entre en jeu une troisième solution : le DGX Spark de Nvidia, qui explose tout en terme de puissance, et avec une consommation de 170 W maxi.
Question prix : la solution Ryzen est autour de 2000 €, les solutions mini-PC et DGX Spark autour de 3500 à 3800 €.