À côté des unités CPU Zen 4 et GPU RDNA 3, AMD met de plus en plus en avant ses unités NPU XDNA, comme dans les processeurs Ryzen 8040.
Bonjour, aujourd’hui, dans des PCs tournant sous Windows, quelles applications font réellement usage de ces NPUs ?
Est-ce que le « travail » fait par ce NPU, ne servira qu’à l’utilisateur du PC ?
1 « J'aime »
C’est utilisé notamment dans Photoshop et Premiere. Et Copilot devrait aussi bientôt les utiliser, ce qui permettra de l’exécuter en local plutôt que sur les serveurs de Microsoft.
1 « J'aime »
La capture est un peu intrigante, Intel npu?
En creusant sur cette base (date très approximative)
– Amd a sorti le 7040 qui a un npu xdna 1 avant l’été dernier
– Intel bricole ses core ultra avec npu vers decembre, et les amd 8040 xdna2 sortent
– Debut du mois : Il y a eu une version preview de windows 11 avec direct ML et le NPU intel des core ultra y apparait dans le gestionnaire de tache
– Les npu d’amd du 8040 vont avoir droit aussi à ce traitement
J’avoue que j’ai un peu du mal aussi à comprendre l’intérêt de ces NPUs pour le grand public. J’ai l’impression qu’on parle tellement d’IA partout que c’est le nouveau terme marketing qu’il faut sur toutes les fiches produit. C’est quand même extrêmement rare d’installer en local des logiciels tirant parti des NPUs, où un simple GPU - moins adapté à l’IA mais plus polyvalent - ne ferait pas l’affaire. Je veux bien entendre que ça va se développer à l’avenir, mais pour l’instant soit on a des gadgets pour le traitement audio et video, soit des grosses solutions d’IA générative qui demandent énormément de mémoire vive, de stockage et de puissance de calcul et donc sont bien plus adaptées pour le cloud ou des gros PCs de bureau.
1 « J'aime »
Ne pas oublier que l’écrasante majorité des machines n’ont qu’un GPU intégré au CPU, pas très performant… Un NPU fera mieux (d’ailleurs, les gros GPU, ils intègrent aussi un NPU désormais…), et surtout, il aura une bien meilleure efficacité énergétique, et ça c’est quand même un point loin d’être négligeable (pas pour rien que les NPU sont d’abord arrivés sur les smartphones, puis sur des CPU plutôt destinés aux ordinateurs portables).
Et potentiellement aussi un accès à une bien plus grande quantité de mémoire… La version locale de Copilot, elle devrait nécessiter 16 Go de RAM, ce sera bien plus fréquent et abordable d’avoir ça avec accessible à un NPU intégré au CPU que sur une carte graphique…
Ok, je vois le principe, en effet pour des ultra-portables où la conso est cruciale pourquoi pas, vivement les premiers tests réels pour voir si c’est vraiment comme tu le dis. Je trouve quand même que cet article résume assez bien la situation actuelle: AI reality check: New NPUs don't matter as much as you'd think | PCWorld
Mais très difficile de se projeter sur quelques années car on ne sait pas encore à quel point on tirera parti de l’IA en local dans une utilisation typique dans 5 ans. Je trouve vraiment que cette occupation de RAM élevée va être un gros frein pour l’adoption de Copilot, espérons qu’ils arriveront à optimiser ça. Rares sont les portables avec plus de 32go de RAM et quand on a quelques logiciels ouverts et des instances docker ça monte vite.
À prendre avec des pincettes, car ce sont des chiffres donnés par Intel : entre un Core i7-1370P sans NPU et un Core Ultra 7 165H avec NPU, l’utilisation du NPU permettrait +70% de performances sur une IA générative (Stable Diffusion) et -38% de consommation d’énergie dans Zoom (ils n’ont pas précisé ce que Zoom fait avec par contre… amélioration de l’image ? sous-titres/traduction en temps réel ?) (source : Les Core Ultra d'Intel ouvrent la voie des PC AI - Le Monde Informatique ).
Sur le papier, les 34 TOPS du NPU Intel et les 39 de celui d’AMD, c’est 55-65% des performances d’une RTX 4060, pour une fraction du coût et de la consommation.
Les besoins en RAM n’avaient pas beaucoup évolué ces dernières années, c’est pour ça que ça n’augmentait plus. Mais avec l’arrivée des IA locales, je pense que les constructeurs vont en mettre un peu plus, parce que le besoin va être là, et le surcoût est pas monstrueux (en fin d’année dernière j’ai upgradé pour XPS 15 à 64 Go pour 200€).
Et avec 64 Go, on a de la marge… À l’instant où j’écris ce message, j’ai 5 instances de PyCharm et une de webstorm ouvert, deux Postgres en conteneur, deux instances de Firefox, un DBeaver, un Bruno, un Chrome, un Teams, un Sourcetree et un Excel, sous Windows 11, et j’ai 33 Go de RAM utilisée. Encaisser un Copilot local consommant 16 Go (en plus c’est pas clair si c’est 16 Go pour Copilot seul ou si 16 Go est la config minimale pour le faire tourner), ça passerait large. Et j’espère fortement du coup que d’ici un ou deux ans on pourra facilement faire tourner en local un LLM pour le code (il commence a y en avoir quelques uns expérimentaux, mais pour l’instant si on n’a pas un bon GPU faut accepter soit de dégrader la précision du modèle, soit d’avoir des latences plutôt élevées, dans les deux cas ça n’arrive pas au niveau d’efficacité de GitHub Copilot).
c’est Apple qui va devoir revoir ses offres de fond en comble, avec leur Macbook Pro de base à 8go de RAM pour 2000€ et 230€ de supplément pour 8go de RAM.
C’est effectivement la réflexion que je me faisais. Pour l’instant ça ressemble beaucoup à des effets d’annonce avec peu de bénéfices réels dans un avenir proche pour le grand public (je parle de gens qui ne font pas usage d’outils comme Photoshop ou Premiere, pour ne citer que ces deux logiciels).
Pour des usages professionnels je ne dis pas… Ca reste encore le début, donc il faudra sûrement attendre encore un peu avant de voir de vrais avantages à l’usage de ces NPU en entreprise.
1 « J'aime »
j’aurais dit ça avant que les SSD NVME ne s’effondrent en prix et permettent facilement de gérer un ou plusieurs modèles locaux de 80 Go comme Mistral AI.
De ce que j’ai compris ces nouveaux modèles « multi-experts » pourront être tranchés en fonction des expertises et donc peser encore bien moins lourds, intégrés aux logiciels.
ça part dans toutes les directions, mais je pense, je suppute hein, qu’un peu comme on téléchargeais .NET ou JAVA dans nos bécanes, on pourrait avoir un ou plusieurs gros locaux, à terme, avec mise à jour régulière, et que ce truc sera à son tour exploité en local par nos machines.
C’est là que les NPU prennent tout leur intérêt
1 « J'aime »