Lors d’un événement organisé avec les employés de Microsoft, le patron Satya Nadella a évoqué DeepSeek. Et pour en dire le plus grand bien !
1 « J'aime »
Quand tu es le patron de MS, société US côtés en bourse et que tu fais l’éloge d’un concurrent cela signifie 2 choses à mon sens:
- Satya veut se faire virer
Ou - Satya cherche à exacerber le sentiment de supériorité états-unien et faisant miroiter un réel conçurent dans le but d’avoir toujours plus de subventions de la part de mister T.
La vérité n’est peut être pas si éloignée que cela et croire que cette déclaration n’est pas dénuée d’intérêt, c’est faire preuve de naïveté.
Soit dit en passant, j’ai joué avec deepseek et même s’il a des qualités, c’est son rapport performance / coût (6/7 token/s sur cpu d’un portable de taf pas foufou) qui est surtout impressionnant. Mais faut pas se leurrer. Il fait beaucoup de fautes de syntaxe et il est facile de lui faire perdre la tête. Comme d’autres.
Bref. Une histoire pour faire peur et capter plus de sous.
Soit ton CPU n’est pas si mal, soit tu as un GPU ou un NPU…
Parce que avec un gros CPU je fait à peine le double : 14.3 tok/s. Avec Llama 3.1 et le même prompte, je fait 13.2 tok/s.
L’écart n’est pas énorme. Et je trouve Llama plus agréable, car il n’y a pas la longue phase de « pensée » avant de commencer à générer la réponse.
Si je passe sur GPU, toujours avec le même prompt, j’obtiens 140 tok/s avec DeepSeek, 128 tok/s avec Llama 3.1. Donc différence du même ordre de grandeur.
EDIT : sur CPU c’est en fait sans doute la bande passante mémoire qui limite le plus, car j’obtiens la même vitesse en passant à 8 threads au lieu de 16, et même à 2 threads c’est à peine plus lent (10.9 tok/s sur Llama). À 1 thread par contre ça chute violemment, et les deux modèles se valent (6.4 pour Llama, 6.3 pour DeepSeek).
Donc j’aurais tendance à penser qu’ils ont en fait à peu près la même complexité niveau CPU, mais que DeepSeek nécessite un peu moins de bande passante mémoire.
À noter aussi que bien que cet écart peut venir du fait que DeepSeek est un poil plus petit 4.34 Go contre 4.58 en version 8b.
1 « J'aime »
Il veut juste motiver ses équipes, c’est toi qui hallucine là
1 « J'aime »