Proposer des modèles d’IA performants tout en limitant le coût en ressources, c’est le prochain grand challenge de l’IA. En effet, des modèles toujours plus costauds impliquent généralement des serveurs toujours plus importants. Sauf pour un des leaders chinois du domaine.
1 « J'aime »
ça existe déjà depuis un petit moment, notamment grâce à des compresseurs de llm comme celui de vllm, mais aussi des compresseurs de tokens et oui c’est une tendance.
Donc c’est une fausse news, et deepseek c’est comme grok : à ne pas utiliser (pour des raisons différentes).