Bravo et merci pour le temps de retour et rédaction.
Je n’ai pas pris le temps de lire tous les commentaires.
Mais j’ai pour ma part installé chez des clients des architectures hybrides…
Selon moi, 80% des tâches d’une entreprise peuvent aujourdui être traitées en local.
En segmentant micro tâches d’une tâche sur plusieurs agents.
Prenons une veille d’actualités. Nul besoin d’un modèle cloud pour la recherche, le scoring, le crawl, et l’envoi vers un rag.
Mais plusieurs agents locaux dédiés à chaque tâche.
Et des crons pour automatiser la nuit.
Une entreprise n’a pas besoin de la veille à la minute.
Ce qui serait d’aileurs générateur de l’effet inverse attendu : le gain de productivité.
Par contre, qu’un modèle cloud sache requeter un rag et analyser, classifier, et sortir un debrief dirigeant tous les matins, voilà il me semble la bonne hybridification.
Lire un mail et le categoriser, Gemma 4 sur 64 go suffit très largement.
Mais un modèle cloud est nécessaire pour comprendre le contexte dans lequel s’insère le mail : compréhension dossier historique, client etx.
Donc rêver d’une ia locale qui serait tout faire à 80 tokens secondes n’est pas près d’arriver encore…
Mais savoir combiner les facultés de chaque système, avec des solutions hybrides, et vous baisser déjà le coût d’exploitation d’au moins 50%
Et aujourd’hui, dire à une entreprise que ses données sont souveraines, sur ses serveurs, que 60% des tâches ia sont assurées en local, avec 0 coûts et confidentialité totale, et que oui, on utilise des modèles par API pour les opérations de raisonnement, en utilisant notamment les modèles qui acceptent le paramètre de non utilisation des données, et vous rendez déjà un dirigeant serein et confiant.
Donc sincèrement, aujourd’hui, et cela n’engage que moi, je me fou un peu des capacités d’un modèle. Je ne l’utilise que pour ce qui sait faire.
Et sur des tâches complexes qu’on donne en général à un modèle cloud, on peut déjà sacrément mieux lui premacher le travail avec de petits modèles locaux.
Et sans doute même bien mieux que si on lui avait filé l’entièreté de la tâche.
Ce n’est ni plus moins que le flux existant dans toutes les entreprises. Des collaborateurs saisissent, rédigent, préparent de la data, et le dirigeant analyse et décide.
C’était un point de vue parmi tant d’autres.
