Les chiffres d’Anthropic sur Mythos seraient-ils moins uniques qu’annoncé ? La start-up cyber AISLE publie une contre-analyse. Elle reproduit les résultats les plus spectaculaires du modèle avec des IA open-source à 0,11 $ le million de tokens, alors qu’Anthropic en demande 240 fois plus.
Le point qui m’achalle avec mythos, c’est en combien de temps, c’était quoi le prompt, est ce que les chercheurs savaient ce qu’il devait trouver ? Nous avons aucune réponse, donc pour moi c’est que du marketing. Il est certe puissant, mais est ce que son entrainement a été fait pour réussir les tests ?
Au final, moi tout ce que je retiens c’est qu’il est temps que tout le monde se mettre à jour, puisque si ce n’est pas lui, d’ici 1 ou 2 ans, toutes les sécurité actuellement en place et non a jour, risque d’être passé date. Et de plus en plus d’outils scan les serveurs pour connaitre les vecteurs d’attaques et dès que l’IA va embarqué, beaucoup de sécurité vont tomber.
Imaginé un virus avec un micro-llm.
Pas sûr car bon, j’ai utilisé QWen 2.5, code 7b. Il a pas été capable de me faire un code Python qui fonctionne. Demander un truc de 0, ok, mais un besoin précis suivant une logique, etc., non. Là où gamin flash pas de problème, même si a fait beaucoup d’erreurs pour bien comprendre, même si j’admets avoir mal expliqué. Et au taf Copilot raisonnement bien meilleur, pareil au début galère à comprendre ma demande mais en lui donnant un exemple de code que je cherche il a compris et les propositions qu’il a faites étaient cool. Donc les petits modèles, pas sûr du tout. Sauf demander de créer ou partir de 0 et pas trop gros