On aura jamais trop le fin mot de l’histoire les screens étant coupés.
Je ne dis pas que c’est malhonnête juste qu’on voit simplement qu’il n’y a pas eu de raisonnement. On ne saura pas pourquoi. Le modèle sélectionné à ce moment là ou pas, les options et ce qui précédait dans la conversation
Mais ça ne m’étonne pas qu’il réponde instinctivement qu’il n’est pas mort pour une disparition récente et qu’il dise : attention ce sont souvent des fausses nouvelles pour les célébrités en particulier de Dawson. Donc le plus probable c’est « pas mort ». Ce qui est faut.
Et in fine même si on accorde à fredo que c’est bien une erreur de chatGPT (ce que c’est hein) se baser sur un exemple pour prouver sa position c’est le signe de lacunes graves en méthodologie.
J’ai eu des soucis comme ça avec tout les modèles je crois mais je ne me base pas sur mes quelques prompts pour juge de la qualité des uns et des autres surtout que je ne suis pas convaincu de savoir utiliser cet outil correctement.
Gemini m’a fait la meme chose. En réalité les vraies problématiques se trouvent dans les modele web ou appli car hormis le mode thinking qui est clairement un overkill pour ce type de conversation tu ne peux pas le forcer à chercher sur le web sur les questions d’actus uniquement.
L’idéal est d’utiliser l’api. J’ai fait un assistant vocal personnel basé sur gemini 3 flash et google TTS streaming bidirectionnel et Home Assistant pour la domotique. J’ai pu forcer le mode recherche tout en excluant la domotique et pourtant je suis en thinking minimal parce que faire des romans pour un assistant vocal ca n’a pas trop d’utilité les réponses doivent être rapides et courtes.
Je ne vois pas dans quel monde je devrais utiliser le mode thinking en permanence sur l’interface web pour des infos aussi basiques. Je me retrouverais a attendre 30-40s sur des prompts un peu plus longs, ca n’est pas ce que j’attends et d’ailleurs ce n’est pas conçu pour ca. Ce type de question ou d’affirmation ne nécessite pas un niveau de réflexion avancé.
D’ailleurs dans la doc Chatgpt même le mode thinking ne garanti pas la recherche web j’ai demandé à chatgpt qui confirme et me propose une autre solution … mais qui ne fonctionne pas comme on a pu le voir sur mes screens. Il arrive à la même conclusion que moi API+web search forcé c’est la seule solution ou la recherche approfondie (pareil inutile).
oui à chaque prompt … c’est pas viable et c’est terriblement long. Demande lui quand Sophie adenaud (erreur volontaire sur l’orthographe) est partie dans l’espace tu va voir le temps que ca met … c’est de l’info basique. La encore on est sur de l’overkill
Ben non, lui demander de faire une recherche Internet pour une question actualité, c’est pas de l’overkill… Le modèle ne peut pas être constamment tenu à jour de l’actualité, personne ne fait ça.
Par contre effectivement ce qui est overkill c’est d’utiliser un LLM quel qu’il soit pour une question d’actualité aussi simple…
Tout dépend du contexte ton gamin doit faire un exposé c’est quand même bien pratique. La c’était pour l’exemple. L’overkill c’est pas la recherche web c’est le fait que tu doives lui demander de le faire … J’ai reproduis le même schéma sur gemini et claude pour la question sur James van der beek : Gemini s’est planté par contre claude non parce que lui a décidé de faire la recherche web …
Ton gamin doit faire un exposé, il utilise l’IA: en gros il n’apprend rien. Autant ne pas le faire.
Mais sinon oui, les IA se trompent souvent. Même quand on lui indique où checher.
C’est là que je suis perplexe, car pousser des technos dont on sait qu’elles se trompent parfois en informatique c’est entériner le " le logiciel s’est trompé" que je combat depuis des années.
L’IA c’est souvent comme un commercial: ça vous donne une solution qui semble marcher - jusqu’à ce qu’ on creuse.
Et le côté « figé » des IA est actuellement un problème: si on vous livre une IA qui fait le travail, dans quelques années il faudra la modifier et là c’est le drame: soit elle se coltiner un RAG immense qui dépasse ses capacités, soit il faut la reconstruire avec de nouvelles règles. Et parfois le fine tuning ne suffit pas car il faut déconstruire des choses apprises.
Après je m’en moque, j’utilise presque uniquement des IA locales limitées et parfois fine tunées - je me sens assez peu concerné.
Ben si tant que l’IA ne le présente pas à sa place il sera quand même obligé de lire et d’intégrer les infos sinon l’exposé sera mauvais et récompensé comme tel. Et puis même sans utiliser le texte de l’IA ca te permet de synthétiser rapidement les infos essentielles plutôt que d’imprimer des pages ou des pdf que tu devras quand même synthétiser.
Pour le reste je suis globalement d’accord. Pour moi les IA doivent rester dans un cadre professionnel. Pourquoi ? parce qu’elles vont bientôt (je pense même que c’est déjà le cas) apprendre d’articles générés par des IA et du coup enregistrer des infos fausses. Même avec des garde fous car le style des IA est quand même facilement reconnaissable on aura forcément des ratés.
La capacité de synthétiser c’est à la fois une compétence utile et difficile à acquérir. C’est dommage de ne pas la développer.
De plus, si c’est l’IA qui fait la synthèse, le gamin n’aura probablement pas fait l’effort d’ingérer la totalité des infos. Au collège/lycée ce n’ est pas grave, on ne plante pas un exposé sur les questions. Par la suite (iut, fac, école d’ingénieurs): on est plus attentif au fait qu’il y a un écart entre ce que l’exposé la synthèse donne et ce que le candidat arrive à ressortir en plus au moment des questions.
Si demain tu te réveilles après une semaine de coma, tu seras convaincu qu’on est le 9 février. Et tu continueras à le croire tant que personne ne t’explique que tu as été dans le coma.
Pour une IA, c’est la même chose, si tu utilises un modèle basé sur un historique figé à une date précise, sans accès à Internet, elle fera exactement la même erreur que toi.
Un autre exemple, c’est que chez certaines personnes les réponses varient tant qu’on ne demande pas à l’IA de vérifier les sources.
