Google a annoncé, jeudi, le lancement de Gemini 1.5, nouvelle génération de son modèle IA, avec des performances améliorées. Gemini 1.5 Pro fait aussi son apparition, avec de solides capacités de compréhension de contexte long.
C’est quoi des jetons ? Des mots ?
Presque. L’entrée est découpée en séries de quelques caractères, mais ça ne correspond pas exactement aux mots, certains mots peuvent être découpés en plusieurs token, d’autres (des petits) à l’inverse sont parfois fusionnés (et le découpage est propre à chaque IA).
Ok merci de l’explication 
Plus ou moins. Mais aussi associé à d’autres infos comme leur position dans le texte.
C’est la principale différence entre les LLM basés sur les Transformers et les « anciens » systèmes de ML traitant du texte :
- Tout comme avant, chaque mot (ou partie de mot) devient un numéro identifiant le mot dans un discionnaire (ex : « un » = 0, « maison » = 2, « ordinateur » = 3 etc. Comme les anciens).
- Mais on y ajoute une information sur la position dans le texte.
C’est ce qui permet aux LLMs de mémoriser des séries de mots allant souvent ensemble, d’apprendre certaines informations de façon positive, ou négative (par la présence de négations dans le groupe de mot). - D’autres infos peuvent aussi y être ajoutées. Par exemple la longueur du mot, ou sa rareté (les mots plus rares peuvent être plus importants, alors que les articles « le/la/un/… » sont moins intéressants pour le fond, mais nécessaires pour une bonne grammaire.
Merci pour la précision 
Tant que l’on parle des LLMs :
« On parle probablement de décennies de travaux »
Pour aller vers ce qu’il appelle l’AMI (Advanced Machine Intelligence), Yann LeCun estime que ni les méthodes d’apprentissage actuelles ni la focalisation sur le langage ne suffiront pas à franchir les prochaines étapes. « Les LLM ne sont pas capables de planification. Par ailleurs, ils ne comprennent pas la réalité sous-jacente aux concepts qu’ils manipulent », observe le chercheur français.
Si le chemin vers l’AMI s’annonce donc ardu, Yann LeCun estime que ce saut quantique dans les capacités de l’IA est possible. « Je ne me pose même plus la question ; cela va arriver. Est-ce que ce sera demain, dans 3 ans, dans 5 ans ? On parle plus probablement de décennies de travaux », reprend le directeur de la recherche en IA de Meta.
1 « J'aime »
Gemini c’est pas l’IA qui ne génère quasiment jamais d’images d’hommes caucasiens ?
https://twitter.com/IMAO_/status/1760093853430710557
https://twitter.com/IMAO_/status/1760102167778615362
https://twitter.com/IMAO_/status/1760100628028608955