Publié le 14 septembre 2026 à 20:00 · Publication originale
Nous attendons plutôt "canapé", "lit", "tapis". Sans calcul apparent, notre expérience de la langue a déjà réduit l’espace des possibilités.
Les modèles de langage exploitent quelque chose qui ressemble, de très loin, à cette régularité. Mais ils le font selon une mécanique qui n’a rien d’humain.
Avant de traiter une phrase, le modèle la découpe en unités appelées tokens. Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou quelques caractères. "Intelligence artificielle" n’entre donc pas nécessairement dans la machine comme deux objets possédant chacun une définition. Le texte devient une succession d’unités manipulables mathématiquement.
Pendant l’entraînement, le modèle rencontre des milliards de séquences. Une partie du texte lui est donnée et il apprend à prédire ce qui pourrait suivre. Chaque erreur modifie légèrement ses paramètres. Répétée un nombre vertigineux de fois, cette opération inscrit dans le réseau les régularités du langage.
Puis vient le moment où nous écrivons une question.
Le modèle ne va pas chercher une réponse entière cachée dans sa mémoire. Il calcule une distribution de probabilités sur les tokens susceptibles de suivre. L’un est sélectionné, ajouté au contexte, puis le calcul recommence. Une réponse de plusieurs paragraphes naît ainsi unité après unité.
Cette mécanique explique une étrangeté familière: une phrase peut sembler pensée dans son ensemble alors qu’elle a été produite progressivement.
Mais "prédire le prochain token" peut induire en erreur si l’on imagine une simple autocomplétion. Pour réussir dans des textes complexes, le modèle doit capter des relations entre syntaxe, contexte, concepts et structures parfois très éloignées dans la séquence.
C’est ici que l’IA devient plus difficile à raconter. À force d’apprendre à prévoir le langage, le système construit des représentations internes assez riches pour accomplir des tâches qu’on ne lui a jamais enseignées une par une.
Reste à découvrir ce qui se cache derrière ce mot presque invisible: une représentation.