Publié le 23 septembre 2026 à 17:01 · Publication originale
Le modèle a terminé son entraînement plusieurs mois auparavant. Ses paramètres ne contiennent donc aucune trace de ce qui vient d’arriver. Pourtant, si nous plaçons devant lui un article publié il y a quelques minutes et lui demandons de l’expliquer, il peut souvent le faire.
Il vient d’utiliser une information qu’il n’avait jamais apprise.
La distinction est fondamentale.
Modifier les paramètres d’un modèle exige un processus d’apprentissage. Lui fournir un document dans sa fenêtre de contexte ne modifie rien à ces paramètres. Le texte est simplement transformé en tokens puis traité avec notre question pendant l’inférence.
Pendant quelques instants, deux formes d’information coexistent donc dans le même calcul.
La première provient de l’entraînement et demeure inscrite, de manière distribuée, dans les paramètres. La seconde arrive de l’extérieur: un article, un contrat, un rapport financier, un dossier médical ou quelques lignes écrites par l’utilisateur.
Le modèle peut alors travailler sur un document qu’il découvre au moment même où nous le lui présentons.
Cette propriété a des conséquences considérables. Pour analyser un nouveau contrat, il n’est pas nécessaire de réentraîner un modèle sur ce contrat. Pour résumer les résultats publiés ce matin, nul besoin d’attendre une nouvelle version du modèle. L’information peut entrer directement dans son contexte.
Mais cette souplesse possède une limite.
Le contexte n’est pas une mémoire permanente. Lorsque le document disparaît de la conversation ou sort de la fenêtre accessible au modèle, ses paramètres n’ont pas été réécrits pour autant.
Et surtout, fournir une information ne garantit pas qu’elle sera correctement utilisée. Les recherches de 2025 montrent que des documents externes peuvent être incomplets, inutiles ou même contredire les connaissances paramétriques du modèle. Celui-ci ne résout pas toujours correctement ce conflit.
Une nouvelle architecture devient alors possible.
Au lieu de demander à l’humain de choisir lui-même le document à placer devant la machine, pourquoi ne pas construire un système capable de chercher l’information pertinente au moment où elle devient nécessaire?