Publié le 22 septembre 2026 à 17:00 · Publication originale
Après l’entraînement, les textes utilisés ne sont pas conservés sous la forme d’une bibliothèque que le modèle consulterait lorsqu’on lui pose une question. Une partie de ce qu’il en a appris se trouve distribuée dans les valeurs de ses paramètres.
On parle parfois de mémoire paramétrique.
Le terme peut tromper. Cette mémoire ne ressemble ni à un disque dur ni à nos souvenirs. Une information factuelle peut dépendre d’un ensemble de paramètres également impliqués dans beaucoup d’autres comportements. La recherche de 2025 montre même que mémorisation de séquences et capacités générales peuvent devenir mécaniquement entremêlées.
Cela explique pourquoi modifier une connaissance précise dans un modèle est difficile. On ne peut généralement pas ouvrir une case, remplacer une phrase et la refermer.
Mais une distinction plus importante apparaît.
Un modèle peut mémoriser. Certaines séquences rencontrées pendant l’entraînement peuvent être reproduites avec une grande fidélité, particulièrement lorsqu’elles ont été répétées. Cette propriété soulève d’ailleurs des questions de confidentialité et de droit d’auteur.
Il peut aussi généraliser.
Après avoir rencontré de nombreux exemples, il devient capable d’exploiter des régularités pour traiter des situations qui ne figuraient pas exactement dans ses données. Une étude présentée à l’ICLR 2025 a retrouvé davantage de mémorisation dans les tâches fortement factuelles, tandis que traduction et raisonnement faisaient davantage apparaître la généralisation.
La frontière reste difficile à tracer. Lorsqu’un modèle répond correctement que Rome est en Italie, restitue-t-il une association mémorisée, exploite-t-il plusieurs régularités apprises, ou combine-t-il les deux?
Nous commençons ainsi à voir pourquoi "le modèle sait" est une expression dangereusement simple. Une information peut avoir participé à son entraînement sans être facilement accessible; une autre peut être reconstruite sans avoir jamais existé sous cette forme exacte dans le corpus.
Les paramètres contiennent donc moins une bibliothèque qu’un paysage de possibilités appris.
Et ce paysage possède une particularité gênante: après l’entraînement, le monde continue de changer.
Comment apprend-on à une machine quelque chose qui s’est produit hier?