Publié le 20 octobre 2026 · Publication originale
Un modèle de langage peut mobiliser des centaines de milliers de connexions internes pour répondre à une seule question.
Mais les utilise-t-il toutes de la même manière?
En juillet 2026, à l’International Conference on Machine Learning, Tung-Yu Wu et Fazl Barez, de l’Université d’Oxford, publient une expérience consacrée à cette question.
Ils cherchent non pas le circuit général permettant à un modèle de faire des mathématiques ou de répondre à des questions, mais le sous-réseau mobilisé par une demande précise.
Ils l’appellent un "query circuit".
Sur Llama 3.2 1B Instruct, le modèle comporte 386.713 connexions prises en compte par leur méthode.
Pour des questions du benchmark universitaire MMLU, les chercheurs parviennent à sélectionner seulement 5.000 de ces connexions.
1,3%.
Ce circuit réduit récupère pourtant en moyenne environ 60% du comportement du modèle complet selon leur métrique de fidélité, appelée Normalized Deviation Faithfulness.
Cela ne signifie pas que 1,3% du modèle "connaît" la réponse.
Ni que les 98,7% restants sont inutiles.
Le résultat est beaucoup plus précis: pour une requête donnée, une petite partie du réseau peut suffire à préserver une fraction importante du calcul qui conduit le modèle vers sa décision.
Pour retrouver ces chemins, Wu et Barez ne se contentent pas d’observer quelles connexions s’activent le plus.
Ils utilisent plusieurs reformulations de la même question.
Si certaines connexions restent importantes malgré ces changements de formulation, elles deviennent de meilleurs candidats pour appartenir au circuit réellement utile.
Cette méthode produit un résultat spectaculaire.
Avec une approche fondée sur une seule requête, il fallait environ 200.000 connexions, soit 51,7% du réseau considéré, pour atteindre une fidélité comparable.
Avec leur méthode utilisant plusieurs paraphrases: 5.000.
Nous avions vu au Jour 4 que les cartes d’attention permettent d’observer où circule une partie de l’information.
Mais regarder une activation ne suffit pas à démontrer qu’elle participe causalement à une réponse.
Les "query circuits" cherchent précisément à franchir cette étape: isoler un sous-réseau, puis vérifier combien du comportement original subsiste lorsqu’on ne conserve que lui.
La méthode reste expérimentale. Les circuits varient selon les requêtes, ne constituent pas une explication complète du raisonnement et leur fidélité reste partielle.
Mais quelque chose change.
Jusqu’ici, nous demandions souvent à l’IA d’expliquer elle-même pourquoi elle avait répondu.
Les chercheurs commencent maintenant à chercher la réponse ailleurs.
Directement dans les chemins qu’elle a réellement utilisés.
Et demain, nous verrons ce qui devient possible lorsqu’un de ces chemins n’est plus seulement observé.
Mais modifié.