Publié le 16 septembre 2026 à 20:00 · Publication originale
Qu’est-ce qui est trop grand?
Pour nous, la réponse semble immédiate: le trophée. Pourtant, aucun dictionnaire ne suffit. Il faut relier "il" à un élément apparu plusieurs mots auparavant et reconnaître, parmi toutes les relations possibles, celle qui compte ici.
C’est l’un des rôles de l’attention, le mécanisme placé au cœur des Transformers.
À l’intérieur du modèle, chaque token possède déjà une représentation numérique. Celle-ci est transformée en trois nouvelles représentations appelées requête, clé et valeur, ou Q, K et V.
Le vocabulaire est trompeusement familier. Une requête ne pose aucune question au sens humain, une clé n’ouvre rien et une valeur ne contient pas la définition d’un mot. Ce sont des projections mathématiques apprises pendant l’entraînement.
Le modèle compare les requêtes aux clés. Ces comparaisons produisent des poids qui déterminent quelle quantité des différentes valeurs contribuera à la représentation suivante. Certains éléments peuvent ainsi exercer davantage d’influence que d’autres.
Voilà le déplacement essentiel: le modèle ne traite pas seulement ce qu’est un token. Il recalcule ce qu’il représente à partir de ses relations avec les autres.
Dans notre phrase, "il", "trophée", "valise" et "grand" peuvent donc interagir malgré leur éloignement.
L’opération est démultipliée. Plusieurs têtes d’attention travaillent en parallèle dans chaque couche, puis leurs résultats traversent les suivantes. Certaines semblent particulièrement impliquées dans des fonctions précises, mais la recherche récente révèle aussi des mécanismes distribués. Chercher un petit neurone chargé de "comprendre les pronoms" serait beaucoup trop simple.
Une carte d’attention colorée peut montrer qu’une relation mathématique est forte sans nous livrer une explication complète de ce que fait le modèle.
Après les mots devenus nombres, voici donc les nombres devenus relations.
Une difficulté demeure. "Le chien mord l’homme" et "l’homme mord le chien" contiennent exactement les mêmes mots.
Si les éléments sont identiques, comment la machine sait-elle que leur ordre a changé?