Publié le 17 septembre 2026 à 17:00 · Publication originale
"L’homme mord le chien."
Les mots sont presque les mêmes. L’événement, lui, s’est renversé.
Cette évidence humaine révèle une faiblesse étonnante du Transformer. Son mécanisme d’attention sait comparer les éléments d’une séquence, mais ne possède pas naturellement notre notion d’un avant et d’un après. Sans information supplémentaire, changer l’ordre des tokens pourrait laisser à l’attention les mêmes éléments à comparer.
Il faut donc inscrire la position dans le calcul.
Les premiers Transformers utilisaient notamment des signaux numériques ajoutés aux représentations des tokens. Beaucoup de grands modèles contemporains emploient une technique appelée encodage positionnel rotatif, ou RoPE.
Son principe possède une élégance particulière. Au lieu de coller simplement une étiquette "position 12" sur un token, RoPE fait tourner mathématiquement certaines composantes des vecteurs de requête et de clé selon leur position. Lorsque l’attention compare ensuite deux tokens, leur distance relative influence directement le résultat.
Le modèle dispose ainsi de deux informations entremêlées: ce qui est présent et où cela se trouve par rapport au reste.
Cette architecture explique aussi pourquoi la longueur du contexte est devenue un terrain de recherche majeur. Un modèle peut recevoir des dizaines ou des centaines de milliers de tokens, mais disposer d’une grande fenêtre ne signifie pas utiliser chaque position avec la même efficacité. En 2025, des chercheurs du MIT ont montré théoriquement comment le masque causal et les encodages positionnels peuvent faire émerger des biais favorisant certaines zones de la séquence.
Le problème devient presque contre-intuitif: donner davantage de texte à une machine ne garantit pas qu’elle saura mieux s’en servir.
La recherche récente tente donc d’améliorer RoPE, de prolonger les contextes et de préserver les relations lorsque les séquences s’allongent. À l’ICML 2025, plusieurs équipes ont proposé de nouvelles architectures positionnelles précisément pour cette raison.
Nous avons désormais donné aux mots une représentation, permis à leurs relations de se transformer et inscrit leur position dans la séquence.
Pourtant, aucun de ces mécanismes n’explique encore comment des milliards de paramètres apprennent à faire cela.
Qui les règle?