Publié le 6 octobre 2026 à 11:01 · Publication originale
Une entreprise pourrait en conclure qu'elle peut lui transmettre contrats, rapports, courriels et archives en une seule fois.
Techniquement, la fenêtre existe.
Mais chaque token supplémentaire produit du travail.
Avant de répondre, le modèle doit d'abord lire le contexte. Cette phase s'appelle le "prefill".
Avec un contexte très long, le délai avant l'apparition du premier token peut devenir important.
Puis vient une seconde contrainte.
Pour générer la suite, le transformeur conserve les clés et valeurs calculées pour les tokens précédents dans son cache KV.
La conversation possède donc une empreinte mémoire qui augmente avec sa longueur.
vLLM développe aujourd'hui une architecture appelée "context parallelism" précisément pour ces situations.
Pendant le prefill, un long contexte peut être découpé entre plusieurs GPU. Chaque accélérateur calcule une partie des représentations nécessaires.
Pendant la génération, le problème change.
Chaque nouveau token doit consulter un grand ensemble de clés et valeurs déjà présentes. Le cache KV peut alors être réparti entre plusieurs GPU.
Mais distribuer la mémoire introduit de la communication.
Ajouter des accélérateurs réduit donc certaines contraintes tout en créant des échanges supplémentaires entre eux.
Le contexte maximal annoncé par un modèle ne décrit ainsi qu'une limite possible.
Il ne dit ni combien coûte son utilisation, ni combien d'utilisateurs peuvent l'exploiter simultanément, ni le délai nécessaire avant la première réponse.
Pour une entreprise, cela modifie une décision d'architecture.
Donner systématiquement 500.000 tokens à un modèle parce qu'il sait les accepter peut être moins efficace que sélectionner auparavant les 20.000 réellement utiles.
La capacité de lire davantage ne supprime pas la valeur de savoir quoi lire.
ULTRA®
Le contexte parallèle révèle une anomalie particulièrement instructive.
Dans certaines architectures, le parallélisme tensoriel peut dupliquer le cache KV au lieu de continuer à le diviser efficacement.
vLLM documente par exemple qu'avec DeepSeek-R1 et un seul "KV head", un déploiement en parallélisme tensoriel sur huit GPU peut produire une duplication huit fois du cache KV.
Le "decode context parallelism" permet alors de répartir le cache selon la dimension des tokens afin de supprimer cette duplication.
Mais le gain mémoire se paie en communications supplémentaires.
Conseil: pour les applications documentaires, mesurer ensemble longueur de contexte, temps jusqu'au premier token, mémoire KV et nombre de requêtes simultanées.
La fenêtre maximale du modèle est une propriété technique.
Le contexte économiquement utilisable est une propriété de l'infrastructure.
Entre les deux peuvent se trouver plusieurs GPU.