Publié le 5 octobre 2026 à 11:00 · Publication originale
Chaque nouveau token dépend des précédents.
Cette séquence crée un problème physique: pour produire quelques caractères supplémentaires, le système doit continuellement mobiliser un modèle contenant parfois des dizaines de milliards de paramètres.
Une technique modifie cette mécanique.
Le décodage spéculatif ajoute un modèle beaucoup plus petit, appelé "draft model".
Il travaille en avance.
Pendant que le grand modèle vient de produire un token, le petit en propose plusieurs pour la suite.
Le grand modèle reçoit alors cette séquence candidate et peut en vérifier plusieurs positions en parallèle.
Les propositions acceptées sont conservées. Dès qu'une proposition ne convient plus, elle est rejetée et le grand modèle reprend la génération correcte.
Le petit modèle peut donc se tromper.
Il n'a pas besoin d'être assez fiable pour remplacer le grand.
Il doit être suffisamment souvent juste pour lui éviter une partie de ses étapes séquentielles.
C'est une distinction importante.
Dans sa forme correcte, le décodage spéculatif ne consiste pas à accepter une approximation moins chère de la réponse. Le modèle principal reste l'arbitre de ce qui est finalement généré.
vLLM prend aujourd'hui en charge plusieurs familles de spéculation: draft models, EAGLE, prédiction multi-token, n-grams ou méthodes dynamiques.
L'architecture transforme alors une intuition économique assez inhabituelle.
Ajouter un second modèle peut réduire le temps nécessaire au premier.
Le coût informatique supplémentaire devient rentable lorsqu'il exploite une ressource momentanément disponible pour supprimer des étapes séquentielles coûteuses.
ULTRA®
Le taux d'acceptation devient la variable cachée de cette architecture.
Si le petit modèle propose cinq tokens mais que le grand en refuse régulièrement quatre, une partie du calcul spéculatif est gaspillée.
Et la bonne stratégie change avec la charge.
vLLM souligne qu'à faible concurrence, l'inférence peut être limitée par les mouvements de mémoire: utiliser du calcul disponible pour tester des tokens supplémentaires devient intéressant.
À forte concurrence, le GPU utilise déjà davantage ses capacités de calcul. Les tokens spéculatifs commencent alors à concurrencer les vrais.
Les versions récentes de vLLM introduisent donc une vérification adaptative capable de modifier la quantité de spéculation selon la probabilité d'acceptation et la charge.
Conseil: suivre longueur moyenne acceptée et distribution des tokens rejetés, pas seulement la latence.
Une optimisation peut accélérer exactement le même modèle à 10 utilisateurs et le ralentir à 1.000.
L'infrastructure optimale dépend alors du trafic, pas seulement du modèle.