Publié le 8 octobre 2026 à 15:00 · Publication originale
Un agent calcule le bon montant.
La base contient la bonne valeur.
Le test final passe.
Pourtant, l'exécution peut avoir dérivé.
Le 1er octobre 2026, Ngoc Phuoc An Vo, Aarya Doshi et Vadim Sheinin publient une évaluation de 240 exécutions: deux compétences d'entreprise, deux variantes de spécification, deux harnesses et trois modèles.
Parmi 175 exécutions ayant réussi tous les contrôles numériques finaux applicables, 162 présentaient encore au moins une déviation détectée ailleurs.
92,6%.
Mauvais outil. Mauvais périmètre d'appel. Argument incorrect. Étape manquante. Ordre non conforme. Écriture en base incohérente.
Le chiffre final pouvait pourtant rester juste.
C'est le danger du "correct by coincidence".
Les chercheurs enregistrent donc toute la trajectoire: outil appelé, arguments, réponse, ordre d'exécution et état persistant.
Un oracle séparé recalcule la vérité terrain depuis les API réelles. Des contrôles déterministes vérifient ensuite sélection des outils, portée, multiplicité des appels, valeurs, ordre et intégrité des données.
Le LLM-as-a-judge reste cantonné aux cas où l'équivalence sémantique résiste aux règles exactes. Sur 60 verdicts revus manuellement par deux auteurs, 57 concordaient.
Autre résultat utile pour l'exploitation: une exécution déclenchait en moyenne 6,34 contrôles échoués. L'attribution par dépendances réduisait ce bruit à 2,65 causes racines descriptives.
Une cascade d'alertes devient un diagnostic.
L'étude reste étroite: un système, deux compétences proches et aucune validation longitudinale lors de véritables changements d'API.
Elle montre néanmoins pourquoi un score final peut donner une fausse impression de maîtrise.
ULTRA®
Le mécanisme le plus intéressant est le "regression contract".
Les valeurs attendues ne sont pas figées. Des modèles de tests résolvent à l'exécution le périmètre, le nombre d'appels et les valeurs attendues depuis l'environnement courant.
Une infrastructure ARGOS devrait versionner ensemble spécification de l'agent, trace complète, oracle indépendant et graphe de dépendances entre contrôles.
Le gate de production peut alors tester résultat final, outils autorisés, scopes IAM, ordre obligatoire et invariants de persistance.
Pour un comité de risque, la conséquence est directe: un agent peut produire le bon chiffre tout en violant le processus qui rend ce chiffre auditable et reproductible.
La fiabilité se mesure donc aussi dans le chemin.
ARGOS
Un résultat exact obtenu par une trajectoire non maîtrisée reste une dette de gouvernance.
Sources
Vo N.P.A., Doshi A., Sheinin V., "Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills", 1 octobre 2026
NeurIPS 2026, Workshop on Continual Learning for Enterprise AI Agents (CLEA)
#VOCEAssociation #AIGovernance #AIEvaluation #ContinuousAssurance #AgenticAI