Publié le 19 octobre 2026 · Publication originale
Une banque utilise depuis six mois le même endpoint pour analyser des réclamations.
Le prompt n'a pas changé.
Le code non plus.
Le nom du modèle reste identique.
Pourtant, son comportement peut évoluer.
Poids, quantification, moteur d'inférence, paramètres d'échantillonnage, routage ou matériel peuvent changer derrière un service qui paraît stable.
En mai 2026, Jonah Leshin, Manish Shah, Ian Timmis et Daniel Kang publient à l'ACM Conference on AI and Agentic Systems une méthode pour détecter cette dérive.
Stability Monitor interroge régulièrement un endpoint avec un ensemble fixe de prompts puis compare statistiquement les distributions de sorties dans le temps.
Il ne demande pas au fournisseur si le modèle a changé.
Il cherche si son identité comportementale a changé.
En validation contrôlée, la méthode détecte des changements de famille de modèle, version, pile d'inférence, quantification et paramètres comportementaux.
Le problème devient celui de la preuve.
Une entreprise peut avoir validé en janvier un système de classification ou de conseil.
Si l'artefact réellement servi change en mars, cette validation ne décrit plus nécessairement le système utilisé en production.
En août 2026, Sophia Abraham et Ben Bucknall documentent ce vide dans "Silent Updates".
Sur neuf fournisseurs d'API de première partie et sept hébergeurs tiers, aucun ne publiait de mécanisme permettant à un observateur externe de vérifier que l'artefact servi était bien celui décrit par sa documentation.
ULTRA®
Comparer quelques réponses ne suffit pas.
Stability Monitor construit une empreinte à partir de distributions de sorties sur un corpus fixe, puis utilise une distance énergétique agrégée et des tests par permutation pour détecter un changement statistiquement significatif.
Aucun accès aux poids n'est nécessaire.
Pour une organisation dépendante d'API externes, cela suggère une pratique concrète: conserver un corpus de sentinelles couvrant refus, formats structurés, cas limites, décisions métier et appels d'outils, puis le rejouer périodiquement sur l'endpoint de production.
L'uptime peut rester à 100%.
La latence peut rester stable.
Toutes les requêtes peuvent répondre HTTP 200.
Et pourtant, le système validé peut avoir changé.
Pour une IA, "le service fonctionne" et "le même comportement est toujours servi" sont deux affirmations différentes.
ARGOS
Une gouvernance sérieuse ne doit pas seulement savoir quel modèle elle a acheté.
Elle doit pouvoir détecter quand celui qu'elle utilise a cessé d'être comportementalement le même.
Sources
Leshin, Shah, Timmis & Kang, ACM CAIS, mai 2026
Abraham & Bucknall, "Silent Updates", AIES 2026
#AIGovernance #ModelRisk #LLMOps #AIInfrastructure #OperationalRisk #VOCEAssociation