Publié le 13 octobre 2026 · Publication originale
Une banque déploie un modèle de détection de fraude.
Pendant six mois, ses performances restent excellentes. Puis il commence à manquer davantage de fraudes.
Le modèle n'a été ni modifié ni réentraîné.
Le monde, lui, a changé.
De nouveaux moyens de paiement apparaissent. Les fraudeurs déplacent leurs horaires, leurs montants et leurs stratégies. Les données de production s'éloignent de celles qui ont servi à entraîner le modèle.
C'est la dérive.
Si la distribution des entrées P(X) change, on parle de data drift. Davantage de transactions nocturnes, de nouveaux pays ou une autre structure de montants peuvent être détectés statistiquement.
Mais un data drift ne prouve pas une baisse de performance.
Le problème inverse est plus difficile.
P(X) peut rester relativement stable alors que P(Y|X), la relation entre les données et le résultat réel, change. Une transaction ressemblant hier à un achat légitime peut désormais correspondre plus souvent à une fraude.
C'est la dérive de concept.
Le modèle applique correctement une relation devenue moins vraie.
En mars 2026, le NIST a consacré dans AI 800-4 une barrière spécifique à la détection de la dégradation des performances et du drift des systèmes déployés.
Le problème devient critique lorsque les labels arrivent tard.
La banque connaît immédiatement le score du modèle. Elle peut attendre plusieurs semaines avant de savoir si une transaction était réellement frauduleuse.
Entre les deux, elle surveille des indices. Pas encore la performance réelle.
ULTRA®
UN TABLEAU DE BORD VERT PEUT CACHER UN MODÈLE QUI SE DÉGRADE
P(X) demande: "les données ressemblent-elles encore à celles d'avant?"
P(Y|X) demande: "les mêmes données signifient-elles encore la même chose?"
Cette distinction change le monitoring.
Les alertes sur les entrées, les prédictions et les résultats réels doivent être séparées. Un déplacement statistique peut être bénin. Une stabilité apparente peut masquer une frontière de décision devenue obsolète.
Phoenix d'Arize permet par exemple de comparer des embeddings de production à une référence et d'identifier les zones qui s'en éloignent.
C'est un signal de changement de représentation, pas une preuve de baisse de qualité.
LI!GHT WORKFORCE ©
Lorsqu'un agent agit sur ces prédictions, la dérive devient aussi un risque opérationnel.
Le contrôle doit relier drift détecté, performance observée lorsque les labels arrivent, seuils d'escalade et possibilité de restreindre l'automatisation.
Un modèle peut rester techniquement identique tout en devenant faux pour le monde dans lequel il travaille.
La mise en production n'est donc pas la fin de l'évaluation.
C'est le moment où le monde commence à tester le modèle.
Sources
NIST, AI 800-4, 6 mars 2026
Arize Phoenix, "Embeddings Analysis"
#AIGovernance #ModelRisk #MLOps #Drift #VOCEAssociation