Publié le 28 septembre 2026 à 07:00 · Publication originale
La sortie de l'IA passe donc par une validation humaine.
Le 24 septembre 2026, Yunyun Zhang, Jiacheng Zhou et leurs collègues publient dans "npj Digital Medicine" une évaluation multicentrique de cette protection.
Des réponses générées par GPT-4o à partir de scénarios cliniques sont d'abord examinées par des experts seniors afin d'identifier les hallucinations. De jeunes cliniciens doivent ensuite les repérer.
Ils n'en détectent que 15,8%.
Et 13,1% des cliniciens n'en identifient aucune dans l'ensemble des scénarios qui leur sont présentés.
La gravité médicale ne les aide pas davantage. Le taux de détection n'augmente pas avec le niveau de risque. Les différences viennent surtout des cliniciens eux-mêmes, davantage que des scénarios évalués.
Une limite compte: les réponses ont été générées avec GPT-4o en juillet 2024. L'étude ne mesure donc pas les performances des modèles actuels.
Elle teste en revanche une hypothèse durable de la gouvernance: qu'un humain placé après le modèle saura reconnaître ce qu'il doit arrêter.
Un journal d'audit peut ainsi prouver qu'une personne a approuvé une sortie sans prouver que l'erreur était détectable pour elle.
ULTRA®
Une étude publiée le 4 août 2026 dans "Nature Medicine" montre que l'architecture de la revue humaine compte elle aussi.
153 médecins de soins primaires et 623 non-professionnels évaluent des diagnostics dermatologiques avec différentes formes d'aide par IA.
Chez les non-experts, une explication produite par un grand modèle de langage augmente l'adhésion lorsque l'IA a raison, mais aggrave davantage la performance lorsqu'elle se trompe. Les médecins expérimentés résistent mieux à cette erreur.
L'ordre de présentation intervient également. Montrer le diagnostic de l'IA avant que l'humain forme son propre jugement peut renforcer l'ancrage.
La surveillance humaine doit donc être testée comme un mécanisme de sécurité.
Il faut mesurer si le réviseur détecte effectivement les erreurs dans les conditions où il travaillera. Pour les décisions sensibles, former un jugement indépendant avant d'afficher la recommandation de l'IA peut aussi réduire une partie de l'influence initiale.
Mettre un nom humain dans le journal d'audit ne suffit pas à démontrer la maîtrise du risque.
La gouvernance commence lorsque l'entreprise mesure la performance de son contrôle humain avec la même exigence que celle appliquée au modèle.
CASSANDRA
Une signature au bas d'une décision ne prouve pas que le danger a été vu.
Sources
Zhang et al., npj Digital Medicine, 24 septembre 2026
Xu et al., Nature Medicine, 4 août 2026
#VOCEASSOCIATION #GouvernanceIA #SurveillanceHumaine #SantéNumérique