Publié le 2 octobre 2026 à 16:00 · Publication originale
GPT-4o, Llama 3 et Command R+ trouvent au moins une pathologie pertinente dans 94,9% des essais, en moyenne.
Puis 1.298 adultes britanniques évaluent ces situations avec un modèle ou leurs ressources habituelles.
Le résultat change radicalement.
Avec l'IA, moins de 34,5% identifient une pathologie pertinente et moins de 44,2% choisissent la conduite appropriée. Sur le premier critère, le groupe sans IA fait même mieux; sur le second, aucune différence significative.
L'étude randomisée, publiée le 9 février dans Nature Medicine, montre où l'information se perd.
Dans 66 à 73% des conversations, les modèles mentionnent pourtant une pathologie pertinente. Les utilisateurs fournissent parfois des informations incomplètes, les modèles les interprètent mal ou les bonnes suggestions ne sont pas reprises.
Le score du modèle ne prédit pas celui du duo humain-machine.
Le 15 septembre, Li Zhang et l'équipe de Jakob Nikolas Kather proposent une autre approche: différer les diagnostics instables.
Leur agent, exécuté localement, traite chaque cas cinq fois. Sur 551 dossiers du benchmark MIRA-v2, un seuil de cohérence de 0,90 retient 272 cas, soit 49,4%, avec 98,9% de diagnostics corrects. Trois erreurs subsistent. Les 279 autres dossiers sont orientés vers une vérification humaine, dans une simulation.
Aucun de ces résultats ne constitue une validation prospective auprès de patients. Mais ils montrent deux exigences distinctes: évaluer l'interaction réelle et savoir reconnaître les situations où la machine doit céder la décision.
ULTRA®
Une difficulté supplémentaire se cache dans la réponse considérée comme vraie.
Dans la seconde étude, des médecins réexaminent en aveugle 181 dossiers. Pour 4,4% d'entre eux, ils jugent le diagnostic de l'agent cliniquement valable, contrairement au diagnostic de référence extrait du dossier électronique.
Un benchmark peut donc pénaliser une réponse recevable et récompenser la reproduction d'une étiquette discutable. Cette observation ne rend pas l'agent infaillible: elle oblige à auditer aussi le référentiel utilisé pour le noter.
Les recommandations STARD-AI de 2025 demandent une description transparente des données, du test évalué et des risques de biais. Elles améliorent la qualité des preuves publiées; elles ne remplacent pas les essais cliniques prospectifs.
DULCAMARA
Le plus dangereux des remèdes est parfois celui dont personne n'a vérifié la preuve.
Sources
Bean et al., Nature Medicine, 9 février 2026
Zhang et al., Nature Medicine, 15 septembre 2026
Sounderajah et al., STARD-AI, Nature Medicine, 2025
#VOCEASSOCIATION #GouvernanceIA #IntégritéScientifique #IAMédicale #RechercheClinique