Catalogue / IA, gouvernance et light workforce / VOCE-AI-004
VOCE-AI-004 · Version pédagogique 0.4.0 · 18 octobre 2026

L’agent change: que faut-il vérifier à nouveau?

Accès libre · Séquence de travail: 35 à 45 minutes estimées, comprenant lecture, analyse, production et correction. Durée à confirmer par un pilote; adaptez le temps à votre rythme.

Objectif professionnel

Définir les tests nécessaires après modification

Production attendue: Une matrice de contrôle comportant entrée, règle, résultat attendu, preuve et propriétaire; les calculs détaillés lorsqu’ils sont pertinents.

Parcours de travail

  1. Comprendre et reformuler le mécanisme: 8 minutes.
  2. Construire le dossier du cas et vérifier les hypothèses: 12 minutes.
  3. Traiter la variante de transfert et examiner une référence: 10 à 15 minutes.
  4. Comparer au corrigé et réviser la production: 5 à 10 minutes.

Ces temps organisent une activité complète. La seule lecture de la page est plus courte. Conservez votre première réponse avant de consulter la correction; une production de 400 à 600 mots, ou un tableau et son commentaire d’une précision équivalente, permet de rendre le raisonnement examinable.

Le mécanisme

Une modification du modèle, de l'index ou du connecteur peut déplacer des erreurs sans modifier l'interface. La comparaison doit conserver un jeu de cas stable et ajouter des cas ciblés sur le changement. Une moyenne globale peut masquer la dégradation d'une catégorie critique. La décision de mise en service dépend des critères métier, de la gravité des erreurs et des possibilités de retour à la version antérieure.

Après le pilote, l'équipe ajoute une nouvelle source documentaire. Elle contient des exceptions commerciales accordées à certains clients. Le modèle n'a pas changé. Pourtant, le service peut désormais proposer d'autres décisions.

Une modification du système ne se limite pas au remplacement du modèle. Elle peut concerner une source, une consigne, une permission ou la fonction qui exécute l'action. Il faut examiner la conséquence de chaque changement sur le parcours de la demande.

Dans notre cas, la nouvelle source peut être utile. Elle peut aussi contenir une exception expirée ou un texte réservé à un autre périmètre. Le responsable doit vérifier comment une exception est sélectionnée et comment sa validité est établie.

Le test ne doit pas seulement confirmer que la recherche trouve un document. Il doit examiner le choix de la règle applicable. Que se passe-t-il lorsque la politique générale et une exception semblent se contredire? Que fait le système si la date de validité manque?

L'étendue des vérifications dépend du changement et de ses conséquences possibles. Quelques tests locaux peuvent suffire pour une modification limitée. Une extension des capacités d'action peut justifier une revue plus large. La décision doit être expliquée et consignée.

Comparer les mêmes dossiers

Prenons 20 dossiers distincts: A et B réussissent tous deux 14 fois; A seul réussit quatre fois; B seul une fois; les deux échouent une fois. A obtient 18/20, B 15/20. Les cinq dossiers discordants expliquent la différence observée; les 14 réussites communes n'indiquent pas où le changement a nui. Ajouter la gravité permet de décider si l'unique gain compense les quatre pertes selon une règle établie avant l'analyse. Cette table appariée doit être construite sur les sorties conservées, sans reconstituer des résultats manquants à partir des seuls taux.

Démonstration pédagogique: les données ajoutées à titre d’exemple ne sont pas des résultats empiriques.

Repères méthodologiques communs

Un système agentique peut être décrit comme une machine à états. La demande reçue, le plan proposé, l’autorisation, l’exécution et la confirmation sont des états différents. Le passage d’un état à l’autre doit produire une preuve observable. Lorsque la réponse d’un service n’arrive pas, l’état devient indéterminé: l’absence de confirmation ne démontre pas l’absence d’exécution. Cette distinction explique pourquoi une simple nouvelle tentative peut provoquer un doublon.

La frontière de confiance indique à quel endroit une information change de statut. Un document externe peut servir de donnée, mais il ne reçoit pas pour autant le pouvoir d’accorder des permissions. Une validation humaine peut autoriser une action précise sans autoriser toutes les actions ultérieures. Pour rester contrôlable, l’autorisation doit être liée aux paramètres effectivement exécutés. Si le bénéficiaire, le montant ou la ressource changent, le système doit déterminer si l’autorisation reste valable.

La recette doit combiner essais positifs et négatifs. Un essai positif vérifie qu’une opération autorisée fonctionne. Un essai négatif vérifie qu’une opération interdite ne produit aucun effet, y compris lorsque l’interface affirme l’avoir refusée. Les observations doivent donc atteindre le système de référence. Vérifier seulement le texte de la réponse laisserait invisible une action déjà réalisée.

La responsabilité ne se résume pas au nom d’un superviseur. Elle suppose un accès aux informations nécessaires, une capacité de suspension et une procédure de reprise. Dans votre dossier, associez chaque transition à un propriétaire et à une preuve. Cette construction permet ensuite d’examiner le coût, la qualité et les besoins de formation sur un même périmètre opérationnel.

Un dossier de décision technique

Présentez les composants, les états et les frontières de responsabilité. Séparez la sortie proposée par un modèle de l’action effectivement exécutée. Pour chaque contrôle, indiquez son emplacement, sa condition de déclenchement et la preuve observable. Un prompt prudent ne remplace pas un refus appliqué par le service.

Travaillez d’abord avec les informations effectivement fournies. Énumérez séparément les hypothèses nécessaires, en précisant lesquelles changeraient la décision. Si une donnée manque, formulez une conclusion conditionnelle ou une demande de preuve. Une valeur inventée ne doit jamais devenir une observation.

Cas professionnel: consolidation guidée

Situation fictive conçue pour l’apprentissage; les chiffres ne décrivent ni une étude ni un client réel.

Version A: 180 réussites sur 200, dont 18 sur 20 dossiers sensibles. Version B: 188 sur 200, dont 14 sur 20 dossiers sensibles. Calculez les taux et rédigez un avis de recette; proposez un protocole apparié et un plan de retour arrière.

  1. Définissez la décision ou la proposition à examiner et son périmètre.
  2. Construisez la production attendue avec les données du cas. Montrez les calculs et les unités, ou reliez chaque affirmation à une observation.
  3. Présentez au moins une interprétation concurrente. Indiquez la donnée qui permettrait de la départager.
  4. Rédigez une recommandation de 120 à 180 mots avec ses conditions de validité. Précisez ce qui reste impossible à conclure.

Transfert à une situation nouvelle

Le groupe sensible est dix fois moins fréquent en production: expliquez pourquoi cette fréquence ne suffit pas à accepter les erreurs.

Répondez avant d’ouvrir le corrigé. Modifiez explicitement votre dossier initial: quelle règle reste valable, quelle hypothèse tombe et quelle preuve supplémentaire devient nécessaire? Une réponse qui répète simplement la conclusion du premier cas ne démontre pas le transfert.

Travail sur les références

NISTGEN: distinguer évaluation globale et examen des risques du contexte; aucun seuil de migration universel n'est fourni par le cas.

L’objectif documentaire est de soutenir ou de limiter la conclusion suivante: Définir les tests nécessaires après modification.

Choisissez ci-dessous la source dont le périmètre correspond directement au mécanisme étudié. Identifiez sa section, sa version et sa date; relevez une proposition précise et expliquez son lien avec une étape de votre production. Indiquez également une conclusion que cette source ne permet pas de soutenir. Les portails généraux et programmes de formation constituent des points d’entrée, non une preuve scientifique du cas.

Si le texte intégral est inaccessible ou sous licence, ne prétendez pas l’avoir vérifié. Consignez la limite, identifiez le document ou la section à obtenir et rédigez votre conclusion sous cette réserve. Les calculs et situations fictives restent des constructions pédagogiques VOCE.

Ouvrir le corrigé argumenté

Correction du cas

Le taux global passe de 90 à 94%, tandis que le sous-groupe sensible passe de 90 à 70%. Le gain global ne justifie pas automatiquement la migration. Sans les résultats cas par cas, on ne peut pas tester correctement la différence appariée. Exiger la matrice des changements et analyser chaque échec critique.

Correction du transfert

Une fréquence dix fois moindre réduit éventuellement le nombre attendu d'événements, pas leur conséquence individuelle. Documenter fréquence, gravité et détectabilité séparément; conserver un test ciblé du sous-groupe. Si une erreur rend l'usage inacceptable, restreindre le périmètre ou corriger avant migration, même avec une meilleure moyenne globale.

Évaluer puis réviser

Critère propre à ce module: La comparaison comporte une table appariée et une décision explicite sur les échecs sensibles.

  • 4 points: analyse du mécanisme, calculs ou relations documentaires corrects.
  • 3 points: justification de la décision par des données et des hypothèses explicites.
  • 2 points: traitement réel de la variante, avec une conclusion adaptée.
  • 1 point: référence précise et limite de portée correctement identifiées.

Repère interne proposé: 8/10 sans erreur critique. Une preuve inventée, une causalité non démontrée, une unité erronée décisive ou un droit supposé sans fondement imposent une reprise. Ce barème sert à l’autoévaluation; il n’atteste pas à lui seul une compétence acquise.

Après comparaison, corrigez votre dossier dans une seconde version et ajoutez un court journal: erreur repérée, effet sur la conclusion, correction et vérification restante. Conservez les deux versions seulement si vous avez réellement effectué l’activité.

Références et portée

COURS VOCE® Démonstrateur pédagogique

Consulter la source VOCE16

Nature: document VOCE. Version: 2026-10-13.

Portée du registre: cas professionnels, exercices et critères des 16 cours. Vérification documentaire enregistrée: 2026-10-17.

Lecture intégrale du PDF de 43 pages conservé, version 1; site détaillé non relu Nouvelle revue: accès direct incomplet ou en échec le 17 octobre 2026.

NIST AI Risk Management Framework

Consulter la source NIST

Nature: cadre volontaire. Version: 1.0, 2023.

Portée du registre: organisation du risque et dossier de décision. Vérification documentaire enregistrée: 2026-10-17.

Page officielle consultée; révision en cours signalée

NIST Generative AI Profile

Consulter la source NISTGEN

Nature: cadre volontaire. Version: NIST AI 600-1, 2024.

Portée du registre: tests, traçabilité et limites des systèmes génératifs. Vérification documentaire enregistrée: 2026-10-17.

Notice officielle NIST consultée; sections détaillées à relire avant validation

OWASP LLM06 Excessive Agency

Consulter la source OWASP

Nature: référentiel sécurité. Version: 2025.

Portée du registre: droits, portée des outils, autonomie excessive. Vérification documentaire enregistrée: 2026-10-17.

Page officielle consultée

Les compétences VCLF sont des repères internes. Aucun alignement supplémentaire avec ESCO, e-CF ou un niveau de qualification n’est déduit automatiquement de cette réécriture. Les statuts de vérification ci-dessus restent ceux du registre; ils ne constituent pas une nouvelle lecture intégrale de chaque source.

Version et provenance

Compétence: VCLF-GOV-AI004. Réécriture et cas complémentaires: VOCE Association avec assistance IA, 18 octobre 2026. Le socle documentaire antérieur et ses réserves sont conservés. Relecture indépendante et mesure des durées auprès d’apprenants: à réaliser.