RAG: retrouver ne suffit pas à répondre
Accès libre · Séquence de travail: 35 à 45 minutes estimées, comprenant lecture, analyse, production et correction. Durée à confirmer par un pilote; adaptez le temps à votre rythme.
Objectif professionnel
Séparer erreur de recherche et erreur de génération
Production attendue: Une matrice de contrôle comportant entrée, règle, résultat attendu, preuve et propriétaire; les calculs détaillés lorsqu’ils sont pertinents.
Parcours de travail
- Comprendre et reformuler le mécanisme: 8 minutes.
- Construire le dossier du cas et vérifier les hypothèses: 12 minutes.
- Traiter la variante de transfert et examiner une référence: 10 à 15 minutes.
- Comparer au corrigé et réviser la production: 5 à 10 minutes.
Ces temps organisent une activité complète. La seule lecture de la page est plus courte. Conservez votre première réponse avant de consulter la correction; une production de 400 à 600 mots, ou un tableau et son commentaire d’une précision équivalente, permet de rendre le raisonnement examinable.
Le mécanisme
La recherche et la génération sont deux étapes distinctes. On peut évaluer la présence du passage attendu dans les résultats puis la réponse produite lorsqu'il est fourni. Une citation peut être pertinente au thème sans soutenir une affirmation. Les permissions, versions et limites de couverture font partie du protocole.
Un système documentaire peut échouer avant même que le modèle rédige. Le passage pertinent peut manquer de l'index, être exclu par les permissions ou arriver trop bas dans le classement. Une réponse fausse ne doit donc pas être attribuée automatiquement au modèle. Construire un jeu de questions avec les passages attendus permet de mesurer la recherche séparément. On teste ensuite la réponse lorsque le bon passage est fourni. Cette décomposition oriente la correction: indexer mieux, récupérer autrement ou contraindre la synthèse. Une citation présente ne prouve pas qu'elle soutient effectivement la proposition.
Construire la table recherche/réponse
Les quatre cases du cas sont: passage trouvé et réponse correcte, 72; passage trouvé et réponse incorrecte, huit; passage non trouvé et réponse correcte, cinq; passage non trouvé et réponse incorrecte, quinze. Les marges donnent 80 passages trouvés et 77 réponses correctes. Une amélioration de la recherche ne garantit pas de récupérer les quinze erreurs: un modèle peut encore mal exploiter le contexte. Pour isoler ce second mécanisme, fournir le passage attendu dans un essai distinct, en conservant les mêmes questions et la même règle de correction.
Démonstration pédagogique: les données ajoutées à titre d’exemple ne sont pas des résultats empiriques.
Repères méthodologiques communs
Une chaîne documentaire commence avant la génération de texte. Les documents sont acquis, découpés, indexés et filtrés; les résultats sont ensuite sélectionnés et présentés au modèle. Chaque étape peut perdre une information ou modifier son contexte. Une évaluation utile conserve un jeu de questions avec les passages attendus et vérifie séparément leur récupération et leur utilisation.
Une réponse peut être correcte sans citation adéquate, ou comporter une citation qui ne soutient pas sa conclusion. L’évaluation de l’exactitude et celle de l’appui documentaire ne doivent donc pas être confondues. Pour une affirmation sensible, il faut retrouver la proposition dans une source pertinente, vérifier sa version et examiner ses conditions d’application. Un lien présent dans la réponse n’accomplit pas ce travail à lui seul.
Les outils ajoutent une seconde difficulté: le contenu lu peut influencer des actions. Le système doit conserver la différence entre donnée externe, instruction de l’utilisateur et permission effective. Les règles de destination, de montant ou de périmètre doivent être appliquées par les services concernés. Un contrôle textuel peut compléter ces règles, mais ne constitue pas une frontière d’autorisation suffisante.
Les mesures doivent enfin préciser leur population. Le rappel documentaire peut être calculé sur les questions disposant d’un passage de référence. L’exactitude conditionnelle porte sur un sous-ensemble. Le taux global exige de connaître les autres résultats. Documentez les exclusions, abstentions et cas indéterminés. Cette discipline évite qu’une amélioration locale soit présentée comme la réussite du service complet.
Un dossier de décision technique
Présentez les composants, les états et les frontières de responsabilité. Séparez la sortie proposée par un modèle de l’action effectivement exécutée. Pour chaque contrôle, indiquez son emplacement, sa condition de déclenchement et la preuve observable. Un prompt prudent ne remplace pas un refus appliqué par le service.
Travaillez d’abord avec les informations effectivement fournies. Énumérez séparément les hypothèses nécessaires, en précisant lesquelles changeraient la décision. Si une donnée manque, formulez une conclusion conditionnelle ou une demande de preuve. Une valeur inventée ne doit jamais devenir une observation.
Cas professionnel: consolidation guidée
Situation fictive conçue pour l’apprentissage; les chiffres ne décrivent ni une étude ni un client réel.
Sur 100 questions, le passage attendu est retrouvé 80 fois; 72 de ces réponses sont correctes. Sur les vingt autres, cinq sont correctes. Calculez rappel documentaire, exactitude conditionnelle et exactitude globale. Proposez une table d'erreurs.
- Définissez la décision ou la proposition à examiner et son périmètre.
- Construisez la production attendue avec les données du cas. Montrez les calculs et les unités, ou reliez chaque affirmation à une observation.
- Présentez au moins une interprétation concurrente. Indiquez la donnée qui permettrait de la départager.
- Rédigez une recommandation de 120 à 180 mots avec ses conditions de validité. Précisez ce qui reste impossible à conclure.
Transfert à une situation nouvelle
Retirez l'information sur les vingt réponses restantes: donnez les bornes du taux global et expliquez leur intérêt.
Répondez avant d’ouvrir le corrigé. Modifiez explicitement votre dossier initial: quelle règle reste valable, quelle hypothèse tombe et quelle preuve supplémentaire devient nécessaire? Une réponse qui répète simplement la conclusion du premier cas ne démontre pas le transfert.
Travail sur les références
RAG: distinguer recherche et génération dans l'architecture; les résultats sur 100 questions sont entièrement fictifs.
L’objectif documentaire est de soutenir ou de limiter la conclusion suivante: Séparer erreur de recherche et erreur de génération.
Choisissez ci-dessous la source dont le périmètre correspond directement au mécanisme étudié. Identifiez sa section, sa version et sa date; relevez une proposition précise et expliquez son lien avec une étape de votre production. Indiquez également une conclusion que cette source ne permet pas de soutenir. Les portails généraux et programmes de formation constituent des points d’entrée, non une preuve scientifique du cas.
Si le texte intégral est inaccessible ou sous licence, ne prétendez pas l’avoir vérifié. Consignez la limite, identifiez le document ou la section à obtenir et rédigez votre conclusion sous cette réserve. Les calculs et situations fictives restent des constructions pédagogiques VOCE.
Ouvrir le corrigé argumenté
Correction du cas
Les résultats sont 80%, 90% et 77%. Les huit erreurs malgré passage retrouvé orientent vers l'usage du contexte; les quinze autres erreurs peuvent impliquer la recherche. Les cinq bonnes réponses sans passage attendu ne prouvent pas une citation correcte. Sans les résultats des vingt autres cas, le taux global est compris entre 72% et 92%.
Correction du transfert
Sans résultats sur les vingt questions restantes, le minimum est 72 réponses correctes et le maximum 92. L'intervalle 72–92% décrit une ignorance sur ces réponses, pas un intervalle de confiance statistique. Il interdit de publier 90% comme taux global, car 90% ne concerne que les cas avec passage retrouvé.
Évaluer puis réviser
Critère propre à ce module: Les quatre cases sont cohérentes et l'intervalle de données manquantes n'est pas nommé intervalle de confiance.
- 4 points: analyse du mécanisme, calculs ou relations documentaires corrects.
- 3 points: justification de la décision par des données et des hypothèses explicites.
- 2 points: traitement réel de la variante, avec une conclusion adaptée.
- 1 point: référence précise et limite de portée correctement identifiées.
Repère interne proposé: 8/10 sans erreur critique. Une preuve inventée, une causalité non démontrée, une unité erronée décisive ou un droit supposé sans fondement imposent une reprise. Ce barème sert à l’autoévaluation; il n’atteste pas à lui seul une compétence acquise.
Après comparaison, corrigez votre dossier dans une seconde version et ajoutez un court journal: erreur repérée, effet sur la conclusion, correction et vérification restante. Conservez les deux versions seulement si vous avez réellement effectué l’activité.
Références et portée
Lewis et al., Retrieval-Augmented Generation
Nature: article de recherche. Version: 2020, arXiv 2005.11401.
Portée du registre: séparation recherche documentaire et génération. Vérification documentaire enregistrée: 2026-10-17.
Notice primaire consultée
Les compétences VCLF sont des repères internes. Aucun alignement supplémentaire avec ESCO, e-CF ou un niveau de qualification n’est déduit automatiquement de cette réécriture. Les statuts de vérification ci-dessus restent ceux du registre; ils ne constituent pas une nouvelle lecture intégrale de chaque source.
Version et provenance
Compétence: VCLF-AI-AI024. Réécriture et cas complémentaires: VOCE Association avec assistance IA, 18 octobre 2026. Le socle documentaire antérieur et ses réserves sont conservés. Relecture indépendante et mesure des durées auprès d’apprenants: à réaliser.