Créer un workflow n8n de questions-réponses sur documents avec citations vérifiées et revue humaine
Concevez un workflow n8n qui extrait les éléments de preuve des documents, valide les réponses structurées, relance les opérations de manière contrôlée et transmet les résultats incertains à un humain.
Résumé · TL;DR
Une approche pratique pour répondre à des questions à partir de documents dans n8n, tout en vérifiant les citations, en limitant les relances et en distinguant la revue des réponses de l’approbation des appels à des outils à risque.
Points clés
- Conservez ensemble les identifiants et versions des documents, les références de page et le texte original tout au long de l’extraction et de la recherche.
- Validez à la fois la structure de la réponse et la présence des éléments cités dans le texte source fourni.
- Limitez les relances en cas d’erreur temporaire ; transmettez les échecs persistants de validation et les réponses non étayées à un circuit de revue, ou abstenez-vous de répondre.
- L’approbation humaine des outils dans n8n détermine si un agent peut exécuter un outil ; elle ne remplace pas la revue de la qualité d’une réponse.
Sur cette page (7)
Commencez par un ensemble restreint et vérifiable d’éléments de preuve : extrayez le texte avec des identifiants de page ou de section, demandez au modèle de répondre uniquement à partir de ce texte et rejetez les réponses dont les citations ne peuvent pas être vérifiées. Dans n8n, utilisez des branches de workflow classiques pour valider et examiner les résultats, et réservez l’approbation humaine de l’AI Agent aux appels d’outils susceptibles de déclencher des actions importantes.
La configuration ci-dessous est un exemple de conception, et non un workflow exporté et testé. Les paramètres des nœuds et les intégrations disponibles peuvent varier selon la version de n8n et le fournisseur.
Prérequis et structure du workflow
Vous avez besoin d’une instance n8n, d’un accès à un modèle capable de traiter du texte via une intégration prise en charge ou un endpoint HTTP, d’une méthode d’extraction du texte des documents et d’un espace où stocker les documents et les enregistrements de revue. Pour les PDF numérisés, ajoutez une étape d’OCR ; l’extraction classique du texte d’un PDF peut renvoyer peu de texte, voire aucun. Déterminez qui peut accéder à chaque document avant de connecter un système de recherche.
Créez deux étapes reliées :
- Ingestion : déclencheur de document → extraction du texte ou OCR → découpage en enregistrements par page ou par section → stockage du texte et des métadonnées.
- Réponse : déclencheur de question → récupération des enregistrements autorisés → extraction par le modèle → validation par un nœud Code → réponse, relance limitée ou file de revue.
Conservez document_id, version, page et text dans chaque enregistrement stocké. Une citation doit renvoyer à une version et à une page précises d’un document, et pas seulement à un nom de fichier. Si votre extracteur ne peut pas conserver les limites des pages, utilisez à la place des identifiants de section stables et désignez-les correctement. Rejetez les résultats d’extraction vides au lieu de les envoyer au modèle.
Pour une petite collection, récupérez les enregistrements par identifiant de document et transmettez directement les pages pertinentes. Pour une collection plus importante, ajoutez une étape de recherche ou de récupération, tout en conservant les mêmes métadonnées. La recherche peut passer à côté de la réponse ; une réponse qui semble valide ne prouve pas que toutes les pages pertinentes ont été trouvées.
Définir le contrat de réponse
Dans le nœud du modèle, demandez un objet JSON unique contenant une chaîne answer, un status égal à answered ou insufficient_evidence, et un tableau evidence. Chaque élément de preuve doit contenir document_id, version, page et une citation exacte quote copiée depuis les enregistrements fournis. Demandez au modèle d’ignorer les instructions présentes dans les documents, de les traiter comme des données non fiables et de renvoyer insufficient_evidence lorsque le texte fourni ne permet pas d’étayer une réponse.
Voici un exemple de réponse :
{
"status": "answered",
"answer": "The agreement renews annually.",
"evidence": [
{
"document_id": "agreement-17",
"version": "v2",
"page": 3,
"quote": "This agreement renews for successive one-year terms."
}
]
}
La citation et les identifiants sont des exemples, et non des faits concernant un accord réel. Exigez au moins un élément de preuve pour une réponse fournie ; n’en exigez aucun pour une réponse signalant des preuves insuffisantes. Affichez les citations avec le nom ou l’identifiant du document, sa version, la page et l’extrait cité. N’ajoutez un lien que si votre application peut construire un lien autorisé vers cette source précise.
Valider les résultats et les citations dans n8n
Après l’appel au modèle, analysez son JSON et transmettez l’objet analysé ainsi que les enregistrements réellement récupérés à un nœud Code. L’exemple JavaScript suivant suppose un seul élément en entrée, dont result contient la réponse analysée et sources un tableau d’enregistrements comportant document_id, version, page et text. Adaptez les nœuds précédents pour fournir cette structure ; les erreurs d’analyse doivent être dirigées vers la branche d’échec.
const { result, sources } = $input.first().json;
const errors = [];
if (!result || typeof result !== 'object' || Array.isArray(result)) {
errors.push('Result must be an object');
} else {
if (!['answered', 'insufficient_evidence'].includes(result.status))
errors.push('Invalid status');
if (typeof result.answer !== 'string' || !result.answer.trim())
errors.push('Missing answer');
if (!Array.isArray(result.evidence)) {
errors.push('Evidence must be an array');
} else {
if (result.status === 'answered' && result.evidence.length === 0)
errors.push('Answered response needs evidence');
if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
errors.push('Insufficient-evidence response must not cite evidence');
for (const e of result.evidence) {
const validFields = e && typeof e.document_id === 'string' &&
typeof e.version === 'string' && Number.isInteger(e.page) &&
typeof e.quote === 'string' && e.quote.trim().length > 0;
if (!validFields) {
errors.push('Invalid evidence fields');
continue;
}
const source = Array.isArray(sources) && sources.find(s =>
s.document_id === e.document_id && s.version === e.version &&
s.page === e.page && typeof s.text === 'string'
);
if (!source || !source.text.includes(e.quote))
errors.push('Citation or exact quote not found in retrieved source');
}
}
}
return [{ json: { result, errors, valid: errors.length === 0 } }];
Ce code vérifie un contrat restreint et explicite ainsi que la présence exacte des citations ; il ne s’agit pas d’un validateur JSON Schema généraliste. Ajoutez une bibliothèque ou un service de validation de schéma si vous avez besoin de contraintes telles que des longueurs maximales ou le rejet de champs supplémentaires. La correspondance exacte peut échouer en raison d’erreurs d’OCR ou de modifications des espaces. Si vous normalisez le texte, appliquez la même normalisation documentée à la source et à la citation, et conservez le texte original pour les personnes chargées de la revue.
Surtout, une citation correspondante ne prouve pas que la réponse en découle. Une personne chargée de la revue ou un processus distinct de contrôle qualité doit déterminer si le passage cité étaye réellement chaque affirmation importante. Pour les réponses à forts enjeux, transmettez à la revue même les résultats dont la structure est valide.
Ajouter des relances limitées et une option d’abstention
Utilisez un nœud IF après la validation. Poursuivez le traitement des réponses valides et à faible risque ; pour insufficient_evidence, renvoyez une réponse d’abstention telle que « Je n’ai pas trouvé suffisamment d’éléments dans les documents fournis. » Dirigez les résultats invalides vers une branche de relance avec un compteur stocké dans l’élément du workflow.
Voici une politique de départ pratique :
- Relancez jusqu’à deux fois en cas d’erreur réseau temporaire ou de limitation de débit, avec des délais d’attente croissants ; respectez tout délai de relance indiqué par le fournisseur.
- Relancez une fois en cas de JSON mal formé ou d’échec de vérification des citations, en ne renvoyant au modèle que les erreurs de validation et les mêmes enregistrements sources autorisés.
- Ne relancez pas de manière répétée en cas d’autorisations manquantes, d’extraction vide ou d’absence de preuves. Corrigez l’entrée, demandez un autre document ou transmettez le cas à la revue.
- Une fois la limite atteinte, consignez l’échec et renvoyez un statut en attente de revue ou indisponible, plutôt que la réponse non validée.
Il s’agit de choix de conception, et non de garanties. Classez les erreurs du fournisseur à partir de la réponse réelle de votre intégration. Si une relance peut répéter une opération d’écriture, utilisez une clé d’idempotence au niveau de l’application ou vérifiez d’abord si un enregistrement existe déjà ; une requête répétée ne doit pas créer de tickets de revue ni envoyer de messages en double.
Séparer la revue des réponses de l’approbation des outils
Pour la revue des réponses, créez un enregistrement contenant la question, la réponse proposée, les erreurs de validation, les passages cités, la version du document et un lien vers la source autorisée. Une personne chargée de la revue doit approuver, corriger ou rejeter la réponse ; consignez sa décision et son identité avant de diffuser la réponse. Protégez le canal de revue et évitez de copier du texte sensible dans des canaux qui ne disposent pas de contrôles d’accès adaptés.
Cette démarche diffère de la fonctionnalité Human review for tools de n8n. Selon la documentation n8n, cette fonctionnalité met un AI Agent en pause avant l’exécution d’un outil sélectionné. L’approbation exécute l’outil avec les entrées définies par l’IA ; le refus annule l’exécution et en informe l’agent. Elle ne valide pas, à elle seule, une réponse.
Pour protéger une action telle que l’envoi d’une réponse à l’extérieur ou la mise à jour d’un enregistrement, ouvrez le panneau Tools de l’AI Agent, configurez un canal Human review et connectez l’outil concerné par l’intermédiaire de cette étape de revue. La documentation mentionne notamment les canaux n8n Chat et Slack. Incluez le nom et les paramètres de l’outil dans le message de revue à l’aide des expressions documentées $tool.name et $tool.parameters. Dans le prompt système de l’agent, identifiez les outils soumis à approbation et demandez-lui d’expliquer un refus plutôt que de réessayer silencieusement ou de chercher un contournement. Définissez une politique opérationnelle pour les demandes qui restent sans réponse, par exemple en les marquant comme en attente et en les faisant remonter ; ne présumez pas de l’existence d’un délai d’expiration automatique.
Dépannage et liste de vérification avant mise en production
- Les citations échouent malgré une page correcte : examinez l’OCR, les sauts de ligne, la numérotation des pages et les éventuelles différences de version. Ne substituez pas silencieusement une autre page.
- Les réponses omettent des informations pertinentes : vérifiez la couverture de la recherche et les autorisations d’accès aux documents avant d’augmenter le nombre de relances.
- Les personnes chargées de la revue ne peuvent pas vérifier un passage : indiquez la version exacte et fournissez un lien fonctionnel vers la source, avec contrôle d’accès, plutôt qu’un simple nom de fichier.
- L’agent tente une action à risque sans revue : vérifiez que l’action passe bien par l’étape de revue humaine et testez aussi bien le refus que l’approbation.
Avant la mise en production, testez une réponse étayée, une réponse absente, une citation inventée, du JSON mal formé, une défaillance temporaire du fournisseur et un appel d’outil refusé. Un workflow utile doit pouvoir indiquer « preuves insuffisantes » et conserver cette décision ; il ne doit jamais transformer un échec de validation en réponse faisant autorité.
Sources
FAQ
La revue humaine de n8n valide-t-elle une réponse fondée sur un document ?
Pas à elle seule. La fonctionnalité de revue humaine documentée met en pause certains appels d’outils de l’AI Agent afin qu’ils soient approuvés ou refusés. Créez un circuit distinct de validation et de revue des réponses pour vérifier les citations et leur fondement factuel.
Une citation exacte prouve-t-elle qu’une réponse est correcte ?
Non. Elle établit que le texte cité figure dans l’enregistrement source vérifié, mais pas que le passage étaye chaque affirmation de la réponse. Examinez le lien entre la réponse et les éléments de preuve.
Que faire lorsqu’un document ne contient pas la réponse ?
Renvoyez une réponse indiquant que les preuves sont insuffisantes ou transmettez la question à la revue. Des relances répétées du modèle ne peuvent pas remplacer de manière fiable les sources manquantes.
Articles liés
Guides
Créer un workflow d’extraction de données récupérable dans n8n
Concevez un workflow d’extraction n8n qui valide les enregistrements, réessaie après les erreurs transitoires et transmet les exceptions à des personnes chargées de leur examen, sans créer d’écritures en double.
Guides
Créer un workflow d’extraction de données respectueux de la confidentialité dans n8n
Concevez un workflow d’extraction n8n qui valide les données structurées, gère les échecs en toute sécurité et soumet les actions sensibles à une validation humaine.
Guides
Créer un workflow n8n fiable pour examiner les changements d’un dépôt
Concevez un workflow n8n qui extrait des faits structurés des changements d’un dépôt, valide les résultats, réessaie après les erreurs temporaires, vérifie les tests et soumet les actions à risque à une personne.
Guides
Créer un workflow de triage du support dans n8n avec validation, nouvelles tentatives et approbation humaine
Concevez un workflow n8n qui extrait les champs des tickets de support, les valide, gère les échecs et exige une approbation humaine avant toute action aux conséquences importantes.