GuidesOneMux

Einen n8n-Workflow für Dokumentenfragen mit geprüften Quellenangaben und menschlicher Prüfung erstellen

Entwickeln Sie einen n8n-Workflow, der Belege aus Dokumenten extrahiert, strukturierte Antworten validiert, Wiederholungsversuche sicher begrenzt und unsichere Ergebnisse zur menschlichen Prüfung weiterleitet.

AI

Zusammenfassung · TL;DR

Ein praxisnaher Entwurf, um in n8n Fragen anhand von Dokumenten zu beantworten, Quellenangaben zu prüfen, Wiederholungsversuche zu begrenzen und die Prüfung von Antworten von der Freigabe risikoreicher Tool-Aufrufe zu trennen.

Kernaussagen

  • Dokument-IDs, Versionen, Seitenangaben und Originaltext sollten bei Extraktion und Abruf zusammenbleiben.
  • Prüfen Sie sowohl die Struktur einer Antwort als auch, ob die angegebenen Belege im bereitgestellten Quelltext vorhanden sind.
  • Wiederholen Sie vorübergehende Fehler nur begrenzt; leiten Sie anhaltende Validierungsfehler und unbelegte Antworten zur Prüfung weiter oder verzichten Sie auf eine Antwort.
  • Die Tool-Freigabe in n8n steuert, ob ein Agent ein Tool ausführt; sie ersetzt keine Prüfung der Antwortqualität.
Auf dieser Seite (7)

Beginnen Sie mit einer kleinen, überprüfbaren Belegsammlung: Extrahieren Sie Text mit Seiten- oder Abschnittskennungen, lassen Sie das Modell ausschließlich anhand dieses Textes antworten und verwerfen Sie Antworten, deren Quellenangaben sich nicht überprüfen lassen. Nutzen Sie in n8n reguläre Workflow-Zweige für die Ausgabevalidierung und Prüfung. Die menschliche Freigabe für AI Agent sollte Tool-Aufrufen vorbehalten bleiben, die weitreichende Aktionen ausführen können.

Die folgende Konfiguration ist ein beispielhafter Entwurf und kein getesteter Workflow-Export. Node-Einstellungen und verfügbare Integrationen können je nach n8n-Version und Anbieter variieren.

Voraussetzungen und Aufbau des Workflows

Sie benötigen eine n8n-Instanz, Zugriff auf ein textfähiges Modell über eine unterstützte Integration oder einen HTTP-Endpunkt, eine Methode zur Textextraktion aus Dokumenten sowie einen Speicherort für Dokumente und Prüfdatensätze. Ergänzen Sie bei gescannten PDFs eine OCR-Erkennung; die gewöhnliche PDF-Textextraktion liefert möglicherweise wenig oder keinen Text. Legen Sie fest, wer auf die einzelnen Dokumente zugreifen darf, bevor Sie ein Abrufsystem anbinden.

Erstellen Sie zwei miteinander verbundene Phasen:

  1. Erfassung: Dokument-Trigger → Text oder OCR extrahieren → in Datensätze auf Seiten- oder Abschnittsebene aufteilen → Text und Metadaten speichern.
  2. Beantwortung: Fragen-Trigger → autorisierte Datensätze abrufen → Extraktion durch das Modell → Validierung im Code-Node → Antwort, begrenzter Wiederholungsversuch oder Prüfwarteschlange.

Speichern Sie document_id, version, page und text in jedem Datensatz. Eine Quellenangabe sollte auf eine bestimmte Dokumentversion und Seite verweisen, nicht nur auf einen Dateinamen. Kann Ihr Extraktionsverfahren keine Seitengrenzen erhalten, verwenden Sie stattdessen stabile Abschnittskennungen und bezeichnen Sie diese entsprechend. Verwerfen Sie leere Extraktionsergebnisse, statt sie an das Modell zu senden.

Bei einer kleinen Sammlung können Sie Datensätze anhand der Dokument-ID abrufen und die relevanten Seiten direkt übergeben. Ergänzen Sie bei größeren Sammlungen einen Such- oder Abrufschritt, erhalten Sie aber dieselben Metadaten. Beim Abruf kann die Antwort übersehen werden; eine gültig wirkende Antwort belegt nicht, dass alle relevanten Seiten gefunden wurden.

Das Antwortformat festlegen

Fordern Sie im Modell-Node ein JSON-Objekt mit einer Zeichenfolge answer, einem status mit dem Wert answered oder insufficient_evidence und einem Array evidence an. Jeder Eintrag in evidence muss document_id, version, page und ein exaktes, aus den bereitgestellten Datensätzen kopiertes Zitat in quote enthalten. Weisen Sie das Modell an, Anweisungen innerhalb der Dokumente zu ignorieren, diese als nicht vertrauenswürdige Daten zu behandeln und insufficient_evidence zurückzugeben, wenn der bereitgestellte Text eine Antwort nicht stützt.

Eine beispielhafte Antwort sieht so aus:

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

Das Zitat und die Kennungen sind Beispiele und keine Fakten über eine tatsächliche Vereinbarung. Verlangen Sie für eine beantwortete Frage mindestens einen Beleg und für eine Antwort wegen unzureichender Belege keinen. Stellen Sie Quellenangaben mit Dokumentname oder -ID, Version, Seite und Zitat dar. Ergänzen Sie nur dann einen Link, wenn Ihre Anwendung einen autorisierten Link genau zu dieser Quelle erstellen kann.

Ausgabe und Quellenangaben in n8n validieren

Parsen Sie nach dem Modellaufruf dessen JSON und übergeben Sie das geparste Objekt zusammen mit den tatsächlich abgerufenen Datensätzen an einen Code-Node. Das folgende beispielhafte JavaScript setzt ein Eingabeelement voraus, bei dem result die geparste Antwort und sources ein Array von Datensätzen mit document_id, version, page und text enthält. Passen Sie die vorherigen Nodes so an, dass sie diese Struktur liefern; Parsing-Fehler sollten an den Fehlerzweig gehen.

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

Dies prüft ein kleines, ausdrücklich festgelegtes Format und ob das exakte Zitat im Quelltext enthalten ist; es handelt sich nicht um einen allgemeinen JSON-Schema-Validator. Ergänzen Sie eine Bibliothek oder einen Dienst zur Schema-Validierung, wenn Sie Einschränkungen wie Maximallängen oder das Zurückweisen zusätzlicher Felder benötigen. Exakte Übereinstimmungen können an OCR-Fehlern oder Änderungen bei Leerzeichen und Zeilenumbrüchen scheitern. Wenn Sie Text normalisieren, wenden Sie dieselbe dokumentierte Normalisierung auf Quelle und Zitat an und bewahren Sie den Originaltext für die Prüfenden auf.

Vor allem gilt: Ein übereinstimmendes Zitat beweist nicht, dass die Antwort daraus folgt. Eine prüfende Person oder ein separater Qualitätssicherungsprozess muss beurteilen, ob die zitierte Passage jede wesentliche Aussage tatsächlich stützt. Leiten Sie bei Antworten mit hohen Auswirkungen auch strukturell gültige Ergebnisse zur Prüfung weiter.

Begrenzte Wiederholungsversuche und einen Pfad für den Antwortverzicht ergänzen

Verwenden Sie nach der Validierung einen IF-Node. Leiten Sie gültige Antworten mit geringem Risiko weiter; führen Sie insufficient_evidence zu einer Antwort, die den Verzicht erklärt, etwa: „In den bereitgestellten Dokumenten konnte ich keine ausreichenden Belege finden.“ Leiten Sie ungültige Ergebnisse an einen Wiederholungszweig weiter, dessen Zähler im Workflow-Element gespeichert wird.

Eine praktikable Ausgangsregelung ist:

  • Wiederholen Sie bei vorübergehenden Netzwerkfehlern und Rate Limits den Versuch bis zu zweimal mit zunehmenden Wartezeiten; beachten Sie eine vom Anbieter vorgegebene Wartezeit für Wiederholungsversuche.
  • Wiederholen Sie bei fehlerhaftem JSON oder fehlgeschlagenen Quellenprüfungen den Versuch einmal und geben Sie dem Modell dabei nur die Validierungsfehler und dieselben autorisierten Quelldatensätze zurück.
  • Wiederholen Sie fehlende Berechtigungen, leere Extraktionsergebnisse oder nicht vorhandene Belege nicht immer wieder. Korrigieren Sie die Eingabe, fordern Sie ein anderes Dokument an oder leiten Sie den Fall zur Prüfung weiter.
  • Erfassen Sie nach Erreichen des Limits den Fehler und geben Sie einen Status für ausstehende Prüfung oder Nichtverfügbarkeit zurück, nicht die ungeprüfte Antwort.

Dies sind Entwurfsentscheidungen, keine Garantien. Klassifizieren Sie Anbieterfehler anhand der tatsächlichen Antwort Ihrer Integration. Wenn ein Wiederholungsversuch einen Schreibvorgang erneut ausführen kann, verwenden Sie einen Idempotenzschlüssel auf Anwendungsebene oder prüfen Sie zuerst, ob bereits ein Datensatz existiert; eine wiederholte Anfrage darf keine doppelten Prüftickets erstellen oder Nachrichten mehrfach versenden.

Antwortprüfung und Tool-Freigabe trennen

Erstellen Sie für die Antwortprüfung einen Prüfdatensatz mit der Frage, der vorgeschlagenen Antwort, Validierungsfehlern, zitierten Passagen, der Dokumentversion und einem Link zur autorisierten Quelle. Eine prüfende Person sollte die Antwort freigeben, korrigieren oder ablehnen; halten Sie ihre Entscheidung und Identität vor der Veröffentlichung fest. Schützen Sie den Prüfkanal und kopieren Sie keine vertraulichen Dokumenttexte in Kanäle ohne geeignete Zugriffskontrollen.

Das unterscheidet sich von Human review for tools in n8n. Laut der n8n-Dokumentation pausiert diese Funktion einen AI Agent, bevor ein ausgewähltes Tool ausgeführt wird. Bei Freigabe wird das Tool mit den von der KI festgelegten Eingaben ausgeführt; bei Ablehnung wird es abgebrochen und der Agent informiert. Eine Antwort wird dadurch nicht automatisch validiert.

Um eine Aktion wie das Versenden einer externen Antwort oder das Aktualisieren eines Datensatzes abzusichern, öffnen Sie im AI Agent den Bereich Tools, konfigurieren Sie einen Human review-Kanal und verbinden Sie das betreffende Tool über diesen Prüfschritt. Die Dokumentation nennt unter anderem n8n Chat und Slack als Kanäle. Nehmen Sie den Tool-Namen und die Parameter mithilfe der dokumentierten Ausdrücke $tool.name und $tool.parameters in die Prüfnachricht auf. Kennzeichnen Sie im System-Prompt des Agenten freigabepflichtige Tools und weisen Sie ihn an, eine Ablehnung zu erläutern, statt den Versuch stillschweigend zu wiederholen oder eine Umgehung zu suchen. Legen Sie eine betriebliche Regelung für unbeantwortete Anfragen fest, etwa sie als ausstehend zu markieren und zu eskalieren; gehen Sie nicht von einem automatischen Timeout-Verhalten aus.

Fehlerbehebung und Checkliste für die Freigabe

  • Quellenangaben schlagen trotz korrekter Seite fehl: Prüfen Sie OCR, Zeilenumbrüche, Seitennummerierung und abweichende Versionen. Ersetzen Sie die Seite nicht stillschweigend durch eine andere.
  • Antworten lassen relevante Informationen aus: Prüfen Sie die Abdeckung des Abrufs und die Dokumentberechtigungen, bevor Sie die Zahl der Wiederholungsversuche erhöhen.
  • Prüfende können eine Passage nicht verifizieren: Geben Sie die exakte Version und einen funktionierenden, zugriffsgeschützten Quellenlink an, nicht nur einen Dateinamen.
  • Der Agent versucht eine risikoreiche Aktion ohne Prüfung: Kontrollieren Sie, ob die Aktion tatsächlich über den menschlichen Prüfschritt verbunden ist, und testen Sie sowohl Ablehnung als auch Freigabe.

Testen Sie vor der Freigabe eine belegte Antwort, eine nicht vorhandene Antwort, ein erfundenes Zitat, fehlerhaftes JSON, einen vorübergehenden Anbieterfehler und einen abgelehnten Tool-Aufruf. Ein nützlicher Workflow kann „nicht genügend Belege“ melden und diese Entscheidung festhalten; er sollte eine fehlgeschlagene Validierung niemals in eine verbindliche Antwort umwandeln.

Quellen

FAQ

Validiert die menschliche Prüfung in n8n eine Antwort zu einem Dokument?

Nicht von selbst. Die dokumentierte Funktion zur menschlichen Prüfung pausiert ausgewählte Tool-Aufrufe eines AI Agent zur Freigabe oder Ablehnung. Erstellen Sie für Quellenangaben und die sachliche Beleglage einen separaten Pfad zur Antwortvalidierung und Prüfung.

Beweist ein exaktes Zitat, dass eine Antwort korrekt ist?

Nein. Es belegt, dass der zitierte Text im geprüften Quelldatensatz vorkommt, nicht aber, dass die Passage jede Aussage in der Antwort stützt. Prüfen Sie den Zusammenhang zwischen Antwort und Beleg.

Was sollte geschehen, wenn ein Dokument die Antwort nicht enthält?

Geben Sie eine Antwort wegen unzureichender Belege zurück oder leiten Sie die Frage zur Prüfung weiter. Wiederholte Modellaufrufe können fehlendes Quellenmaterial nicht zuverlässig ersetzen.

Ähnliche Artikel