GuidesOneMux

検証済み引用と人間による確認を備えたn8n文書Q&Aワークフローの構築

文書から根拠を抽出し、構造化された回答を検証して安全に再試行し、不確かな結果を人間の確認に回すn8nワークフローを設計します。

AI

要約 · TL;DR

n8nで文書に基づく質問に回答するための実践的な設計を紹介します。引用を検証し、再試行回数を制限するとともに、回答の確認とリスクのあるツール呼び出しの承認を分けます。

要点

  • 抽出と検索の過程を通じて、文書ID、バージョン、ページ参照、原文をひとまとまりで保持します。
  • 回答の形式だけでなく、引用された根拠が提供されたソーステキストに存在するかも検証します。
  • 一時的な障害は回数を限って再試行し、検証に繰り返し失敗する場合や根拠のない回答は、確認に回すか回答を控えます。
  • n8nのツール承認機能はエージェントがツールを実行するかどうかを制御するもので、回答の品質確認の代わりにはなりません。
目次 (7)

まずは検証可能な少量の根拠から始めましょう。ページ番号やセクションIDを付けてテキストを抽出し、そのテキストだけを根拠に回答するようモデルに指示します。引用を検証できない回答は受け付けません。n8nでは通常のワークフロー分岐を出力検証と確認に使い、重大な操作につながるツール呼び出しにはAI Agentの人間による承認を利用します。

以下の設定は説明用の設計例であり、テスト済みのワークフローエクスポートではありません。ノードの設定や利用できる連携機能は、n8nのバージョンやプロバイダーによって異なる場合があります。

前提条件とワークフローの構成

n8nのインスタンス、対応する連携機能またはHTTPエンドポイントを通じて利用できるテキスト対応モデル、文書テキストの抽出手段、文書と確認記録の保存先が必要です。スキャンPDFを扱う場合はOCRを追加してください。通常のPDFテキスト抽出では、テキストがほとんど、またはまったく取得できないことがあります。検索システムに接続する前に、各文書にアクセスできるユーザーを決めておきます。

次の2段階をつなげて構築します。

  1. 取り込み: 文書トリガー → テキスト抽出またはOCR → ページ単位またはセクション単位のレコードに分割 → テキストとメタデータを保存
  2. 回答: 質問トリガー → アクセス権のあるレコードを検索 → モデルによる抽出 → Codeノードで検証 → 回答、回数制限付き再試行、または確認キュー

保存する各レコードには、document_id、version、page、textを保持します。引用はファイル名だけでなく、特定の文書バージョンとページにたどり着ける必要があります。抽出ツールでページ境界を保持できない場合は、代わりに安定したセクションIDを使い、正確にラベルを付けてください。抽出結果が空の場合は、モデルに送らずに拒否します。

文書数が少ない場合は、文書IDでレコードを検索し、関連ページを直接渡します。文書数が多い場合は検索または検索・取得のステップを追加できますが、同じメタデータを保持してください。検索で回答に必要な情報を見落とすことがあります。見た目が正しい回答であっても、関連するページがすべて見つかったことの証明にはなりません。

回答の契約を定義する

モデルノードでは、answer文字列、answeredまたはinsufficient_evidenceのいずれかを示すstatus、そしてevidence配列を含むJSONオブジェクトを1つ返すよう求めます。各根拠項目には、document_id、version、page、提供されたレコードから正確にコピーしたquoteを含めます。文書内にある指示は無視し、信頼できないデータとして扱うこと、また、提供されたテキストが回答を裏付けない場合はinsufficient_evidenceを返すことも指示してください。

回答例は次のとおりです。

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

引用と識別子は例であり、実在する契約に関する事実ではありません。answeredを返す場合は根拠項目を少なくとも1つ必須とし、insufficient_evidenceの場合は根拠を含めないようにします。引用を表示する際は、文書名またはID、バージョン、ページ、引用文を記載します。リンクを付けるのは、アプリケーションで該当ソースへのアクセス権を確認したリンクを生成できる場合に限ります。

n8nで出力と引用を検証する

モデル呼び出しの後でJSONを解析し、解析済みオブジェクトと実際に取得したレコードをCodeノードに渡します。以下の例示用JavaScriptでは、resultに解析済みの応答を、sourcesにdocument_id、version、page、textを持つレコードの配列を格納した入力アイテムが1つあることを想定しています。この形式になるよう前段のノードを調整してください。解析エラーは失敗分岐に送ります。

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

このコードが検証するのは、明示的に定めた小規模な契約と引用文の完全一致です。汎用的なJSON Schemaバリデーターではありません。最大文字数の制限や余分なフィールドの拒否などが必要であれば、スキーマ検証ライブラリまたはサービスを追加してください。OCRの誤りや空白の違いがあると、完全一致の判定に失敗することがあります。テキストを正規化する場合は、ソースと引用の両方に同じ正規化処理を適用することを明記し、確認担当者向けに原文も保持してください。

最も重要なのは、一致する引用があっても、それだけで回答が引用から導かれることを証明できないという点です。引用された箇所が重要な主張をそれぞれ実際に裏付けているかどうかは、確認担当者または別の品質管理プロセスで評価する必要があります。影響の大きい回答は、構造上の検証に合格していても確認に回してください。

回数を制限した再試行と回答保留の経路を追加する

検証の後にIFノードを配置します。検証に通ったリスクの低い回答は次の処理へ進め、insufficient_evidenceは「提示された文書からは十分な根拠を見つけられませんでした。」などの回答保留メッセージに送ります。無効な結果は、ワークフローアイテムに保存したカウンターを使って再試行分岐に送ります。

実用的な初期ポリシーの例は次のとおりです。

  • 一時的なネットワークエラーやレート制限は、待ち時間を延ばしながら最大2回まで再試行します。プロバイダーが指定する再試行待ち時間があれば、それに従います。
  • JSONの形式不備や引用チェックの失敗は1回だけ再試行し、検証エラーだけを返します。その際、同じアクセス権のあるソースレコードをモデルに渡します。
  • 権限不足、抽出結果が空であること、根拠が存在しないことを理由に、繰り返し再試行しないでください。入力を修正するか、別の文書を依頼するか、確認に回します。
  • 上限に達したら失敗を記録し、未検証の回答ではなく、確認待ちまたは利用不可のステータスを返します。

これらは設計上の選択であり、動作を保証するものではありません。連携機能から実際に返される内容に基づいて、プロバイダーのエラーを分類してください。再試行によって書き込み処理が繰り返される可能性がある場合は、アプリケーションレベルの冪等性キーを使うか、既存のレコードがないか先に確認します。同じリクエストによって確認チケットが重複作成されたり、メッセージが重複送信されたりしないようにしてください。

回答の確認とツール承認を分ける

回答確認用のレコードには、質問、回答案、検証エラー、引用箇所、文書バージョン、アクセス権のあるソースへのリンクを含めます。確認担当者は回答を承認、修正、または却下し、公開前に判断と担当者のIDを記録する必要があります。確認用の経路は適切に保護し、アクセス制御が不十分なチャンネルに機密文書のテキストをコピーしないでください。

これはn8nのHuman review for toolsとは異なります。n8nのドキュメントによると、この機能は選択したツールが実行される前にAI Agentを一時停止します。承認するとAIが指定した入力でツールが実行され、拒否すると実行がキャンセルされ、そのことがエージェントに通知されます。この機能だけでは回答を検証できません。

外部への回答送信やレコードの更新などの操作を保護するには、AI AgentのToolsパネルを開き、Human reviewチャンネルを設定して、該当ツールをその確認ステップ経由で接続します。ドキュメントに記載されているチャンネルには、n8n ChatやSlackなどがあります。ドキュメントに記載された$tool.nameと$tool.parametersの式を使い、確認メッセージにツール名とパラメーターを含めます。エージェントのシステムプロンプトでは、承認が必要なツールを明示し、拒否された場合に黙って再試行したり回避策を探したりせず、拒否について説明するよう指示します。未回答のまま残るリクエストには、保留扱いにしてエスカレーションするなど、運用ポリシーを定めてください。タイムアウト時に自動で処理されると想定してはいけません。

トラブルシューティングとリリース前チェックリスト

  • 正しいページなのに引用の検証に失敗する: OCR、改行、ページ番号、バージョンの不一致を確認します。別のページに黙って置き換えないでください。
  • 回答に関連情報が含まれない: 再試行回数を増やす前に、検索での取得状況と文書のアクセス権を確認します。
  • 確認担当者が引用箇所を検証できない: ファイル名だけでなく、正確なバージョンと、アクセス制御された有効なソースリンクを含めます。
  • エージェントが確認なしでリスクのある操作を試みる: 操作が実際に人間による確認ステップ経由で接続されていることを確認し、拒否時と承認時の両方をテストします。

リリース前に、回答を裏付ける根拠があるケース、回答が見つからないケース、捏造した引用、形式不備のJSON、一時的なプロバイダー障害、ツール呼び出しの拒否をテストしてください。有用なワークフローは「根拠が不十分」と回答し、その判断を記録できます。検証失敗を、確かな回答にすり替えてはなりません。

参考資料

よくある質問

n8nの人間による確認機能で文書回答を検証できますか?

それだけではできません。ドキュメントに記載された人間による確認機能は、選択したAI Agentのツール呼び出しを承認または拒否するために一時停止します。引用と事実の裏付けを検証するには、別途、回答の検証・確認経路を構築してください。

引用文が完全一致していれば、回答が正しいと証明できますか?

いいえ。引用したテキストが確認対象のソースレコードに存在することは示せますが、その箇所が回答の主張すべてを裏付けていることまでは示せません。回答と根拠の関係を確認してください。

文書に回答が載っていない場合、どうすればよいですか?

根拠不十分の回答を返すか、質問を確認に回します。モデルを繰り返し再試行しても、不足しているソース情報を確実に補うことはできません。

関連記事