指南OneMux

使用 n8n 建立文件問答工作流程:驗證引文並加入人工審核

設計 n8n 工作流程,擷取文件證據、驗證結構化答案、安全重試,並將不確定的結果交由人工處理。

AI

摘要 · TL;DR

本文介紹如何在 n8n 中設計文件問答流程,檢查引文、限制重試次數,並將答案審核與高風險工具呼叫的核准分開處理。

重點

  • 在擷取與檢索過程中,讓文件 ID、版本、頁碼參照與原文保持關聯。
  • 驗證答案的結構,也確認引用的證據確實存在於提供的來源文字中。
  • 對暫時性故障進行有限次重試;持續驗證失敗或缺乏來源支持的答案則交由審核或拒答。
  • n8n 的工具核准控制 AI Agent 是否執行工具,不能取代對答案品質的審核。
文章目錄 (7)

先準備一組規模小、可驗證的證據:擷取文字並保留頁碼或章節識別碼,要求模型只能根據這些文字作答,並拒絕無法核對引文的答案。在 n8n 中,使用一般工作流程分支進行輸出驗證與審核;只有在工具呼叫可能造成重大影響時,才使用 AI Agent 的人工核准功能。

以下設定是示意設計,並非經測試的工作流程匯出檔。節點設定與可用整合可能因 n8n 版本及供應商而異。

先決條件與工作流程架構

你需要一個 n8n 執行個體、透過支援的整合或 HTTP 端點存取具備文字處理能力的模型、一種文件文字擷取方式,以及用來儲存文件和審核紀錄的位置。若是掃描版 PDF,請加入 OCR;一般 PDF 文字擷取可能只取得很少文字,甚至完全無法擷取。連接檢索系統前,先決定哪些人可以存取各份文件。

建立兩個相互連接的階段:

  1. 匯入: 文件觸發器 → 擷取文字或執行 OCR → 切分為頁面或章節記錄 → 儲存文字與中繼資料。
  2. 回答: 問題觸發器 → 檢索已授權記錄 → 模型擷取 → Code 節點驗證 → 回答、有限次重試或審核佇列。

每筆儲存記錄都保留 document_id、version、page 和 text。引文應指向特定文件版本及頁面,而不只是檔名。若擷取器無法保留頁面邊界,請改用穩定的章節識別碼,並準確標示。如果擷取結果為空,應直接拒絕,不要送交模型處理。

若文件集規模較小,可依文件 ID 檢索記錄,並直接傳入相關頁面。若文件集較大,可加入搜尋或檢索步驟,但仍須保留相同的中繼資料。檢索可能漏掉答案;回覆看似合理,並不能證明已找到所有相關頁面。

定義答案格式

在模型節點中,要求輸出一個 JSON 物件,包含 answer 字串、值為 answered 或 insufficient_evidence 的 status,以及 evidence 陣列。每個 evidence 項目都必須包含 document_id、version、page,以及從提供記錄中逐字複製的 quote。告訴模型忽略文件內的指示,將其視為不受信任的資料;若提供的文字不足以支持答案,則回傳 insufficient_evidence。

回覆範例如下:

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

引文與識別碼僅為範例,並非真實協議的事實。要求已回答的回覆至少包含一項 evidence;不足以提供證據的回覆則不得包含任何 evidence。呈現引文時,列出文件名稱或 ID、版本、頁碼與引文;只有在應用程式能建立指向該確切來源且具存取權限的連結時,才加入連結。

在 n8n 中驗證輸出與引文

模型呼叫後,解析其 JSON,並將解析後的物件與實際檢索到的記錄一起傳給 Code 節點。以下示意 JavaScript 假設輸入項目只有一筆,其中 result 存放解析後的回覆,而 sources 則是記錄陣列,每筆包含 document_id、version、page 和 text。請調整前面的節點以提供此資料格式;解析錯誤應送往失敗分支。

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

這段程式會檢查明確且精簡的格式契約,以及引文是否完全符合來源文字;它不是通用的 JSON Schema 驗證器。如果需要限制最大長度或拒絕額外欄位等條件,請加入 schema 驗證函式庫或服務。OCR 錯誤或空白字元差異可能導致精確比對失敗。若要正規化文字,請對來源文字與引文套用相同且有文件記錄的正規化方式,並保留原始文字供審核者檢視。

最重要的是,符合來源的引文並不能證明答案是由該引文推導而來。審核者或獨立的品質管控流程必須確認引用段落是否確實支持每一項重要主張。對於高風險答案,即使格式驗證通過,也應送交審核。

加入有限次重試與拒答路徑

在驗證後使用 IF 節點。讓有效且低風險的答案繼續進入後續流程;若狀態為 insufficient_evidence,則回覆例如「在提供的文件中找不到足夠的佐證。」無效結果則送往重試分支,並在工作流程項目中保存重試計數。

可從以下政策開始:

  • 對暫時性網路錯誤與速率限制,最多重試兩次,並逐步延長等待時間;遵守供應商指定的重試延遲。
  • 若 JSON 格式錯誤或引文檢查失敗,重試一次,只將驗證錯誤及相同的已授權來源記錄傳回模型。
  • 權限不足、擷取結果為空或缺少證據時,不要反覆重試。請修正輸入、要求提供其他文件,或將案件送交審核。
  • 超過次數上限後,記錄失敗並回傳待審核或無法提供的狀態,不要回傳未經驗證的答案。

這些是設計選擇,並非保證。請依整合實際回傳的內容分類供應商錯誤。若重試可能重複執行寫入操作,請使用應用程式層級的冪等鍵,或先檢查是否已有相同記錄;重複請求不得建立重複的審核票單或傳送重複訊息。

將答案審核與工具核准分開

若要審核答案,請建立一筆審核記錄,包含問題、擬議答案、驗證錯誤、引用段落、文件版本,以及指向已授權來源的連結。審核者應核准、修正或拒絕答案;發布前記錄其決定與身分。保護審核管道,並避免將敏感文件文字複製到存取控制不足的管道。

這與 n8n 的 Human review for tools 不同。根據 n8n 文件,此功能會在選定工具執行前暫停 AI Agent。核准後,工具會使用 AI 指定的輸入執行;拒絕則會取消工具呼叫並通知 Agent。此功能本身不會驗證答案。

若要保護傳送外部答案或更新記錄等操作,請開啟 AI Agent 的 Tools 面板,設定 Human review 管道,並透過該審核步驟連接相關工具。文件列出的管道包括 n8n Chat 和 Slack。使用文件所述的 $tool.name 與 $tool.parameters 運算式,在審核訊息中加入工具名稱與參數。在 Agent 的系統提示中,指出哪些工具必須經過核准,並指示 Agent 遭拒絕時應說明原因,而非默默重試或另找方法。針對仍未獲回答的請求制定作業政策,例如標記為待處理並向上呈報;不要假設系統會自動逾時處理。

疑難排解與發布檢查清單

  • 引文雖然引用正確頁面卻驗證失敗: 檢查 OCR、換行、頁碼與版本是否一致。不要默默改用其他頁面。
  • 答案遺漏相關資訊: 增加重試次數前,先檢查檢索涵蓋範圍與文件權限。
  • 審核者無法核對段落: 提供確切版本及可正常使用、受存取控制的來源連結,不要只提供檔名。
  • Agent 嘗試未經審核就執行高風險操作: 確認該操作確實透過人工審核步驟連接,並測試核准與拒絕兩種情況。

發布前,請測試有來源支持的答案、來源中沒有答案的情況、偽造引文、格式錯誤的 JSON、供應商暫時性故障,以及遭拒絕的工具呼叫。實用的工作流程應能回覆「證據不足」並保留此判斷;絕不可把驗證失敗轉成權威答案。

來源

常見問題

n8n 的人工審核功能會驗證文件答案嗎?

不會。文件所述的人工審核功能會暫停指定的 AI Agent 工具呼叫,等待核准或拒絕。你必須另外建立答案驗證與審核流程,檢查引文及事實依據。

引文完全相符就能證明答案正確嗎?

不能。這只能證明引文出現在受檢查的來源記錄中,不能證明該段文字支持答案中的每一項主張。請審查答案與證據之間的關聯。

文件中沒有答案時應該怎麼處理?

回覆證據不足,或將問題送交審核。反覆重試模型無法可靠地補足缺少的來源資料。

相關文章