指南OneMux

构建带验证引用和人工审核的 n8n 文档问答工作流

设计一个 n8n 工作流,用于提取文档证据、验证结构化答案、执行安全重试,并将不确定的结果交由人工处理。

AI

摘要 · TL;DR

一种在 n8n 中基于文档回答问题的实用设计:检查引用、限制重试次数,并将答案审核与高风险工具调用的批准分开处理。

核心要点

  • 在提取和检索过程中,始终将文档 ID、版本、页面引用和原始文本保存在一起。
  • 同时验证答案的结构,以及其引用的证据是否存在于所提供的源文本中。
  • 对临时故障执行有限次重试;将持续的验证失败和缺乏支持的答案转交审核,或直接拒答。
  • n8n 的工具批准功能用于控制智能体是否执行工具,不能替代对答案质量的审核。
文章目录 (7)

从一组规模较小且可验证的证据开始:提取带有页面或章节标识的文本,要求模型只能依据这些文本作答,并拒绝无法核验引用的答案。在 n8n 中,使用常规工作流分支进行输出验证和审核;对于可能产生重要后果的工具调用,再使用 AI Agent 的人工批准功能。

以下配置是示例性设计,并非经过测试的工作流导出文件。节点设置和可用集成可能因 n8n 版本和提供商而异。

前置条件和工作流结构

你需要一个 n8n 实例、通过受支持的集成或 HTTP 端点访问具备文本处理能力的模型、一种文档文本提取方式,以及用于存储文档和审核记录的位置。对于扫描版 PDF,请添加 OCR;普通 PDF 文本提取可能只能返回很少文本,甚至不返回文本。在连接检索系统之前,先确定每份文档的访问者。

构建两个相互连接的阶段:

  1. **摄取:**文档触发器 → 提取文本或执行 OCR → 拆分为页面级或章节级记录 → 存储文本和元数据。
  2. **回答:**问题触发器 → 检索已获授权的记录 → 模型提取 → Code 节点验证 → 返回答案、执行有限重试或加入审核队列。

在每条存储记录中保留 document_id、version、page 和 text。引用应能解析到特定的文档版本和页面,而不只是文件名。如果提取器无法保留页面边界,请改用稳定的章节标识,并准确标注这些标识。拒绝空的提取结果,不要将其发送给模型。

对于规模较小的文档集合,可按文档 ID 检索记录,并直接传入相关页面。对于规模较大的集合,可添加搜索或检索步骤,但要保留相同的元数据。检索可能遗漏答案;看似有效的响应并不能证明所有相关页面都已找到。

定义答案契约

在模型节点中,要求返回一个 JSON 对象,其中包含 answer 字符串、值为 answered 或 insufficient_evidence 的 status,以及 evidence 数组。每个 evidence 项必须包含 document_id、version、page 和从所提供记录中精确复制的 quote。告诉模型忽略文档内部的指令,将其视为不受信任的数据;当所提供的文本不足以支持答案时,返回 insufficient_evidence。

示例响应如下:

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

其中的引用文本和标识符只是示例,并非关于真实协议的事实。对于 answered 响应,至少要求包含一条证据;对于 insufficient_evidence 响应,则要求不包含证据。只有在应用能够构造指向该确切来源且经过授权的链接时,才将引用呈现为文档名称或 ID、版本、页面、引用文本和链接。

在 n8n 中验证输出和引用

模型调用后,解析其 JSON,并将解析后的对象与实际检索到的记录一起传递给 Code 节点。下面的示例性 JavaScript 假设输入中有一个项目,其中 result 保存解析后的响应,sources 保存记录数组;每条记录包含 document_id、version、page 和 text。请调整前置节点以提供该结构;解析错误应进入失败分支。

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

这段代码检查的是一组小而明确的契约,以及引用文本的精确成员关系;它不是通用的 JSON Schema 验证器。如果需要最大长度或拒绝额外字段等约束,请添加架构验证库或服务。OCR 错误或空白字符变化可能导致精确匹配失败。如果要对文本进行规范化,请对来源和引用应用相同且有文档记录的规范化处理,并保留原始文本供审核人员查看。

最重要的是,匹配的引用文本并不能证明答案由该引用得出。审核人员或独立的质量控制流程必须评估所引用的段落是否确实支持每项重要声明。对于高风险答案,即使结构验证通过,也应将其转交审核。

添加有限重试和拒答路径

在验证后使用 IF 节点。将有效且低风险的答案继续发送;将 insufficient_evidence 发送到拒答响应,例如“我无法在所提供的文档中找到足够的依据。”将无效结果发送到带计数器的重试分支,计数器保存在工作流项目中。

一个可行的起始策略是:

  • 对临时网络错误和速率限制最多重试两次,并逐步增加等待时间;遵守提供商指定的任何重试延迟。
  • 对格式错误的 JSON 或引用检查失败重试一次,并仅将验证错误以及相同的已获授权源记录返回给模型。
  • 不要反复重试权限缺失、提取结果为空或证据不存在的情况。修正输入、要求提供其他文档,或将案例发送审核。
  • 达到上限后,记录失败并返回待审核或不可用状态,而不是返回未经验证的答案。

这些是设计选择,并非保证。应根据集成返回的实际响应对提供商错误进行分类。如果重试可能重复执行写操作,请使用应用级幂等键,或先检查是否已有记录;重复请求不得创建重复的审核工单或发送重复消息。

分离答案审核和工具批准

对于答案审核,创建一条审核记录,其中包含问题、拟议答案、验证错误、引用段落、文档版本,以及指向已获授权来源的链接。审核人员应批准、更正或拒绝答案;在发布答案前记录其决定和身份。保护审核渠道,避免将敏感文档文本复制到缺少适当访问控制的渠道中。

这与 n8n 的工具人工审核不同。根据 n8n 文档,该功能会在选定工具执行前暂停 AI Agent。批准后,工具会使用 AI 指定的输入执行;拒绝后,工具执行会被取消,并将结果告知智能体。该功能本身不会验证答案。

要保护发送外部答案或更新记录等操作,请打开 AI Agent 的 Tools 面板,配置 Human review 渠道,并通过该审核步骤连接相关工具。文档列出的渠道包括 n8n Chat 和 Slack。在审核消息中,使用文档所述的 $tool.name 和 $tool.parameters 表达式,包含工具名称和参数。在智能体的系统提示中,标明需要批准的工具,并要求智能体解释拒绝原因,而不是静默重试或寻找变通方案。为仍未得到回答的请求制定运营策略,例如将其标记为待处理并升级;不要假定系统会自动超时。

故障排查和发布检查清单

  • **页面正确但引用失败:**检查 OCR、换行、页码编号和版本不匹配问题。不要静默替换为其他页面。
  • **答案遗漏相关信息:**在增加重试次数前,检查检索覆盖范围和文档权限。
  • **审核人员无法核验段落:**提供确切版本和可用的受访问控制的来源链接,而不只是文件名。
  • **智能体尝试在未审核的情况下执行高风险操作:**检查该操作是否确实通过人工审核步骤连接,并同时测试拒绝和批准两种情况。

发布前,使用有支持的答案、答案缺失、伪造引用、格式错误的 JSON、临时提供商故障和工具调用被拒绝等情况进行测试。实用的工作流应能返回“证据不足”并保留这一决定;绝不能将验证失败转换为权威答案。

来源

常见问题

n8n 的人工审核会验证文档答案吗?

不会单独完成。文档所述的人工审核功能会暂停选定的 AI Agent 工具调用,以等待批准或拒绝。对于引用和事实依据,请另外构建答案验证和审核路径。

精确引用能证明答案正确吗?

不能。它只能证明引用的文本出现在经过检查的源记录中,不能证明该段落支持答案中的每项声明。应审核答案与证据之间的关系。

文档中没有答案时应该怎么做?

返回证据不足响应,或将问题转交审核。反复重试模型不能可靠地替代缺失的源材料。

相关文章