指南OneMux

构建更安全的 n8n AI 工作流:验证、人工审批与可执行的失败处理

一种实用的 n8n 模式:通过可重复的方式评估 AI 生成的操作,检查输入和输出,为高风险工具要求审批,并将失败路由到有用的恢复步骤。

AI

摘要 · TL;DR

在允许 n8n AI Agent 调用具有实际影响的工具之前,使用固定评估集和明确的通过/失败规则。验证输入和输出,为选定操作设置人工审核,并让每条失败路径都说明下一步该做什么。

核心要点

  • 将评估与线上执行分开:在启用真实操作前,先让固定测试用例通过工作流。
  • 在后续使用必填输入字段和 AI 输出之前,分别对二者进行验证。
  • 对需要审批的选定工具使用 n8n 的人工审核步骤。
  • 将拒绝、无效数据、超时和工具错误视为不同结果,并为每种结果提供明确的恢复说明。
文章目录 (7)

模式:先评估,再执行

n8n AI 工作流不应把看似合理的模型响应视为执行操作的许可。更安全的设计包含两条路径:一条是可重复的评估路径,用于检查已知案例;另一条是线上路径,用于验证每个请求,并在执行选定的高影响工具调用前暂停,等待人员处理。

评估路径回答的是:“这个工作流在这些案例上是否符合我们的规则?”审批步骤回答的是:“现在是否应该执行这项具体操作?”二者不能相互替代。人员审核单个请求无法证明工作流具有可重复的表现,而测试集也无法授权线上删除操作或发送外部消息。

下面的配置是示例性设计,不是经过测试的工作流导出文件。节点名称和可用选项可能因 n8n 版本和集成方式而异。部署前,请查阅所用节点的文档。

在构建前定义限制和测试用例

明确记录工作流可以做什么、绝不能做什么,以及哪些情况算作评估失败。例如,一个用于起草客服回复的工作流可以设置以下边界:

  • 可以分类和起草,但未经审批不得发送回复。
  • 必须从约定的列表中返回一个类别,并返回非空的草稿。
  • 未提供订单号时,不得凭空生成订单号。
  • 缺少必填字段或输出无法解析时,必须停止。

创建一个包含常规输入和棘手输入的小型固定测试集。将预期结果或验收规则与每个案例放在一起;不要只使用提示词已经能很好处理的示例。

测试用例输入条件预期结果
完整请求文本和引用信息有效返回有效类别和草稿;不包含无依据的事实
缺少引用信息缺少必填引用信息拒绝或请求澄清;不执行工具操作
空消息文本为空输入验证失败
请求不明确消息存在多种合理含义请求澄清或转交人员处理
请求高风险操作请求意味着发送消息或修改数据工具运行前必须审批
模型输出格式错误缺少字段或 JSON 无效验证失败;不执行后续操作

提前决定必须通过多少个案例,以及哪些失败属于发布阻断项。例如,可以要求所有安全边界案例都通过,同时允许对非关键格式问题记录一个例外。这些是项目规则,并非 n8n 的默认设置。

分阶段构建工作流

一个实用的高层流程如下:

  1. 触发和标准化: 接收请求、清理文本,并将传入字段映射为统一结构。
  2. 验证输入: 使用 IF 或 Code 节点检查必填字段和允许的值。将无效请求发送到响应或审核分支,不要调用 agent。
  3. 运行 AI Agent: 明确说明允许的行为、输出字段,以及信息缺失时应采取的措施。
  4. 验证输出: 检查必填字段是否存在、值是否属于允许的集合,以及响应是否符合下一个节点所需的格式。
  5. 审核选定工具: 将发送消息、修改记录或产生其他重要影响的工具连接到 n8n 的 Human review 步骤。
  6. 执行并记录: 运行已批准的工具调用,然后记录结果以及相关案例标识符,供后续评估使用。

对于结构化响应,应在 agent 之后进行验证,而不是假设提示词指令一定能保证有效结果。当传入项已经包含经过解析的 output 对象时,示例性的 Code 节点检查可以如下所示:

const result = $json.output;
const allowedCategories = ['billing', 'technical', 'other'];

const valid =
  result !== null &&
  typeof result === 'object' &&
  allowedCategories.includes(result.category) &&
  typeof result.draft === 'string' &&
  result.draft.trim().length > 0;

return [{
  json: {
    ...$json,
    validation: {
      valid,
      reason: valid ? null : 'Missing or invalid category or draft'
    }
  }
}];

此示例假设模型输出已经被解析为上述形状。如果 agent 返回的是字符串,则必须在此检查之前完成解析并处理解析错误。请根据自身限制添加检查,例如草稿最大长度或禁止字段,并将 validation.valid 为 false 的结果路由到能够解释问题的分支。不要将无效输出传递给操作节点。

为合适的操作要求审批

n8n 的 Human review 功能可以让工作流在 AI Agent 即将使用配置为需要审核的工具时暂停。审核人员可以批准操作,使工具按照 AI 指定的输入执行;也可以拒绝操作,从而取消执行。审核可以使用 n8n Chat、Slack、Telegram、Microsoft Teams、Gmail 以及 n8n 人在回路文档中列出的其他渠道。

应有选择地配置审核:只读查询可能不需要与发送外部消息或修改记录一样的审批门槛。向审核人员提供工具名称、拟使用的参数以及足够的上下文,以便其做出判断。n8n 记录了用于构建审核消息的 $tool.name 和 $tool.parameters 值;应清楚展示拟执行的操作,而不是笼统地询问“是否批准?”。

同时要告诉 agent 被拒绝意味着什么。其指令应要求它说明操作未被执行、避免重试相同操作,并提供安全的下一步,例如请求发起者澄清。工具调用被拒绝是工作流的正常结果,不应成为假装任务成功的理由。

让失败变得可执行

针对补救方式不同的失败,使用单独的分支或错误路径。一个有用的失败记录应包括案例或执行标识符、阶段、失败类别、简明原因和下一步操作。除非数据处理政策允许,否则不要将敏感请求内容写入日志。

  • 输入验证失败: 指出缺失或不允许的字段;请求更正后的输入。
  • 输出验证失败: 记录未通过的规则;在任何操作之前停止,并转交提示词或工作流审核。
  • 审批被拒绝: 将操作标记为已取消;告知请求者,并建议安全替代方案。
  • 工具失败或超时: 说明执行结果尚未确认;提供重试或人工检查路径。不要仅因为 agent 请求了工具就声称操作成功。

对于运行故障,应根据部署方式和所涉及的节点配置 n8n 的错误处理。要有意测试失败路径;只处理成功路径的工作流,还没有准备好执行高影响操作。

运行可重复的评估

将测试输入和预期结果保存在稳定的数据源中,例如受控数据表,并让它们经过相同的验证和 agent 阶段。记录工作流版本、案例 ID、通过/失败结果和失败原因。比较过程中不要中途修改测试用例;如果修改了提示词或规则,请重新运行同一测试集,并单独记录新增案例。

实用的发布检查清单:

  • 必填输入和允许的输出值都已明确。
  • 测试集覆盖缺失、模糊、格式错误和高风险案例。
  • 无效输出无法到达操作节点。
  • 高风险工具需要审核,且拒绝操作时有明确响应。
  • 工具错误和超时不会生成虚假的成功消息。
  • 评估结果可以关联到工作流版本和具体案例。

结论

在 n8n 中,将固定测试用例与输入、输出验证结合起来,让 AI 行为变得可衡量;然后使用 Human review 对选定的线上工具调用设置门槛。明确的失败分支可以弥合“工作流停止了”和“有人知道下一步该做什么”之间的差距。

常见问题

人工审批能替代 n8n AI 工作流测试吗?

不能。审批让人员有机会接受或拒绝某次具体的工具调用,而固定评估集则用于在可重复的案例中检查工作流行为。当工作流需要可预测的行为以及对高影响操作的监督时,应同时使用二者。

n8n 能否只要求部分 AI Agent 工具经过审批?

可以。n8n 记录了针对连接到 AI Agent 的所有工具或所选单个工具执行人工审核的方式,从而可以更集中地审核风险较高的操作。

审核人员拒绝工具调用时应该发生什么?

该操作应保持取消状态。配置 agent 说明操作未执行,不要将其呈现为已完成,并提供安全替代方案或请求澄清。

如何测试格式错误的 AI 输出?

加入一个缺少必填字段或响应无法解析的案例。将解析失败和架构验证失败路由到操作节点之外,记录未通过的规则,并确认没有工具执行。

相关文章