GuidesOneMux

검증된 출처와 사람 검토를 갖춘 n8n 문서 Q&A 워크플로 구축하기

문서에서 근거를 추출하고, 구조화된 답변을 검증하며, 안전하게 재시도하고, 불확실한 결과는 사람에게 검토를 요청하는 n8n 워크플로를 설계합니다.

AI

요약 · TL;DR

n8n에서 문서를 바탕으로 질문에 답하면서 인용 출처를 확인하고, 재시도 횟수를 제한하며, 답변 검토와 위험한 도구 호출 승인을 분리하는 실용적인 설계 방법입니다.

핵심 요점

  • 추출과 검색 전 과정에서 문서 ID, 버전, 페이지 참조, 원문을 함께 유지합니다.
  • 답변의 형식뿐 아니라 인용한 근거가 제공된 원문에 실제로 존재하는지도 검증합니다.
  • 일시적인 오류는 횟수를 제한해 재시도하고, 검증에 계속 실패하거나 근거가 없는 답변은 검토 대상으로 보내거나 답변을 보류합니다.
  • n8n 도구 승인은 에이전트의 도구 실행 여부를 제어할 뿐, 답변 품질 검토를 대신하지 않습니다.
목차 (7)

작고 검증 가능한 근거 집합부터 시작하세요. 페이지 또는 섹션 식별자와 함께 텍스트를 추출하고, 모델에는 해당 텍스트만을 근거로 답하도록 요청한 다음, 인용 출처를 확인할 수 없는 답변은 거부합니다. n8n에서는 일반 워크플로 분기를 사용해 출력을 검증하고 검토하며, AI Agent의 사람 승인은 중요한 결과를 초래할 수 있는 도구 호출에 사용합니다.

아래 구성은 테스트를 거친 워크플로 내보내기 파일이 아니라 설계 예시입니다. 노드 설정과 사용 가능한 연동 기능은 n8n 버전과 제공업체에 따라 다를 수 있습니다.

사전 준비와 워크플로 구성

n8n 인스턴스, 지원되는 연동 기능 또는 HTTP 엔드포인트를 통한 텍스트 처리 가능 모델 접근 권한, 문서 텍스트 추출 방법, 문서와 검토 기록을 저장할 공간이 필요합니다. 스캔한 PDF에는 OCR을 추가하세요. 일반적인 PDF 텍스트 추출로는 텍스트가 거의 또는 전혀 나오지 않을 수 있습니다. 검색 시스템을 연결하기 전에 각 문서에 접근할 수 있는 사람을 정하세요.

서로 연결된 두 단계를 구성합니다.

  1. 수집: 문서 트리거 → 텍스트 추출 또는 OCR → 페이지별 또는 섹션별 레코드로 분할 → 텍스트와 메타데이터 저장
  2. 답변: 질문 트리거 → 접근 권한이 있는 레코드 검색 → 모델을 통한 추출 → Code 노드 검증 → 답변, 횟수가 제한된 재시도 또는 검토 대기열

저장되는 모든 레코드에 document_id, version, page, text를 유지하세요. 인용은 단순한 파일명이 아니라 특정 문서 버전과 페이지를 가리켜야 합니다. 추출 도구가 페이지 경계를 유지하지 못한다면 안정적인 섹션 식별자를 대신 사용하고 그에 맞게 정확히 표시하세요. 추출 결과가 비어 있으면 모델로 보내지 말고 거부합니다.

문서가 적다면 문서 ID로 레코드를 검색해 관련 페이지를 직접 전달하세요. 문서가 많다면 검색 또는 검색 기반 조회 단계를 추가하되 동일한 메타데이터를 유지합니다. 검색 과정에서 답이 누락될 수 있으므로, 유효해 보이는 응답만으로 관련 페이지를 모두 찾았다고 단정할 수는 없습니다.

답변 형식 정의하기

모델 노드에 answer 문자열, answered 또는 insufficient_evidence 값을 갖는 status, evidence 배열로 구성된 JSON 객체 하나를 요청합니다. 각 근거 항목에는 document_id, version, page와 제공된 레코드에서 정확히 복사한 quote가 포함되어야 합니다. 문서 안의 지시사항은 무시하고 신뢰할 수 없는 데이터로 취급하며, 제공된 텍스트가 답변을 뒷받침하지 않으면 insufficient_evidence를 반환하도록 모델에 지시하세요.

응답 예시는 다음과 같습니다.

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

인용문과 식별자는 예시이며 실제 계약에 관한 사실이 아닙니다. 답변을 제공하는 응답에는 근거 항목을 하나 이상 포함하고, 근거가 부족하다는 응답에는 근거 항목을 포함하지 않도록 요구하세요. 인용은 문서 이름 또는 ID, 버전, 페이지, 인용문으로 표시하고, 애플리케이션이 해당 출처에 정확히 연결되는 접근 권한이 있는 링크를 생성할 수 있을 때만 링크를 추가합니다.

n8n에서 출력과 인용 검증하기

모델 호출 후 JSON을 파싱하고, 파싱된 객체와 실제로 검색된 레코드를 Code 노드에 전달합니다. 다음 JavaScript 예시는 result에 파싱된 응답이, sources에 document_id, version, page, text를 포함한 레코드 배열이 담긴 입력 항목 하나를 가정합니다. 앞선 노드가 이 형식으로 데이터를 전달하도록 조정하고, 파싱 오류는 실패 분기로 보내야 합니다.

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

이 코드는 작고 명시적인 형식 요건과 인용문의 정확한 포함 여부를 검사할 뿐, 범용 JSON Schema 검증기는 아닙니다. 최대 길이 제한이나 추가 필드 거부 같은 제약이 필요하다면 스키마 검증 라이브러리 또는 서비스를 추가하세요. OCR 오류나 공백 변경으로 인해 정확한 일치 검사가 실패할 수 있습니다. 텍스트를 정규화한다면 문서화된 동일한 정규화 방식을 원문과 인용문에 모두 적용하고, 검토자를 위해 원문도 보존하세요.

무엇보다 인용문이 일치한다고 해서 답변이 그 인용문에서 도출된다는 사실까지 증명되지는 않습니다. 검토자 또는 별도의 품질 관리 프로세스가 인용된 구절이 각각의 중요한 주장을 실제로 뒷받침하는지 평가해야 합니다. 결과의 영향이 큰 답변은 구조적으로 유효하더라도 검토 대상으로 보내세요.

재시도 횟수 제한과 답변 보류 경로 추가하기

검증 후 IF 노드를 사용하세요. 유효하고 위험이 낮은 답변은 다음 단계로 보내고, insufficient_evidence에는 “제공된 문서에서 충분한 근거를 찾지 못했습니다.”와 같은 답변 보류 응답을 보냅니다. 유효하지 않은 결과는 워크플로 항목에 저장된 카운터를 사용하는 재시도 분기로 보냅니다.

실용적인 초기 정책은 다음과 같습니다.

  • 일시적인 네트워크 오류와 요청 한도 초과는 대기 시간을 늘려 가며 최대 두 번 재시도합니다. 제공업체가 재시도 지연 시간을 지정했다면 이를 따릅니다.
  • 잘못된 형식의 JSON이나 인용 검사 실패는 한 번 재시도하며, 검증 오류와 동일한 접근 권한이 있는 원본 레코드만 모델에 다시 전달합니다.
  • 권한 부재, 빈 추출 결과, 근거 부재는 반복해서 재시도하지 않습니다. 입력을 수정하거나, 다른 문서를 요청하거나, 해당 사례를 검토 대상으로 보냅니다.
  • 제한에 도달하면 실패를 기록하고 검증되지 않은 답변 대신 검토 대기 또는 이용 불가 상태를 반환합니다.

이는 보장 사항이 아니라 설계 선택입니다. 연동 기능에서 실제로 반환한 응답을 기준으로 제공업체 오류를 분류하세요. 재시도로 쓰기 작업이 반복될 수 있다면 애플리케이션 수준의 멱등성 키를 사용하거나 먼저 기존 레코드가 있는지 확인하세요. 요청이 반복되더라도 검토 티켓이나 메시지가 중복 생성되어서는 안 됩니다.

답변 검토와 도구 승인 분리하기

답변 검토를 위해 질문, 제안된 답변, 검증 오류, 인용된 구절, 문서 버전, 접근 권한이 있는 원본 링크를 담은 검토 기록을 만듭니다. 검토자는 답변을 승인, 수정 또는 거부해야 하며, 답변을 공개하기 전에 검토 결과와 검토자의 신원을 기록해야 합니다. 검토 채널을 보호하고 적절한 접근 제어가 없는 채널에 민감한 문서 텍스트를 복사하지 마세요.

이는 n8n의 Human review for tools와 다릅니다. n8n 문서에 따르면 이 기능은 선택된 도구가 실행되기 전에 AI Agent를 일시 중지합니다. 승인하면 AI가 지정한 입력으로 도구를 실행하고, 거부하면 실행을 취소한 뒤 에이전트에 알립니다. 이 기능 자체가 답변을 검증하지는 않습니다.

외부로 답변을 보내거나 레코드를 업데이트하는 등의 작업을 보호하려면 AI Agent의 Tools 패널을 열고 Human review 채널을 구성한 다음, 해당 도구가 이 검토 단계를 거치도록 연결하세요. 문서에는 n8n Chat과 Slack을 비롯한 채널이 나열되어 있습니다. 문서에 명시된 $tool.name 및 $tool.parameters 표현식을 사용해 검토 메시지에 도구 이름과 매개변수를 포함하세요. 에이전트의 시스템 프롬프트에는 승인이 필요한 도구를 명시하고, 승인 거부 시 조용히 재시도하거나 우회 방법을 찾는 대신 거부 사실을 설명하도록 지시합니다. 응답받지 못한 요청은 대기 상태로 표시하고 상위 담당자에게 전달하는 등 운영 정책을 정하세요. 자동으로 타임아웃이 발생한다고 가정해서는 안 됩니다.

문제 해결 및 출시 점검 목록

  • 페이지는 맞지만 인용 검증에 실패하는 경우: OCR, 줄 바꿈, 페이지 번호, 버전 불일치를 확인하세요. 다른 페이지로 임의 대체하지 마세요.
  • 답변에서 관련 정보가 빠지는 경우: 재시도 횟수를 늘리기 전에 검색 범위와 문서 접근 권한을 확인하세요.
  • 검토자가 구절을 확인할 수 없는 경우: 파일명만 제공하지 말고 정확한 버전과 정상 작동하며 접근이 제어되는 원본 링크를 포함하세요.
  • 에이전트가 검토 없이 위험한 작업을 시도하는 경우: 해당 작업이 실제로 사람 검토 단계를 거치도록 연결되어 있는지 확인하고, 승인뿐 아니라 거부도 테스트하세요.

출시 전에는 근거가 있는 답변, 문서에 없는 답변, 지어낸 인용문, 잘못된 형식의 JSON, 일시적인 제공업체 오류, 거부된 도구 호출을 각각 테스트하세요. 유용한 워크플로는 “근거가 충분하지 않음”이라고 말하고 그 판단을 보존할 수 있어야 합니다. 검증에 실패한 결과를 신뢰할 만한 확정 답변으로 바꿔서는 안 됩니다.

출처

FAQ

n8n의 사람 검토 기능이 문서 답변을 검증하나요?

그 자체로는 검증하지 않습니다. 문서에 설명된 사람 검토 기능은 선택된 AI Agent 도구 호출을 일시 중지해 승인 또는 거부를 받습니다. 인용과 사실적 근거를 확인하려면 별도의 답변 검증 및 검토 경로를 구축하세요.

인용문이 정확히 일치하면 답변도 정확하다는 뜻인가요?

아니요. 이는 인용된 텍스트가 확인한 원본 레코드에 존재한다는 사실만 보여 줄 뿐, 해당 구절이 답변의 모든 주장을 뒷받침한다는 뜻은 아닙니다. 답변과 근거 사이의 관계를 검토하세요.

문서에 답이 없을 때는 어떻게 해야 하나요?

근거 부족 응답을 반환하거나 질문을 검토 대상으로 보내세요. 모델을 반복해서 재시도해도 빠진 원본 자료를 신뢰성 있게 대체할 수는 없습니다.

관련 글