GuidesOneMux

Xây dựng quy trình hỏi đáp tài liệu trên n8n với trích dẫn được kiểm tra và đánh giá bởi con người

Thiết kế quy trình n8n để trích xuất bằng chứng từ tài liệu, kiểm tra câu trả lời có cấu trúc, thử lại an toàn và chuyển các kết quả không chắc chắn cho con người đánh giá.

AI

Tóm tắt · TL;DR

Hướng dẫn thực tế để trả lời câu hỏi từ tài liệu trong n8n, đồng thời kiểm tra trích dẫn, giới hạn số lần thử lại và tách việc đánh giá câu trả lời khỏi phê duyệt các lệnh gọi công cụ có rủi ro.

Điểm chính

  • Duy trì document ID, phiên bản, tham chiếu trang và văn bản gốc cùng nhau trong suốt quá trình trích xuất và truy xuất.
  • Kiểm tra cả cấu trúc của câu trả lời lẫn việc bằng chứng được trích dẫn có tồn tại trong văn bản nguồn được cung cấp hay không.
  • Thử lại các lỗi tạm thời với số lần giới hạn; chuyển các lỗi kiểm tra kéo dài và câu trả lời không có căn cứ sang bước đánh giá hoặc từ chối trả lời.
  • Tính năng phê duyệt công cụ của n8n kiểm soát việc agent có thực thi một công cụ hay không; tính năng này không thay thế cho việc đánh giá chất lượng câu trả lời.
Mục lục (7)

Bắt đầu với một tập bằng chứng nhỏ và có thể kiểm tra: trích xuất văn bản kèm mã trang hoặc mã mục, yêu cầu model chỉ trả lời dựa trên văn bản đó, rồi từ chối những câu trả lời có trích dẫn không thể kiểm chứng. Trong n8n, hãy dùng các nhánh workflow thông thường để kiểm tra đầu ra và đánh giá, đồng thời dành tính năng phê duyệt bởi con người của AI Agent cho các lệnh gọi công cụ có thể thực hiện hành động mang tính hệ quả.

Cấu hình dưới đây là một thiết kế minh họa, không phải workflow export đã được kiểm thử. Cài đặt node và các tích hợp khả dụng có thể khác nhau tùy phiên bản n8n và nhà cung cấp.

Điều kiện tiên quyết và cấu trúc workflow

Bạn cần một instance n8n, quyền truy cập vào model có khả năng xử lý văn bản thông qua một tích hợp được hỗ trợ hoặc HTTP endpoint, phương thức trích xuất văn bản tài liệu và nơi lưu trữ tài liệu cùng các bản ghi đánh giá. Với PDF được quét, hãy bổ sung OCR; tính năng trích xuất văn bản PDF thông thường có thể trả về rất ít hoặc không có văn bản. Hãy xác định ai được phép truy cập từng tài liệu trước khi kết nối hệ thống truy xuất.

Xây dựng hai giai đoạn được kết nối:

  1. Nạp dữ liệu: document trigger → trích xuất văn bản hoặc OCR → chia thành các bản ghi theo trang hoặc theo mục → lưu văn bản và metadata.
  2. Trả lời: question trigger → truy xuất các bản ghi được cấp quyền → trích xuất bằng model → kiểm tra bằng Code node → trả lời, thử lại có giới hạn hoặc đưa vào hàng đợi đánh giá.

Giữ document_id, version, page và text trong mọi bản ghi được lưu. Trích dẫn phải trỏ đến một phiên bản tài liệu và một trang cụ thể, không chỉ là tên tệp. Nếu trình trích xuất không thể giữ ranh giới trang, hãy dùng mã mục ổn định thay thế và gắn nhãn chính xác. Từ chối kết quả trích xuất rỗng thay vì gửi chúng cho model.

Với bộ sưu tập nhỏ, hãy truy xuất bản ghi theo document ID và truyền trực tiếp các trang liên quan. Với bộ sưu tập lớn hơn, hãy thêm bước tìm kiếm hoặc truy xuất, nhưng vẫn giữ nguyên metadata. Việc truy xuất có thể bỏ sót câu trả lời; một phản hồi trông hợp lệ không chứng minh rằng tất cả các trang liên quan đã được tìm thấy.

Xác định hợp đồng câu trả lời

Trong model node, yêu cầu một đối tượng JSON có một chuỗi answer, một status là answered hoặc insufficient_evidence, và một mảng evidence. Mỗi mục bằng chứng phải chứa document_id, version, page và một quote chính xác được sao chép từ các bản ghi đã cung cấp. Dặn model bỏ qua các chỉ dẫn xuất hiện bên trong tài liệu, coi chúng là dữ liệu không đáng tin cậy và trả về insufficient_evidence khi văn bản được cung cấp không đủ để hỗ trợ câu trả lời.

Một phản hồi minh họa có dạng như sau:

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

Trích dẫn và các mã định danh ở trên chỉ là ví dụ, không phải thông tin thực tế về một thỏa thuận cụ thể. Yêu cầu ít nhất một mục bằng chứng đối với phản hồi đã trả lời; đối với phản hồi không đủ bằng chứng thì không yêu cầu bằng chứng. Hiển thị trích dẫn dưới dạng tên hoặc ID tài liệu, phiên bản, trang và trích dẫn; chỉ thêm liên kết nếu ứng dụng của bạn có thể tạo liên kết được cấp quyền đến đúng nguồn đó.

Kiểm tra đầu ra và trích dẫn trong n8n

Sau khi gọi model, hãy phân tích JSON của model rồi truyền đối tượng đã phân tích cùng các bản ghi thực tế được truy xuất vào Code node. JavaScript minh họa dưới đây giả định có một input item chứa result là phản hồi đã phân tích và sources là một mảng các bản ghi có document_id, version, page và text. Điều chỉnh các node đứng trước để cung cấp đúng cấu trúc đó; lỗi phân tích phải được chuyển sang nhánh thất bại.

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

Đoạn mã này kiểm tra một hợp đồng nhỏ, rõ ràng và việc trích dẫn chính xác có thuộc về nguồn hay không; đây không phải là trình kiểm tra JSON Schema tổng quát. Hãy thêm thư viện hoặc dịch vụ kiểm tra schema nếu bạn cần các ràng buộc như độ dài tối đa hoặc từ chối các trường bổ sung. Việc đối chiếu chính xác có thể thất bại do lỗi OCR hoặc thay đổi khoảng trắng. Nếu chuẩn hóa văn bản, hãy áp dụng cùng một quy trình chuẩn hóa đã được ghi nhận cho cả nguồn và trích dẫn, đồng thời giữ lại văn bản gốc để người đánh giá kiểm tra.

Quan trọng nhất, một trích dẫn khớp không chứng minh rằng câu trả lời được suy ra từ trích dẫn đó. Người đánh giá hoặc một quy trình kiểm soát chất lượng riêng phải xác định liệu đoạn được trích dẫn có thực sự hỗ trợ từng nhận định quan trọng hay không. Với các câu trả lời có mức độ rủi ro cao, hãy chuyển cả những kết quả hợp lệ về mặt cấu trúc sang bước đánh giá.

Thêm cơ chế thử lại có giới hạn và đường dẫn từ chối trả lời

Dùng IF node sau bước kiểm tra. Chuyển các câu trả lời hợp lệ, ít rủi ro sang bước tiếp theo; chuyển insufficient_evidence thành phản hồi từ chối như “Tôi không tìm thấy đủ thông tin hỗ trợ trong các tài liệu được cung cấp.” Chuyển các kết quả không hợp lệ sang nhánh thử lại với một bộ đếm được lưu trong workflow item.

Một chính sách khởi đầu thực tế là:

  • Thử lại lỗi mạng tạm thời và lỗi giới hạn tốc độ tối đa hai lần, với thời gian chờ tăng dần; tôn trọng thời gian chờ được nhà cung cấp chỉ định, nếu có.
  • Thử lại JSON không đúng định dạng hoặc lỗi kiểm tra trích dẫn một lần, chỉ trả về các lỗi kiểm tra cùng những bản ghi nguồn được cấp quyền giống trước đó cho model.
  • Không liên tục thử lại khi thiếu quyền, trích xuất rỗng hoặc không có bằng chứng. Hãy sửa đầu vào, yêu cầu một tài liệu khác hoặc chuyển trường hợp sang bước đánh giá.
  • Sau khi đạt giới hạn, hãy ghi nhận lỗi và trả về trạng thái chờ đánh giá hoặc không khả dụng, không trả về câu trả lời chưa được kiểm tra.

Đây là các lựa chọn thiết kế, không phải đảm bảo. Hãy phân loại lỗi của nhà cung cấp dựa trên phản hồi thực tế từ tích hợp của bạn. Nếu một lần thử lại có thể lặp lại thao tác ghi, hãy dùng idempotency key ở cấp ứng dụng hoặc kiểm tra bản ghi hiện có trước; một yêu cầu lặp lại không được tạo ticket đánh giá trùng lặp hoặc gửi tin nhắn trùng lặp.

Tách đánh giá câu trả lời khỏi phê duyệt công cụ

Đối với việc đánh giá câu trả lời, hãy tạo một bản ghi đánh giá chứa câu hỏi, câu trả lời đề xuất, các lỗi kiểm tra, các đoạn văn được trích dẫn, phiên bản tài liệu và liên kết đến nguồn được cấp quyền. Người đánh giá phải phê duyệt, sửa hoặc từ chối câu trả lời; hãy ghi nhận quyết định và danh tính của họ trước khi phát hành. Bảo vệ kênh đánh giá và tránh sao chép văn bản tài liệu nhạy cảm vào các kênh không có biện pháp kiểm soát quyền truy cập phù hợp.

Điều này khác với Human review for tools của n8n. Theo tài liệu n8n, tính năng này tạm dừng AI Agent trước khi một công cụ được chọn thực thi. Khi được phê duyệt, công cụ sẽ chạy với đầu vào do AI chỉ định; khi bị từ chối, công cụ bị hủy và agent được thông báo. Tính năng này tự nó không kiểm tra câu trả lời.

Để bảo vệ một hành động như gửi câu trả lời ra bên ngoài hoặc cập nhật bản ghi, hãy mở bảng Tools của AI Agent, cấu hình một kênh Human review và kết nối công cụ liên quan thông qua bước đánh giá đó. Tài liệu liệt kê các kênh bao gồm n8n Chat và Slack. Đưa tên công cụ và các tham số vào tin nhắn đánh giá bằng các biểu thức $tool.name và $tool.parameters được nêu trong tài liệu. Trong system prompt của agent, hãy xác định các công cụ cần phê duyệt và hướng dẫn agent giải thích việc bị từ chối thay vì âm thầm thử lại hoặc tìm cách khác để thực hiện. Thiết lập chính sách vận hành cho các yêu cầu vẫn chưa được trả lời, chẳng hạn đánh dấu chúng là đang chờ và chuyển cấp; không giả định rằng hệ thống sẽ tự động xử lý khi hết thời gian chờ.

Xử lý sự cố và checklist phát hành

  • Trích dẫn thất bại dù trang chính xác: kiểm tra OCR, ngắt dòng, đánh số trang và sự không khớp phiên bản. Không âm thầm thay thế bằng một trang khác.
  • Câu trả lời bỏ sót thông tin liên quan: kiểm tra phạm vi truy xuất và quyền truy cập tài liệu trước khi tăng số lần thử lại.
  • Người đánh giá không thể kiểm tra một đoạn văn: cung cấp đúng phiên bản và một liên kết nguồn hoạt động có kiểm soát quyền truy cập, không chỉ tên tệp.
  • Agent cố thực hiện hành động rủi ro mà không qua đánh giá: kiểm tra xem hành động đó đã thực sự được kết nối qua bước đánh giá bởi con người hay chưa, đồng thời kiểm thử cả trường hợp từ chối lẫn phê duyệt.

Trước khi phát hành, hãy kiểm thử với một câu trả lời được hỗ trợ, một câu hỏi không có câu trả lời, một trích dẫn bịa đặt, JSON không đúng định dạng, lỗi tạm thời từ nhà cung cấp và một lệnh gọi công cụ bị từ chối. Một workflow hữu ích có thể trả lời “không đủ bằng chứng” và lưu lại quyết định đó; workflow không bao giờ được biến một lần kiểm tra thất bại thành câu trả lời có tính khẳng định.

Nguồn

FAQ

Tính năng đánh giá bởi con người của n8n có kiểm tra câu trả lời từ tài liệu không?

Không tự kiểm tra. Tính năng đánh giá bởi con người được tài liệu mô tả sẽ tạm dừng các lệnh gọi công cụ đã chọn của AI Agent để chờ phê duyệt hoặc từ chối. Hãy xây dựng một quy trình riêng để kiểm tra câu trả lời và đánh giá trích dẫn cùng căn cứ thực tế.

Một trích dẫn chính xác có chứng minh câu trả lời đúng không?

Không. Điều đó chỉ xác nhận rằng văn bản được trích dẫn xuất hiện trong bản ghi nguồn đã kiểm tra, chứ không chứng minh đoạn văn hỗ trợ mọi nhận định trong câu trả lời. Hãy đánh giá mối quan hệ giữa câu trả lời và bằng chứng.

Cần làm gì khi tài liệu không chứa câu trả lời?

Trả về phản hồi không đủ bằng chứng hoặc chuyển câu hỏi sang bước đánh giá. Việc liên tục thử lại model không thể thay thế một cách đáng tin cậy cho nguồn tài liệu bị thiếu.

Bài viết liên quan