GuidesOneMux

Cách đánh giá hệ thống hỏi đáp tài liệu trên Hugging Face

Xây dựng quy trình đánh giá có thể tái lập cho hệ thống hỏi đáp tài liệu, kiểm tra chất lượng câu trả lời, khả năng truy xuất, dẫn nguồn và từ chối trả lời.

AI

Tóm tắt · TL;DR

Quy trình thực tế để so sánh các mô hình hỏi đáp tài liệu bằng những câu hỏi giữ lại để kiểm thử, đồng thời phân biệt lỗi truy xuất, câu trả lời thiếu căn cứ và trích dẫn gây hiểu nhầm.

Điểm chính

  • Bắt đầu với các câu hỏi giữ lại để kiểm thử, đại diện cho những tài liệu và quyết định mà hệ thống thực sự sẽ xử lý.
  • So sánh mô hình gốc và mô hình tinh chỉnh trên cùng bộ câu hỏi và ngữ cảnh cố định trước khi kiểm thử toàn bộ quy trình truy xuất.
  • Chấm điểm riêng độ chính xác của câu trả lời, mức độ có căn cứ của từng nhận định, chất lượng trích dẫn và khả năng từ chối trả lời.
  • Lưu phiên bản mô hình, prompt, cấu hình sinh, phiên bản tài liệu, đầu ra và các hạn chế đã biết cùng với mỗi kết quả.
Mục lục (7)

Đánh giá riêng câu trả lời và bằng chứng

Với bài toán hỏi đáp tài liệu, một phép đánh giá hữu ích cần trả lời hai câu hỏi: Câu trả lời có đúng không và các đoạn được trích dẫn có chứng minh cho câu trả lời đó không? Một câu trả lời đúng nhưng dẫn nguồn không liên quan không phải là câu trả lời có dẫn nguồn đáng tin cậy. Một câu trả lời tóm tắt chính xác văn bản được truy xuất vẫn có thể sai nếu hệ thống truy xuất đưa ra tài liệu đã lỗi thời.

Hãy bắt đầu bằng một tập câu hỏi thực tế về tài liệu được giữ lại để kiểm thử. So sánh mô hình gốc và mô hình tinh chỉnh bằng cùng câu hỏi, đoạn nguồn, prompt và cấu hình sinh. Sau đó, đánh giá riêng khâu truy xuất. Cách làm này tuân theo hướng tiếp cận lấy tác vụ làm trọng tâm trong một thảo luận về đánh giá chuẩn của cộng đồng Hugging Face, trong đó khuyến nghị dùng tập dữ liệu giữ lại, đường cơ sở là mô hình gốc, cấu hình cố định, các chỉ số phù hợp với tác vụ và xem xét từng trường hợp thất bại.

Điều kiện tiên quyết và phạm vi đánh giá

Bạn cần một mô hình gốc và, nếu có, phiên bản tinh chỉnh tương ứng trên Hugging Face, cùng với quyền sử dụng các tài liệu trong đợt đánh giá. Cài đặt các phiên bản tương thích của transformers, torch và mọi thư viện phụ thuộc riêng của mô hình. Ghi lại các phiên bản đã cài đặt; yêu cầu về phần cứng và bộ nhớ phụ thuộc vào mô hình. Trình chạy minh họa bên dưới chưa được kiểm thử với một mô hình cụ thể.

Trước khi chạy, hãy xác định bạn đang so sánh điều gì:

  • So sánh bộ sinh: Cung cấp cho cả hai mô hình cùng các đoạn văn bản cố định. Cách này tách biệt việc sinh câu trả lời và dẫn nguồn khỏi sự biến thiên của khâu truy xuất.
  • So sánh đầu cuối: Chạy bộ truy xuất và bộ sinh thực tế cùng nhau. Cách này đo lường quy trình triển khai, nhưng không thể tự động quy sự thay đổi điểm số cho mô hình.

Hãy thực hiện cả hai khi có thể. So sánh bộ sinh cho biết việc tinh chỉnh có giúp ích khi dùng cùng bằng chứng hay không; kiểm thử đầu cuối cho biết toàn bộ hệ thống có hoạt động hay không.

Xây dựng tập hỏi đáp tài liệu giữ lại để kiểm thử

Giữ lại các câu hỏi và tài liệu hoặc nhóm tài liệu liên quan trước khi tinh chỉnh. Kiểm tra các đoạn trùng lặp và gần trùng lặp giữa các tập dữ liệu: thay đổi cách diễn đạt câu hỏi không ngăn được rò rỉ dữ liệu nếu mô hình đã được huấn luyện trên cùng đoạn chứa câu trả lời. Để kiểm thử truy xuất, hãy duy trì một kho ngữ liệu riêng, có quản lý phiên bản, bao gồm những tài liệu mà hệ thống được phép tìm kiếm.

Đưa các trường hợp vào theo tỷ lệ tương tự mức sử dụng dự kiến, đồng thời báo cáo riêng kết quả của các nhóm khó thay vì trình bày một tập cố ý chọn toàn trường hợp khó như thể đó là lưu lượng thông thường.

NhómMục tiêu đánh giá ví dụ
Thông thườngMột câu hỏi trực tiếp có câu trả lời trong một đoạn
Nhiều đoạnMột câu trả lời cần bằng chứng từ hai đoạn
Không thể trả lờiNgữ cảnh được cung cấp không chứa câu trả lời
Mâu thuẫn hoặc lỗi thờiHai phiên bản không thống nhất; câu hỏi hoặc siêu dữ liệu xác định phiên bản nào được áp dụng
Hồi quyMột trường hợp mà mô hình gốc trước đây đã trả lời và trích dẫn đúng
Lộn xộn hoặc dàiBằng chứng liên quan nằm trong một tài liệu dài hoặc có định dạng kém

Với mỗi trường hợp, hãy lưu ID ổn định, câu hỏi, câu trả lời kỳ vọng hoặc thang chấm điểm, phiên bản tài liệu nguồn, ID của các đoạn làm bằng chứng và thông tin cho biết ngữ cảnh được cung cấp có đủ hay không. Nếu phù hợp, hãy chỉ rõ những câu trả lời và trích dẫn thay thế có thể chấp nhận. Nếu bằng chứng cần được diễn giải, hãy để người đánh giá xử lý các nhãn mơ hồ trước khi coi chúng là dữ liệu chuẩn.

Một bản ghi ngắn gọn cho bài kiểm thử ngữ cảnh cố định có thể như sau. Chính sách và câu trả lời này được tạo ra chỉ để minh họa định dạng:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

Hãy dùng các mã định danh đoạn có thể dẫn tới đúng phiên bản tài liệu và nội dung mà người đánh giá có thể kiểm tra. Chỉ tên tài liệu có thể quá chung chung để xác minh một nhận định cụ thể.

Cố định cấu hình suy luận trên Hugging Face

Ghi lại tên kho lưu trữ và phiên bản cố định của mô hình và tokenizer, mọi adapter cùng phiên bản của chúng, trọng số đã được gộp hoặc lượng tử hóa hay chưa, backend, phiên bản các gói và phần cứng. Đồng thời lưu chính xác prompt và chat template, thứ tự ngữ cảnh, quy tắc cắt ngắn, độ dài đầu vào tối đa và các tham số giải mã. Với mô hình tinh chỉnh dựa trên adapter, hãy ghi rõ cấu hình được đánh giá chỉ gồm mô hình gốc hay gồm mô hình gốc cộng adapter.

Dưới đây là một trình chạy mang tính minh họa, chưa được kiểm thử cho các mô hình ngôn ngữ tự hồi quy tương thích. Thay các phần giữ chỗ bằng tên kho lưu trữ và phiên bản cố định thực tế. Trình chạy sử dụng giải mã tham lam để giảm biến thiên do lấy mẫu và giữ ngữ cảnh cố định; trình chạy này không tải adapter, không thực hiện truy xuất và không chấm điểm kết quả. Một số mô hình yêu cầu chat template hoặc cấu hình tokenizer riêng. Nếu hai mô hình cần template khác nhau, hãy ghi lại sự khác biệt đó và coi đây là một hạn chế của phép so sánh.

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

Trước khi chạy đầy đủ, hãy kiểm tra một vài prompt theo giới hạn ngữ cảnh của từng mô hình. Không được âm thầm cắt ngắn bằng chứng: hãy áp dụng cùng một chính sách cắt ngắn đã được ghi rõ hoặc đánh dấu trường hợp đó là không thể đánh giá. Giải mã tham lam không đảm bảo đầu ra giống hệt nhau trên mọi cấu hình phần cứng và phần mềm. Nếu việc lấy mẫu là một phần của cách triển khai dự kiến, hãy ghi lại cấu hình và seed, đồng thời chạy lặp lại để xem xét mức độ biến thiên.

Chấm điểm truy xuất, câu trả lời và trích dẫn

Hãy giữ riêng các thước đo sau. Với mỗi tỷ lệ, công bố tử số, mẫu số và số trường hợp bị loại; đồng thời báo cáo kết quả theo từng nhóm.

Thước đoCách kiểm tra thực tế
Độ bao phủ truy xuấtVới những câu hỏi đã biết các đoạn làm bằng chứng, tập kết quả truy xuất chứa bằng chứng cần thiết với tần suất bao nhiêu? Xác định rõ có bắt buộc phải có tất cả các đoạn cần thiết hay không.
Độ chính xác của câu trả lờiCâu trả lời có khớp với đáp án tham chiếu hoặc đáp ứng thang chấm điểm của trường hợp đó không? Chỉ dùng phép so khớp chính xác khi cách diễn đạt được giới hạn đủ chặt.
Căn cứ cho nhận địnhCác nhận định thực tế trong câu trả lời có được các đoạn đã cung cấp chứng minh không? Đánh giá từng nhận định khi câu trả lời có nhiều nhận định.
Chất lượng trích dẫnMỗi ID được trích dẫn có tồn tại và chứng minh cho nhận định gắn với nó không? Đồng thời kiểm tra xem các nhận định quan trọng có được trích dẫn hay không.
Từ chối trả lờiVới trường hợp ngữ cảnh không đủ, mô hình có nói rằng bằng chứng không đủ không? Với trường hợp có thể trả lời, mô hình có tránh từ chối không cần thiết không?

Ví dụ, “30 ngày [policy-v1:p2]” đạt trong trường hợp minh họa nếu đoạn đó chứa quy tắc được nêu. “30 ngày [policy-v1:p3]” phải bị đánh trượt ở bước kiểm tra căn cứ của trích dẫn nếu p3 không chứng minh quy tắc đó, ngay cả khi khoảng thời gian là đúng. Một ID đoạn được bịa ra phải bị đánh trượt ở cả bước kiểm tra tính hợp lệ của ID lẫn bước kiểm tra căn cứ.

Kiểm tra ID và định dạng tự động rất hữu ích, nhưng không thể xác định một đoạn có chứng minh được một nhận định hay không. Hãy dùng thang đánh giá bằng văn bản và để con người xem xét căn cứ cũng như độ chính xác; nếu dùng mô hình làm giám khảo, hãy ghi lại phiên bản và prompt của mô hình đó, đồng thời kiểm tra một mẫu các phán quyết. Lưu đầu ra của cả hai mô hình và gán các nhãn lỗi như missing_evidence, unsupported_claim, wrong_citation hoặc unnecessary_abstention.

Xử lý sự cố và báo cáo kết quả

Nếu thiếu đoạn phù hợp, hãy kiểm tra việc lập chỉ mục, chia đoạn, phiên bản kho ngữ liệu và cấu hình truy xuất trước khi thay đổi bộ sinh. Nếu đoạn đó có mặt nhưng câu trả lời không có căn cứ, hãy xem xét prompt và hành vi sinh. Nếu câu trả lời đúng nhưng trích dẫn sai đoạn, hãy coi việc dẫn nguồn là một lỗi riêng, không phải vấn đề hình thức đơn thuần.

Công bố một bản mô tả ngắn về lần chạy cùng với kết quả: cách xây dựng và phân chia tập dữ liệu, bản chụp tài liệu, phiên bản mô hình và adapter, prompt, cấu hình truy xuất, cấu hình giải mã, quy tắc chấm điểm, số lượng theo từng nhóm và các trường hợp thất bại tiêu biểu. Với tập dữ liệu nhỏ, chỉ một vài ví dụ cũng có thể làm thay đổi đáng kể tỷ lệ phần trăm. Hãy lặp lại các lần chạy có lấy mẫu khi phù hợp, và phân biệt biến thiên giữa các lần chạy với độ bất định do tập kiểm thử có quy mô hạn chế.

Một bộ đánh giá chuẩn công khai có thể bổ sung bối cảnh, nhưng không thể thay thế bằng chứng dành riêng cho tác vụ này. Kết luận có cơ sở cần được giới hạn trong phạm vi phù hợp: kết quả mô tả những mô hình, tài liệu, câu hỏi và cấu hình này, chứ không phải mọi bài toán hỏi đáp tài liệu.

Nguồn tham khảo

FAQ

Nên đánh giá khâu truy xuất hay mô hình ngôn ngữ trước?

Trước tiên, hãy so sánh các bộ sinh trên cùng những đoạn văn bản cố định để tách biệt hành vi của chúng. Sau đó, đánh giá toàn bộ quy trình truy xuất và sinh, bao gồm việc bộ truy xuất có tìm được bằng chứng cần thiết hay không.

Một câu trả lời đúng có trích dẫn có được coi là kết quả thành công không?

Không nhất thiết. Hãy kiểm tra xem đoạn được trích dẫn có tồn tại và thực sự chứng minh cho nhận định liên quan hay không. Một câu trả lời đúng nhưng có trích dẫn không liên quan hoặc được bịa ra sẽ không đạt yêu cầu về dẫn nguồn.

Có thể dùng LLM làm giám khảo thay cho việc con người đánh giá không?

LLM làm giám khảo có thể cung cấp tín hiệu hữu ích, nhưng không nên tự động coi các phán quyết của nó là dữ liệu chuẩn. Hãy ghi lại phiên bản mô hình và prompt, sử dụng thang đánh giá rõ ràng và để con người kiểm tra một mẫu kết quả.

Bài viết liên quan