指南OneMux

如何在 Hugging Face 上評估文件問答

建立可重現的文件問答評估,檢驗回答品質、檢索、來源歸屬及拒答表現。

AI

摘要 · TL;DR

透過保留的問題比較文件問答模型,並區分檢索失敗、缺乏證據支持的回答與誤導性引用的實務流程。

重點

  • 從保留的問題集開始,確保問題能代表系統實際處理的文件與決策。
  • 先讓基礎模型與微調模型回答相同問題並使用固定的上下文,再測試完整的檢索流程。
  • 分別評分回答正確性、陳述的證據支持、引用品質及拒答表現。
  • 每次評估都要保存模型修訂版本、提示詞、生成設定、文件版本、輸出與已知限制。
文章目錄 (7)

分別評估回答及其證據

評估文件問答時,有兩個重要問題:回答是否正確?引用的段落是否支持該回答? 即使回答正確,若引用內容不相關,也不能算是來源歸屬可靠的回答。即使回答準確摘要了檢索到的文字,若檢索提供的是過時文件,回答仍可能出錯。

從一組保留的真實文件問題開始。使用相同的問題、來源段落、提示詞與生成設定,比較基礎模型和微調模型,再另行評估檢索。這遵循 Hugging Face 社群基準測試討論中以任務為先的方法:建立保留測試集、以基礎模型作為基準、固定設定、採用任務專屬指標,並檢視個別失敗案例。

前置條件與評估範圍

你需要一個可透過 Hugging Face 使用的基礎模型,以及適用時與其對應的微調模型,還需要取得在評估中使用相關文件的權限。安裝相容版本的 transformers、torch 和模型專屬的必要套件。記錄已安裝的版本;硬體與記憶體需求取決於模型。下方的示範執行程式尚未針對特定模型測試。

執行前,先決定要比較什麼:

  • **生成模型比較:**給兩個模型相同的固定段落,排除檢索差異對回答生成與來源歸屬的影響。
  • **端到端比較:**將實際的檢索器與生成模型一起執行。這能衡量部署時的工作流程,但分數變化不能自動歸因於模型。

可能的話,兩種測試都要執行。生成模型比較能看出微調在相同證據下是否有幫助;端到端測試則能檢驗整個系統是否正常運作。

建立保留的文件問答測試集

在微調前,先保留問題及相關文件或文件群組作為測試資料。檢查各資料分割之間是否有重複或近乎重複的段落:如果模型訓練時看過相同的答案段落,只改變問題措辭無法防止資料洩漏。若要測試檢索,請另外保留一份有版本紀錄的語料庫,納入系統獲准搜尋的文件。

各類案例的比例應接近預期用途,並另外報告較困難子集的結果,不要把刻意設計的高難度測試集當成典型流量呈現。

子集評估目標範例
一般案例可由單一段落回答的直接問題
多段落需要兩個段落的證據才能回答
無法回答提供的上下文不含答案
衝突或過時兩個版本內容不一致;問題或中繼資料指出應適用哪個版本
迴歸測試基礎模型先前曾正確回答並引用的案例
格式凌亂或篇幅長相關證據埋藏在冗長或格式不佳的文件中

每個案例都要儲存穩定的 ID、問題、預期答案或評分規準、來源文件版本、支持性段落 ID,以及所提供的上下文是否充分。適當時,註明可接受的替代答案與引用。若證據需要解讀,應先由審查者釐清有歧義的標記,再將其視為標準答案。

以下是一筆精簡的固定上下文測試紀錄範例。政策與答案均為虛構,僅用於說明格式:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

使用能對應到確切文件版本與文字的段落識別碼,讓審查者可以查核。只有文件標題可能過於籠統,不足以驗證特定陳述。

固定 Hugging Face 推論設定

記錄模型與 tokenizer 的儲存庫名稱及不可變的修訂版本、使用的 adapter 及其修訂版本、權重是否已合併或量化、後端、套件版本和硬體。也要保存確切的提示詞與 chat template、上下文順序、截斷規則、最大輸入長度及解碼參數。對於以 adapter 為基礎的微調,註明評估設定使用的是單獨的基礎模型,還是基礎模型加上 adapter。

以下是適用於相容因果語言模型的示範性、未經測試執行程式。請將佔位內容替換為實際的儲存庫名稱及不可變修訂版本。此程式使用貪婪解碼來降低抽樣變異,並固定上下文;它不會載入 adapter、執行檢索或評分結果。部分模型需要專屬的 chat template 或 tokenizer 設定。如果兩個模型需要不同的模板,請記錄差異,並將其視為比較的限制。

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

完整執行前,先用幾個提示詞檢查是否超過各模型的上下文限制。不要在未說明的情況下截斷證據:應套用相同且有紀錄的截斷政策,或將案例標記為無法評估。貪婪解碼無法保證在所有硬體與軟體設定下都產生相同輸出。如果預定部署方式包含抽樣,請記錄其設定與隨機種子,並重複執行以檢查變異。

評分檢索、回答與引用

將下列衡量項目分開處理。對每個比率,公布分子、分母及排除的案例數,也要依子集報告結果。

衡量項目實務檢查方式
檢索召回率對於已知支持性段落的問題,檢索結果包含所需證據的頻率為何?請定義是否必須包含所有必要段落。
回答正確性回答是否符合參考答案或案例評分規準?只有在措辭限制足夠明確時才使用完全匹配。
陳述的證據支持回答中的事實陳述是否有提供的段落支持?若回答包含多項陳述,應逐項審查。
引用品質每個引用的 ID 是否存在,且能支持與其對應的陳述?也要檢查重要陳述是否附有引用。
拒答表現上下文不足時,模型是否指出證據不足?在可回答的案例中,是否避免不必要的拒答?

例如,若該段落包含所述規則,「30 days [policy-v1:p2]」在示範案例中即為通過。如果 p3 無法證明該規則,即使天數正確,「30 days [policy-v1:p3]」也不應通過引用支持檢查。虛構的段落 ID 則應同時在 ID 有效性與證據支持檢查中判定為失敗。

自動化 ID 與格式檢查很有用,但無法判定段落是否能推導出某項陳述。請使用書面評分規準及人工審查來判斷證據支持與正確性;若使用模型評審,請記錄其版本與提示詞,並抽樣稽核其判斷。保存兩個模型的輸出,並指派 missing_evidence、unsupported_claim、wrong_citation 或 unnecessary_abstention 等錯誤標籤。

排除問題並報告結果

如果缺少正確段落,應先檢查索引、分塊方式、語料庫版本及檢索設定,再考慮修改生成模型。如果段落存在,但回答缺乏證據支持,請檢查提示詞與生成行為。如果回答正確卻引用了錯誤段落,應將來源歸屬視為獨立的失敗,而非表面上的格式問題。

隨結果一併發布簡短的執行紀錄:資料集建置與分割方式、文件快照、模型與 adapter 修訂版本、提示詞、檢索設定、解碼設定、評分規則、各子集數量及具代表性的失敗案例。測試集較小時,少數案例就可能讓百分比大幅變動。適用時應重複執行抽樣測試,並區分執行間的變異與測試集有限所造成的不確定性。

公開基準測試可以補充背景資訊,但無法取代這類任務專屬證據。合理的結論應有其範圍:結果描述的是這些模型、文件、問題與設定,而非所有文件問答工作負載。

來源

常見問題

應該先評估檢索還是語言模型?

先讓生成模型使用相同的固定段落進行比較,以單獨觀察其行為。接著評估完整的檢索與生成流程,包括檢索器是否找到所需證據。

回答正確且附有引用,就算評估成功嗎?

不一定。必須確認引用的段落存在,且確實支持對應的陳述。即使回答正確,若引用不相關或是虛構的,來源歸屬仍屬失敗。

可以用 LLM 評審取代人工審查嗎?

LLM 評審可以提供有用的參考訊號,但不應自動將其判斷視為標準答案。請記錄模型版本與提示詞、使用明確的評分規準,並由人員抽樣稽核。

相關文章