如何在 Hugging Face 上評估文件問答
建立可重現的文件問答評估,檢驗回答品質、檢索、來源歸屬及拒答表現。
摘要 · TL;DR
透過保留的問題比較文件問答模型,並區分檢索失敗、缺乏證據支持的回答與誤導性引用的實務流程。
重點
- 從保留的問題集開始,確保問題能代表系統實際處理的文件與決策。
- 先讓基礎模型與微調模型回答相同問題並使用固定的上下文,再測試完整的檢索流程。
- 分別評分回答正確性、陳述的證據支持、引用品質及拒答表現。
- 每次評估都要保存模型修訂版本、提示詞、生成設定、文件版本、輸出與已知限制。
文章目錄 (7)
分別評估回答及其證據
評估文件問答時,有兩個重要問題:回答是否正確?引用的段落是否支持該回答? 即使回答正確,若引用內容不相關,也不能算是來源歸屬可靠的回答。即使回答準確摘要了檢索到的文字,若檢索提供的是過時文件,回答仍可能出錯。
從一組保留的真實文件問題開始。使用相同的問題、來源段落、提示詞與生成設定,比較基礎模型和微調模型,再另行評估檢索。這遵循 Hugging Face 社群基準測試討論中以任務為先的方法:建立保留測試集、以基礎模型作為基準、固定設定、採用任務專屬指標,並檢視個別失敗案例。
前置條件與評估範圍
你需要一個可透過 Hugging Face 使用的基礎模型,以及適用時與其對應的微調模型,還需要取得在評估中使用相關文件的權限。安裝相容版本的 transformers、torch 和模型專屬的必要套件。記錄已安裝的版本;硬體與記憶體需求取決於模型。下方的示範執行程式尚未針對特定模型測試。
執行前,先決定要比較什麼:
- **生成模型比較:**給兩個模型相同的固定段落,排除檢索差異對回答生成與來源歸屬的影響。
- **端到端比較:**將實際的檢索器與生成模型一起執行。這能衡量部署時的工作流程,但分數變化不能自動歸因於模型。
可能的話,兩種測試都要執行。生成模型比較能看出微調在相同證據下是否有幫助;端到端測試則能檢驗整個系統是否正常運作。
建立保留的文件問答測試集
在微調前,先保留問題及相關文件或文件群組作為測試資料。檢查各資料分割之間是否有重複或近乎重複的段落:如果模型訓練時看過相同的答案段落,只改變問題措辭無法防止資料洩漏。若要測試檢索,請另外保留一份有版本紀錄的語料庫,納入系統獲准搜尋的文件。
各類案例的比例應接近預期用途,並另外報告較困難子集的結果,不要把刻意設計的高難度測試集當成典型流量呈現。
| 子集 | 評估目標範例 |
|---|---|
| 一般案例 | 可由單一段落回答的直接問題 |
| 多段落 | 需要兩個段落的證據才能回答 |
| 無法回答 | 提供的上下文不含答案 |
| 衝突或過時 | 兩個版本內容不一致;問題或中繼資料指出應適用哪個版本 |
| 迴歸測試 | 基礎模型先前曾正確回答並引用的案例 |
| 格式凌亂或篇幅長 | 相關證據埋藏在冗長或格式不佳的文件中 |
每個案例都要儲存穩定的 ID、問題、預期答案或評分規準、來源文件版本、支持性段落 ID,以及所提供的上下文是否充分。適當時,註明可接受的替代答案與引用。若證據需要解讀,應先由審查者釐清有歧義的標記,再將其視為標準答案。
以下是一筆精簡的固定上下文測試紀錄範例。政策與答案均為虛構,僅用於說明格式:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
使用能對應到確切文件版本與文字的段落識別碼,讓審查者可以查核。只有文件標題可能過於籠統,不足以驗證特定陳述。
固定 Hugging Face 推論設定
記錄模型與 tokenizer 的儲存庫名稱及不可變的修訂版本、使用的 adapter 及其修訂版本、權重是否已合併或量化、後端、套件版本和硬體。也要保存確切的提示詞與 chat template、上下文順序、截斷規則、最大輸入長度及解碼參數。對於以 adapter 為基礎的微調,註明評估設定使用的是單獨的基礎模型,還是基礎模型加上 adapter。
以下是適用於相容因果語言模型的示範性、未經測試執行程式。請將佔位內容替換為實際的儲存庫名稱及不可變修訂版本。此程式使用貪婪解碼來降低抽樣變異,並固定上下文;它不會載入 adapter、執行檢索或評分結果。部分模型需要專屬的 chat template 或 tokenizer 設定。如果兩個模型需要不同的模板,請記錄差異,並將其視為比較的限制。
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
完整執行前,先用幾個提示詞檢查是否超過各模型的上下文限制。不要在未說明的情況下截斷證據:應套用相同且有紀錄的截斷政策,或將案例標記為無法評估。貪婪解碼無法保證在所有硬體與軟體設定下都產生相同輸出。如果預定部署方式包含抽樣,請記錄其設定與隨機種子,並重複執行以檢查變異。
評分檢索、回答與引用
將下列衡量項目分開處理。對每個比率,公布分子、分母及排除的案例數,也要依子集報告結果。
| 衡量項目 | 實務檢查方式 |
|---|---|
| 檢索召回率 | 對於已知支持性段落的問題,檢索結果包含所需證據的頻率為何?請定義是否必須包含所有必要段落。 |
| 回答正確性 | 回答是否符合參考答案或案例評分規準?只有在措辭限制足夠明確時才使用完全匹配。 |
| 陳述的證據支持 | 回答中的事實陳述是否有提供的段落支持?若回答包含多項陳述,應逐項審查。 |
| 引用品質 | 每個引用的 ID 是否存在,且能支持與其對應的陳述?也要檢查重要陳述是否附有引用。 |
| 拒答表現 | 上下文不足時,模型是否指出證據不足?在可回答的案例中,是否避免不必要的拒答? |
例如,若該段落包含所述規則,「30 days [policy-v1:p2]」在示範案例中即為通過。如果 p3 無法證明該規則,即使天數正確,「30 days [policy-v1:p3]」也不應通過引用支持檢查。虛構的段落 ID 則應同時在 ID 有效性與證據支持檢查中判定為失敗。
自動化 ID 與格式檢查很有用,但無法判定段落是否能推導出某項陳述。請使用書面評分規準及人工審查來判斷證據支持與正確性;若使用模型評審,請記錄其版本與提示詞,並抽樣稽核其判斷。保存兩個模型的輸出,並指派 missing_evidence、unsupported_claim、wrong_citation 或 unnecessary_abstention 等錯誤標籤。
排除問題並報告結果
如果缺少正確段落,應先檢查索引、分塊方式、語料庫版本及檢索設定,再考慮修改生成模型。如果段落存在,但回答缺乏證據支持,請檢查提示詞與生成行為。如果回答正確卻引用了錯誤段落,應將來源歸屬視為獨立的失敗,而非表面上的格式問題。
隨結果一併發布簡短的執行紀錄:資料集建置與分割方式、文件快照、模型與 adapter 修訂版本、提示詞、檢索設定、解碼設定、評分規則、各子集數量及具代表性的失敗案例。測試集較小時,少數案例就可能讓百分比大幅變動。適用時應重複執行抽樣測試,並區分執行間的變異與測試集有限所造成的不確定性。
公開基準測試可以補充背景資訊,但無法取代這類任務專屬證據。合理的結論應有其範圍:結果描述的是這些模型、文件、問題與設定,而非所有文件問答工作負載。
來源
- Hugging Face community: “What’s your method for benchmarking?” — 以任務為先的評估、基礎模型與微調模型的公平比較,以及報告注意事項。
- Hugging Face LLM Course: evaluation — 模型評估的延伸背景資料。
- Hugging Face Cookbook: LLM-as-a-judge — 使用模型輔助評估的背景資料。
常見問題
應該先評估檢索還是語言模型?
先讓生成模型使用相同的固定段落進行比較,以單獨觀察其行為。接著評估完整的檢索與生成流程,包括檢索器是否找到所需證據。
回答正確且附有引用,就算評估成功嗎?
不一定。必須確認引用的段落存在,且確實支持對應的陳述。即使回答正確,若引用不相關或是虛構的,來源歸屬仍屬失敗。
可以用 LLM 評審取代人工審查嗎?
LLM 評審可以提供有用的參考訊號,但不應自動將其判斷視為標準答案。請記錄模型版本與提示詞、使用明確的評分規準,並由人員抽樣稽核。
相關文章
指南
GPT 6.2 Astra API 文件問答成本估算
依據明確的 token 假設、上下文級距、快取費率及可重現的計算方式,估算 GPT 6.2 Astra 文件問答成本。
指南
估算 Claude Fable 5.2 文件問答 API 成本
提供一套可重現的方法,估算 Claude Fable 5.2 用於文件問答的成本,包含明確的 Token 假設、來源歸因指引與具日期的價格數據。
指南
如何建立可重現的 Hugging Face 客服分流評估
一套實務工作流程,使用保留的客服工單比較基礎模型與微調模型,並納入人工核准及透明揭露的限制。
指南
GPT Image 2.6 Sunburst 文件問答 API 成本
以明確的圖片輸入假設建立可重現的文件問答預算,同時區分未知的答案生成與來源歸因成本。