評估 Hugging Face 模型,做出可靠的重試與復原決策
建立可重現、針對特定任務的評估方法,比較 Hugging Face 模型在正式環境中做出重試與復原決策的表現。
摘要 · TL;DR
實用的評估設計,用來比較基礎版與微調版 Hugging Face 模型在重試、復原、升級處理及重複操作風險上的表現。
重點
- 在依賴公開基準測試分數之前,先使用保留的事件案例測試所需的工作流程決策。
- 以相同的輸入、提示詞範本、解碼設定及服務條件,比較基礎版與微調版模型。
- 將不安全的重試建議與整體動作準確率分開評分,並依情境檢查失敗案例。
- 模型建議應經過確定性的政策執行機制,並在適當情況下升級交由人工處理。
文章目錄 (7)
從實務操作決策開始
評估 Hugging Face 模型處理工作流程操作的能力時,應測試它是否能針對保留的事件案例建議正確的下一步,而不是看它在綜合排行榜上的表現。使用相同案例、提示詞和生成設定比較基礎版與微調版模型,並將不安全的重試建議與整體準確率分開報告。
這個方法遵循 Hugging Face 論壇基準測試討論的核心建議:衡量真正重要的能力、使用未納入訓練的範例、與基礎模型比較,並檢查個別失敗案例。下列針對工作流程的政策與檢查僅供說明,並非已經測試的基準,也不代表對任何模型表現的斷言。
建立測試前先定義政策
假設模型會收到事件摘要,並從四種動作中建議一種:retry、recover、escalate 或 stop。在要求模型套用規則之前,先與工作流程負責人共同訂定規則。例如:
- 重試(Retry):只有在失敗屬於暫時性、仍有重試次數額度,且依工作流程的冪等性規則重新執行是安全的情況下才重試。
- 復原(Recover):有適用的既定復原程序,且已滿足其先決條件時執行復原。
- 升級處理(Escalate):副作用的結果未知、缺少必要情境資訊,或必須由操作人員決定時升級處理。
- 停止(Stop):失敗屬於永久性或重試次數額度已用盡時停止,除非另有適用且經核准的復原規則。
這些只是規則範例,並非通用分類。逾時本身不足以證明操作失敗:付款或訊息可能已經送出。模型的建議應通過確定性的政策檢查;它不應自行授權可能重複產生副作用的操作。
建立具代表性的保留資料集
從已遮蔽敏感資訊的事件或貼近實況的合成案例開始,反映操作人員實際面臨的決策。將評估範例排除於微調資料之外,並在切分資料集前將相關事件分組,避免同一事件的近似重複案例滲漏到不同資料集中。保留最終測試集供發布決策使用;提示詞或政策變更則使用獨立的開發集。
| 測試切片 | 範例 | 範例政策下的預期決策 |
|---|---|---|
| 暫時性且重新執行安全的失敗 | 暫時性服務錯誤;已確認有冪等性保護;仍有重試額度 | 重試 |
| 副作用結果未知 | 提交付款後請求逾時;完成狀態未知 | 升級處理 |
| 重試額度用盡 | 暫時性失敗,但已用盡所有允許的嘗試次數 | 停止 |
| 已有文件記載的復原程序 | 存在已知可復原的狀態,且所有復原先決條件均已滿足 | 復原 |
| 缺少情境資訊 | 已提供錯誤資訊,但不確定重新執行是否安全 | 升級處理 |
| 迴歸案例 | 基礎模型已能正確處理的簡單事件 | 依政策而定 |
常見事件的納入比例應大致符合預期,同時也要另行保留高風險切片,涵蓋付款結果未知等罕見案例。兩者都應報告;刻意提高危險案例比例的資料集,不應被當作正式環境中的事件分布。評分前,請工作流程專家標註預期動作,並釐清有歧義的案例。
固定比較設定
兩個模型必須使用完全相同的事件文字、系統指示、回應 schema、few-shot 範例及生成參數。記錄基礎模型與微調模型的版本、tokenizer 和 chat template、adapter 或合併模型的狀態、推論程式庫版本、後端、量化設定及硬體。如果透過檢索提供操作手冊,也要固定檢索到的內容。
針對每個案例,儲存提示詞、預期動作、原始回應、解析後的動作及錯誤標籤。無效 JSON、缺少欄位及無法辨識的動作都應視為失敗,而非默默修正。如果兩個模型必須使用不同的 chat template 才能正確執行,請記錄這項差異:此時結果衡量的是完整設定後的系統,而不只是微調的效果。
如果生成過程具有隨機性,請使用多個已記錄的 seed 重複比較,並報告每次執行結果及其範圍。seed 支援情況和可重現性會因後端而異;固定 seed 並不保證在不同環境中產生完全相同的輸出。論壇討論也建議重複執行,因為小型資料集上的單一分數可能受到雜訊影響。
分別評分動作與不安全的重試
**先決條件:**Python 3、一個保留的 JSON Lines 檔案,以及每個模型各一個儲存的回應檔案。執行此本機評分程式之前,請先使用所選的 Hugging Face 推論設定產生這些回應。下列範例未經測試,也不對特定模型、託管端點或支援的生成參數做出任何假設。
cases.jsonl 的每一行都應包含 id、expected_action,以及由工作流程政策指定的布林值 retry_safe。回應檔案的每一行都應包含相同的 id,以及放在 output 中、以字串表示的模型原始回應。例如:
{"id":"timeout-01","expected_action":"escalate","retry_safe":false}
對應的回應紀錄可以是 {"id":"timeout-01","output":"{\"action\":\"retry\"}"}。下列評分程式要求每個案例恰有一筆回應,並會將該回應標記為不安全的重試:
import json
import sys
VALID = {"retry", "recover", "escalate", "stop"}
def load(path):
with open(path, encoding="utf-8") as f:
rows = [json.loads(line) for line in f if line.strip()]
indexed = {row["id"]: row for row in rows}
if len(indexed) != len(rows):
raise ValueError(f"Duplicate case ID in {path}")
return indexed
cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
raise ValueError("Cases must be nonempty and IDs must match exactly")
correct = invalid = unsafe = 0
for case_id, case in cases.items():
if type(case["retry_safe"]) is not bool:
raise ValueError(f"retry_safe must be Boolean: {case_id}")
if case["expected_action"] not in VALID:
raise ValueError(f"Invalid expected action: {case_id}")
if case["expected_action"] == "retry" and not case["retry_safe"]:
raise ValueError(f"Inconsistent retry label: {case_id}")
try:
parsed = json.loads(outputs[case_id]["output"])
action = parsed["action"]
if not isinstance(action, str) or action not in VALID:
raise ValueError("Unrecognized action")
except (ValueError, TypeError, KeyError):
action = None
invalid += 1
correct += action == case["expected_action"]
unsafe += action == "retry" and not case["retry_safe"]
if action != case["expected_action"]:
print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")
n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")
對每個已儲存的輸出檔案各執行一次:
python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl
這是動作檢查程式,不是完整的 schema 驗證器:它不會拒絕額外的 JSON 欄位,也不會評估說明內容。若要用於正式環境,請加入實際的 schema,並驗證所有必要的復原參數。即使建議動作符合標籤,也要檢查它是否安全;標籤可能有誤。
解讀結果與排除問題
比較整體準確率、無效輸出數量、不安全的重試,以及各切片的結果。檢查每一次不安全的重試,以及相較於基礎模型的每一項表現退步。對於 recover,請確認建議的程序與先決條件是否正確;單靠動作準確率無法確立這一點。記錄每個比率所依據的案例數量,尤其是罕見失敗的案例數。
如果 ID 不相符,請在評分前檢查是否有遺漏的生成結果或重複紀錄。如果大多數回應都無效,請先檢查截斷情況、chat template 及要求的 schema,再考慮更換模型。如果模型在缺少情境資訊時建議重試,請將這些案例加入開發集,並修改指示或訓練資料,而不是更動保留的最終測試集。
在查看最終結果之前,先與工作流程負責人訂定發布標準,包括可接受的不安全建議數量,以及哪些案例需要升級處理。小型保留資料集無法證明正式環境中的安全性;它可以揭露具體失敗,並協助做出更有依據的決策。請隨結果一併記錄資料集的涵蓋範圍與限制、設定、失敗範例及尚未解決的風險。公開基準測試可以提供額外背景,但無法取代這種針對特定工作流程的測試。
資料來源
- Hugging Face 論壇:你採用什麼基準測試方法? — 針對特定任務的保留集評估、公平比較、失敗案例檢查及重複執行。
- Hugging Face LLM Course:評估 — 模型評估的背景資訊。
常見問題
應該使用公開的 Hugging Face 排行榜評估重試決策嗎?
應先使用具代表性的工作流程保留資料集。公開基準測試可以提供背景資訊,但其任務與評分方式未必能衡量你的重試政策或重複操作風險。
固定 seed 能讓 Hugging Face 評估完全可重現嗎?
不一定。seed 支援情況和可重現性取決於推論後端及環境。請記錄 seed、模型版本、軟體版本及服務設定,並報告各次執行結果的差異。
模型可以自動執行它建議的重試嗎?
僅有建議不應構成執行授權。應套用確定性的工作流程政策檢查,包括重新執行的安全性和重試限制,並在副作用結果不確定時升級處理。
相關文章
指南
如何建立可重現的 Hugging Face 客服分流評估
一套實務工作流程,使用保留的客服工單比較基礎模型與微調模型,並納入人工核准及透明揭露的限制。
指南
如何在 Hugging Face 上評估文件問答
建立可重現的文件問答評估,檢驗回答品質、檢索、來源歸屬及拒答表現。
指南
Cline 上線實務:設定工作階段並安全復原
實用指南:設定 ClineCore 工作階段、將執行階段設定與供應商設定分開,並設計安全的重試與復原規則。
指南
Qwen4 Max 應用於正式環境工作流程:能與 Qwen3.8 Max 比較哪些能力?
釐清 Qwen4 Max 已有文件記載的能力與未知之處,並以明確的重試與復原規則設計工作流程評估。