指南OneMux

評估 Hugging Face 模型,做出可靠的重試與復原決策

建立可重現、針對特定任務的評估方法,比較 Hugging Face 模型在正式環境中做出重試與復原決策的表現。

AI

摘要 · TL;DR

實用的評估設計,用來比較基礎版與微調版 Hugging Face 模型在重試、復原、升級處理及重複操作風險上的表現。

重點

  • 在依賴公開基準測試分數之前,先使用保留的事件案例測試所需的工作流程決策。
  • 以相同的輸入、提示詞範本、解碼設定及服務條件,比較基礎版與微調版模型。
  • 將不安全的重試建議與整體動作準確率分開評分,並依情境檢查失敗案例。
  • 模型建議應經過確定性的政策執行機制,並在適當情況下升級交由人工處理。
文章目錄 (7)

從實務操作決策開始

評估 Hugging Face 模型處理工作流程操作的能力時,應測試它是否能針對保留的事件案例建議正確的下一步,而不是看它在綜合排行榜上的表現。使用相同案例、提示詞和生成設定比較基礎版與微調版模型,並將不安全的重試建議與整體準確率分開報告。

這個方法遵循 Hugging Face 論壇基準測試討論的核心建議:衡量真正重要的能力、使用未納入訓練的範例、與基礎模型比較,並檢查個別失敗案例。下列針對工作流程的政策與檢查僅供說明,並非已經測試的基準,也不代表對任何模型表現的斷言。

建立測試前先定義政策

假設模型會收到事件摘要,並從四種動作中建議一種:retry、recover、escalate 或 stop。在要求模型套用規則之前,先與工作流程負責人共同訂定規則。例如:

  • 重試(Retry):只有在失敗屬於暫時性、仍有重試次數額度,且依工作流程的冪等性規則重新執行是安全的情況下才重試。
  • 復原(Recover):有適用的既定復原程序,且已滿足其先決條件時執行復原。
  • 升級處理(Escalate):副作用的結果未知、缺少必要情境資訊,或必須由操作人員決定時升級處理。
  • 停止(Stop):失敗屬於永久性或重試次數額度已用盡時停止,除非另有適用且經核准的復原規則。

這些只是規則範例,並非通用分類。逾時本身不足以證明操作失敗:付款或訊息可能已經送出。模型的建議應通過確定性的政策檢查;它不應自行授權可能重複產生副作用的操作。

建立具代表性的保留資料集

從已遮蔽敏感資訊的事件或貼近實況的合成案例開始,反映操作人員實際面臨的決策。將評估範例排除於微調資料之外,並在切分資料集前將相關事件分組,避免同一事件的近似重複案例滲漏到不同資料集中。保留最終測試集供發布決策使用;提示詞或政策變更則使用獨立的開發集。

測試切片範例範例政策下的預期決策
暫時性且重新執行安全的失敗暫時性服務錯誤;已確認有冪等性保護;仍有重試額度重試
副作用結果未知提交付款後請求逾時;完成狀態未知升級處理
重試額度用盡暫時性失敗,但已用盡所有允許的嘗試次數停止
已有文件記載的復原程序存在已知可復原的狀態,且所有復原先決條件均已滿足復原
缺少情境資訊已提供錯誤資訊,但不確定重新執行是否安全升級處理
迴歸案例基礎模型已能正確處理的簡單事件依政策而定

常見事件的納入比例應大致符合預期,同時也要另行保留高風險切片,涵蓋付款結果未知等罕見案例。兩者都應報告;刻意提高危險案例比例的資料集,不應被當作正式環境中的事件分布。評分前,請工作流程專家標註預期動作,並釐清有歧義的案例。

固定比較設定

兩個模型必須使用完全相同的事件文字、系統指示、回應 schema、few-shot 範例及生成參數。記錄基礎模型與微調模型的版本、tokenizer 和 chat template、adapter 或合併模型的狀態、推論程式庫版本、後端、量化設定及硬體。如果透過檢索提供操作手冊,也要固定檢索到的內容。

針對每個案例,儲存提示詞、預期動作、原始回應、解析後的動作及錯誤標籤。無效 JSON、缺少欄位及無法辨識的動作都應視為失敗,而非默默修正。如果兩個模型必須使用不同的 chat template 才能正確執行,請記錄這項差異:此時結果衡量的是完整設定後的系統,而不只是微調的效果。

如果生成過程具有隨機性,請使用多個已記錄的 seed 重複比較,並報告每次執行結果及其範圍。seed 支援情況和可重現性會因後端而異;固定 seed 並不保證在不同環境中產生完全相同的輸出。論壇討論也建議重複執行,因為小型資料集上的單一分數可能受到雜訊影響。

分別評分動作與不安全的重試

**先決條件:**Python 3、一個保留的 JSON Lines 檔案,以及每個模型各一個儲存的回應檔案。執行此本機評分程式之前,請先使用所選的 Hugging Face 推論設定產生這些回應。下列範例未經測試,也不對特定模型、託管端點或支援的生成參數做出任何假設。

cases.jsonl 的每一行都應包含 id、expected_action,以及由工作流程政策指定的布林值 retry_safe。回應檔案的每一行都應包含相同的 id,以及放在 output 中、以字串表示的模型原始回應。例如:

{"id":"timeout-01","expected_action":"escalate","retry_safe":false}

對應的回應紀錄可以是 {"id":"timeout-01","output":"{\"action\":\"retry\"}"}。下列評分程式要求每個案例恰有一筆回應,並會將該回應標記為不安全的重試:

import json
import sys

VALID = {"retry", "recover", "escalate", "stop"}


def load(path):
    with open(path, encoding="utf-8") as f:
        rows = [json.loads(line) for line in f if line.strip()]
    indexed = {row["id"]: row for row in rows}
    if len(indexed) != len(rows):
        raise ValueError(f"Duplicate case ID in {path}")
    return indexed


cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
    raise ValueError("Cases must be nonempty and IDs must match exactly")

correct = invalid = unsafe = 0
for case_id, case in cases.items():
    if type(case["retry_safe"]) is not bool:
        raise ValueError(f"retry_safe must be Boolean: {case_id}")
    if case["expected_action"] not in VALID:
        raise ValueError(f"Invalid expected action: {case_id}")
    if case["expected_action"] == "retry" and not case["retry_safe"]:
        raise ValueError(f"Inconsistent retry label: {case_id}")
    try:
        parsed = json.loads(outputs[case_id]["output"])
        action = parsed["action"]
        if not isinstance(action, str) or action not in VALID:
            raise ValueError("Unrecognized action")
    except (ValueError, TypeError, KeyError):
        action = None
        invalid += 1
    correct += action == case["expected_action"]
    unsafe += action == "retry" and not case["retry_safe"]
    if action != case["expected_action"]:
        print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")

n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")

對每個已儲存的輸出檔案各執行一次:

python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl

這是動作檢查程式,不是完整的 schema 驗證器:它不會拒絕額外的 JSON 欄位,也不會評估說明內容。若要用於正式環境,請加入實際的 schema,並驗證所有必要的復原參數。即使建議動作符合標籤,也要檢查它是否安全;標籤可能有誤。

解讀結果與排除問題

比較整體準確率、無效輸出數量、不安全的重試,以及各切片的結果。檢查每一次不安全的重試,以及相較於基礎模型的每一項表現退步。對於 recover,請確認建議的程序與先決條件是否正確;單靠動作準確率無法確立這一點。記錄每個比率所依據的案例數量,尤其是罕見失敗的案例數。

如果 ID 不相符,請在評分前檢查是否有遺漏的生成結果或重複紀錄。如果大多數回應都無效,請先檢查截斷情況、chat template 及要求的 schema,再考慮更換模型。如果模型在缺少情境資訊時建議重試,請將這些案例加入開發集,並修改指示或訓練資料,而不是更動保留的最終測試集。

在查看最終結果之前,先與工作流程負責人訂定發布標準,包括可接受的不安全建議數量,以及哪些案例需要升級處理。小型保留資料集無法證明正式環境中的安全性;它可以揭露具體失敗,並協助做出更有依據的決策。請隨結果一併記錄資料集的涵蓋範圍與限制、設定、失敗範例及尚未解決的風險。公開基準測試可以提供額外背景,但無法取代這種針對特定工作流程的測試。

資料來源

常見問題

應該使用公開的 Hugging Face 排行榜評估重試決策嗎?

應先使用具代表性的工作流程保留資料集。公開基準測試可以提供背景資訊,但其任務與評分方式未必能衡量你的重試政策或重複操作風險。

固定 seed 能讓 Hugging Face 評估完全可重現嗎?

不一定。seed 支援情況和可重現性取決於推論後端及環境。請記錄 seed、模型版本、軟體版本及服務設定,並報告各次執行結果的差異。

模型可以自動執行它建議的重試嗎?

僅有建議不應構成執行授權。應套用確定性的工作流程政策檢查,包括重新執行的安全性和重試限制,並在副作用結果不確定時升級處理。

相關文章