GuidesOneMux

Hugging Faceモデルを評価し、信頼できるリトライ・復旧判断につなげる

本番環境におけるリトライ・復旧の判断について、Hugging Faceモデルを比較するための、再現可能でタスクに即した評価を設計します。

AI

要約 · TL;DR

リトライ、復旧、エスカレーション、処理の重複リスクについて、Hugging Faceのベースモデルとファインチューニング済みモデルを比較するための実践的な評価設計です。

要点

  • 公開ベンチマークのスコアに頼る前に、学習に使っていないインシデントを使い、必要なワークフロー判断をテストします。
  • ベースモデルとファインチューニング済みモデルは、入力、プロンプトテンプレート、デコード設定、推論環境をそろえて比較します。
  • 危険なリトライは全体的なアクション正答率とは別に評価し、シナリオごとに失敗を調べます。
  • モデルの推奨には決定論的なポリシーを適用し、必要に応じて人間にエスカレーションします。
目次 (7)

まず運用上の判断から考える

ワークフロー運用に使うHugging Faceモデルを評価する際は、汎用リーダーボードでの成績ではなく、学習に使っていないインシデントに対して適切な次のアクションを推奨できるかをテストします。ベースモデルとファインチューニング済みモデルを、同じ事例、同じプロンプト、同じ生成設定で比較し、危険なリトライの推奨を全体の正答率とは別に報告します。

このアプローチは、ベンチマークに関するHugging Faceフォーラムの議論の中核的な助言に沿っています。重要な能力を測定し、学習に含まれていない例を使い、ベースモデルと比較し、個々の失敗を調べるというものです。以下のワークフロー固有のポリシーとチェックは例示であり、テスト済みのベンチマークでも、特定のモデルの性能に関する主張でもありません。

テストを作る前にポリシーを定義する

モデルがインシデントの概要を受け取り、retry、recover、escalate、stopの4つから1つのアクションを推奨すると仮定します。モデルにルールの適用を求める前に、ワークフローの責任者と一緒にルールを作成します。例えば、次のようなルールです。

  • Retry:障害が一時的で、リトライの許容回数が残っており、ワークフローの冪等性ルールに照らして再実行が安全な場合に限る。
  • Recover:文書化された復旧手順を適用でき、その前提条件が満たされている場合。
  • Escalate:副作用の結果が不明な場合、必要なコンテキストが不足している場合、またはオペレーターの判断が必要な場合。
  • Stop:障害が永続的な場合、またはリトライの許容回数を使い切った場合。ただし、別途承認された復旧ルールが適用される場合を除く。

これらはルールの例であり、あらゆるケースに通用する分類ではありません。タイムアウトだけでは、処理が失敗したとは言い切れません。決済やメッセージの送信がすでに行われている可能性があります。モデルの推奨には決定論的なポリシーチェックを適用し、重複するおそれのある副作用を伴う処理の実行を、モデル単独で許可すべきではありません。

代表的なホールドアウトセットを作る

まず、実際にオペレーターが直面する判断を反映した、機密情報を除去済みのインシデントや現実的な合成事例を用意します。評価用の例はファインチューニングデータから除外し、同じイベントの類似事例がセット間に漏れないよう、関連するインシデントをグループ化してから分割します。リリース判断用に最終テストセットを確保し、プロンプトやポリシーの変更には別の開発セットを使います。

テスト対象の区分例ポリシー例に基づく期待される判断
一時的で再実行が安全な障害一時的なサービスエラー。冪等性保護が確認され、許容回数が残っているRetry
副作用の結果が不明決済の送信後にリクエストがタイムアウトし、完了状況が不明Escalate
許容回数の消尽一時的な障害だが、許可された試行回数をすべて使用済みStop
文書化された復旧復旧可能と分かっている状態で、復旧の前提条件がすべて満たされているRecover
コンテキスト不足エラーは提示されているが、再実行の安全性が不明Escalate
回帰の確認事例ベースモデルがすでに正しく処理できる、単純なインシデントポリシーによる

一般的なインシデントは、おおむね想定される発生割合に応じて含めます。一方、決済結果が不明なケースのようなまれな事例については、別途、高リスクの区分を設けます。両方の結果を報告し、危険な事例を意図的に多く含めたセットを、本番環境のインシデント分布として示してはいけません。評価前にワークフローの専門家が期待されるアクションのラベルを付け、曖昧な事例を解決します。

比較条件を固定する

両モデルに対して、インシデントのテキスト、システム指示、レスポンススキーマ、few-shot例、生成パラメータを完全に同じにします。ベースモデルとファインチューニング済みモデルのリビジョン、tokenizerとchat template、アダプターまたはマージ済みモデルの状態、推論ライブラリのバージョン、バックエンド、量子化、ハードウェアを記録します。検索によってランブックを提供する場合は、検索されたコンテキストも固定します。

各事例について、プロンプト、期待されるアクション、生のレスポンス、解析されたアクション、エラーラベルを保存します。不正なJSON、必須フィールドの欠落、認識できないアクションは、黙って修正せず失敗として扱います。2つのモデルを正しく動作させるために異なるchat templateが必要な場合は、その相違を文書化します。この場合、結果が測定するのはファインチューニングだけではなく、構成済みシステム全体です。

生成が確率的な場合は、記録した複数のシードで比較を繰り返し、各実行の結果とその範囲を報告します。シードのサポートと再現性はバックエンドによって異なり、シードを固定しても環境をまたいで同じ出力が得られる保証はありません。フォーラムの議論でも、小規模なセットで得た単一のスコアはばらつきが大きくなり得るため、繰り返し実行することを推奨しています。

アクションと危険なリトライを別々に評価する

前提条件: Python 3、ホールドアウトされたJSON Linesファイル、モデルごとに保存されたレスポンスファイル1つ。このローカルスコアラーを実行する前に、選択したHugging Faceの推論環境でレスポンスを生成してください。以下の例は未テストであり、特定のモデル、ホストされたエンドポイント、サポートされる生成パラメータを前提としていません。

cases.jsonlの各行には、id、expected_action、ワークフローポリシーによって割り当てられた真偽値のretry_safeを含めます。レスポンスファイルの各行には、同じidと、文字列としてのモデルの生のレスポンスをoutputに含めます。例えば、次のようになります。

{"id":"timeout-01","expected_action":"escalate","retry_safe":false}

対応するレスポンスレコードは、{"id":"timeout-01","output":"{\"action\":\"retry\"}"}のようになります。以下のスコアラーは、各事例に対してレスポンスがちょうど1つあることを要求し、このレスポンスを危険なリトライとして検出します。

import json
import sys

VALID = {"retry", "recover", "escalate", "stop"}


def load(path):
    with open(path, encoding="utf-8") as f:
        rows = [json.loads(line) for line in f if line.strip()]
    indexed = {row["id"]: row for row in rows}
    if len(indexed) != len(rows):
        raise ValueError(f"Duplicate case ID in {path}")
    return indexed


cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
    raise ValueError("Cases must be nonempty and IDs must match exactly")

correct = invalid = unsafe = 0
for case_id, case in cases.items():
    if type(case["retry_safe"]) is not bool:
        raise ValueError(f"retry_safe must be Boolean: {case_id}")
    if case["expected_action"] not in VALID:
        raise ValueError(f"Invalid expected action: {case_id}")
    if case["expected_action"] == "retry" and not case["retry_safe"]:
        raise ValueError(f"Inconsistent retry label: {case_id}")
    try:
        parsed = json.loads(outputs[case_id]["output"])
        action = parsed["action"]
        if not isinstance(action, str) or action not in VALID:
            raise ValueError("Unrecognized action")
    except (ValueError, TypeError, KeyError):
        action = None
        invalid += 1
    correct += action == case["expected_action"]
    unsafe += action == "retry" and not case["retry_safe"]
    if action != case["expected_action"]:
        print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")

n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")

保存した出力ファイルごとに1回実行します。

python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl

これはアクションのチェッカーであり、完全なスキーマバリデーターではありません。余分なJSONフィールドを拒否せず、説明も評価しません。本番環境で使用するには、実際のスキーマを追加し、必要な復旧パラメータを検証してください。また、推奨アクションがラベルと一致する場合でも安全かどうかを確認します。ラベルが誤っている可能性もあります。

結果を解釈し、問題に対処する

全体の正答率、不正な出力の件数、危険なリトライ、区分ごとの結果を比較します。危険なリトライと、ベースモデルからの回帰はすべて調べます。recoverについては、提案された手順と前提条件が正しいかを確認します。アクションの正答率だけでは、それを確かめることはできません。特にまれな失敗については、各割合の根拠となる事例数を記録します。

IDが一致しない場合は、評価前に生成結果の欠落やレコードの重複がないか確認します。不正なレスポンスが大半を占める場合は、モデルを変更する前に、出力の切り詰め、chat template、要求したスキーマを調べます。コンテキストが不足しているのにモデルがリトライを推奨する場合は、そのような事例を開発セットに追加し、指示や学習を見直します。確保しておいた最終テストセットは変更しません。

最終結果を見る前に、ワークフローの責任者とリリース基準を定めます。危険な推奨を何件まで許容するか、どの事例でエスカレーションが必要かも含めます。小規模なホールドアウトセットでは本番環境での安全性を証明できませんが、具体的な失敗を明らかにし、より十分な情報に基づく判断を支援できます。データセットの対象範囲、設定、失敗例、未解決のリスクを結果とともに文書化します。公開ベンチマークは補足的な参考情報になりますが、このワークフロー固有のテストに代わるものではありません。

参照元

よくある質問

リトライの判断を評価するには、Hugging Faceの公開リーダーボードを使うべきですか?

まず、代表的なワークフローのホールドアウトセットを使ってください。公開ベンチマークは参考になりますが、そのタスクや評価方法では、対象のリトライポリシーや処理の重複リスクを測定できない場合があります。

シードを固定すれば、Hugging Faceの評価を完全に再現できますか?

必ずしもそうではありません。シードのサポートと再現性は推論バックエンドや環境に依存します。シード、モデルのリビジョン、ソフトウェアのバージョン、推論環境の設定を記録し、実行間のばらつきを報告してください。

モデルが推奨したリトライを自動実行してもよいですか?

推奨だけをもって実行を許可すべきではありません。再実行の安全性やリトライ上限を含む決定論的なワークフローポリシーチェックを適用し、副作用の結果が不確かな場合はエスカレーションしてください。

関連記事