GuidesOneMux

Hugging Faceで文書質問応答を評価する方法

回答品質、検索、出典の裏付け、回答の差し控えを検証する、再現可能な文書質問応答の評価を構築します。

AI

要約 · TL;DR

評価用に分離した質問で文書QAモデルを比較し、検索の失敗、根拠のない回答、誤解を招く引用を切り分けるための実践的なワークフローです。

要点

  • システムが実際に扱う文書や判断を代表する質問を、評価用に分離するところから始めます。
  • 検索を含むパイプライン全体をテストする前に、同じ質問と固定されたコンテキストでベースモデルとファインチューニング済みモデルを比較します。
  • 回答の正しさ、主張の裏付け、引用の品質、回答の差し控えをそれぞれ別に評価します。
  • モデルのリビジョン、プロンプト、生成設定、文書のバージョン、出力、既知の制約を、結果ごとに保存します。
目次 (7)

回答とその根拠を別々に評価する

文書質問応答の評価では、回答は正しいか、そして引用された文章はその回答を裏付けているかという2つの問いが重要です。回答が正しくても、無関係な箇所を引用していれば、信頼できる出典付きの回答とはいえません。検索によって古い文書が渡された場合には、取得したテキストを正確に要約した回答であっても、誤っている可能性があります。

まず、評価用に分離した、実際の文書に関する質問のセットを用意します。同じ質問、出典となる文章、プロンプト、生成設定を使って、ベースモデルとファインチューニング済みモデルを比較します。その後、検索を別途評価します。これは、評価用に分離したセット、ベースモデルによる基準、固定された設定、タスク固有の指標、個々の失敗の確認を推奨するHugging Faceコミュニティのベンチマークに関する議論の、タスクを起点としたアプローチに沿っています。

前提条件と評価範囲

Hugging Faceで利用できるベースモデルと、必要に応じてそれに対応するファインチューニング済みモデルを用意し、評価対象の文書を使用する許可を得てください。互換性のあるバージョンの transformers、torch、およびモデル固有の依存関係をインストールします。インストールしたバージョンを記録してください。ハードウェアとメモリの要件はモデルによって異なります。以下に示す実行用コードは、特定のモデルでテストされたものではありません。

実行前に、何を比較するかを決めます。

  • 生成モデルの比較: 両モデルに同じ固定された文章を与えます。これにより、回答生成と出典の裏付けを検索結果の変動から切り分けられます。
  • エンドツーエンドの比較: 実際の検索器と生成モデルを組み合わせて実行します。デプロイされたワークフローを測定できますが、スコアの変化を自動的にモデルの違いによるものとは判断できません。

可能であれば両方を実施してください。生成モデルの比較では、同じ根拠を与えたときにファインチューニングが役立つかを確認でき、エンドツーエンドのテストでは、システム全体が機能するかを確認できます。

評価用に分離した文書QAセットを作る

ファインチューニングの前に、質問と関連文書または文書グループを評価用に分離します。分割間で重複またはほぼ重複する文章がないか確認してください。モデルが同じ回答箇所で学習している場合、質問の言い回しを変えるだけではデータ漏洩を防げません。検索テスト用には、システムが検索を許可されている文書を含む、バージョン管理された別のコーパスを保持します。

想定される利用状況に近い割合で各ケースを含め、意図的に難しくしたセットを典型的な利用として示すのではなく、難しいスライスの結果は別途報告します。

スライス評価対象の例
通常1つの文章で回答できる直接的な質問
複数の文章2つの文章からの根拠が必要な回答
回答不能提供されたコンテキストに回答が含まれていない
矛盾または古い情報2つのバージョンの内容が食い違っており、質問またはメタデータでどちらが適用されるかが示されている
回帰ベースモデルが以前に正しく回答し、引用できていたケース
乱れた形式または長文長い文書や書式が整っていない文書の中に関連する根拠が埋もれている

各ケースについて、安定したID、質問、期待される回答または採点ルーブリック、出典文書のバージョン、根拠となる文章のID、提供されたコンテキストが十分かどうかを保存します。必要に応じて、許容される別の回答や引用も明記します。根拠の解釈が必要な場合は、曖昧なラベルを正解データとして扱う前に、レビュー担当者が判断してください。

固定コンテキストのテスト用レコードは、次のように簡潔にまとめられます。ポリシーと回答は、形式を示すためだけに作成した架空のものです。

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

レビュー担当者が確認できる、正確な文書バージョンとテキストを特定できる文章IDを使います。文書タイトルだけでは、特定の主張を検証するには範囲が広すぎる場合があります。

Hugging Faceの推論設定を固定する

モデルとトークナイザーのリポジトリ名と変更されないリビジョン、使用するアダプターとそのリビジョン、重みがマージまたは量子化されているか、バックエンド、パッケージのバージョン、ハードウェアを記録します。また、正確なプロンプトとチャットテンプレート、コンテキストの順序、切り詰めのルール、最大入力長、デコーディングパラメーターも保存します。アダプターを使ったファインチューニングの場合は、評価対象がベースモデル単体なのか、ベースモデルとアダプターの組み合わせなのかを明記します。

以下は、互換性のある因果言語モデル向けの説明用の未テストの実行例です。プレースホルダーを実際のリポジトリ名と変更されないリビジョンに置き換えてください。サンプリングによる変動を抑えるために貪欲デコーディングを使い、コンテキストを固定します。アダプターの読み込み、検索、結果の採点は行いません。モデルによっては、モデル固有のチャットテンプレートやトークナイザー設定が必要です。2つのモデルで異なるテンプレートが必要な場合は、その違いを記録し、比較上の制約として扱います。

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

本格的に実行する前に、いくつかのプロンプトが各モデルのコンテキスト上限に収まるか確認します。根拠を黙って切り詰めてはいけません。同じ文書化された切り詰めポリシーを適用するか、そのケースを評価不能としてフラグ付けします。貪欲デコーディングを使っても、すべてのハードウェアとソフトウェアの構成で同一の出力が保証されるわけではありません。想定するデプロイでサンプリングを使う場合は、その設定とシードを記録し、実行を繰り返してばらつきを調べます。

検索、回答、引用を採点する

以下の指標は分けて扱います。各率について、分子、分母、除外したケースの数を公表し、スライス別の結果も報告します。

指標実際の確認事項
検索の再現率根拠となる文章が既知の質問について、検索結果に必要な根拠が含まれていた割合はどの程度か。必要な文章がすべて含まれていなければならないかどうかを定義する。
回答の正しさ回答は参照回答と一致するか、またはそのケースのルーブリックを満たすか。完全一致は、表現が十分に限定されている場合にのみ使う。
主張の裏付け回答に含まれる事実上の主張は、提供された文章に裏付けられているか。複数の主張を含む回答では、それぞれを個別に確認する。
引用の品質引用された各IDは実在し、対応する主張を裏付けているか。重要な主張に引用が付いているかも確認する。
回答の差し控えコンテキストが不十分なケースでは、根拠が不十分だとモデルが伝えるか。回答可能なケースでは、不必要に回答を差し控えていないか。

例えば、説明用のケースでは、その文章に示されたルールが含まれていれば、「30 days [policy-v1:p2]」は合格です。「30 days [policy-v1:p3]」は、p3 がそのルールを示していなければ、期間が正しくても引用による裏付けのチェックでは不合格とすべきです。架空の文章IDは、IDの有効性と裏付けの両方のチェックで不合格とすべきです。

IDや形式の自動チェックは有用ですが、文章が主張を論理的に裏付けているかどうかは、それだけでは確かめられません。裏付けと正しさの評価には、文書化されたルーブリックと人手によるレビューを使います。モデルを判定者として使う場合は、そのバージョンとプロンプトを記録し、判定の一部を監査してください。両モデルの出力を保存し、missing_evidence、unsupported_claim、wrong_citation、unnecessary_abstention などのエラーラベルを付けます。

問題を切り分け、結果を報告する

正しい文章が検索結果にない場合は、生成モデルを変更する前に、インデックス作成、チャンク分割、コーパスのバージョン、検索設定を確認します。文章は存在するのに回答に裏付けがない場合は、プロンプトと生成時の挙動を確認します。回答は正しいものの誤った文章を引用している場合は、出典の裏付けの失敗として扱い、単なる見た目の書式の問題とはみなしません。

結果とともに、簡潔な実行マニフェストを公開します。データセットの構築方法と分割、文書のスナップショット、モデルとアダプターのリビジョン、プロンプト、検索構成、デコーディング設定、採点ルール、スライス別の件数、代表的な失敗を含めます。小規模なセットでは、わずか数例で割合が大きく変わることがあります。該当する場合はサンプリングを伴う実行を繰り返し、実行ごとの変動と、テストセットが限られていることによる不確実性を区別します。

公開ベンチマークは結果の文脈を補うことができますが、このタスク固有の根拠の代わりにはなりません。根拠をもって導ける結論には範囲があります。結果が示すのは、評価したモデル、文書、質問、設定についてであり、すべての文書QAワークロードについてではありません。

参考資料

よくある質問

検索と言語モデルのどちらを先に評価すべきですか?

まず、同じ固定された文章を使って生成モデルを比較し、それぞれの挙動を切り分けます。その後、検索器が必要な根拠を見つけられるかどうかも含め、検索と生成を組み合わせたワークフロー全体を評価します。

引用付きの正しい回答は、成功とみなせますか?

必ずしもそうではありません。引用された文章が存在し、対応する主張を実際に裏付けているか確認してください。回答が正しくても、無関係な引用や架空の引用が付いていれば、出典の裏付けは不合格です。

人手によるレビューの代わりにLLM判定者を使えますか?

LLM判定者は有用な指標を提供できますが、その判定を自動的に正解データとして扱うべきではありません。モデルのバージョンとプロンプトを記録し、明確なルーブリックを使い、判定の一部を人が監査してください。

関連記事