指南OneMux

如何在 Hugging Face 上评估文档问答

构建可复现的文档问答评估,检验答案质量、检索效果、来源归属和拒答表现。

AI

摘要 · TL;DR

一套实用流程:使用留出问题比较文档问答模型,同时区分检索失败、缺乏依据的回答和具有误导性的引用。

核心要点

  • 从具有代表性的留出问题入手,使其反映系统实际处理的文档和决策。
  • 先使用相同问题和固定上下文比较基础模型与微调模型,再测试完整的检索流程。
  • 分别评估答案正确性、论断是否有依据、引用质量和拒答表现。
  • 随每次评估结果保存模型版本、提示词、生成设置、文档版本、输出和已知局限。
文章目录 (7)

分别评估答案及其依据

对于文档问答,有效的评估需要回答两个问题:答案是否正确,引用的段落是否支持该答案? 答案正确但引用无关,仍不能算是来源归属可靠的回答。如果检索提供的是过时文档,即使答案准确概括了检索到的文本,也仍可能是错误的。

先准备一组留出的真实文档问题。使用相同的问题、来源段落、提示词和生成设置,比较基础模型与微调模型,然后单独评估检索环节。这遵循了 Hugging Face 社区关于基准测试的讨论中以任务为先的方法:使用留出集、建立基础模型基线、固定设置、采用任务专属指标,并检查具体失败案例。

前提条件与评估范围

你需要一个可通过 Hugging Face 获取的基础模型,以及适用时对应的微调模型;同时还需要获得在评估中使用相关文档的许可。安装兼容版本的 transformers、torch 以及模型所需的其他依赖,并记录已安装的版本。硬件和内存需求取决于模型。下方示例运行程序尚未针对特定模型进行测试。

运行前先确定比较对象:

  • 生成器比较: 向两个模型提供相同的固定段落,将答案生成和来源归属与检索结果的变化隔离开来。
  • 端到端比较: 将实际检索器与生成器组合运行。这能衡量部署流程的表现,但分数变化不能自动归因于模型。

条件允许时,两种测试都应运行。生成器比较可以说明在证据相同的情况下微调是否有帮助;端到端测试则可以说明整个系统是否有效。

构建文档问答留出集

在微调前留出问题及相关文档或文档组。检查各数据划分之间是否存在重复或近似重复的段落:如果模型训练时见过同一答案段落,仅改变问题措辞并不能防止数据泄漏。对于检索测试,应保留一个独立且有版本记录的语料库,其中包含系统获准搜索的文档。

纳入各类案例的比例应接近预期使用情况,并单独报告困难类别的结果,不要将刻意构造的高难度集合当作典型流量展示。

类别评估目标示例
普通问题一个段落即可回答的直接问题
多段落问题需要两个段落共同提供证据才能回答的问题
无法回答所提供的上下文不包含答案
冲突或过时两个版本存在分歧,问题或元数据指明适用版本
回归测试基础模型此前回答正确且引用正确的案例
杂乱或长文档相关证据嵌在冗长或格式混乱的文档中

对于每个案例,保存稳定的 ID、问题、预期答案或评分标准、来源文档版本、支持段落 ID,以及所提供的上下文是否充分。在适当情况下,注明可接受的其他答案和引用。如果证据需要解读,应先由审核人员解决标签中的歧义,再将其作为真实标签。

固定上下文测试的一条精简记录可能如下所示。这里的政策和答案仅为说明格式而虚构:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

使用能够定位到确切文档版本和文本的段落标识符,以便审核人员检查。仅有文档标题可能范围过大,无法核实某一具体论断。

固定 Hugging Face 推理设置

记录模型和分词器的仓库名称及不可变修订版本、所用的适配器及其修订版本、权重是否经过合并或量化、后端、软件包版本和硬件。同时保存完整的提示词和聊天模板、上下文顺序、截断规则、最大输入长度及解码参数。对于基于适配器的微调,还要注明评估配置是仅使用基础模型,还是使用基础模型加适配器。

以下是一个适用于兼容的因果语言模型的示例运行程序,未经测试。请将占位内容替换为实际的仓库名称和不可变修订版本。它使用贪心解码来减少采样差异,并保持上下文固定;它不会加载适配器、执行检索或对结果评分。有些模型需要专用的聊天模板或分词器设置。如果两个模型需要不同模板,应记录这一差异,并将其视为比较的局限。

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

完整运行前,先针对每个模型的上下文长度限制检查几个提示词。不要在未说明的情况下截断证据:应采用相同且有记录的截断策略,或将该案例标记为无法评估。贪心解码不能保证在所有硬件和软件配置下都产生相同输出。如果预期部署中会使用采样,请记录其设置和随机种子,并重复运行以检查结果波动。

对检索、答案和引用分别评分

将以下指标分开统计。对于每个比率,公布分子、分母和排除的案例数量,并按类别报告结果。

指标实际检查方法
检索召回率对于已知支持段落的问题,检索结果包含所需证据的频率是多少?需明确是否要求所有必需段落都出现。
答案正确性答案是否与参考答案一致,或满足该案例的评分标准?仅在措辞受到充分限制时使用精确匹配。
论断有据性答案中的事实性论断是否得到所提供段落的支持?当答案包含多个论断时,应逐一审查。
引用质量每个被引用的 ID 是否存在,是否支持与之关联的论断?还要检查重要论断是否附有引用。
拒答表现对于上下文不足的案例,模型是否说明证据不足?对于可回答的案例,模型是否避免不必要的拒答?

例如,在上述示例案例中,如果对应段落包含所述规则,“30 天 [policy-v1:p2]”即可通过检查。如果 p3 不能证明该规则,即使时长正确,“30 天 [policy-v1:p3]”也应判定为引用支持检查未通过。虚构的段落 ID 则应同时在 ID 有效性和支持性检查中判为未通过。

自动化 ID 和格式检查很有用,但无法确定段落是否能够推出某项论断。应使用书面评分标准并通过人工审核判断支持性和正确性;如果使用模型裁判,请记录其版本和提示词,并抽查其部分判断。保存两个模型的输出,并标注 missing_evidence、unsupported_claim、wrong_citation 或 unnecessary_abstention 等错误标签。

排查问题并报告结果

如果缺少正确段落,应先检查索引、分块、语料库版本和检索设置,再考虑修改生成器。如果段落存在但答案缺乏依据,应检查提示词和生成行为。如果答案正确但引用了错误段落,应将来源归属视为独立的失败,而不是表面上的格式问题。

随结果发布一份简短的运行清单:数据集构建与划分方式、文档快照、模型和适配器修订版本、提示词、检索配置、解码设置、评分规则、各类别案例数量以及有代表性的失败案例。对于小规模测试集,少数几个案例就可能使百分比发生显著变化。在相关情况下重复采样运行,并区分运行间波动与测试集规模有限所造成的不确定性。

公开基准可以提供参考背景,但不能替代针对具体任务的证据。能够成立的结论有明确边界:结果描述的是本次使用的模型、文档、问题和设置,而不是所有文档问答工作负载。

资料来源

常见问题

应该先评估检索还是语言模型?

先使用相同的固定段落比较生成器,以隔离其行为。然后评估完整的检索与生成流程,包括检索器是否找到了所需证据。

答案正确且附有引用,就算评估成功吗?

不一定。还要检查被引用的段落是否存在,以及它是否真正支持关联的论断。答案正确但引用无关或引用内容为虚构的,来源归属仍不合格。

可以用 LLM 裁判代替人工审核吗?

LLM 裁判可以提供有用的参考信号,但不应自动将其判断视为真实标签。应记录其模型版本和提示词,使用清晰的评分标准,并由人工抽查部分判断。

相关文章