如何在 Hugging Face 上评估文档问答
构建可复现的文档问答评估,检验答案质量、检索效果、来源归属和拒答表现。
摘要 · TL;DR
一套实用流程:使用留出问题比较文档问答模型,同时区分检索失败、缺乏依据的回答和具有误导性的引用。
核心要点
- 从具有代表性的留出问题入手,使其反映系统实际处理的文档和决策。
- 先使用相同问题和固定上下文比较基础模型与微调模型,再测试完整的检索流程。
- 分别评估答案正确性、论断是否有依据、引用质量和拒答表现。
- 随每次评估结果保存模型版本、提示词、生成设置、文档版本、输出和已知局限。
文章目录 (7)
分别评估答案及其依据
对于文档问答,有效的评估需要回答两个问题:答案是否正确,引用的段落是否支持该答案? 答案正确但引用无关,仍不能算是来源归属可靠的回答。如果检索提供的是过时文档,即使答案准确概括了检索到的文本,也仍可能是错误的。
先准备一组留出的真实文档问题。使用相同的问题、来源段落、提示词和生成设置,比较基础模型与微调模型,然后单独评估检索环节。这遵循了 Hugging Face 社区关于基准测试的讨论中以任务为先的方法:使用留出集、建立基础模型基线、固定设置、采用任务专属指标,并检查具体失败案例。
前提条件与评估范围
你需要一个可通过 Hugging Face 获取的基础模型,以及适用时对应的微调模型;同时还需要获得在评估中使用相关文档的许可。安装兼容版本的 transformers、torch 以及模型所需的其他依赖,并记录已安装的版本。硬件和内存需求取决于模型。下方示例运行程序尚未针对特定模型进行测试。
运行前先确定比较对象:
- 生成器比较: 向两个模型提供相同的固定段落,将答案生成和来源归属与检索结果的变化隔离开来。
- 端到端比较: 将实际检索器与生成器组合运行。这能衡量部署流程的表现,但分数变化不能自动归因于模型。
条件允许时,两种测试都应运行。生成器比较可以说明在证据相同的情况下微调是否有帮助;端到端测试则可以说明整个系统是否有效。
构建文档问答留出集
在微调前留出问题及相关文档或文档组。检查各数据划分之间是否存在重复或近似重复的段落:如果模型训练时见过同一答案段落,仅改变问题措辞并不能防止数据泄漏。对于检索测试,应保留一个独立且有版本记录的语料库,其中包含系统获准搜索的文档。
纳入各类案例的比例应接近预期使用情况,并单独报告困难类别的结果,不要将刻意构造的高难度集合当作典型流量展示。
| 类别 | 评估目标示例 |
|---|---|
| 普通问题 | 一个段落即可回答的直接问题 |
| 多段落问题 | 需要两个段落共同提供证据才能回答的问题 |
| 无法回答 | 所提供的上下文不包含答案 |
| 冲突或过时 | 两个版本存在分歧,问题或元数据指明适用版本 |
| 回归测试 | 基础模型此前回答正确且引用正确的案例 |
| 杂乱或长文档 | 相关证据嵌在冗长或格式混乱的文档中 |
对于每个案例,保存稳定的 ID、问题、预期答案或评分标准、来源文档版本、支持段落 ID,以及所提供的上下文是否充分。在适当情况下,注明可接受的其他答案和引用。如果证据需要解读,应先由审核人员解决标签中的歧义,再将其作为真实标签。
固定上下文测试的一条精简记录可能如下所示。这里的政策和答案仅为说明格式而虚构:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
使用能够定位到确切文档版本和文本的段落标识符,以便审核人员检查。仅有文档标题可能范围过大,无法核实某一具体论断。
固定 Hugging Face 推理设置
记录模型和分词器的仓库名称及不可变修订版本、所用的适配器及其修订版本、权重是否经过合并或量化、后端、软件包版本和硬件。同时保存完整的提示词和聊天模板、上下文顺序、截断规则、最大输入长度及解码参数。对于基于适配器的微调,还要注明评估配置是仅使用基础模型,还是使用基础模型加适配器。
以下是一个适用于兼容的因果语言模型的示例运行程序,未经测试。请将占位内容替换为实际的仓库名称和不可变修订版本。它使用贪心解码来减少采样差异,并保持上下文固定;它不会加载适配器、执行检索或对结果评分。有些模型需要专用的聊天模板或分词器设置。如果两个模型需要不同模板,应记录这一差异,并将其视为比较的局限。
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
完整运行前,先针对每个模型的上下文长度限制检查几个提示词。不要在未说明的情况下截断证据:应采用相同且有记录的截断策略,或将该案例标记为无法评估。贪心解码不能保证在所有硬件和软件配置下都产生相同输出。如果预期部署中会使用采样,请记录其设置和随机种子,并重复运行以检查结果波动。
对检索、答案和引用分别评分
将以下指标分开统计。对于每个比率,公布分子、分母和排除的案例数量,并按类别报告结果。
| 指标 | 实际检查方法 |
|---|---|
| 检索召回率 | 对于已知支持段落的问题,检索结果包含所需证据的频率是多少?需明确是否要求所有必需段落都出现。 |
| 答案正确性 | 答案是否与参考答案一致,或满足该案例的评分标准?仅在措辞受到充分限制时使用精确匹配。 |
| 论断有据性 | 答案中的事实性论断是否得到所提供段落的支持?当答案包含多个论断时,应逐一审查。 |
| 引用质量 | 每个被引用的 ID 是否存在,是否支持与之关联的论断?还要检查重要论断是否附有引用。 |
| 拒答表现 | 对于上下文不足的案例,模型是否说明证据不足?对于可回答的案例,模型是否避免不必要的拒答? |
例如,在上述示例案例中,如果对应段落包含所述规则,“30 天 [policy-v1:p2]”即可通过检查。如果 p3 不能证明该规则,即使时长正确,“30 天 [policy-v1:p3]”也应判定为引用支持检查未通过。虚构的段落 ID 则应同时在 ID 有效性和支持性检查中判为未通过。
自动化 ID 和格式检查很有用,但无法确定段落是否能够推出某项论断。应使用书面评分标准并通过人工审核判断支持性和正确性;如果使用模型裁判,请记录其版本和提示词,并抽查其部分判断。保存两个模型的输出,并标注 missing_evidence、unsupported_claim、wrong_citation 或 unnecessary_abstention 等错误标签。
排查问题并报告结果
如果缺少正确段落,应先检查索引、分块、语料库版本和检索设置,再考虑修改生成器。如果段落存在但答案缺乏依据,应检查提示词和生成行为。如果答案正确但引用了错误段落,应将来源归属视为独立的失败,而不是表面上的格式问题。
随结果发布一份简短的运行清单:数据集构建与划分方式、文档快照、模型和适配器修订版本、提示词、检索配置、解码设置、评分规则、各类别案例数量以及有代表性的失败案例。对于小规模测试集,少数几个案例就可能使百分比发生显著变化。在相关情况下重复采样运行,并区分运行间波动与测试集规模有限所造成的不确定性。
公开基准可以提供参考背景,但不能替代针对具体任务的证据。能够成立的结论有明确边界:结果描述的是本次使用的模型、文档、问题和设置,而不是所有文档问答工作负载。
资料来源
- Hugging Face 社区:“What’s your method for benchmarking?”——以任务为先的评估、公平比较基础模型与微调模型,以及报告时的注意事项。
- Hugging Face LLM Course:评估——模型评估的更多背景资料。
- Hugging Face Cookbook:LLM-as-a-judge——使用模型辅助评估的背景资料。
常见问题
应该先评估检索还是语言模型?
先使用相同的固定段落比较生成器,以隔离其行为。然后评估完整的检索与生成流程,包括检索器是否找到了所需证据。
答案正确且附有引用,就算评估成功吗?
不一定。还要检查被引用的段落是否存在,以及它是否真正支持关联的论断。答案正确但引用无关或引用内容为虚构的,来源归属仍不合格。
可以用 LLM 裁判代替人工审核吗?
LLM 裁判可以提供有用的参考信号,但不应自动将其判断视为真实标签。应记录其模型版本和提示词,使用清晰的评分标准,并由人工抽查部分判断。
相关文章
指南
GPT 6.2 Astra API 文档问答成本估算
根据明确的 token 用量假设、上下文分档、缓存费率和可复核的计算方法,估算 GPT 6.2 Astra 文档问答成本。
指南
估算 Claude Fable 5.2 文档问答 API 成本
一种可复现的 Claude Fable 5.2 文档问答成本估算方法,包含明确的 Token 假设、来源归因指南和带日期的价格数据。
指南
如何构建可复现的 Hugging Face 客服工单分流评测
一套实用工作流程:使用留出客服工单比较基础模型与微调模型,并结合人工审批和透明的局限性说明。
指南
GPT Image 2.6 Sunburst 文档问答 API 成本
基于明确的图像输入假设,制定可复现的文档问答预算,并将未知的答案生成与来源归属成本单独列出。