GuidesOneMux

Как оценить качество ответов на вопросы по документам в Hugging Face

Создайте воспроизводимую оценку ответов на вопросы по документам: проверьте качество ответов, поиск, ссылки на источники и отказ от ответа.

AI

Кратко · TL;DR

Практический процесс сравнения моделей для ответов на вопросы по документам на отложенных вопросах с раздельным анализом ошибок поиска, необоснованных ответов и вводящих в заблуждение ссылок.

Главное

  • Начните с отложенных вопросов, отражающих документы и решения, с которыми системе предстоит работать.
  • Сравните базовую и дообученную модели на одинаковых вопросах и фиксированных контекстах, прежде чем тестировать весь конвейер поиска.
  • Оценивайте правильность ответа, подтверждённость утверждений, качество ссылок и отказ от ответа отдельно.
  • Для каждого результата сохраняйте ревизии моделей, промпты, настройки генерации, версии документов, ответы и известные ограничения.
В этой статье (7)

Оценивайте ответ и подтверждающие его фрагменты отдельно

При оценке ответов на вопросы по документам полезно задать два вопроса: Правилен ли ответ и подтверждают ли его указанные фрагменты? Правильный ответ с нерелевантной ссылкой нельзя считать надёжно подтверждённым источником. Ответ, точно пересказывающий найденный текст, всё равно может быть неверным, если поиск предоставил устаревший документ.

Начните с отложенного набора реальных вопросов по документам. Сравните базовую и дообученную модели, используя одинаковые вопросы, исходные фрагменты, промпт и настройки генерации. Затем отдельно оцените поиск. Такой подход, ориентированный прежде всего на задачу, описан в обсуждении сравнительной оценки в сообществе Hugging Face: там рекомендуют использовать отложенный набор, базовую модель для сравнения, фиксированные настройки, метрики под конкретную задачу и анализ отдельных ошибок.

Что понадобится и что именно оценивать

Вам понадобятся базовая модель и, если применимо, её дообученная версия, доступные через Hugging Face, а также разрешение на использование документов для оценки. Установите совместимые версии transformers, torch и всех зависимостей, необходимых конкретной модели. Запишите установленные версии; требования к оборудованию и памяти зависят от модели. Приведённый ниже пример запуска не тестировался с какой-либо конкретной моделью.

До запуска определите, что именно вы сравниваете:

  • Сравнение генераторов: предоставьте обеим моделям одинаковые фиксированные фрагменты. Это позволит отделить генерацию ответов и указание источников от различий в поиске.
  • Сквозное сравнение: запустите реальный компонент поиска вместе с генератором. Такая оценка измеряет работу развёрнутого процесса, но изменение показателя нельзя автоматически приписать модели.

По возможности проведите оба теста. Сравнение генераторов покажет, помогает ли дообучение при одинаковых исходных данных; сквозной тест покажет, работает ли система в целом.

Подготовьте отложенный набор вопросов по документам

До дообучения отложите вопросы и соответствующие документы или группы документов. Проверьте, нет ли одинаковых и почти одинаковых фрагментов в разных частях набора: изменение формулировки вопроса не предотвращает утечку, если модель обучалась на том же фрагменте с ответом. Для теста поиска сохраните отдельный версионируемый корпус, включающий документы, по которым системе разрешено искать.

Включайте случаи в пропорциях, близких к ожидаемому использованию, а результаты для сложных категорий приводите отдельно, не выдавая намеренно сложный набор за типичный поток запросов.

КатегорияПример объекта оценки
Обычные случаиПрямой вопрос, ответ на который содержится в одном фрагменте
Несколько фрагментовОтвет, требующий подтверждения из двух фрагментов
Без ответаВ предоставленном контексте нет ответа
Противоречивые или устаревшие данныеДве версии расходятся; вопрос или метаданные указывают, какая из них применима
Регрессионные случаиСлучай, на который базовая модель ранее ответила правильно и привела корректную ссылку
Сложное форматирование или большой объёмНужное подтверждение находится внутри длинного или плохо отформатированного документа

Для каждого случая сохраняйте постоянный ID, вопрос, ожидаемый ответ или критерии оценки, версию исходного документа, ID подтверждающих фрагментов и признак достаточности предоставленного контекста. При необходимости указывайте допустимые альтернативные ответы и ссылки. Если подтверждение требует интерпретации, попросите проверяющего разрешить неоднозначности в разметке, прежде чем считать её эталонной.

Компактная запись для теста с фиксированным контекстом может выглядеть так. Правило и ответ вымышлены исключительно для иллюстрации формата:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

Используйте идентификаторы фрагментов, по которым проверяющий сможет найти точную версию документа и текст. Одного названия документа может быть недостаточно для проверки конкретного утверждения.

Зафиксируйте настройки инференса Hugging Face

Запишите названия репозиториев модели и токенизатора и их неизменяемые ревизии, используемый адаптер и его ревизию, информацию о том, объединены или квантованы веса, а также бэкенд, версии пакетов и оборудование. Сохраните также точный промпт и шаблон чата, порядок контекста, правила усечения, максимальную длину входа и параметры декодирования. Для модели, дообученной с помощью адаптера, укажите, оценивается ли одна базовая модель или базовая модель вместе с адаптером.

Ниже приведён иллюстративный, непроверенный пример запуска для совместимых каузальных языковых моделей. Замените заполнители реальными названиями репозиториев и неизменяемыми ревизиями. В примере используется жадное декодирование для уменьшения вариативности выборки и сохраняется фиксированный контекст; адаптер не загружается, поиск и оценка результатов не выполняются. Некоторым моделям нужны специфический шаблон чата или настройки токенизатора. Если двум моделям требуются разные шаблоны, задокументируйте это различие и укажите его как ограничение сравнения.

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

Перед полным запуском проверьте несколько промптов с учётом ограничения контекста каждой модели. Не усекайте подтверждающие фрагменты без уведомления: либо применяйте одну и ту же задокументированную политику усечения, либо помечайте случай как не поддающийся оценке. Жадное декодирование не гарантирует одинаковых результатов при любых конфигурациях оборудования и ПО. Если в предполагаемом развёртывании используется выборка, запишите её настройки и начальные значения и повторите запуски для изучения вариативности.

Оцените поиск, ответы и ссылки

Рассматривайте следующие показатели отдельно. Для каждого показателя публикуйте числитель, знаменатель и число исключённых случаев; также приводите результаты по категориям.

ПоказательПрактическая проверка
Полнота поискаКак часто для вопросов с известными подтверждающими фрагментами найденный набор содержал необходимые сведения? Определите, должны ли присутствовать все необходимые фрагменты.
Правильность ответаСовпадает ли ответ с эталоном или соответствует ли критериям оценки случая? Используйте точное совпадение только там, где формулировка достаточно ограничена.
Подтверждённость утвержденийПодтверждаются ли фактические утверждения ответа предоставленными фрагментами? Если ответ содержит несколько утверждений, проверяйте их по отдельности.
Качество ссылокСуществует ли каждый указанный ID и подтверждает ли он связанное с ним утверждение? Также проверьте, есть ли ссылки у существенных утверждений.
Отказ от ответаСообщает ли модель о недостаточности данных в случаях с неполным контекстом? Избегает ли она ненужного отказа, когда ответить можно?

Например, «30 дней [policy-v1:p2]» проходит проверку в иллюстративном случае, если этот фрагмент содержит указанное правило. Для ответа «30 дней [policy-v1:p3]» проверка подтверждённости ссылки должна завершиться неудачей, если p3 не устанавливает это правило, даже при правильном сроке. Вымышленный ID фрагмента должен не пройти ни проверку существования ID, ни проверку подтверждения.

Автоматические проверки ID и формата полезны, но они не позволяют установить, следует ли утверждение из фрагмента. Для проверки подтверждённости и правильности используйте письменные критерии и проверку человеком; если используете модель в роли судьи, запишите её версию и промпт и проверьте выборку её оценок. Сохраняйте ответы обеих моделей и присваивайте метки ошибок, например missing_evidence, unsupported_claim, wrong_citation или unnecessary_abstention.

Разберите ошибки и представьте результаты

Если нужного фрагмента нет, проверьте индексирование, разбиение на фрагменты, версию корпуса и настройки поиска, прежде чем менять генератор. Если фрагмент присутствует, но ответ не подтверждён, изучите промпт и поведение генерации. Если ответ правильный, но ссылается не на тот фрагмент, считайте это отдельной ошибкой указания источника, а не косметической проблемой форматирования.

Опубликуйте вместе с результатами краткое описание запуска: формирование и разделение набора данных, снимок документов, ревизии модели и адаптера, промпты, конфигурацию поиска, настройки декодирования, правила оценки, количество случаев по категориям и характерные ошибки. В небольших наборах несколько примеров могут существенно изменить процентный показатель. При необходимости повторяйте запуски с выборкой и различайте вариативность между запусками и неопределённость, вызванную ограниченным размером тестового набора.

Публичный бенчмарк может дополнить картину, но не заменит эти данные для конкретной задачи. Обоснованный вывод ограничен рамками оценки: результат описывает данные модели, документы, вопросы и настройки, а не все сценарии ответов на вопросы по документам.

Источники

Вопросы

Что оценивать в первую очередь: поиск или языковую модель?

Сначала сравните генераторы на одинаковых фиксированных фрагментах, чтобы изолировать их поведение. Затем оцените полный процесс поиска и генерации, в том числе способность компонента поиска находить необходимые подтверждения.

Считается ли правильный ответ со ссылкой успешным результатом?

Не обязательно. Проверьте, существует ли указанный фрагмент и действительно ли он подтверждает связанное с ним утверждение. Правильный ответ с нерелевантной или вымышленной ссылкой не проходит проверку указания источника.

Можно ли использовать LLM в роли судьи вместо проверки человеком?

LLM в роли судьи может дать полезный сигнал, но её решения не следует автоматически считать эталонными. Запишите версию модели и промпт, используйте чёткие критерии и поручите людям проверить выборку оценок.

Похожие статьи

Guides

Оценка стоимости API GPT 6.2 Astra для ответов на вопросы по документам

Оцените стоимость ответов GPT 6.2 Astra на вопросы по документам с помощью явных допущений о токенах, тарифных уровней контекста, ставок кэширования и воспроизводимых расчётов.

阅读全文 →

Guides

Оценка стоимости API Claude Fable 5.2 для вопросов по документам

Воспроизводимый способ оценить стоимость Claude Fable 5.2 для ответов на вопросы по документам с явными допущениями по токенам, рекомендациями по указанию источников и ценами с датами.

阅读全文 →

Guides

Как провести воспроизводимую оценку Hugging Face для маршрутизации обращений в поддержку

Практический рабочий процесс сравнения базовой модели и дообученной версии на отложенных обращениях в поддержку с участием человека и прозрачным описанием ограничений.

阅读全文 →

Guides

Стоимость GPT Image 2.6 Sunburst API для ответов на вопросы по документам

Составьте воспроизводимый бюджет для ответов на вопросы по документам на основе явных допущений о входных изображениях, отдельно учитывая неизвестную стоимость генерации ответов и атрибуции источников.

阅读全文 →