Cómo evaluar la respuesta a preguntas sobre documentos en Hugging Face
Crea una evaluación reproducible de respuesta a preguntas sobre documentos que examine la calidad de las respuestas, la recuperación, la atribución de fuentes y la abstención.
Resumen · TL;DR
Un flujo de trabajo práctico para comparar modelos de document QA con preguntas reservadas para evaluación y distinguir entre fallos de recuperación, respuestas sin sustento y citas engañosas.
Puntos clave
- Empieza con preguntas reservadas para evaluación que sean representativas de los documentos y las decisiones que el sistema deberá gestionar.
- Compara los modelos base y ajustado con preguntas idénticas y contextos fijos antes de probar el flujo completo de recuperación.
- Evalúa por separado la corrección de las respuestas, el sustento de las afirmaciones, la calidad de las citas y la abstención.
- Guarda con cada resultado las revisiones de los modelos, los prompts, los parámetros de generación, las versiones de los documentos, las salidas y las limitaciones conocidas.
En esta página (7)
Evalúa por separado la respuesta y la evidencia que la respalda
En la respuesta a preguntas sobre documentos, una evaluación útil plantea dos preguntas: ¿Es correcta la respuesta y la respaldan los pasajes citados? Una respuesta correcta con una cita irrelevante no es una respuesta con una atribución fiable. Una respuesta que resume con precisión el texto recuperado también puede ser incorrecta si el sistema de recuperación proporcionó un documento desactualizado.
Empieza con un conjunto reservado de preguntas reales sobre documentos. Compara el modelo base y el modelo ajustado usando las mismas preguntas, pasajes de origen, prompt y parámetros de generación. Después, evalúa la recuperación por separado. Este procedimiento sigue el enfoque centrado en la tarea descrito en una conversación de la comunidad de Hugging Face sobre benchmarking, que recomienda usar un conjunto reservado, un modelo base como referencia, parámetros fijos, métricas específicas de la tarea y una revisión de los fallos individuales.
Requisitos previos y alcance de la evaluación
Necesitas un modelo base y, si corresponde, su versión ajustada, disponibles a través de Hugging Face, además de permiso para usar los documentos en la evaluación. Instala versiones compatibles de transformers, torch y cualquier dependencia específica del modelo. Registra las versiones instaladas; los requisitos de hardware y memoria dependen del modelo. El programa de ejemplo que aparece más adelante no se ha probado con un modelo concreto.
Antes de ejecutarlo, decide qué vas a comparar:
- Comparación de generadores: Proporciona a ambos modelos los mismos pasajes fijos. Esto permite aislar la generación de respuestas y la atribución de las variaciones en la recuperación.
- Comparación de extremo a extremo: Ejecuta conjuntamente el sistema de recuperación y el generador reales. Esto mide el flujo de trabajo desplegado, pero un cambio en la puntuación no puede atribuirse automáticamente al modelo.
Ejecuta ambas pruebas cuando sea posible. La comparación de generadores indica si el ajuste mejora los resultados con la misma evidencia; la prueba de extremo a extremo indica si funciona el sistema completo.
Crea un conjunto reservado de document QA
Reserva preguntas y documentos relevantes o grupos de documentos antes de realizar el ajuste. Comprueba si hay pasajes duplicados o casi duplicados entre las particiones: cambiar la redacción de una pregunta no evita la fuga de datos si el modelo se entrenó con el mismo pasaje que contiene la respuesta. Para una prueba de recuperación, conserva un corpus independiente y versionado que incluya los documentos en los que el sistema tiene permitido buscar.
Incluye casos en proporciones que reflejen el uso previsto y presenta por separado los resultados de las categorías difíciles, en lugar de mostrar un conjunto deliberadamente difícil como si fuera tráfico habitual.
| Categoría | Ejemplo de objetivo de evaluación |
|---|---|
| Ordinaria | Una pregunta directa que se responde en un solo pasaje |
| Varios pasajes | Una respuesta que requiere evidencia de dos pasajes |
| Sin respuesta | El contexto proporcionado no contiene la respuesta |
| Contradictoria o desactualizada | Dos versiones discrepan; la pregunta o los metadatos identifican cuál se aplica |
| Regresión | Un caso que el modelo base respondió y citó correctamente con anterioridad |
| Desordenada o extensa | La evidencia relevante está insertada en un documento extenso o con formato deficiente |
Para cada caso, guarda un ID estable, la pregunta, la respuesta esperada o la rúbrica de evaluación, la versión del documento de origen, los ID de los pasajes de apoyo y si el contexto proporcionado es suficiente. Especifica las respuestas y citas alternativas aceptables cuando corresponda. Si la evidencia requiere interpretación, pide a una persona revisora que resuelva las etiquetas ambiguas antes de considerarlas como referencia.
Un registro compacto para una prueba de contexto fijo podría tener este aspecto. La política y la respuesta son inventadas únicamente para ilustrar el formato:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
Usa identificadores de pasaje que remitan a la versión exacta del documento y al texto que una persona revisora pueda inspeccionar. El título de un documento por sí solo puede ser demasiado general para verificar una afirmación concreta.
Fija la configuración de inferencia en Hugging Face
Registra los nombres de los repositorios del modelo y del tokenizador y sus revisiones inmutables, cualquier adaptador y su revisión, si los pesos están fusionados o cuantizados, el backend, las versiones de los paquetes y el hardware. Guarda también el prompt y la plantilla de chat exactos, el orden del contexto, las reglas de truncamiento, la longitud máxima de entrada y los parámetros de decodificación. En un ajuste basado en adaptadores, indica si la configuración evaluada es solo el modelo base o el modelo base más el adaptador.
El siguiente es un programa ilustrativo y no probado para modelos de lenguaje causales compatibles. Sustituye los marcadores por nombres de repositorios y revisiones inmutables reales. Usa decodificación greedy para reducir la variación debida al muestreo y mantiene fijo el contexto; no carga ningún adaptador, no realiza recuperación ni puntúa los resultados. Algunos modelos requieren una plantilla de chat o parámetros de tokenizador específicos. Si los dos modelos requieren plantillas diferentes, documenta esa diferencia y considérala una limitación de la comparación.
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
Antes de una ejecución completa, comprueba algunos prompts frente al límite de contexto de cada modelo. No trunques la evidencia sin indicarlo: aplica la misma política de truncamiento documentada o marca el caso como no evaluable. La decodificación greedy no garantiza salidas idénticas en todas las configuraciones de hardware y software. Si el muestreo forma parte del despliegue previsto, registra sus parámetros y semillas, y repite las ejecuciones para examinar la variabilidad.
Evalúa la recuperación, las respuestas y las citas
Mantén separadas las siguientes medidas. Para cada tasa, publica el numerador, el denominador y el número de casos excluidos; presenta también los resultados por categoría.
| Medida | Comprobación práctica |
|---|---|
| Recall de recuperación | Para las preguntas con pasajes de apoyo conocidos, ¿con qué frecuencia contenía el conjunto recuperado la evidencia necesaria? Define si deben estar presentes todos los pasajes requeridos. |
| Corrección de la respuesta | ¿Coincide la respuesta con la referencia o satisface la rúbrica del caso? Usa la coincidencia exacta solo cuando la redacción esté suficientemente restringida. |
| Sustento de las afirmaciones | ¿Respaldan los pasajes proporcionados las afirmaciones fácticas de la respuesta? Revisa las afirmaciones individualmente cuando las respuestas contengan varias. |
| Calidad de las citas | ¿Existe cada ID citado y respalda la afirmación a la que está asociado? Comprueba también si las afirmaciones sustanciales tienen citas. |
| Abstención | En los casos con contexto insuficiente, ¿indica el modelo que la evidencia es insuficiente? En los casos que pueden responderse, ¿evita abstenerse innecesariamente? |
Por ejemplo, «30 días [policy-v1:p2]» supera el caso ilustrativo si ese pasaje contiene la regla indicada. «30 días [policy-v1:p3]» debería fallar la comprobación de sustento de la cita si p3 no la establece, aunque la duración sea correcta. Un ID de pasaje inventado debería fallar tanto la comprobación de validez del ID como la de sustento.
Las comprobaciones automáticas de ID y formato son útiles, pero no pueden determinar que un pasaje implique una afirmación. Usa una rúbrica escrita y revisión humana para evaluar el sustento y la corrección; si usas un modelo como juez, registra su versión y prompt y audita una muestra de sus evaluaciones. Guarda las salidas de ambos modelos y asigna etiquetas de error como missing_evidence, unsupported_claim, wrong_citation o unnecessary_abstention.
Diagnostica los problemas y presenta los resultados
Si falta un pasaje correcto, inspecciona la indexación, la división en fragmentos, la versión del corpus y los parámetros de recuperación antes de modificar el generador. Si el pasaje está presente pero la respuesta no tiene sustento, inspecciona el prompt y el comportamiento de generación. Si la respuesta es correcta pero cita el pasaje equivocado, trata la atribución como un fallo independiente, no como un problema estético de formato.
Publica junto con los resultados un breve manifiesto de la ejecución: construcción y partición del conjunto de datos, instantánea de los documentos, revisiones del modelo y del adaptador, prompts, configuración de recuperación, parámetros de decodificación, reglas de puntuación, recuentos por categoría y fallos representativos. Con conjuntos pequeños, unos pocos ejemplos pueden cambiar sustancialmente un porcentaje. Repite las ejecuciones con muestreo cuando corresponda y distingue la variación entre ejecuciones de la incertidumbre causada por un conjunto de prueba limitado.
Un benchmark público puede aportar contexto, pero no puede sustituir esta evidencia específica de la tarea. La conclusión que se puede sostener tiene un alcance limitado: el resultado describe esos modelos, documentos, preguntas y parámetros, no todas las cargas de trabajo de document QA.
Fuentes
- Comunidad de Hugging Face: «What’s your method for benchmarking?» — evaluación centrada en la tarea, comparaciones justas entre modelos base y ajustados, y consideraciones para presentar resultados.
- Hugging Face LLM Course: evaluación — información adicional sobre la evaluación de modelos.
- Hugging Face Cookbook: LLM-as-a-judge — información sobre el uso de un modelo para ayudar con la evaluación.
FAQ
¿Debo evaluar primero la recuperación o el modelo de lenguaje?
Primero compara los generadores con pasajes idénticos y fijos para aislar su comportamiento. Después, evalúa el flujo completo de recuperación y generación, incluida la capacidad del sistema de recuperación para encontrar la evidencia necesaria.
¿Cuenta como resultado satisfactorio una respuesta correcta con una cita?
No necesariamente. Comprueba que el pasaje citado exista y que realmente respalde la afirmación asociada. Una respuesta correcta con una cita irrelevante o inventada falla en atribución.
¿Puedo usar un LLM como juez en lugar de una revisión humana?
Un LLM como juez puede proporcionar una señal útil, pero sus decisiones no deben considerarse automáticamente como referencia. Registra la versión del modelo y su prompt, usa una rúbrica clara y pide a personas que auditen una muestra.
Artículos relacionados
Guides
Estimación del coste de la API de GPT 6.2 Astra para preguntas y respuestas sobre documentos
Estima el coste de usar GPT 6.2 Astra para responder preguntas sobre documentos mediante supuestos explícitos de tokens, tramos de contexto, tarifas de caché y cálculos reproducibles.
Guides
Estima los costos de la API de Claude Fable 5.2 para preguntas y respuestas sobre documentos
Un método reproducible para estimar los costos de Claude Fable 5.2 en preguntas y respuestas sobre documentos, con supuestos explícitos de tokens, orientación sobre atribución de fuentes y precios fechados.
Guides
Cómo crear una evaluación reproducible con Hugging Face para la clasificación de tickets de soporte
Un flujo de trabajo práctico para comparar un modelo base y su versión ajustada con tickets de soporte reservados para pruebas, aprobación humana y limitaciones transparentes.
Guides
Costes de la API de GPT Image 2.6 Sunburst para preguntas y respuestas sobre documentos
Elabora un presupuesto reproducible para preguntas y respuestas sobre documentos con supuestos explícitos de entrada de imágenes, separando los costes desconocidos de generación de respuestas y atribución de fuentes.