GuidesOneMux

Cómo evaluar la respuesta a preguntas sobre documentos en Hugging Face

Crea una evaluación reproducible de respuesta a preguntas sobre documentos que examine la calidad de las respuestas, la recuperación, la atribución de fuentes y la abstención.

AI

Resumen · TL;DR

Un flujo de trabajo práctico para comparar modelos de document QA con preguntas reservadas para evaluación y distinguir entre fallos de recuperación, respuestas sin sustento y citas engañosas.

Puntos clave

  • Empieza con preguntas reservadas para evaluación que sean representativas de los documentos y las decisiones que el sistema deberá gestionar.
  • Compara los modelos base y ajustado con preguntas idénticas y contextos fijos antes de probar el flujo completo de recuperación.
  • Evalúa por separado la corrección de las respuestas, el sustento de las afirmaciones, la calidad de las citas y la abstención.
  • Guarda con cada resultado las revisiones de los modelos, los prompts, los parámetros de generación, las versiones de los documentos, las salidas y las limitaciones conocidas.
En esta página (7)

Evalúa por separado la respuesta y la evidencia que la respalda

En la respuesta a preguntas sobre documentos, una evaluación útil plantea dos preguntas: ¿Es correcta la respuesta y la respaldan los pasajes citados? Una respuesta correcta con una cita irrelevante no es una respuesta con una atribución fiable. Una respuesta que resume con precisión el texto recuperado también puede ser incorrecta si el sistema de recuperación proporcionó un documento desactualizado.

Empieza con un conjunto reservado de preguntas reales sobre documentos. Compara el modelo base y el modelo ajustado usando las mismas preguntas, pasajes de origen, prompt y parámetros de generación. Después, evalúa la recuperación por separado. Este procedimiento sigue el enfoque centrado en la tarea descrito en una conversación de la comunidad de Hugging Face sobre benchmarking, que recomienda usar un conjunto reservado, un modelo base como referencia, parámetros fijos, métricas específicas de la tarea y una revisión de los fallos individuales.

Requisitos previos y alcance de la evaluación

Necesitas un modelo base y, si corresponde, su versión ajustada, disponibles a través de Hugging Face, además de permiso para usar los documentos en la evaluación. Instala versiones compatibles de transformers, torch y cualquier dependencia específica del modelo. Registra las versiones instaladas; los requisitos de hardware y memoria dependen del modelo. El programa de ejemplo que aparece más adelante no se ha probado con un modelo concreto.

Antes de ejecutarlo, decide qué vas a comparar:

  • Comparación de generadores: Proporciona a ambos modelos los mismos pasajes fijos. Esto permite aislar la generación de respuestas y la atribución de las variaciones en la recuperación.
  • Comparación de extremo a extremo: Ejecuta conjuntamente el sistema de recuperación y el generador reales. Esto mide el flujo de trabajo desplegado, pero un cambio en la puntuación no puede atribuirse automáticamente al modelo.

Ejecuta ambas pruebas cuando sea posible. La comparación de generadores indica si el ajuste mejora los resultados con la misma evidencia; la prueba de extremo a extremo indica si funciona el sistema completo.

Crea un conjunto reservado de document QA

Reserva preguntas y documentos relevantes o grupos de documentos antes de realizar el ajuste. Comprueba si hay pasajes duplicados o casi duplicados entre las particiones: cambiar la redacción de una pregunta no evita la fuga de datos si el modelo se entrenó con el mismo pasaje que contiene la respuesta. Para una prueba de recuperación, conserva un corpus independiente y versionado que incluya los documentos en los que el sistema tiene permitido buscar.

Incluye casos en proporciones que reflejen el uso previsto y presenta por separado los resultados de las categorías difíciles, en lugar de mostrar un conjunto deliberadamente difícil como si fuera tráfico habitual.

CategoríaEjemplo de objetivo de evaluación
OrdinariaUna pregunta directa que se responde en un solo pasaje
Varios pasajesUna respuesta que requiere evidencia de dos pasajes
Sin respuestaEl contexto proporcionado no contiene la respuesta
Contradictoria o desactualizadaDos versiones discrepan; la pregunta o los metadatos identifican cuál se aplica
RegresiónUn caso que el modelo base respondió y citó correctamente con anterioridad
Desordenada o extensaLa evidencia relevante está insertada en un documento extenso o con formato deficiente

Para cada caso, guarda un ID estable, la pregunta, la respuesta esperada o la rúbrica de evaluación, la versión del documento de origen, los ID de los pasajes de apoyo y si el contexto proporcionado es suficiente. Especifica las respuestas y citas alternativas aceptables cuando corresponda. Si la evidencia requiere interpretación, pide a una persona revisora que resuelva las etiquetas ambiguas antes de considerarlas como referencia.

Un registro compacto para una prueba de contexto fijo podría tener este aspecto. La política y la respuesta son inventadas únicamente para ilustrar el formato:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

Usa identificadores de pasaje que remitan a la versión exacta del documento y al texto que una persona revisora pueda inspeccionar. El título de un documento por sí solo puede ser demasiado general para verificar una afirmación concreta.

Fija la configuración de inferencia en Hugging Face

Registra los nombres de los repositorios del modelo y del tokenizador y sus revisiones inmutables, cualquier adaptador y su revisión, si los pesos están fusionados o cuantizados, el backend, las versiones de los paquetes y el hardware. Guarda también el prompt y la plantilla de chat exactos, el orden del contexto, las reglas de truncamiento, la longitud máxima de entrada y los parámetros de decodificación. En un ajuste basado en adaptadores, indica si la configuración evaluada es solo el modelo base o el modelo base más el adaptador.

El siguiente es un programa ilustrativo y no probado para modelos de lenguaje causales compatibles. Sustituye los marcadores por nombres de repositorios y revisiones inmutables reales. Usa decodificación greedy para reducir la variación debida al muestreo y mantiene fijo el contexto; no carga ningún adaptador, no realiza recuperación ni puntúa los resultados. Algunos modelos requieren una plantilla de chat o parámetros de tokenizador específicos. Si los dos modelos requieren plantillas diferentes, documenta esa diferencia y considérala una limitación de la comparación.

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

Antes de una ejecución completa, comprueba algunos prompts frente al límite de contexto de cada modelo. No trunques la evidencia sin indicarlo: aplica la misma política de truncamiento documentada o marca el caso como no evaluable. La decodificación greedy no garantiza salidas idénticas en todas las configuraciones de hardware y software. Si el muestreo forma parte del despliegue previsto, registra sus parámetros y semillas, y repite las ejecuciones para examinar la variabilidad.

Evalúa la recuperación, las respuestas y las citas

Mantén separadas las siguientes medidas. Para cada tasa, publica el numerador, el denominador y el número de casos excluidos; presenta también los resultados por categoría.

MedidaComprobación práctica
Recall de recuperaciónPara las preguntas con pasajes de apoyo conocidos, ¿con qué frecuencia contenía el conjunto recuperado la evidencia necesaria? Define si deben estar presentes todos los pasajes requeridos.
Corrección de la respuesta¿Coincide la respuesta con la referencia o satisface la rúbrica del caso? Usa la coincidencia exacta solo cuando la redacción esté suficientemente restringida.
Sustento de las afirmaciones¿Respaldan los pasajes proporcionados las afirmaciones fácticas de la respuesta? Revisa las afirmaciones individualmente cuando las respuestas contengan varias.
Calidad de las citas¿Existe cada ID citado y respalda la afirmación a la que está asociado? Comprueba también si las afirmaciones sustanciales tienen citas.
AbstenciónEn los casos con contexto insuficiente, ¿indica el modelo que la evidencia es insuficiente? En los casos que pueden responderse, ¿evita abstenerse innecesariamente?

Por ejemplo, «30 días [policy-v1:p2]» supera el caso ilustrativo si ese pasaje contiene la regla indicada. «30 días [policy-v1:p3]» debería fallar la comprobación de sustento de la cita si p3 no la establece, aunque la duración sea correcta. Un ID de pasaje inventado debería fallar tanto la comprobación de validez del ID como la de sustento.

Las comprobaciones automáticas de ID y formato son útiles, pero no pueden determinar que un pasaje implique una afirmación. Usa una rúbrica escrita y revisión humana para evaluar el sustento y la corrección; si usas un modelo como juez, registra su versión y prompt y audita una muestra de sus evaluaciones. Guarda las salidas de ambos modelos y asigna etiquetas de error como missing_evidence, unsupported_claim, wrong_citation o unnecessary_abstention.

Diagnostica los problemas y presenta los resultados

Si falta un pasaje correcto, inspecciona la indexación, la división en fragmentos, la versión del corpus y los parámetros de recuperación antes de modificar el generador. Si el pasaje está presente pero la respuesta no tiene sustento, inspecciona el prompt y el comportamiento de generación. Si la respuesta es correcta pero cita el pasaje equivocado, trata la atribución como un fallo independiente, no como un problema estético de formato.

Publica junto con los resultados un breve manifiesto de la ejecución: construcción y partición del conjunto de datos, instantánea de los documentos, revisiones del modelo y del adaptador, prompts, configuración de recuperación, parámetros de decodificación, reglas de puntuación, recuentos por categoría y fallos representativos. Con conjuntos pequeños, unos pocos ejemplos pueden cambiar sustancialmente un porcentaje. Repite las ejecuciones con muestreo cuando corresponda y distingue la variación entre ejecuciones de la incertidumbre causada por un conjunto de prueba limitado.

Un benchmark público puede aportar contexto, pero no puede sustituir esta evidencia específica de la tarea. La conclusión que se puede sostener tiene un alcance limitado: el resultado describe esos modelos, documentos, preguntas y parámetros, no todas las cargas de trabajo de document QA.

Fuentes

FAQ

¿Debo evaluar primero la recuperación o el modelo de lenguaje?

Primero compara los generadores con pasajes idénticos y fijos para aislar su comportamiento. Después, evalúa el flujo completo de recuperación y generación, incluida la capacidad del sistema de recuperación para encontrar la evidencia necesaria.

¿Cuenta como resultado satisfactorio una respuesta correcta con una cita?

No necesariamente. Comprueba que el pasaje citado exista y que realmente respalde la afirmación asociada. Una respuesta correcta con una cita irrelevante o inventada falla en atribución.

¿Puedo usar un LLM como juez en lugar de una revisión humana?

Un LLM como juez puede proporcionar una señal útil, pero sus decisiones no deben considerarse automáticamente como referencia. Registra la versión del modelo y su prompt, usa una rúbrica clara y pide a personas que auditen una muestra.

Artículos relacionados