Evaluación reproducible de modelos de Hugging Face: tareas, ajustes y límites
Un protocolo práctico para comparar un modelo base de Hugging Face con uno ajustado mediante ejemplos reservados, parámetros de generación fijos, métricas adecuadas a cada tarea y limitaciones documentadas.
Resumen · TL;DR
Para determinar si un ajuste fino de Hugging Face mejora tu caso de uso, compáralo con el modelo base usando los mismos ejemplos reservados, prompts y parámetros de generación. Elige métricas adecuadas a la tarea, conserva los resultados de cada ejemplo, repite las ejecuciones si la generación es estocástica y documenta qué aspectos no demuestra la evaluación.
Puntos clave
- Empieza por el comportamiento que debe mejorar el ajuste fino, no por una clasificación general de modelos.
- Usa ejemplos excluidos del entrenamiento que cubran casos habituales, difíciles, requisitos de formato y posibles regresiones.
- Mantén fijas las revisiones del modelo, los prompts, los parámetros de decodificación, el entorno de ejecución y las reglas de puntuación en todas las comparaciones.
- Informa de los errores por ejemplo y de las limitaciones, además de las métricas agregadas.
En esta página (7)
La comparación útil es entre el modelo ajustado y el modelo base
La puntuación de un modelo solo aporta información cuando responde a una pregunta concreta. Si ajustaste un modelo de Hugging Face para que devuelva JSON válido, mide el cumplimiento del esquema con entradas representativas. Si lo ajustaste para clasificar tickets de soporte, usa tickets reservados y una métrica de clasificación, como F1. Un benchmark público amplio puede aportar contexto, pero por sí solo no demuestra que el cambio haya mejorado tu flujo de trabajo.
El debate del foro de Hugging Face que inspira este procedimiento recomienda empezar por la capacidad objetivo y, después, comparar los modelos base y ajustado con los mismos ejemplos reservados y los mismos parámetros. También advierte que es necesario revisar los resultados a nivel de ejemplo y que los conjuntos de evaluación pequeños pueden producir puntuaciones inestables. Fuente: debate del foro de Hugging Face sobre benchmarking.
1. Define la pregunta de evaluación
Antes de elegir los datos o la métrica, completa esta frase: «El ajuste fino debería mejorar ___ sin empeorar ___». Por ejemplo: «Debería extraer los campos de las facturas con más fiabilidad sin aumentar los JSON no válidos». Así defines una métrica principal y una comprobación de regresiones.
Crea un conjunto reservado con ejemplos que no se hayan utilizado durante el ajuste fino. Incluye algunos grupos claramente identificados:
| Grupo | Qué permite evaluar |
|---|---|
| Entradas habituales | El rendimiento con la carga de trabajo esperada |
| Entradas difíciles | Errores en ejemplos ambiguos, largos o desordenados |
| Casos de formato | Si se respeta la estructura requerida |
| Casos de regresión | Si empeoró algún comportamiento que el modelo base resolvía bien |
| Casos con información incompleta | Si el modelo evita inventar respuestas sin respaldo |
Un conjunto pequeño y revisado con cuidado puede servir como comprobación inicial, pero no demuestra un rendimiento generalizado. Anota por qué se incluye cada ejemplo y mantén el conjunto de prueba separado del entrenamiento y del desarrollo de prompts. Si ajustas repetidamente el modelo con los mismos casos de prueba, estos pasan a formar parte del proceso de desarrollo.
2. Fija las condiciones de comparación
Ejecuta el modelo base y el ajustado con ejemplos idénticos. Registra los ID y las revisiones exactas de los modelos, el tokenizador y la plantilla de chat, el texto del prompt, el mensaje de sistema, los ejemplos few-shot, los parámetros de decodificación, las versiones del software y el hardware o backend de inferencia. En el caso de ajustes finos basados en adaptadores, indica si evaluaste el modelo base, el modelo base más el adaptador o una versión combinada o cuantizada.
Lo siguiente es un patrón de configuración ilustrativo, no un benchmark probado. Supone que ambos ID de modelo son compatibles con la interfaz de modelos de lenguaje causal de Transformers. Fija las revisiones mediante hashes de confirmación disponibles en los repositorios de tus modelos; los nombres de modelo por sí solos pueden apuntar a artefactos que cambian.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "your-org/your-model"
revision = "replace-with-a-commit-hash"
# Use the same settings and prompts for both model variants.
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)
model = AutoModelForCausalLM.from_pretrained(model_id, revision=revision)
prompt = "Extract the invoice number and total as JSON: ..."
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(
**inputs,
do_sample=False,
max_new_tokens=128,
)
answer = tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(answer)
Este ejemplo fija la decodificación codiciosa y un límite de salida, pero no define una plantilla de chat universal, la configuración del dispositivo ni un evaluador de tareas. Sigue el formato de entrada documentado para el modelo. Si la aplicación prevista usa una plantilla de chat, contexto de recuperación, cuantización o un endpoint alojado, prueba esa configuración real y regístrala. No des por sentado que todos los modelos o endpoints de servicio admiten los mismos parámetros.
3. Elige una puntuación adecuada a la tarea
Usa comprobaciones directas cuando el comportamiento deseado pueda verificarse de forma objetiva. Para las salidas estructuradas, informa por separado de la tasa de JSON válido, la tasa de validez según el esquema y la precisión por campo: que la sintaxis sea válida no significa que los valores sean correctos. En clasificación, informa de la métrica elegida y del equilibrio entre clases. En generación de código, usa pruebas pertinentes para la tarea objetivo. Para respuestas abiertas, define una rúbrica de corrección, exhaustividad, seguimiento de instrucciones y fundamentación, y luego revisa una muestra de las evaluaciones.
Las herramientas de evaluación de Hugging Face, como Evaluate o Lighteval, pueden ayudar a organizar métricas o ejecuciones de benchmarks, tal como se menciona en el debate del foro. La elección de herramientas no sustituye el diseño de la tarea: documenta el conjunto de datos, el evaluador, la versión de la herramienta y los prompts personalizados que utilices. Considera las evaluaciones automatizadas o basadas en modelos como evidencia con limitaciones, no como verdad absoluta.
Guarda la entrada de cada ejemplo, la respuesta esperada o la rúbrica, las salidas de ambos modelos, la puntuación y una etiqueta breve del error. Algunas etiquetas útiles son respuesta incorrecta, detalle omitido, afirmación sin respaldo, formato no válido, instrucción ignorada y regresión. Los promedios pueden ocultar un fallo grave concentrado en un solo grupo.
4. Repite las ejecuciones si la aleatoriedad importa
Con decodificación determinista y entradas fijas, repetir las ejecuciones puede aportar poca información sobre la variabilidad del muestreo. Si en producción se usa muestreo, ejecuta varias semillas e informa de los parámetros de decodificación y de la variación entre ejecuciones. El debate del foro sugiere tres ejecuciones con semillas distintas como comprobación práctica, sobre todo si el conjunto de evaluación es pequeño; se trata de una heurística, no de una garantía de significación estadística.
Informa del número de ejemplos de cada grupo y evita describir una pequeña diferencia en la puntuación como una mejora demostrada si no has analizado la incertidumbre. Si los resultados cambian considerablemente entre ejecuciones o grupos, investiga antes de elegir un ganador.
5. Explica qué no puede demostrar la evaluación
Un resultado obtenido con datos reservados respalda una conclusión sobre los ejemplos y la configuración probados. No demuestra el rendimiento con todos los usuarios, dominios, idiomas, estilos de prompt o backends de despliegue. Los benchmarks públicos tienen sus propias distribuciones de tareas y reglas de puntuación, que pueden no coincidir con tu aplicación. Si el producto incluye recuperación de información, herramientas o infraestructura de servicio, una prueba limitada al modelo no evalúa esos componentes.
Un informe conciso debe incluir el objetivo de la evaluación; la fuente de datos y la partición; la exclusión de los datos del entrenamiento; las revisiones del modelo y del adaptador; los parámetros del prompt y de decodificación; las definiciones de las métricas; el número de ejemplos; los resultados por grupo; ejemplos representativos de errores y limitaciones conocidas. Las fichas de modelo de Hugging Face pueden servir para describir los resultados y las limitaciones de la evaluación, pero la configuración también debe explicarse en un lenguaje claro.
Una regla práctica para decidir
Elige el ajuste fino solo si mejora el comportamiento objetivo en los casos reservados sin provocar regresiones inaceptables en grupos importantes. Conserva las salidas y la configuración para que otra persona pueda reproducir la comparación. El resultado no es una clasificación universal de modelos, sino evidencia sobre una tarea definida y una configuración documentada.
FAQ
¿Debería usar un benchmark público para evaluar un ajuste fino de Hugging Face?
Úsalo si su tarea y su método de puntuación coinciden con la capacidad que te interesa. Considéralo contexto adicional, no un sustituto de una evaluación reservada basada en el caso de uso previsto.
¿Basta con la pérdida de evaluación para demostrar que un ajuste fino ha mejorado?
No. La pérdida de evaluación puede ayudar a supervisar el entrenamiento, pero no demuestra directamente que las respuestas generadas sean más correctas, respeten el formato requerido o eviten regresiones. Evalúa las salidas con comprobaciones adecuadas a la tarea y revisa ejemplos.
¿Qué tamaño debería tener un conjunto de evaluación reservado?
No existe un mínimo universal. Empieza con un conjunto que abarque casos representativos y modos de fallo importantes, informa de su tamaño y composición y evita considerar definitivos los resultados de un conjunto pequeño.
¿Debería ejecutar la evaluación más de una vez?
Si la generación es estocástica, repite las ejecuciones con semillas distintas e informa de los parámetros y la variabilidad. La publicación del foro citada sugiere tres ejecuciones como comprobación práctica, pero ese número no garantiza significación estadística.
Artículos relacionados
Guides
Cómo evaluar un modelo de Hugging Face teniendo en cuenta la privacidad
Diseña una evaluación con datos reservados para un modelo base de Hugging Face y su versión ajustada, con parámetros fijos y medidas de protección para los datos de usuario y las credenciales.
Guides
Evalúa modelos de Hugging Face para extraer JSON de forma fiable
Un plan de evaluación práctico y reproducible para comparar modelos base y ajustados de Hugging Face en tareas de extracción estructurada, con comprobaciones de esquema, puntuación por campo, parámetros de generación fijos y limitaciones.
Guides
Cómo crear una evaluación reproducible de Hugging Face para incidentes de API
Flujo práctico de evaluación con Hugging Face para comparar revisiones de modelos con prompts fijos, tareas representativas, señales observables de fallos de API y limitaciones claras.
Guides
Cómo evaluar de forma reproducible modelos de Hugging Face ante cambios en código de repositorios
Diseña una evaluación repetible de modelos de código de Hugging Face: usa tareas de repositorio reservadas, parámetros de generación fijos, pruebas aisladas y limitaciones claramente documentadas.