Evalúa modelos de Hugging Face para extraer JSON de forma fiable
Un plan de evaluación práctico y reproducible para comparar modelos base y ajustados de Hugging Face en tareas de extracción estructurada, con comprobaciones de esquema, puntuación por campo, parámetros de generación fijos y limitaciones.
Resumen · TL;DR
Para saber si un ajuste fino de Hugging Face mejora la extracción estructurada, compáralo con el modelo base usando los mismos ejemplos reservados para evaluación, el mismo prompt y los mismos parámetros de generación. Evalúa por separado si el JSON se puede analizar, si cumple el esquema y si los campos son correctos; revisa los fallos y publica suficientes detalles de configuración para que otra persona pueda reproducir la prueba.
Puntos clave
- Usa ejemplos reservados para evaluación que no se hayan incluido en el ajuste fino.
- Evalúa las revisiones del modelo base y del modelo ajustado con el mismo prompt, plantilla de chat, parámetros de decodificación y ruta de inferencia.
- Mide por separado la validez del JSON, el cumplimiento del esquema y la precisión semántica de los campos.
- Incluye casos habituales, difíciles, mal formados, ambiguos y sin respuesta en la fuente.
- Informa de los fallos por ejemplo y de las limitaciones; un conjunto de evaluación pequeño no demuestra una fiabilidad general.
En esta página (8)
La pregunta de evaluación
Un modelo de extracción estructurada puede devolver JSON sintácticamente válido y, aun así, extraer un valor incorrecto. También puede identificar el valor correcto, pero omitir una clave obligatoria o añadir un campo sin respaldo. Por eso, una evaluación útil responde a tres preguntas distintas: ¿Se puede analizar la salida? ¿Cumple el esquema? ¿Son correctos los valores extraídos?
Para comparar un modelo base de Hugging Face con su versión ajustada, responde esas preguntas usando las mismas entradas reservadas para evaluación, el mismo prompt y los mismos parámetros de generación. Así comprobarás si el ajuste fino mejoró la tarea de extracción, no si mejoró en una tabla de clasificación ajena a ella.
Este enfoque sigue la distinción que se plantea en un debate de la comunidad de Hugging Face entre la evaluación específica de una tarea y los benchmarks públicos: las puntuaciones públicas pueden servir de referencia, pero un conjunto reservado que refleje la tarea prevista es una prueba más directa. El debate también recomienda guardar las salidas, comparar de forma justa el modelo base y el ajustado, y revisar los fallos uno por uno. Fuente: Hugging Face Community, “What’s your method for benchmarking?”
1. Define el contrato de extracción
Antes de reunir ejemplos, especifica qué debe extraer el modelo, qué se considera un dato ausente y qué debe hacer cuando la fuente no contiene la respuesta. Decide si se prohíben las claves adicionales y si la información ausente debe representarse con valores vacíos, null o una respuesta explícita de abstención.
Por ejemplo, una tarea de extracción de facturas podría requerir el nombre del proveedor, la fecha de la factura y el total. El contrato de evaluación debe aclarar si las fechas deben seguir el formato ISO, cómo se representa la moneda y si una fecha ausente debe ser null en lugar de una conjetura. Estas decisiones influyen en el diseño del esquema y en la puntuación; no deben quedar a criterio de quien evalúa.
Usa un JSON Schema como contrato verificable por máquina. El siguiente es un esquema ilustrativo, no una configuración probada para un modelo o endpoint de servicio de Hugging Face concreto:
{
"type": "object",
"properties": {
"supplier": {"type": ["string", "null"]},
"invoice_date": {
"type": ["string", "null"],
"format": "date"
},
"total": {"type": ["number", "null"]},
"currency": {"type": ["string", "null"]}
},
"required": ["supplier", "invoice_date", "total", "currency"],
"additionalProperties": false
}
Un validador de esquemas puede comprobar la estructura, los tipos, las claves obligatorias y las propiedades adicionales. No puede determinar si un valor está respaldado por el documento fuente. Para eso hacen falta valores esperados etiquetados y reglas de comparación específicas para la tarea.
2. Crea un conjunto reservado que refleje las entradas reales
Mantén los ejemplos de evaluación separados de los datos de ajuste fino. Si un modelo ya ha visto un ejemplo durante el entrenamiento, una respuesta correcta podría deberse a la memorización y no a la generalización. Un conjunto pequeño puede servir para una comprobación inicial si sus ejemplos y su propósito están claros; no lo presentes como prueba de rendimiento en todo tipo de documentos.
Incluye ejemplos de varios grupos:
- Entradas habituales: documentos representativos con valores expresados con claridad.
- Casos difíciles: diseños inusuales, entradas largas, ruido de OCR o valores expresados en formatos inesperados.
- Información ausente: campos que realmente no aparecen en la fuente, para comprobar si el modelo evita inventar datos.
- Ambigüedad: valores contradictorios o referencias poco claras, con un comportamiento esperado definido de antemano.
- Casos de regresión: ejemplos que el modelo base ya resuelve correctamente, para que se vean las regresiones del ajuste fino.
- Casos que ponen a prueba el formato: entradas que pueden provocar comentarios, bloques Markdown, claves ausentes o propiedades adicionales.
Guarda la entrada fuente, la salida esperada y las reglas de normalización que correspondan con cada ejemplo. Define las reglas antes de puntuar. Por ejemplo, si 1,250.00 y 1250 son totales equivalentes, normaliza los valores numéricos de forma coherente; no cambies la regla después de ver qué modelo sale beneficiado.
3. Fija la configuración de evaluación de Hugging Face
Registra el ID y la revisión exactos del modelo base y del modelo ajustado. Si el ajuste fino usa un adaptador, registra su revisión y especifica si la evaluación carga el modelo base junto con el adaptador, un modelo fusionado u otro artefacto. El debate de Hugging Face señala que los adaptadores, los pesos fusionados, la cuantización y las rutas de servicio pueden comportarse de manera distinta, así que el artefacto evaluado importa.
Siempre que sea aplicable, mantén idénticos estos parámetros para ambos modelos:
- mensaje de sistema, plantilla del prompt y plantilla de chat;
- ejemplos de entrada, orden y cualquier demostración de pocos ejemplos;
- parámetros de decodificación, incluidos temperature, top-p y máximo de tokens nuevos;
- backend de inferencia, cuantización y gestión pertinente del contexto.
Para comparar la extracción de forma reproducible, la decodificación determinista es un punto de partida razonable cuando el modelo y el backend elegidos la admiten. Registra los valores de los parámetros usados realmente; no des por hecho que todos los endpoints aceptan todas las opciones. Si un endpoint no documenta que admite un parámetro, indícalo como desconocido y no afirmes que las ejecuciones fueron idénticas en ese aspecto.
Haz que el prompt sea explícito: debe pedir que se devuelva solo el objeto JSON solicitado, que se siga la convención del esquema para valores ausentes y que no se infieran datos que no aparecen en la entrada. Esto no garantiza el cumplimiento; precisamente eso es lo que mide la evaluación.
4. Puntúa la validez y la corrección por separado
Informa tanto de los recuentos como de los porcentajes, sobre todo cuando el conjunto sea pequeño. Una tabla de resultados útil podría ser:
| Medida | Qué comprueba | Qué no demuestra |
|---|---|---|
| Tasa de JSON analizable | Que la salida se puede decodificar como JSON | Que las claves o los valores sean correctos |
| Tasa de validez del esquema | Que la salida analizada cumple el esquema elegido | Que los valores coincidan con la fuente |
| Completitud de campos obligatorios | Que estén presentes las claves obligatorias | Que sus valores sean correctos |
| Coincidencia exacta por campo | Que cada campo coincida con su valor etiquetado tras la normalización declarada | Que haya generalización más allá del conjunto de evaluación |
| Coincidencia exacta por registro | Que todos los campos evaluados de un registro sean correctos | Que haya robustez ante formatos no vistos |
Para cada medida, informa del numerador y el denominador; por ejemplo, «18 de 20 salidas superaron la validación del esquema», además del porcentaje. Explica cómo tratas las salidas que incluyen texto o bloques Markdown alrededor del contenido. Una política coherente es puntuar primero la respuesta sin modificar: si la tarea exige una salida que contenga solo JSON, cualquier texto adicional cuenta como fallo de formato. Evita reparar en silencio las salidas del modelo, salvo que la reparación forme parte del flujo de trabajo real en producción; si evalúas un paso de reparación, presenta sus resultados por separado.
5. Revisa los fallos, no solo las puntuaciones agregadas
Guarda cada entrada, la respuesta de referencia, la salida sin modificar del modelo base, la salida sin modificar del modelo ajustado, el resultado de la validación y las puntuaciones por campo. Asigna una etiqueta breve a cada error, como JSON no válido, clave ausente, valor incorrecto, inferencia sin respaldo, propiedad adicional o abstención incorrecta. Después, revisa los ejemplos en los que el modelo ajustado mejoró y aquellos en los que empeoró.
Un aumento en la validez del esquema puede ocultar una menor precisión de extracción. A la inversa, un modelo puede extraer correctamente más campos y aun así generar JSON mal formado de vez en cuando. Mantén las medidas separadas para que el equipo pueda decidir qué fallos afectan más a su flujo de trabajo.
Con un conjunto pequeño, unos pocos ejemplos pueden modificar mucho el porcentaje. Informa del tamaño de la muestra y evita tratar como concluyente una diferencia pequeña en la puntuación. Una respuesta posterior en el debate citado recomienda hacer varias ejecuciones con distintas semillas, porque las puntuaciones en conjuntos pequeños pueden variar; que sea pertinente depende del comportamiento de muestreo del modelo y de la configuración de inferencia. Si las salidas son deterministas, repetir ejecuciones idénticas puede limitarse a reproducir los mismos resultados, sin aportar evidencia independiente.
6. Publica una nota de reproducibilidad y las limitaciones
Un informe útil incluye la fuente y la partición del conjunto de datos, el número de ejemplos, la confirmación de que se excluyeron del entrenamiento, las revisiones del modelo y del adaptador, el prompt y la plantilla de chat, los parámetros de generación, la ruta de inferencia, el validador y las reglas de puntuación, además de ejemplos representativos de fallos. Indica los parámetros que no se pudieron confirmar o mantener constantes.
Formula la conclusión con precisión: «La revisión ajustada superó la validación del esquema en 18 de 20 ejemplos reservados para evaluación» es una afirmación respaldable. «El modelo extrae facturas de forma fiable» es una conclusión más amplia de lo que puede demostrar una evaluación pequeña y acotada. Los benchmarks públicos pueden complementar la evaluación si se ajustan al objetivo, pero no sustituyen las pruebas del contrato de extracción real.
Conclusión
Para evaluar la extracción de JSON con Hugging Face, plantea una comparación reproducible, no una demostración: reserva ejemplos representativos, fija y documenta la configuración, valida la estructura, puntúa los valores de los campos y revisa los fallos. Informa de las limitaciones del conjunto de datos y de la configuración de inferencia junto con los resultados. Así, quienes los lean podrán juzgar si el cambio observado resulta pertinente para su propio flujo de extracción.
FAQ
¿Un JSON válido basta para demostrar que un modelo de Hugging Face extrae datos correctamente?
No. Que se pueda analizar solo demuestra que la salida se puede decodificar como JSON. Comprueba por separado la validez del esquema, la presencia de los campos obligatorios y la corrección de los campos frente a ejemplos fuente etiquetados.
¿Debería comparar un modelo ajustado con su modelo base?
Sí, si quieres medir si el ajuste fino ha ayudado. Evalúa ambos con los mismos ejemplos reservados para evaluación, el mismo prompt, la misma plantilla de chat, los mismos parámetros de generación y, cuando sea posible, la misma ruta de inferencia. Registra cualquier diferencia que no puedas mantener constante.
¿Qué debe incluir un conjunto de evaluación de extracción de JSON?
Incluye ejemplos habituales, entradas difíciles o desordenadas, campos ausentes, casos ambiguos, pruebas de formato y ejemplos que el modelo base ya resuelve. Mantén el conjunto separado de los datos de ajuste fino y documenta cómo se etiquetan los valores esperados.
¿La validación de JSON Schema permite medir si los valores extraídos son verdaderos?
No. La validación del esquema comprueba la estructura y los tipos de datos, no si la entrada respalda un valor. Para medir la corrección de la extracción, usa valores esperados etiquetados y una puntuación por campo.
¿Cómo debería tratar las salidas del modelo que incluyen texto alrededor del JSON?
Decídelo antes de las pruebas. Si la tarea exige solo JSON, cuenta el texto adicional como un fallo de formato. Si un analizador o paso de reparación de producción lo elimina, evalúa e informa de ese flujo por separado, en lugar de limpiar las salidas sin indicarlo.
Artículos relacionados
Guides
Cómo evaluar un modelo de Hugging Face teniendo en cuenta la privacidad
Diseña una evaluación con datos reservados para un modelo base de Hugging Face y su versión ajustada, con parámetros fijos y medidas de protección para los datos de usuario y las credenciales.
Guides
Evaluación reproducible de modelos de Hugging Face: tareas, ajustes y límites
Un protocolo práctico para comparar un modelo base de Hugging Face con uno ajustado mediante ejemplos reservados, parámetros de generación fijos, métricas adecuadas a cada tarea y limitaciones documentadas.
Guides
Cómo crear una evaluación reproducible de Hugging Face para incidentes de API
Flujo práctico de evaluación con Hugging Face para comparar revisiones de modelos con prompts fijos, tareas representativas, señales observables de fallos de API y limitaciones claras.
Guides
Cómo evaluar de forma reproducible modelos de Hugging Face ante cambios en código de repositorios
Diseña una evaluación repetible de modelos de código de Hugging Face: usa tareas de repositorio reservadas, parámetros de generación fijos, pruebas aisladas y limitaciones claramente documentadas.