GuidesOneMux

Hugging Face-Modelle für zuverlässige JSON-Extraktion evaluieren

Ein praxisnaher, reproduzierbarer Evaluierungsplan zum Vergleich von Hugging Face-Basismodellen und Fine-Tunes bei der strukturierten Extraktion – mit Schema-Prüfungen, feldbezogener Bewertung, festen Generierungseinstellungen und dokumentierten Einschränkungen.

AI

Zusammenfassung · TL;DR

Um festzustellen, ob ein Hugging Face-Fine-Tune die strukturierte Extraktion verbessert, vergleichen Sie ihn anhand derselben zurückgehaltenen Beispiele mit seinem Basismodell – bei identischen Prompts und Generierungseinstellungen. Bewerten Sie die Parsbarkeit und Schema-Konformität von JSON getrennt von der Korrektheit einzelner Felder, untersuchen Sie Fehler und veröffentlichen Sie genügend Konfigurationsdetails, damit andere den Test reproduzieren können.

Kernaussagen

  • Verwenden Sie zurückgehaltene Beispiele, die nicht in das Fine-Tuning eingeflossen sind.
  • Evaluieren Sie Revisionen des Basis- und des Fine-Tuned-Modells mit identischem Prompt, Chat-Template, Decoding-Parametern und Inferenzpfad.
  • Erfassen Sie gültiges JSON, Schema-Konformität und semantische Feldgenauigkeit als getrennte Metriken.
  • Beziehen Sie gewöhnliche, schwierige, fehlerhafte, mehrdeutige und nicht in der Quelle belegte Beispiele ein.
  • Berichten Sie über Fehler auf Beispielebene und Einschränkungen. Ein kleines Evaluierungsset belegt keine umfassende Zuverlässigkeit.
Auf dieser Seite (8)

Die Evaluierungsfrage

Ein Modell zur strukturierten Extraktion kann syntaktisch gültiges JSON zurückgeben und trotzdem den falschen Wert extrahieren. Es kann auch den richtigen Wert erkennen, aber einen erforderlichen Schlüssel auslassen oder ein nicht belegtes Feld hinzufügen. Eine aussagekräftige Evaluierung beantwortet daher drei getrennte Fragen: Lässt sich die Ausgabe parsen? Entspricht sie dem Schema? Sind die extrahierten Werte korrekt?

Beantworten Sie diese Fragen für ein Hugging Face-Basismodell und dessen Fine-Tune anhand derselben zurückgehaltenen Eingaben sowie mit identischem Prompt und denselben Generierungseinstellungen. So prüfen Sie, ob das Fine-Tuning bei der Extraktionsaufgabe geholfen hat – nicht, ob es bei einem themenfremden Leaderboard besser abschneidet.

Dieser Ansatz folgt der Unterscheidung aus einer Diskussion in der Hugging Face Community zwischen aufgabenspezifischer Evaluierung und öffentlichen Benchmarks: Öffentliche Ergebnisse können zur Orientierung dienen, doch ein zurückgehaltenes, auf die vorgesehene Aufgabe abgestimmtes Set ist der direktere Test. In der Diskussion wird außerdem empfohlen, Ausgaben zu speichern, Basis- und Fine-Tuned-Modell fair zu vergleichen und einzelne Fehler zu untersuchen. Quelle: Hugging Face Community, „What’s your method for benchmarking?“

1. Den Extraktionsvertrag festlegen

Bevor Sie Beispiele zusammenstellen, halten Sie fest, was das Modell extrahieren muss, was als fehlende Information gilt und wie es reagieren soll, wenn die Quelle keine Antwort enthält. Legen Sie fest, ob zusätzliche Schlüssel unzulässig sind und ob leere Werte, null oder ein expliziter Abstentionswert fehlende Angaben darstellen.

Bei einer Rechnungsaufgabe könnten beispielsweise Lieferantenname, Rechnungsdatum und Gesamtbetrag verlangt werden. Der Evaluierungsvertrag sollte klären, ob Datumsangaben im ISO-Format vorliegen müssen, wie die Währung dargestellt wird und ob ein fehlendes Datum als null ausgegeben werden soll, statt es zu erraten. Diese Entscheidungen wirken sich auf Schema und Bewertung aus und sollten nicht dem Ermessen der evaluierenden Person überlassen werden.

Verwenden Sie ein JSON Schema als maschinenprüfbaren Vertrag. Das folgende Schema ist nur ein Beispiel und keine getestete Konfiguration für ein bestimmtes Hugging Face-Modell oder einen bestimmten Serving-Endpunkt:

{
  "type": "object",
  "properties": {
    "supplier": {"type": ["string", "null"]},
    "invoice_date": {
      "type": ["string", "null"],
      "format": "date"
    },
    "total": {"type": ["number", "null"]},
    "currency": {"type": ["string", "null"]}
  },
  "required": ["supplier", "invoice_date", "total", "currency"],
  "additionalProperties": false
}

Ein Schema-Validator kann Struktur, Datentypen, erforderliche Schlüssel und zusätzliche Properties prüfen. Er kann jedoch nicht feststellen, ob ein Wert durch das Quelldokument gestützt wird. Dafür benötigen Sie gekennzeichnete Erwartungswerte und aufgabenspezifische Vergleichsregeln.

2. Ein zurückgehaltenes Set mit realistischen Eingaben erstellen

Halten Sie Evaluierungsbeispiele von den Fine-Tuning-Daten getrennt. Wenn ein Modell ein Beispiel bereits im Training gesehen hat, kann eine richtige Antwort auf Auswendiglernen statt auf Generalisierung beruhen. Ein kleines Set eignet sich für eine erste Prüfung, sofern Beispiele und Zweck klar beschrieben sind. Stellen Sie es jedoch nicht als Leistungsnachweis für alle Dokumente dar.

Berücksichtigen Sie Beispiele aus mehreren Kategorien:

  • Routineeingaben: repräsentative Dokumente mit klar angegebenen Werten.
  • Schwierige Fälle: ungewöhnliche Layouts, lange Eingaben, OCR-Rauschen oder unerwartet formatierte Werte.
  • Fehlende Angaben: Felder, die tatsächlich nicht in der Quelle vorkommen, um zu prüfen, ob das Modell auf Vermutungen verzichtet.
  • Mehrdeutigkeit: widersprüchliche Werte oder unklare Bezüge, für die das erwartete Verhalten vorab festgelegt ist.
  • Regressionstests: Beispiele, die das Basismodell bereits korrekt verarbeitet, damit Verschlechterungen durch Fine-Tuning sichtbar werden.
  • Format-Stresstests: Eingaben, bei denen erläuternder Text, Markdown-Codezäune, fehlende Schlüssel oder zusätzliche Properties wahrscheinlich sind.

Speichern Sie zu jedem Beispiel die Quelleingabe, die erwartete Ausgabe und etwaige Normalisierungsregeln. Legen Sie die Regeln vor der Bewertung fest. Wenn beispielsweise 1,250.00 und 1250 als gleichwertige Gesamtbeträge gelten, normalisieren Sie numerische Werte einheitlich. Ändern Sie die Regel nicht, nachdem Sie gesehen haben, welches Modell davon profitiert.

3. Die Hugging Face-Evaluierungskonfiguration fixieren

Dokumentieren Sie die genaue Modell-ID und Revision für Basis- und Fine-Tuned-Modell. Verwendet der Fine-Tune einen Adapter, halten Sie auch dessen Revision fest und notieren Sie, ob die Evaluierung das Basismodell mit Adapter, ein zusammengeführtes Modell oder ein anderes Artefakt lädt. In der Hugging Face-Diskussion wird darauf hingewiesen, dass sich Adapter, zusammengeführte Gewichte, Quantisierung und Serving-Pfade unterschiedlich verhalten können. Entscheidend ist also, welches Artefakt evaluiert wird.

Halten Sie die folgenden Einstellungen für beide Modelle identisch, soweit anwendbar:

  • Systemnachricht, Prompt-Vorlage und Chat-Template;
  • Eingabebeispiele, Reihenfolge und etwaige Few-Shot-Beispiele;
  • Decoding-Parameter, einschließlich Temperature, Top-p und maximaler Anzahl neuer Tokens;
  • Inferenz-Backend, Quantisierung und relevante Einstellungen für die Verarbeitung des Kontextfensters.

Für einen reproduzierbaren Extraktionsvergleich ist deterministisches Decoding ein sinnvoller Ausgangspunkt, sofern das ausgewählte Modell und Backend es unterstützen. Dokumentieren Sie die tatsächlichen Parameterwerte, statt anzunehmen, dass jeder Endpunkt jede Option berücksichtigt. Ist die Unterstützung einer Einstellung durch einen Endpunkt nicht dokumentiert, markieren Sie sie als unbekannt und behaupten Sie nicht, dass die Läufe bei dieser Einstellung identisch waren.

Formulieren Sie die Prompt-Anweisung eindeutig: Geben Sie ausschließlich das angeforderte JSON-Objekt zurück, halten Sie sich an die Konvention des Schemas für fehlende Werte und leiten Sie keine Werte ab, die nicht in der Eingabe stehen. Das garantiert keine Einhaltung der Vorgaben – genau das misst die Evaluierung.

4. Gültigkeit und Korrektheit getrennt bewerten

Berichten Sie neben Prozentwerten auch die Anzahlen, besonders bei kleinen Datensätzen. Eine nützliche Ergebnistabelle sieht so aus:

MessgrößeWas sie prüftWas sie nicht belegt
Anteil parsebarer JSON-AusgabenDie Ausgabe lässt sich als JSON decodierenSchlüssel oder Werte sind korrekt
Anteil schema-valider AusgabenDie geparste Ausgabe entspricht dem gewählten SchemaDie Werte stimmen mit der Quelle überein
Vollständigkeit erforderlicher FelderErforderliche Schlüssel sind vorhandenDie Werte sind korrekt
Exakter Abgleich auf FeldebeneJedes Feld stimmt nach der festgelegten Normalisierung mit dem gekennzeichneten Wert übereinGeneralisierung über das Evaluierungsset hinaus
Exakter Abgleich auf DatensatzebeneJedes bewertete Feld eines Datensatzes ist korrektRobustheit gegenüber unbekannten Formaten

Geben Sie für jede Messgröße Zähler und Nenner an, zum Beispiel: „18 von 20 Ausgaben bestanden die Schema-Validierung“, sowie den Prozentwert. Legen Sie fest, wie Ausgaben mit vor- oder nachgestelltem Fließtext oder Markdown-Codezäunen behandelt werden. Eine konsequente Regel ist, zunächst die rohe Antwort zu bewerten: Wenn die Aufgabe ausschließlich JSON verlangt, gilt zusätzlicher Text als Formatfehler. Reparieren Sie Modell-Ausgaben nicht stillschweigend, es sei denn, eine solche Reparatur gehört zum tatsächlichen Produktionsablauf. Wenn Sie einen Reparaturschritt evaluieren, berichten Sie die Ergebnisse separat.

5. Fehler untersuchen, nicht nur Gesamtwerte

Speichern Sie jede Eingabe, die Referenzausgabe, die rohe Ausgabe des Basismodells, die rohe Ausgabe des Fine-Tuned-Modells, das Validierungsergebnis und die feldbezogenen Bewertungen. Vergeben Sie eine kurze Fehlerkategorie, etwa ungültiges JSON, fehlender Schlüssel, falscher Wert, unbelegte Schlussfolgerung, zusätzliche Property oder falsche Enthaltung. Untersuchen Sie anschließend Beispiele, bei denen sich das Fine-Tuned-Modell verbessert oder verschlechtert hat.

Ein höherer Wert bei der Schema-Konformität kann eine schlechtere Extraktionsgenauigkeit verdecken. Umgekehrt kann ein Modell mehr Felder korrekt extrahieren und trotzdem gelegentlich fehlerhaftes JSON erzeugen. Erfassen Sie die Messgrößen getrennt, damit das Team entscheiden kann, welcher Fehlertyp für seinen Arbeitsablauf am wichtigsten ist.

Bei einem kleinen Set können schon wenige Beispiele den Prozentwert deutlich verschieben. Geben Sie die Stichprobengröße an und behandeln Sie einen geringen Abstand zwischen den Ergebnissen nicht als schlüssigen Beleg. In einer späteren Antwort der zitierten Diskussion werden mehrere Läufe mit unterschiedlichen Seeds empfohlen, da die Ergebnisse bei kleinen Sets schwanken können. Ob das sinnvoll ist, hängt vom Sampling-Verhalten des Modells und Ihrer Inferenzkonfiguration ab. Sind die Ausgaben deterministisch, können identische Wiederholungsläufe lediglich dieselben Ergebnisse reproduzieren, statt unabhängige Evidenz zu liefern.

6. Reproduzierbarkeit und Einschränkungen dokumentieren

Ein aussagekräftiger Bericht nennt Quelle und Split des Datensatzes, die Zahl der Beispiele, ihren Ausschluss vom Training, Modell- und Adapter-Revisionen, Prompt und Chat-Template, Generierungseinstellungen, Inferenzpfad, Validator und Bewertungsregeln sowie repräsentative Fehlerbeispiele. Vermerken Sie außerdem Einstellungen, die sich nicht bestätigen oder konstant halten ließen.

Formulieren Sie die Schlussfolgerung präzise: „Die fine-getunte Revision bestand in diesem Test bei 18 von 20 zurückgehaltenen Beispielen die Schema-Validierung“ ist eine belegbare Aussage. „Das Modell extrahiert Rechnungen zuverlässig“ geht über das hinaus, was sich mit einer kleinen, eng umrissenen Evaluierung nachweisen lässt. Öffentliche Benchmarks können eine zweite Ebene bilden, sofern sie zum Ziel passen. Sie ersetzen jedoch nicht den Test des tatsächlichen Extraktionsvertrags.

Fazit

Für die JSON-Extraktion mit Hugging Face sollte die Evaluierung ein reproduzierbarer Vergleich sein und keine bloße Demo: Halten Sie repräsentative Beispiele zurück, fixieren und dokumentieren Sie die Konfiguration, validieren Sie die Struktur, bewerten Sie Feldwerte und untersuchen Sie Fehler. Berichten Sie neben dem Ergebnis auch über die Grenzen des Datensatzes und der Inferenzkonfiguration. So können Leserinnen und Leser beurteilen, ob die beobachtete Veränderung für ihren eigenen Extraktionsablauf relevant ist.

FAQ

Reicht gültiges JSON als Nachweis dafür, dass ein Hugging Face-Modell korrekt extrahiert?

Nein. Die Parsbarkeit zeigt lediglich, dass sich die Ausgabe als JSON decodieren lässt. Prüfen Sie Schema-Konformität, erforderliche Felder und feldbezogene Korrektheit anhand gekennzeichneter Quellbeispiele als getrennte Messgrößen.

Sollte ich ein Fine-Tuned-Modell mit seinem Basismodell vergleichen?

Ja, wenn Sie messen möchten, ob das Fine-Tuning geholfen hat. Führen Sie beide Modelle nach Möglichkeit mit denselben zurückgehaltenen Beispielen, demselben Prompt, Chat-Template, denselben Generierungseinstellungen und demselben Inferenzpfad aus. Dokumentieren Sie alle Unterschiede, die sich nicht konstant halten lassen.

Welche Beispiele gehören in ein Evaluierungsset für die JSON-Extraktion?

Berücksichtigen Sie Routinebeispiele, schwierige oder unübersichtliche Eingaben, fehlende Felder, mehrdeutige Fälle, Format-Stresstests und Beispiele, die das Basismodell bereits bewältigt. Trennen Sie das Set von den Fine-Tuning-Daten und dokumentieren Sie, wie Erwartungswerte gekennzeichnet werden.

Kann die JSON-Schema-Validierung feststellen, ob extrahierte Werte wahr sind?

Nein. Die Schema-Validierung prüft Struktur und Datentypen, nicht, ob ein Wert durch die Eingabe gestützt wird. Bewerten Sie die Korrektheit der Extraktion anhand gekennzeichneter Erwartungswerte und feldbezogener Vergleiche.

Wie sollte ich mit Modellausgaben umgehen, die Text rund um das JSON enthalten?

Legen Sie das vor dem Test fest. Verlangt die Aufgabe ausschließlich JSON, bewerten Sie zusätzlichen Text als Formatfehler. Entfernt ein Parser oder Reparaturschritt in der Produktion solchen Text, evaluieren und berichten Sie diesen Ablauf separat, statt die Ausgaben stillschweigend zu bereinigen.

Ähnliche Artikel