Document Question Answering auf Hugging Face evaluieren
Erstellen Sie eine reproduzierbare Evaluation für Document Question Answering, die Antwortqualität, Retrieval, Quellenzuordnung und Antwortverzicht prüft.
Zusammenfassung · TL;DR
Ein praxisnaher Ablauf zum Vergleich von Document-QA-Modellen anhand zurückgehaltener Fragen, der Retrieval-Fehler, unbelegte Antworten und irreführende Quellenangaben getrennt betrachtet.
Kernaussagen
- Beginnen Sie mit zurückgehaltenen Fragen, die für die Dokumente und Entscheidungen repräsentativ sind, mit denen das System tatsächlich arbeiten wird.
- Vergleichen Sie das Basismodell und das feinabgestimmte Modell anhand identischer Fragen und festgelegter Kontexte, bevor Sie die gesamte Retrieval-Pipeline testen.
- Bewerten Sie Antwortkorrektheit, Belegbarkeit der Aussagen, Zitierqualität und Antwortverzicht getrennt.
- Speichern Sie zu jedem Ergebnis die Modellrevisionen, Prompts, Generierungseinstellungen, Dokumentversionen, Ausgaben und bekannten Einschränkungen.
Auf dieser Seite (7)
Antwort und Belege getrennt evaluieren
Bei Document Question Answering stellt eine aussagekräftige Evaluation zwei Fragen: Ist die Antwort korrekt und stützen die zitierten Passagen sie? Eine korrekte Antwort mit einer irrelevanten Quellenangabe ist keine verlässlich belegte Antwort. Eine Antwort, die den abgerufenen Text treffend zusammenfasst, kann dennoch falsch sein, wenn das Retrieval ein veraltetes Dokument geliefert hat.
Beginnen Sie mit einem zurückgehaltenen Satz realer Fragen zu Dokumenten. Vergleichen Sie das Basismodell und das feinabgestimmte Modell anhand derselben Fragen, Quellpassagen, desselben Prompts und derselben Generierungseinstellungen. Evaluieren Sie anschließend das Retrieval getrennt. Dies folgt dem aufgabenorientierten Ansatz aus einer Benchmarking-Diskussion in der Hugging Face Community, die einen zurückgehaltenen Datensatz, ein Basismodell als Referenz, feste Einstellungen, aufgabenspezifische Metriken und die Untersuchung einzelner Fehler empfiehlt.
Voraussetzungen und Umfang der Evaluation
Sie benötigen ein über Hugging Face verfügbares Basismodell und gegebenenfalls dessen feinabgestimmtes Gegenstück sowie die Erlaubnis, die Dokumente für Ihre Evaluation zu verwenden. Installieren Sie kompatible Versionen von transformers, torch und allen modellspezifischen Abhängigkeiten. Halten Sie die installierten Versionen fest; die Hardware- und Speicheranforderungen hängen vom Modell ab. Das unten stehende beispielhafte Ausführungsskript wurde nicht mit einem bestimmten Modell getestet.
Legen Sie vor der Ausführung fest, was Sie vergleichen:
- Generatorvergleich: Geben Sie beiden Modellen dieselben festgelegten Passagen. So lassen sich Antwortgenerierung und Quellenzuordnung unabhängig von Schwankungen beim Retrieval betrachten.
- End-to-End-Vergleich: Führen Sie den tatsächlichen Retriever und Generator gemeinsam aus. Das misst den eingesetzten Arbeitsablauf, eine Änderung des Ergebnisses lässt sich jedoch nicht automatisch dem Modell zuschreiben.
Führen Sie nach Möglichkeit beide Vergleiche durch. Der Generatorvergleich zeigt, ob die Feinabstimmung bei denselben Belegen hilft; der End-to-End-Test zeigt, ob das Gesamtsystem funktioniert.
Einen zurückgehaltenen Document-QA-Datensatz erstellen
Halten Sie vor der Feinabstimmung Fragen und relevante Dokumente oder Dokumentgruppen zurück. Prüfen Sie die Datensatzsplits auf doppelte und nahezu doppelte Passagen: Eine andere Formulierung der Frage verhindert keine Datenleckage, wenn das Modell mit derselben Antwortpassage trainiert wurde. Halten Sie für einen Retrieval-Test einen separaten, versionierten Korpus vor, der die Dokumente enthält, die das System durchsuchen darf.
Nehmen Sie Fälle in Anteilen auf, die der erwarteten Nutzung entsprechen, und weisen Sie Ergebnisse für schwierige Teilgruppen gesondert aus, statt einen bewusst schwierigen Datensatz als typisch für die tatsächlichen Anfragen darzustellen.
| Teilgruppe | Beispiel für ein Evaluationsziel |
|---|---|
| Gewöhnlich | Eine direkte Frage, die in einer Passage beantwortet wird |
| Mehrere Passagen | Eine Antwort, die Belege aus zwei Passagen erfordert |
| Nicht beantwortbar | Der bereitgestellte Kontext enthält die Antwort nicht |
| Widersprüchlich oder veraltet | Zwei Versionen widersprechen sich; die Frage oder Metadaten geben an, welche gilt |
| Regression | Ein Fall, den das Basismodell zuvor korrekt beantwortet und belegt hat |
| Unübersichtlich oder lang | Relevante Belege sind in ein langes oder schlecht formatiertes Dokument eingebettet |
Speichern Sie für jeden Fall eine stabile ID, die Frage, die erwartete Antwort oder ein Bewertungsraster, die Version des Quelldokuments, die IDs der belegenden Passagen und die Angabe, ob der bereitgestellte Kontext ausreicht. Legen Sie gegebenenfalls akzeptable alternative Antworten und Quellenangaben fest. Wenn Belege interpretiert werden müssen, lassen Sie mehrdeutige Labels durch eine prüfende Person klären, bevor Sie sie als Referenzwerte behandeln.
Ein kompakter Datensatz für einen Test mit festem Kontext könnte so aussehen. Die Richtlinie und die Antwort sind ausschließlich zur Veranschaulichung des Formats erfunden:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
Verwenden Sie Passagenkennungen, die auf die genaue Dokumentversion und den Text verweisen, die eine prüfende Person einsehen kann. Ein Dokumenttitel allein kann zu allgemein sein, um eine bestimmte Aussage zu überprüfen.
Das Hugging Face Inferenz-Setup festlegen
Halten Sie die Repository-Namen und unveränderlichen Revisionen von Modell und Tokenizer fest, ebenso gegebenenfalls einen Adapter und dessen Revision, ob die Gewichte zusammengeführt oder quantisiert sind, das Backend, die Paketversionen und die Hardware. Speichern Sie außerdem den exakten Prompt und das Chat-Template, die Reihenfolge des Kontexts, Kürzungsregeln, die maximale Eingabelänge und die Decoding-Parameter. Notieren Sie bei einer adapterbasierten Feinabstimmung, ob die evaluierte Konfiguration nur das Basismodell oder das Basismodell mit Adapter umfasst.
Das folgende Ausführungsskript für kompatible kausale Sprachmodelle dient der Veranschaulichung und ist ungetestet. Ersetzen Sie die Platzhalter durch tatsächliche Repository-Namen und unveränderliche Revisionen. Es verwendet Greedy Decoding, um Stichprobenvariation zu reduzieren, und hält den Kontext fest; es lädt keinen Adapter, führt kein Retrieval durch und bewertet keine Ergebnisse. Einige Modelle erfordern ein modellspezifisches Chat-Template oder bestimmte Tokenizer-Einstellungen. Falls die beiden Modelle unterschiedliche Templates benötigen, dokumentieren Sie diesen Unterschied und behandeln Sie ihn als Einschränkung des Vergleichs.
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
Prüfen Sie vor einem vollständigen Durchlauf einige Prompts anhand des Kontextlimits jedes Modells. Kürzen Sie Belege nicht stillschweigend: Wenden Sie entweder dieselbe dokumentierte Kürzungsregel an oder kennzeichnen Sie den Fall als nicht evaluierbar. Greedy Decoding garantiert nicht über alle Hardware- und Softwarekonfigurationen hinweg identische Ausgaben. Wenn Sampling Teil des vorgesehenen Einsatzes ist, halten Sie dessen Einstellungen und Seeds fest und wiederholen Sie die Durchläufe, um die Variabilität zu untersuchen.
Retrieval, Antworten und Quellenangaben bewerten
Halten Sie die folgenden Maße getrennt. Veröffentlichen Sie für jede Rate den Zähler, den Nenner und die Zahl ausgeschlossener Fälle; weisen Sie die Ergebnisse auch nach Teilgruppen aus.
| Maß | Praktische Prüfung |
|---|---|
| Retrieval Recall | Wie häufig enthielt die abgerufene Menge bei Fragen mit bekannten belegenden Passagen die erforderlichen Belege? Legen Sie fest, ob alle erforderlichen Passagen vorhanden sein müssen. |
| Antwortkorrektheit | Stimmt die Antwort mit der Referenz überein oder erfüllt sie das Bewertungsraster des Falls? Verwenden Sie Exact Match nur dort, wo die Formulierung ausreichend eingeschränkt ist. |
| Belegbarkeit der Aussagen | Werden die Tatsachenbehauptungen der Antwort durch die bereitgestellten Passagen gestützt? Prüfen Sie Aussagen einzeln, wenn Antworten mehrere enthalten. |
| Zitierqualität | Existiert jede zitierte ID und stützt sie die zugehörige Aussage? Prüfen Sie auch, ob wesentliche Aussagen mit Quellenangaben versehen sind. |
| Antwortverzicht | Gibt das Modell bei unzureichendem Kontext an, dass die Belege nicht ausreichen? Vermeidet es bei beantwortbaren Fällen einen unnötigen Antwortverzicht? |
Beispielsweise besteht „30 Tage [policy-v1:p2]“ den beispielhaften Fall, wenn diese Passage die genannte Regel enthält. „30 Tage [policy-v1:p3]“ sollte bei der Prüfung der Quellenbelegung durchfallen, wenn p3 sie nicht belegt – auch wenn die Dauer korrekt ist. Eine erfundene Passagen-ID sollte sowohl bei der Prüfung der ID-Gültigkeit als auch bei der Prüfung der Belegung durchfallen.
Automatisierte ID- und Formatprüfungen sind nützlich, können aber nicht feststellen, ob eine Passage eine Aussage tatsächlich stützt. Verwenden Sie für Belegbarkeit und Korrektheit ein schriftliches Bewertungsraster und eine menschliche Prüfung. Falls Sie ein Modell als Judge einsetzen, halten Sie dessen Version und Prompt fest und lassen Sie eine Stichprobe seiner Bewertungen überprüfen. Speichern Sie die Ausgaben beider Modelle und vergeben Sie Fehlerlabels wie missing_evidence, unsupported_claim, wrong_citation oder unnecessary_abstention.
Fehler untersuchen und Ergebnisse berichten
Wenn eine korrekte Passage fehlt, prüfen Sie Indexierung, Chunking, Korpusversion und Retrieval-Einstellungen, bevor Sie den Generator ändern. Ist die Passage vorhanden, aber die Antwort nicht belegt, untersuchen Sie den Prompt und das Generierungsverhalten. Ist die Antwort korrekt, verweist aber auf die falsche Passage, behandeln Sie die Quellenzuordnung als eigenständigen Fehler und nicht als bloßes Formatierungsproblem.
Veröffentlichen Sie zusammen mit den Ergebnissen ein kurzes Laufmanifest: Erstellung und Aufteilung des Datensatzes, Dokument-Snapshot, Modell- und Adapterrevisionen, Prompts, Retrieval-Konfiguration, Decoding-Einstellungen, Bewertungsregeln, Fallzahlen pro Teilgruppe und repräsentative Fehler. Bei kleinen Datensätzen können wenige Beispiele einen Prozentwert erheblich verändern. Wiederholen Sie gegebenenfalls Durchläufe mit Sampling und unterscheiden Sie Schwankungen zwischen den Durchläufen von der Unsicherheit, die durch einen begrenzten Testdatensatz entsteht.
Ein öffentlicher Benchmark kann zusätzlichen Kontext liefern, ersetzt aber diese aufgabenspezifischen Belege nicht. Die belastbare Schlussfolgerung ist begrenzt: Das Ergebnis beschreibt diese Modelle, Dokumente, Fragen und Einstellungen – nicht jede Document-QA-Aufgabe.
Quellen
- Hugging Face Community: „What’s your method for benchmarking?“ — aufgabenorientierte Evaluation, faire Vergleiche zwischen Basismodell und feinabgestimmtem Modell sowie Aspekte der Berichterstattung.
- Hugging Face LLM Course: Evaluation — weitere Grundlagen zur Modellevaluation.
- Hugging Face Cookbook: LLM-as-a-judge — Grundlagen zur Nutzung eines Modells als Unterstützung bei der Evaluation.
FAQ
Sollte ich zuerst das Retrieval oder das Sprachmodell evaluieren?
Vergleichen Sie zunächst die Generatoren anhand identischer, festgelegter Passagen, um ihr Verhalten isoliert zu betrachten. Evaluieren Sie anschließend den gesamten Retrieval- und Generierungsablauf, einschließlich der Frage, ob der Retriever die erforderlichen Belege findet.
Zählt eine korrekte Antwort mit Quellenangabe als erfolgreiches Ergebnis?
Nicht unbedingt. Prüfen Sie, ob die zitierte Passage existiert und die zugehörige Aussage tatsächlich stützt. Eine korrekte Antwort mit einer irrelevanten oder erfundenen Quellenangabe fällt bei der Quellenzuordnung durch.
Kann ich statt einer menschlichen Prüfung einen LLM Judge einsetzen?
Ein LLM Judge kann ein nützliches Signal liefern, seine Entscheidungen sollten aber nicht automatisch als Referenzwerte gelten. Halten Sie Modellversion und Prompt fest, verwenden Sie ein klares Bewertungsraster und lassen Sie eine Stichprobe von Menschen überprüfen.
Ähnliche Artikel
Guides
GPT 6.2 Astra API: Kostenschätzung für dokumentenbasierte Fragen und Antworten
Schätzen Sie die Kosten für dokumentenbasierte Fragen und Antworten mit GPT 6.2 Astra anhand expliziter Token-Annahmen, Kontextstufen, Cache-Preise und nachvollziehbarer Berechnungen.
Guides
Claude Fable 5.2 API-Kosten für Dokumentenfragen schätzen
Eine reproduzierbare Methode zur Schätzung der Claude Fable 5.2-Kosten für Fragen zu Dokumenten mit klaren Token-Annahmen, Hinweisen zur Quellenzuordnung und datierten Preisangaben.
Guides
Eine reproduzierbare Hugging-Face-Evaluierung für das Support-Triage erstellen
Ein praxisnaher Workflow zum Vergleich eines Basismodells mit einem Fine-Tuning anhand zurückgehaltener Support-Tickets – mit menschlicher Freigabe und transparenten Einschränkungen.
Guides
GPT Image 2.6 Sunburst: API-Kosten für Fragen und Antworten zu Dokumenten
Erstellen Sie auf Basis expliziter Annahmen zur Bildeingabe ein nachvollziehbares Budget für Fragen und Antworten zu Dokumenten und berücksichtigen Sie unbekannte Kosten für Antwortgenerierung und Quellenangaben gesondert.