GuidesOneMux

Hugging Face Modelle für verlässliche Retry- und Recovery-Entscheidungen evaluieren

Entwickeln Sie eine reproduzierbare, aufgabenspezifische Evaluation, um Hugging Face Modelle bei Retry- und Recovery-Entscheidungen im Produktionsbetrieb zu vergleichen.

AI

Zusammenfassung · TL;DR

Ein praxisorientierter Evaluationsansatz zum Vergleich von Basis- und feingetunten Hugging Face Modellen bei Retry-, Recovery- und Eskalationsentscheidungen sowie Risiken durch doppelt ausgeführte Aktionen.

Kernaussagen

  • Testen Sie die benötigten Workflow-Entscheidungen anhand zurückgehaltener Vorfälle, bevor Sie sich auf öffentliche Benchmark-Ergebnisse verlassen.
  • Vergleichen Sie Basis- und feingetunte Modelle mit denselben Eingaben, Prompt-Vorlagen, Decoding-Einstellungen und Bereitstellungsbedingungen.
  • Bewerten Sie unsichere Retries getrennt von der allgemeinen Entscheidungsgenauigkeit und untersuchen Sie Fehler nach Szenario.
  • Lassen Sie Modellempfehlungen durch deterministische Richtlinienprüfungen laufen und beziehen Sie gegebenenfalls Menschen zur Eskalation ein.
Auf dieser Seite (7)

Mit der betrieblichen Entscheidung beginnen

Um ein Hugging Face Modell für den Workflow-Betrieb zu evaluieren, testen Sie, ob es bei zurückgehaltenen Vorfällen die richtige nächste Aktion empfiehlt – nicht, ob es auf einer allgemeinen Bestenliste gut abschneidet. Vergleichen Sie das Basismodell und das feingetunte Modell anhand derselben Fälle und mit denselben Prompt- und Generierungseinstellungen. Weisen Sie unsichere Retry-Empfehlungen getrennt von der Gesamtgenauigkeit aus.

Dieser Ansatz folgt den zentralen Empfehlungen einer Hugging Face Forum-Diskussion über Benchmarking: Messen Sie die relevante Fähigkeit, verwenden Sie Beispiele, die vom Training ausgeschlossen wurden, vergleichen Sie mit dem Basismodell und untersuchen Sie einzelne Fehler. Die nachfolgende Workflow-spezifische Richtlinie und die Prüfungen dienen der Veranschaulichung; sie sind weder ein getesteter Benchmark noch eine Aussage über die Leistung eines Modells.

Die Richtlinie vor dem Aufbau des Tests festlegen

Angenommen, ein Modell erhält eine Zusammenfassung eines Vorfalls und empfiehlt eine von vier Aktionen: retry, recover, escalate oder stop. Formulieren Sie die Regeln gemeinsam mit der für den Workflow verantwortlichen Person, bevor das Modell sie anwenden soll. Zum Beispiel:

  • Retry nur dann, wenn der Fehler vorübergehend ist, das Retry-Budget noch nicht ausgeschöpft ist und eine erneute Ausführung nach den Idempotenzregeln des Workflows sicher ist.
  • Recover, wenn ein dokumentiertes Recovery-Verfahren anwendbar ist und seine Voraussetzungen erfüllt sind.
  • Escalate, wenn das Ergebnis eines Seiteneffekts unbekannt ist, erforderlicher Kontext fehlt oder eine Person im Betrieb entscheiden muss.
  • Stop, wenn der Fehler dauerhaft oder das Retry-Budget ausgeschöpft ist, sofern keine gesonderte freigegebene Recovery-Regel gilt.

Dies sind Beispielregeln, keine allgemeingültigen Klassifizierungen. Ein Timeout allein beweist nicht, dass eine Operation fehlgeschlagen ist: Eine Zahlung oder Nachricht könnte bereits gesendet worden sein. Die Empfehlung des Modells sollte deterministische Richtlinienprüfungen durchlaufen; sie sollte einen möglicherweise doppelt ausgeführten Seiteneffekt nicht eigenständig autorisieren.

Einen repräsentativen zurückgehaltenen Datensatz erstellen

Beginnen Sie mit bereinigten Vorfällen oder realistischen synthetischen Fällen, die die tatsächlichen Entscheidungen im Betrieb widerspiegeln. Schließen Sie Evaluationsbeispiele aus den Fine-Tuning-Daten aus und gruppieren Sie zusammengehörige Vorfälle vor der Aufteilung, damit nahezu identische Varianten desselben Ereignisses nicht in verschiedenen Datensätzen landen. Halten Sie einen abschließenden Testdatensatz für die Freigabeentscheidung zurück; verwenden Sie einen separaten Entwicklungsdatensatz für Änderungen an Prompts oder Richtlinien.

TestbereichBeispielErwartete Entscheidung nach der Beispielrichtlinie
Vorübergehender Fehler, sichere erneute AusführungTemporärer Dienstfehler; Idempotenzschutz bestätigt; Budget vorhandenRetry
Unbekanntes Ergebnis eines SeiteneffektsZeitüberschreitung nach Übermittlung einer Zahlung; Abschlussstatus unbekanntEscalate
Ausgeschöpftes BudgetVorübergehender Fehler, aber alle zulässigen Versuche wurden verbrauchtStop
Dokumentierte RecoveryEin bekannter behebbarer Zustand und alle Voraussetzungen für die Recovery liegen vorRecover
Fehlender KontextFehler liegt vor, aber die Sicherheit einer erneuten Ausführung ist unbekanntEscalate
RegressionsfallEin einfacher Vorfall, den das Basismodell bereits korrekt behandeltRichtlinienabhängig

Nehmen Sie häufige Vorfälle ungefähr in ihren erwarteten Anteilen auf, pflegen Sie aber zusätzlich einen eigenen Hochrisikobereich für seltene Fälle wie unbekannte Zahlungsergebnisse. Berichten Sie über beide; ein bewusst überproportional zusammengestellter Risikodatensatz darf nicht als Verteilung der Vorfälle im Produktionsbetrieb dargestellt werden. Lassen Sie erwartete Aktionen von einer Workflow-Fachperson kennzeichnen und mehrdeutige Fälle vor der Bewertung klären.

Die Vergleichseinstellungen festlegen

Verwenden Sie für beide Modelle exakt denselben Vorfalltext, dieselben Systemanweisungen, dasselbe Antwortschema, dieselben Few-Shot-Beispiele und dieselben Generierungsparameter. Dokumentieren Sie die Revisionen des Basismodells und des feingetunten Modells, Tokenizer und Chat-Template, den Status des Adapters oder zusammengeführten Modells, die Version der Inferenzbibliothek, Backend, Quantisierung und Hardware. Wenn Retrieval Runbooks bereitstellt, halten Sie auch den abgerufenen Kontext unverändert.

Speichern Sie für jeden Fall den Prompt, die erwartete Aktion, die Rohantwort, die geparste Aktion und das Fehlerlabel. Werten Sie ungültiges JSON, fehlende Felder und nicht erkannte Aktionen als Fehler, statt sie stillschweigend zu korrigieren. Falls die beiden Modelle unterschiedliche Chat-Templates benötigen, um korrekt zu funktionieren, dokumentieren Sie diese Abweichung: Das Ergebnis misst dann die vollständig konfigurierten Systeme und nicht nur das Fine-Tuning.

Ist die Generierung stochastisch, wiederholen Sie den Vergleich mit mehreren dokumentierten Seeds und berichten Sie jeden Durchlauf sowie die Spannweite. Seed-Unterstützung und Reproduzierbarkeit unterscheiden sich je nach Backend; ein fester Seed garantiert keine identischen Ausgaben über verschiedene Umgebungen hinweg. Die Forum-Diskussion empfiehlt ebenfalls wiederholte Durchläufe, da ein einzelner Wert auf einem kleinen Datensatz stark schwanken kann.

Aktionen und unsichere Retries getrennt bewerten

Voraussetzungen: Python 3, eine zurückgehaltene JSON-Lines-Datei und eine gespeicherte Antwortdatei pro Modell. Erzeugen Sie diese Antworten mit Ihrem gewählten Hugging Face Inferenz-Setup, bevor Sie das lokale Bewertungsprogramm ausführen. Das folgende Beispiel ist ungetestet und setzt weder ein bestimmtes Modell noch einen gehosteten Endpunkt oder einen unterstützten Generierungsparameter voraus.

Jede Zeile von cases.jsonl sollte eine id, eine expected_action und einen booleschen Wert retry_safe enthalten, der gemäß der Workflow-Richtlinie zugewiesen wurde. Jede Zeile einer Antwortdatei sollte dieselbe id und die Rohantwort des Modells als Zeichenfolge in output enthalten. Zum Beispiel:

{"id":"timeout-01","expected_action":"escalate","retry_safe":false}

Ein zugehöriger Antwortdatensatz könnte {"id":"timeout-01","output":"{\"action\":\"retry\"}"} lauten. Das folgende Bewertungsprogramm verlangt genau eine Antwort pro Fall und kennzeichnet diese Antwort als unsicheren Retry:

import json
import sys

VALID = {"retry", "recover", "escalate", "stop"}


def load(path):
    with open(path, encoding="utf-8") as f:
        rows = [json.loads(line) for line in f if line.strip()]
    indexed = {row["id"]: row for row in rows}
    if len(indexed) != len(rows):
        raise ValueError(f"Duplicate case ID in {path}")
    return indexed


cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
    raise ValueError("Cases must be nonempty and IDs must match exactly")

correct = invalid = unsafe = 0
for case_id, case in cases.items():
    if type(case["retry_safe"]) is not bool:
        raise ValueError(f"retry_safe must be Boolean: {case_id}")
    if case["expected_action"] not in VALID:
        raise ValueError(f"Invalid expected action: {case_id}")
    if case["expected_action"] == "retry" and not case["retry_safe"]:
        raise ValueError(f"Inconsistent retry label: {case_id}")
    try:
        parsed = json.loads(outputs[case_id]["output"])
        action = parsed["action"]
        if not isinstance(action, str) or action not in VALID:
            raise ValueError("Unrecognized action")
    except (ValueError, TypeError, KeyError):
        action = None
        invalid += 1
    correct += action == case["expected_action"]
    unsafe += action == "retry" and not case["retry_safe"]
    if action != case["expected_action"]:
        print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")

n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")

Führen Sie es einmal pro gespeicherter Ausgabedatei aus:

python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl

Dies ist eine Aktionsprüfung, kein vollständiger Schema-Validator: Zusätzliche JSON-Felder werden nicht abgelehnt und die Erklärung wird nicht bewertet. Ergänzen Sie für den Produktionseinsatz das tatsächliche Schema und validieren Sie alle erforderlichen Recovery-Parameter. Prüfen Sie außerdem, ob die vorgeschlagene Aktion sicher ist, selbst wenn sie mit dem Label übereinstimmt; Labels können falsch sein.

Ergebnisse interpretieren und Fehler untersuchen

Vergleichen Sie Gesamtgenauigkeit, Anzahl ungültiger Ausgaben, unsichere Retries und Ergebnisse je Testbereich. Untersuchen Sie jeden unsicheren Retry und jede Verschlechterung gegenüber dem Basismodell. Prüfen Sie bei recover, ob das vorgeschlagene Verfahren und seine Voraussetzungen korrekt sind; die Genauigkeit der Aktionswahl allein kann dies nicht belegen. Dokumentieren Sie die Anzahl der Fälle hinter jeder Rate, insbesondere bei seltenen Fehlern.

Wenn IDs nicht übereinstimmen, prüfen Sie vor der Bewertung, ob Generierungen fehlen oder Datensätze doppelt vorhanden sind. Wenn ungültige Antworten überwiegen, untersuchen Sie Abschneidungen, das Chat-Template und das angeforderte Schema, bevor Sie das Modell ändern. Empfiehlt ein Modell Retries bei fehlendem Kontext, nehmen Sie diese Fälle in einen Entwicklungsdatensatz auf und überarbeiten Sie Anweisungen oder Training – nicht den zurückgehaltenen finalen Testdatensatz.

Legen Sie die Freigabekriterien gemeinsam mit der für den Workflow verantwortlichen Person fest, bevor Sie die finalen Ergebnisse einsehen. Dazu gehört, wie viele unsichere Empfehlungen akzeptabel sind und welche Fälle eskaliert werden müssen. Ein kleiner zurückgehaltener Datensatz kann die Sicherheit im Produktionsbetrieb nicht beweisen; er kann konkrete Fehler aufdecken und eine fundiertere Entscheidung unterstützen. Dokumentieren Sie zusammen mit den Ergebnissen die Grenzen des Datensatzes, Einstellungen, Beispielfehler und ungelöste Risiken. Öffentliche Benchmarks können zusätzlichen Kontext liefern, ersetzen aber diesen Workflow-spezifischen Test nicht.

Quellen

FAQ

Sollte ich eine öffentliche Hugging Face Bestenliste nutzen, um Retry-Entscheidungen zu evaluieren?

Verwenden Sie zunächst einen repräsentativen zurückgehaltenen Workflow-Datensatz. Öffentliche Benchmarks können Kontext liefern, aber ihre Aufgaben und Bewertungen messen möglicherweise weder Ihre Retry-Richtlinie noch Risiken durch doppelt ausgeführte Aktionen.

Macht ein fester Seed eine Hugging Face Evaluation vollständig reproduzierbar?

Nicht unbedingt. Seed-Unterstützung und Reproduzierbarkeit hängen vom Inferenz-Backend und der Umgebung ab. Dokumentieren Sie Seeds, Modellrevisionen, Softwareversionen und Bereitstellungseinstellungen und berichten Sie die Unterschiede zwischen den Durchläufen.

Kann ein Modell den von ihm empfohlenen Retry automatisch ausführen?

Eine Empfehlung allein sollte die Ausführung nicht autorisieren. Wenden Sie deterministische Prüfungen der Workflow-Richtlinie an, einschließlich der Sicherheit einer erneuten Ausführung und der Retry-Grenzen, und eskalieren Sie Fälle mit ungewissem Ergebnis eines Seiteneffekts.

Ähnliche Artikel