GuidesOneMux

안정적인 재시도·복구 결정을 위한 Hugging Face 모델 평가

운영 환경의 재시도 및 복구 결정을 비교할 수 있도록 작업별로 재현 가능한 Hugging Face 모델 평가를 설계합니다.

AI

요약 · TL;DR

재시도, 복구, 에스컬레이션, 중복 작업 위험과 관련해 기본 Hugging Face 모델과 파인튜닝 모델을 비교하는 실용적인 평가 설계입니다.

핵심 요점

  • 공개 벤치마크 점수에 의존하기 전에 학습에서 제외한 인시던트로 필요한 워크플로 결정을 테스트하세요.
  • 동일한 입력, 프롬프트 템플릿, 디코딩 설정, 서빙 조건으로 기본 모델과 파인튜닝 모델을 비교하세요.
  • 안전하지 않은 재시도는 전체 작업 정확도와 별도로 평가하고, 시나리오별 실패 사례를 살펴보세요.
  • 모델의 권고에는 결정론적 정책을 적용하고, 적절한 경우 사람에게 에스컬레이션하도록 하세요.
목차 (7)

운영상 결정부터 시작하기

워크플로 운영에 사용할 Hugging Face 모델을 평가할 때는 일반 리더보드에서의 성적이 아니라, 학습에서 제외한 인시던트에 대해 올바른 다음 조치를 권고하는지 테스트하세요. 동일한 사례에 동일한 프롬프트와 생성 설정을 적용해 기본 모델과 파인튜닝 모델을 비교하고, 안전하지 않은 재시도 권고는 전체 정확도와 별도로 보고합니다.

이 접근법은 벤치마킹에 관한 Hugging Face 포럼 토론의 핵심 조언을 따릅니다. 중요한 역량을 측정하고, 학습에서 제외한 예시를 사용하며, 기본 모델과 비교하고, 개별 실패 사례를 살펴보라는 것입니다. 아래의 워크플로별 정책과 점검 항목은 설명을 위한 예시이며, 검증된 벤치마크나 특정 모델의 성능에 관한 주장이 아닙니다.

테스트를 만들기 전에 정책 정의하기

모델이 인시던트 요약을 받아 retry, recover, escalate, stop 중 하나를 권고한다고 가정해 보겠습니다. 모델에 규칙을 적용하도록 요청하기 전에 워크플로 담당자와 함께 규칙을 작성하세요. 예를 들면 다음과 같습니다.

  • Retry: 일시적인 실패이고, 재시도 허용 횟수가 남아 있으며, 워크플로의 멱등성 규칙에 따라 재실행이 안전한 경우에만 수행합니다.
  • Recover: 문서화된 복구 절차를 적용할 수 있고 그 전제 조건이 충족된 경우에 수행합니다.
  • Escalate: 부수 효과의 결과를 알 수 없거나, 필요한 맥락이 누락됐거나, 운영자의 판단이 필요한 경우에 수행합니다.
  • Stop: 실패가 영구적이거나 재시도 허용 횟수를 모두 소진한 경우에 수행합니다. 단, 별도로 승인된 복구 규칙이 적용되는 경우는 예외입니다.

이는 예시 규칙이지 보편적인 분류 기준이 아닙니다. 타임아웃만으로 작업이 실패했다고 단정할 수는 없습니다. 결제나 메시지가 이미 전송됐을 수도 있습니다. 모델의 권고에는 결정론적 정책 점검을 적용해야 하며, 모델이 중복될 수 있는 부수 효과를 독자적으로 승인해서는 안 됩니다.

대표성 있는 홀드아웃 세트 구성하기

실제 운영자가 마주하는 결정 상황을 반영한 비식별 처리된 인시던트나 현실적인 합성 사례부터 시작하세요. 평가 예시는 파인튜닝 데이터에서 제외하고, 같은 사건의 유사 중복 사례가 서로 다른 세트에 섞이지 않도록 관련 인시던트를 그룹화한 뒤 분할합니다. 최종 테스트 세트는 릴리스 결정용으로 보존하고, 프롬프트나 정책을 변경할 때는 별도의 개발 세트를 사용하세요.

테스트 범주예시예시 정책에 따른 예상 결정
일시적이고 재실행이 안전한 실패일시적인 서비스 오류, 멱등성 보호 확인, 재시도 허용 횟수 남음Retry
부수 효과의 결과를 알 수 없음결제 요청을 제출한 후 타임아웃 발생, 완료 상태를 알 수 없음Escalate
재시도 허용 횟수 소진일시적인 실패이지만 허용된 시도를 모두 사용함Stop
문서화된 복구알려진 복구 가능 상태이며 모든 복구 전제 조건이 충족됨Recover
맥락 누락오류 정보는 있지만 재실행의 안전성을 알 수 없음Escalate
회귀 사례기본 모델이 이미 올바르게 처리하는 단순한 인시던트정책에 따라 다름

흔한 인시던트는 예상 발생 비율에 대략 맞춰 포함하되, 결제 결과를 알 수 없는 경우처럼 드물게 발생하는 사례를 위한 별도의 고위험 범주도 유지하세요. 두 결과를 모두 보고하고, 위험 사례를 의도적으로 과표집한 세트를 운영 환경의 인시던트 분포인 것처럼 제시해서는 안 됩니다. 평가 전에 워크플로 전문가가 예상 조치를 라벨링하고 모호한 사례를 정리하도록 하세요.

비교 설정 고정하기

두 모델에 정확히 동일한 인시던트 텍스트, 시스템 지침, 응답 스키마, 퓨샷 예시, 생성 파라미터를 사용하세요. 기본 모델과 파인튜닝 모델의 리비전, 토크나이저와 채팅 템플릿, 어댑터 또는 병합 모델 상태, 추론 라이브러리 버전, 백엔드, 양자화, 하드웨어를 기록합니다. 검색을 통해 런북을 제공한다면 검색된 맥락도 고정하세요.

각 사례에 대해 프롬프트, 예상 조치, 원시 응답, 파싱된 조치, 오류 라벨을 저장합니다. 유효하지 않은 JSON, 누락된 필드, 인식할 수 없는 조치는 조용히 수정하지 말고 실패로 처리하세요. 두 모델을 올바르게 실행하는 데 서로 다른 채팅 템플릿이 필요하다면 그 차이를 문서화해야 합니다. 이 경우 결과는 파인튜닝만이 아니라 구성된 시스템 전체를 측정합니다.

생성이 확률적으로 이뤄진다면 기록된 여러 시드로 비교를 반복하고 각 실행 결과와 그 범위를 보고하세요. 시드 지원과 재현성은 백엔드마다 다르므로 고정 시드가 환경 간 동일한 출력을 보장하지는 않습니다. 포럼 토론에서도 작은 세트의 단일 점수는 변동이 클 수 있으므로 반복 실행을 권장합니다.

조치 정확도와 안전하지 않은 재시도를 별도로 평가하기

사전 준비: Python 3, 홀드아웃 JSON Lines 파일, 모델별로 저장된 응답 파일 하나가 필요합니다. 이 로컬 평가 도구를 실행하기 전에 선택한 Hugging Face 추론 환경에서 응답을 생성하세요. 아래 예시는 테스트되지 않았으며 특정 모델, 호스팅 엔드포인트 또는 지원되는 생성 파라미터를 가정하지 않습니다.

cases.jsonl의 각 줄에는 id, expected_action, 워크플로 정책에 따라 지정된 불리언 값 retry_safe가 포함되어야 합니다. 응답 파일의 각 줄에는 동일한 id와 모델의 원시 응답을 문자열로 담은 output이 포함되어야 합니다. 예를 들면 다음과 같습니다.

{"id":"timeout-01","expected_action":"escalate","retry_safe":false}

이에 대응하는 응답 레코드는 {"id":"timeout-01","output":"{\"action\":\"retry\"}"}일 수 있습니다. 다음 평가 도구는 사례당 정확히 하나의 응답을 요구하며, 이 응답을 안전하지 않은 재시도로 표시합니다.

import json
import sys

VALID = {"retry", "recover", "escalate", "stop"}


def load(path):
    with open(path, encoding="utf-8") as f:
        rows = [json.loads(line) for line in f if line.strip()]
    indexed = {row["id"]: row for row in rows}
    if len(indexed) != len(rows):
        raise ValueError(f"Duplicate case ID in {path}")
    return indexed


cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
    raise ValueError("Cases must be nonempty and IDs must match exactly")

correct = invalid = unsafe = 0
for case_id, case in cases.items():
    if type(case["retry_safe"]) is not bool:
        raise ValueError(f"retry_safe must be Boolean: {case_id}")
    if case["expected_action"] not in VALID:
        raise ValueError(f"Invalid expected action: {case_id}")
    if case["expected_action"] == "retry" and not case["retry_safe"]:
        raise ValueError(f"Inconsistent retry label: {case_id}")
    try:
        parsed = json.loads(outputs[case_id]["output"])
        action = parsed["action"]
        if not isinstance(action, str) or action not in VALID:
            raise ValueError("Unrecognized action")
    except (ValueError, TypeError, KeyError):
        action = None
        invalid += 1
    correct += action == case["expected_action"]
    unsafe += action == "retry" and not case["retry_safe"]
    if action != case["expected_action"]:
        print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")

n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")

저장된 출력 파일마다 한 번씩 실행하세요.

python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl

이 도구는 조치를 확인하는 도구이지 완전한 스키마 검증기가 아닙니다. 추가 JSON 필드를 거부하거나 설명을 평가하지 않습니다. 운영 환경에서 사용하려면 실제 스키마를 추가하고 필요한 복구 파라미터를 검증하세요. 라벨이 틀릴 수도 있으므로, 제안된 조치가 라벨과 일치하더라도 안전한지 검토해야 합니다.

결과 해석 및 문제 해결하기

전체 정확도, 유효하지 않은 출력의 개수, 안전하지 않은 재시도, 범주별 결과를 비교하세요. 안전하지 않은 재시도와 기본 모델 대비 성능이 저하된 모든 사례를 살펴봅니다. recover의 경우 제안된 절차와 전제 조건이 올바른지 확인하세요. 조치 정확도만으로는 이를 확인할 수 없습니다. 특히 드문 실패의 경우 각 비율의 근거가 된 사례 수를 기록하세요.

ID가 일치하지 않으면 평가 전에 생성 결과가 누락됐거나 레코드가 중복됐는지 확인하세요. 유효하지 않은 응답이 대부분이라면 모델을 변경하기 전에 출력 잘림, 채팅 템플릿, 요청한 스키마를 살펴봅니다. 맥락이 부족한데도 모델이 재시도를 권고한다면 해당 사례를 개발 세트에 추가하고 지침이나 학습을 수정하세요. 따로 보존한 최종 테스트 세트는 변경하지 않습니다.

최종 결과를 보기 전에 워크플로 담당자와 릴리스 기준을 정하세요. 여기에는 허용할 수 있는 안전하지 않은 권고의 수와 에스컬레이션이 필요한 사례가 포함되어야 합니다. 작은 홀드아웃 세트만으로 운영 환경의 안전성을 증명할 수는 없지만, 구체적인 실패를 발견하고 더 많은 정보에 근거한 결정을 내리는 데 도움이 됩니다. 결과와 함께 데이터 세트의 범위, 설정, 실패 예시, 해결되지 않은 위험을 문서화하세요. 공개 벤치마크는 추가적인 맥락을 제공할 수 있지만 이 워크플로별 테스트를 대체하지는 못합니다.

출처

FAQ

재시도 결정을 평가할 때 공개 Hugging Face 리더보드를 사용해야 하나요?

먼저 대표성 있는 홀드아웃 워크플로 세트를 사용하세요. 공개 벤치마크는 맥락을 제공할 수 있지만, 해당 벤치마크의 작업과 평가 방식이 재시도 정책이나 중복 작업 위험을 측정하지 못할 수 있습니다.

고정 시드를 사용하면 Hugging Face 평가를 완벽하게 재현할 수 있나요?

반드시 그렇지는 않습니다. 시드 지원과 재현성은 추론 백엔드와 환경에 따라 달라집니다. 시드, 모델 리비전, 소프트웨어 버전, 서빙 설정을 기록하고 실행 간 변동을 보고하세요.

모델이 권고한 재시도를 자동으로 실행해도 되나요?

권고만으로 실행을 승인해서는 안 됩니다. 재실행 안전성과 재시도 제한을 포함한 결정론적 워크플로 정책 점검을 적용하고, 부수 효과의 결과가 불확실하면 에스컬레이션하세요.

관련 글