GuidesOneMux

Hugging Face에서 문서 질의응답을 평가하는 방법

답변 품질, 검색, 출처 귀속, 답변 보류를 검증하는 재현 가능한 문서 질의응답 평가를 구축합니다.

AI

요약 · TL;DR

별도로 보관한 질문으로 문서 QA 모델을 비교하면서 검색 실패, 근거 없는 답변, 오해를 부르는 인용을 구분하는 실무 워크플로입니다.

핵심 요점

  • 시스템이 실제로 다룰 문서와 판단을 대표하는 질문을 별도로 보관해 평가를 시작합니다.
  • 전체 검색 파이프라인을 테스트하기 전에 동일한 질문과 고정된 컨텍스트로 기본 모델과 파인튜닝 모델을 비교합니다.
  • 답변 정확성, 주장에 대한 근거, 인용 품질, 답변 보류를 각각 따로 평가합니다.
  • 모든 결과와 함께 모델 리비전, 프롬프트, 생성 설정, 문서 버전, 출력, 알려진 한계를 저장합니다.
목차 (7)

답변과 근거를 별도로 평가하기

문서 질의응답을 유용하게 평가하려면 두 가지를 물어야 합니다. 답변이 정확한가, 그리고 인용된 구절이 그 답변을 뒷받침하는가? 답변이 정확하더라도 무관한 구절을 인용했다면 출처가 신뢰할 만하게 제시된 답변이 아닙니다. 검색된 텍스트를 정확히 요약한 답변이라도 검색 단계에서 오래된 문서를 제공했다면 틀릴 수 있습니다.

실제 문서에 관한 질문을 별도로 보관한 평가 세트로 시작하세요. 같은 질문, 출처 구절, 프롬프트, 생성 설정을 사용해 기본 모델과 파인튜닝 모델을 비교한 다음 검색을 별도로 평가합니다. 이는 별도 보관 평가 세트, 기본 모델 기준선, 고정된 설정, 작업별 지표, 개별 실패 사례 점검을 권장하는 Hugging Face 커뮤니티의 벤치마킹 논의의 작업 우선 접근법을 따른 것입니다.

사전 준비와 평가 범위

Hugging Face를 통해 사용할 수 있는 기본 모델과 해당하는 경우 그 파인튜닝 모델이 필요하며, 평가에 문서를 사용할 권한도 있어야 합니다. 호환되는 버전의 transformers, torch와 모델별 의존성이 있다면 이를 설치하세요. 설치된 버전을 기록해야 합니다. 하드웨어와 메모리 요구 사항은 모델에 따라 달라집니다. 아래의 예시 실행 코드는 특정 모델로 테스트되지 않았습니다.

실행하기 전에 무엇을 비교할지 정하세요.

  • 생성 모델 비교: 두 모델에 동일하게 고정된 구절을 제공합니다. 이렇게 하면 검색 결과의 변화와 분리해 답변 생성과 출처 귀속을 살펴볼 수 있습니다.
  • 종단 간 비교: 실제 검색기와 생성 모델을 함께 실행합니다. 배포된 워크플로를 측정하지만, 점수 변화를 자동으로 모델의 영향이라고 볼 수는 없습니다.

가능하다면 두 평가를 모두 수행하세요. 생성 모델 비교는 같은 근거가 주어졌을 때 파인튜닝이 도움이 되는지 알려주고, 종단 간 테스트는 전체 시스템이 작동하는지 보여줍니다.

별도 보관한 문서 QA 세트 구축하기

파인튜닝 전에 질문과 관련 문서 또는 문서 그룹을 별도로 보관하세요. 분할된 데이터 간에 중복되거나 거의 중복된 구절이 있는지 확인해야 합니다. 모델이 같은 답변 구절로 학습했다면 질문의 표현을 바꾸는 것만으로는 데이터 누출을 막을 수 없습니다. 검색 테스트를 위해서는 시스템이 검색할 수 있는 문서가 포함된 별도의 버전 관리 코퍼스를 유지하세요.

예상 사용 환경과 비슷한 비율로 사례를 포함하고, 의도적으로 어렵게 구성한 세트를 일반적인 트래픽으로 제시하지 말고 어려운 유형은 별도로 보고하세요.

유형평가 대상 예시
일반하나의 구절에서 답을 찾을 수 있는 직접적인 질문
다중 구절두 구절의 근거가 필요한 답변
답변 불가제공된 컨텍스트에 답이 없는 경우
상충 또는 구버전두 버전의 내용이 다르며 질문이나 메타데이터가 적용할 버전을 지정하는 경우
회귀기본 모델이 이전에 정확하게 답하고 인용한 사례
복잡하거나 긴 문서관련 근거가 길거나 형식이 불량한 문서에 포함된 경우

각 사례에 대해 고정 ID, 질문, 예상 답변 또는 채점 기준, 출처 문서 버전, 근거 구절 ID, 제공된 컨텍스트의 충분 여부를 저장하세요. 적절한 경우 허용 가능한 대체 답변과 인용도 명시합니다. 근거에 해석이 필요하다면 모호한 레이블을 정답으로 취급하기 전에 검토자가 이를 확정하도록 하세요.

고정 컨텍스트 테스트를 위한 간단한 레코드는 다음과 같을 수 있습니다. 정책과 답변은 형식 설명만을 위해 만들어진 예시입니다.

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

검토자가 확인할 수 있는 정확한 문서 버전과 텍스트를 가리키는 구절 식별자를 사용하세요. 문서 제목만으로는 특정 주장을 검증하기에 범위가 너무 넓을 수 있습니다.

Hugging Face 추론 설정 고정하기

모델과 토크나이저의 저장소 이름 및 변경 불가능한 리비전, 어댑터와 그 리비전이 있다면 해당 정보, 가중치의 병합 또는 양자화 여부, 백엔드, 패키지 버전, 하드웨어를 기록하세요. 정확한 프롬프트와 채팅 템플릿, 컨텍스트 순서, 잘라내기 규칙, 최대 입력 길이, 디코딩 매개변수도 저장합니다. 어댑터 기반 파인튜닝의 경우 평가한 구성이 기본 모델 단독인지, 기본 모델과 어댑터를 결합한 것인지 명시하세요.

다음은 호환되는 인과적 언어 모델을 위한 테스트되지 않은 예시 실행 코드입니다. 자리 표시자를 실제 저장소 이름과 변경 불가능한 리비전으로 바꾸세요. 샘플링 변동을 줄이기 위해 그리디 디코딩을 사용하고 컨텍스트를 고정합니다. 어댑터를 로드하거나, 검색을 수행하거나, 결과를 채점하지는 않습니다. 일부 모델에는 모델별 채팅 템플릿이나 토크나이저 설정이 필요합니다. 두 모델에 서로 다른 템플릿이 필요하다면 그 차이를 문서화하고 비교의 한계로 다루세요.

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

전체 실행 전에 각 모델의 컨텍스트 한도를 기준으로 프롬프트 몇 개를 확인하세요. 근거를 알리지 않고 잘라내지 말고, 문서화된 동일한 잘라내기 정책을 적용하거나 해당 사례를 평가 불가로 표시해야 합니다. 그리디 디코딩을 사용해도 모든 하드웨어와 소프트웨어 구성에서 동일한 출력이 보장되지는 않습니다. 실제 배포에 샘플링을 사용할 계획이라면 설정과 시드를 기록하고 반복 실행해 변동성을 살펴보세요.

검색, 답변, 인용 채점하기

다음 측정 항목은 구분해서 관리하세요. 각 비율에 대해 분자, 분모, 제외된 사례 수를 공개하고 유형별 결과도 보고합니다.

측정 항목실무 점검 사항
검색 재현율근거 구절이 알려진 질문에서 검색된 구절 집합에 필요한 근거가 포함된 경우는 얼마나 되는가? 필요한 구절이 모두 있어야 하는지도 정의합니다.
답변 정확성답변이 참조 답변과 일치하거나 해당 사례의 채점 기준을 충족하는가? 표현이 충분히 제한된 경우에만 완전 일치를 사용합니다.
주장 근거답변의 사실 주장이 제공된 구절로 뒷받침되는가? 답변에 여러 주장이 있으면 각각 검토합니다.
인용 품질인용된 각 ID가 존재하고 연결된 주장을 뒷받침하는가? 중요한 주장에 인용이 있는지도 확인합니다.
답변 보류컨텍스트가 부족한 사례에서 모델이 근거가 부족하다고 말하는가? 답변 가능한 사례에서는 불필요한 답변 보류를 피하는가?

예를 들어 해당 구절에 명시된 규칙이 있다면 “30일 [policy-v1:p2]”는 예시 사례를 통과합니다. “30일 [policy-v1:p3]”의 경우 p3가 그 규칙을 입증하지 못한다면 기간이 정확하더라도 인용 근거 검사에서 실패해야 합니다. 존재하지 않는 구절 ID는 ID 유효성 검사와 근거 검사 모두에서 실패해야 합니다.

자동화된 ID 및 형식 검사는 유용하지만, 구절이 주장을 논리적으로 뒷받침하는지까지 입증할 수는 없습니다. 근거와 정확성을 판단할 때는 문서화된 채점 기준과 사람의 검토를 사용하세요. 모델 평가자를 사용한다면 버전과 프롬프트를 기록하고 판단 결과 중 일부를 표본 감사합니다. 두 모델의 출력을 모두 저장하고 missing_evidence, unsupported_claim, wrong_citation, unnecessary_abstention과 같은 오류 레이블을 부여하세요.

문제를 진단하고 결과 보고하기

올바른 구절이 없다면 생성 모델을 변경하기 전에 인덱싱, 청킹, 코퍼스 버전, 검색 설정을 살펴보세요. 구절은 있지만 답변에 근거가 없다면 프롬프트와 생성 동작을 점검합니다. 답변은 정확하지만 잘못된 구절을 인용했다면 단순한 서식 문제가 아니라 별도의 출처 귀속 실패로 다뤄야 합니다.

결과와 함께 간단한 실행 명세를 공개하세요. 데이터셋 구축 및 분할 방식, 문서 스냅샷, 모델과 어댑터 리비전, 프롬프트, 검색 구성, 디코딩 설정, 채점 규칙, 유형별 사례 수, 대표적인 실패 사례를 포함합니다. 세트가 작으면 몇 개의 사례만으로도 백분율이 크게 달라질 수 있습니다. 해당하는 경우 샘플링 실행을 반복하고, 실행 간 변동과 제한된 테스트 세트로 인한 불확실성을 구분하세요.

공개 벤치마크는 맥락을 더할 수 있지만 작업별 근거를 대체할 수는 없습니다. 타당하게 내릴 수 있는 결론의 범위는 제한적입니다. 결과는 모든 문서 QA 작업이 아니라 평가에 사용한 모델, 문서, 질문, 설정에 관한 것입니다.

출처

FAQ

검색과 언어 모델 중 무엇을 먼저 평가해야 하나요?

먼저 동일하게 고정된 구절을 사용해 생성 모델을 비교하면 각 모델의 동작을 분리해서 살펴볼 수 있습니다. 그다음 검색기가 필요한 근거를 찾는지 여부를 포함해 전체 검색 및 생성 워크플로를 평가하세요.

정확한 답변에 인용이 있으면 성공한 결과인가요?

반드시 그렇지는 않습니다. 인용된 구절이 존재하고 해당 주장을 실제로 뒷받침하는지 확인해야 합니다. 답변이 정확해도 무관하거나 존재하지 않는 인용을 제시했다면 출처 귀속에 실패한 것입니다.

사람의 검토 대신 LLM 평가자를 사용할 수 있나요?

LLM 평가자는 유용한 신호를 제공할 수 있지만 그 판단을 자동으로 정답으로 취급해서는 안 됩니다. 모델 버전과 프롬프트를 기록하고 명확한 채점 기준을 사용하며, 사람이 일부 판단을 표본 감사하도록 하세요.

관련 글