GuidesOneMux

วิธีประเมินระบบถามตอบจากเอกสารบน Hugging Face

สร้างการประเมินระบบถามตอบจากเอกสารที่ทำซ้ำได้ โดยทดสอบคุณภาพคำตอบ การค้นคืน การอ้างอิงแหล่งที่มา และการงดตอบ

AI

สรุป · TL;DR

แนวทางปฏิบัติสำหรับเปรียบเทียบโมเดลถามตอบจากเอกสารด้วยคำถามที่กันไว้ โดยแยกปัญหาการค้นคืน คำตอบที่ไม่มีหลักฐานรองรับ และการอ้างอิงที่ชวนให้เข้าใจผิด

ประเด็นสำคัญ

  • เริ่มจากคำถามที่กันไว้ซึ่งเป็นตัวแทนของเอกสารและการตัดสินใจที่ระบบจะต้องรองรับจริง
  • เปรียบเทียบโมเดลพื้นฐานและโมเดลที่ fine-tune ด้วยคำถามและบริบทคงที่ชุดเดียวกัน ก่อนทดสอบกระบวนการค้นคืนทั้งหมด
  • ให้คะแนนความถูกต้องของคำตอบ หลักฐานรองรับข้อกล่าวอ้าง คุณภาพการอ้างอิง และการงดตอบแยกจากกัน
  • บันทึก revision ของโมเดล พรอมป์ต์ การตั้งค่าการสร้างคำตอบ เวอร์ชันเอกสาร ผลลัพธ์ และข้อจำกัดที่ทราบไว้กับผลการประเมินทุกครั้ง
ในหน้านี้ (7)

ประเมินคำตอบและหลักฐานแยกจากกัน

สำหรับระบบถามตอบจากเอกสาร การประเมินที่มีประโยชน์ควรตอบคำถามสองข้อ: คำตอบถูกต้องหรือไม่ และข้อความที่อ้างอิงรองรับคำตอบนั้นหรือไม่? คำตอบที่ถูกต้องแต่มีแหล่งอ้างอิงไม่เกี่ยวข้อง ไม่ถือเป็นคำตอบพร้อมแหล่งอ้างอิงที่เชื่อถือได้ ส่วนคำตอบที่สรุปข้อความที่ค้นคืนมาได้ตรงตามเนื้อหา ก็ยังอาจผิดได้หากระบบค้นคืนเอกสารที่ล้าสมัยมาให้

เริ่มจากชุดคำถามจริงเกี่ยวกับเอกสารที่กันไว้ เปรียบเทียบโมเดลพื้นฐานกับโมเดลที่ fine-tune โดยใช้คำถาม ข้อความต้นทาง พรอมป์ต์ และการตั้งค่าการสร้างคำตอบชุดเดียวกัน จากนั้นประเมินการค้นคืนแยกต่างหาก แนวทางนี้สอดคล้องกับการเริ่มต้นจากงานที่ต้องทำตามที่กล่าวไว้ในการสนทนาเรื่อง benchmarking ของชุมชน Hugging Face ซึ่งแนะนำให้ใช้ชุดข้อมูลที่กันไว้ โมเดลพื้นฐานเป็น baseline การตั้งค่าคงที่ ตัวชี้วัดเฉพาะงาน และการตรวจสอบกรณีที่ผิดพลาดเป็นรายกรณี

สิ่งที่ต้องเตรียมและขอบเขตการประเมิน

คุณต้องมีโมเดลพื้นฐานและโมเดลคู่กันที่ fine-tune แล้วหากมี โดยเข้าถึงได้ผ่าน Hugging Face รวมถึงได้รับอนุญาตให้ใช้เอกสารในการประเมิน ติดตั้ง transformers, torch และ dependencies เฉพาะโมเดลที่จำเป็นในเวอร์ชันที่เข้ากันได้ บันทึกเวอร์ชันที่ติดตั้งไว้ด้วย ส่วนข้อกำหนดด้านฮาร์ดแวร์และหน่วยความจำขึ้นอยู่กับโมเดล runner ตัวอย่างด้านล่างยังไม่ได้ทดสอบกับโมเดลใดโดยเฉพาะ

กำหนดให้ชัดเจนก่อนรันว่าต้องการเปรียบเทียบอะไร:

  • เปรียบเทียบตัวสร้างคำตอบ: ให้ทั้งสองโมเดลใช้ข้อความที่กำหนดคงที่ชุดเดียวกัน วิธีนี้แยกการสร้างคำตอบและการอ้างอิงออกจากความแปรผันของการค้นคืน
  • เปรียบเทียบแบบ end-to-end: รันตัวค้นคืนและตัวสร้างคำตอบจริงร่วมกัน วิธีนี้วัดเวิร์กโฟลว์ที่นำไปใช้งาน แต่ไม่อาจสรุปได้โดยอัตโนมัติว่าคะแนนที่เปลี่ยนไปเกิดจากโมเดล

หากทำได้ ให้รันทั้งสองแบบ การเปรียบเทียบตัวสร้างคำตอบจะบอกว่า fine-tune ช่วยได้หรือไม่เมื่อใช้หลักฐานเดียวกัน ส่วนการทดสอบแบบ end-to-end จะบอกว่าระบบโดยรวมทำงานได้หรือไม่

สร้างชุด Document QA ที่กันไว้

กันคำถามและเอกสารหรือกลุ่มเอกสารที่เกี่ยวข้องออกมาก่อนทำ fine-tuning ตรวจสอบว่ามีข้อความซ้ำหรือเกือบซ้ำข้ามชุดข้อมูลที่แบ่งไว้หรือไม่ เพราะการเปลี่ยนถ้อยคำของคำถามไม่ได้ป้องกันข้อมูลรั่วไหล หากโมเดลฝึกมาจากข้อความคำตอบเดียวกัน สำหรับการทดสอบการค้นคืน ให้เก็บ corpus แยกต่างหากที่ระบุเวอร์ชันไว้ และมีเอกสารที่ระบบได้รับอนุญาตให้ค้นหา

ใส่กรณีประเภทต่างๆ ในสัดส่วนที่ใกล้เคียงกับการใช้งานที่คาดไว้ และรายงานผลของกลุ่มกรณีที่ยากแยกต่างหาก แทนที่จะนำเสนอชุดที่จงใจทำให้ยากเสมือนเป็นการใช้งานทั่วไป

กลุ่มกรณีตัวอย่างสิ่งที่ประเมิน
ทั่วไปคำถามตรงไปตรงมาที่ตอบได้จากข้อความหนึ่งช่วง
หลายข้อความคำตอบที่ต้องใช้หลักฐานจากข้อความสองช่วง
ตอบไม่ได้บริบทที่ให้มาไม่มีคำตอบ
ขัดแย้งหรือล้าสมัยเอกสารสองเวอร์ชันมีเนื้อหาขัดกัน โดยคำถามหรือ metadata ระบุว่าเวอร์ชันใดใช้ได้
Regressionกรณีที่โมเดลพื้นฐานเคยตอบและอ้างอิงได้ถูกต้อง
เนื้อหาจัดรูปแบบไม่ดีหรือยาวหลักฐานที่เกี่ยวข้องฝังอยู่ในเอกสารที่ยาวหรือจัดรูปแบบไม่ดี

สำหรับแต่ละกรณี ให้เก็บ ID ที่คงที่ คำถาม คำตอบที่คาดหวังหรือเกณฑ์การให้คะแนน เวอร์ชันเอกสารต้นทาง ID ของข้อความสนับสนุน และข้อมูลว่าบริบทที่ให้มาเพียงพอหรือไม่ ระบุคำตอบและการอ้างอิงทางเลือกที่ยอมรับได้ตามความเหมาะสม หากหลักฐานต้องอาศัยการตีความ ให้ผู้ตรวจทานตัดสินป้ายกำกับที่กำกวมก่อนนำไปใช้เป็น ground truth

ตัวอย่างระเบียนแบบกระชับสำหรับการทดสอบ บริบทคงที่ อาจมีลักษณะดังนี้ โดยนโยบายและคำตอบถูกสมมติขึ้นเพื่อแสดงรูปแบบเท่านั้น:

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

ใช้ตัวระบุข้อความที่ชี้ไปยังเวอร์ชันเอกสารและข้อความที่ตรงกันทุกประการและผู้ตรวจทานเปิดตรวจได้ ชื่อเอกสารเพียงอย่างเดียวอาจกว้างเกินไปสำหรับตรวจสอบข้อกล่าวอ้างเฉพาะข้อ

กำหนดการตั้งค่า inference บน Hugging Face ให้คงที่

บันทึกชื่อ repository และ revision ที่เปลี่ยนแปลงไม่ได้ของโมเดลและ tokenizer รวมถึง adapter และ revision ของ adapter หากมี สถานะว่า weights ถูก merge หรือ quantize หรือไม่ backend เวอร์ชันแพ็กเกจ และฮาร์ดแวร์ นอกจากนี้ให้บันทึกพรอมป์ต์และ chat template ที่ใช้จริง ลำดับบริบท กฎการตัดทอน ความยาวอินพุตสูงสุด และพารามิเตอร์การถอดรหัส สำหรับโมเดลที่ fine-tune ด้วย adapter ให้ระบุด้วยว่าการตั้งค่าที่ประเมินเป็นโมเดลพื้นฐานเพียงอย่างเดียว หรือโมเดลพื้นฐานพร้อม adapter

ต่อไปนี้เป็น runner ตัวอย่างที่ยังไม่ได้ทดสอบ สำหรับ causal language models ที่เข้ากันได้ แทนที่ placeholder ด้วยชื่อ repository และ revision ที่เปลี่ยนแปลงไม่ได้จริง runner นี้ใช้ greedy decoding เพื่อลดความแปรผันจากการสุ่มและตรึงบริบทให้คงที่ โดยไม่ได้โหลด adapter ค้นคืนข้อมูล หรือให้คะแนนผลลัพธ์ บางโมเดลต้องใช้ chat template หรือการตั้งค่า tokenizer เฉพาะโมเดล หากทั้งสองโมเดลต้องใช้ template ต่างกัน ให้บันทึกความแตกต่างนั้นและถือเป็นข้อจำกัดของการเปรียบเทียบ

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

ก่อนรันเต็มรูปแบบ ให้ตรวจสอบพรอมป์ต์บางส่วนเทียบกับขีดจำกัดบริบทของแต่ละโมเดล อย่าตัดทอนหลักฐานโดยไม่แจ้ง: ให้ใช้นโยบายการตัดทอนเดียวกันที่บันทึกไว้ หรือทำเครื่องหมายว่ากรณีนั้นประเมินไม่ได้ Greedy decoding ไม่รับประกันว่าจะได้ผลลัพธ์เหมือนกันในการตั้งค่าฮาร์ดแวร์และซอฟต์แวร์ทุกแบบ หากการสุ่มเป็นส่วนหนึ่งของการใช้งานที่ตั้งใจไว้ ให้บันทึกการตั้งค่าและ seed แล้วรันซ้ำเพื่อตรวจสอบความแปรผัน

ให้คะแนนการค้นคืน คำตอบ และการอ้างอิง

แยกตัวชี้วัดต่อไปนี้ออกจากกัน สำหรับแต่ละอัตรา ให้เผยแพร่ตัวเศษ ตัวส่วน และจำนวนกรณีที่ถูกตัดออก รวมถึงรายงานผลแยกตามกลุ่มกรณี

ตัวชี้วัดวิธีตรวจสอบในทางปฏิบัติ
Retrieval recallสำหรับคำถามที่ทราบข้อความสนับสนุนอยู่แล้ว ชุดผลการค้นคืนมีหลักฐานที่จำเป็นบ่อยเพียงใด? กำหนดให้ชัดว่าต้องมีข้อความที่จำเป็นครบทุกช่วงหรือไม่
ความถูกต้องของคำตอบคำตอบตรงกับคำตอบอ้างอิงหรือผ่านเกณฑ์ของกรณีนั้นหรือไม่? ใช้ exact match เฉพาะกรณีที่ถ้อยคำมีรูปแบบจำกัดเพียงพอ
หลักฐานรองรับข้อกล่าวอ้างข้อกล่าวอ้างเชิงข้อเท็จจริงในคำตอบมีข้อความที่ให้มารองรับหรือไม่? หากคำตอบมีหลายข้อกล่าวอ้าง ให้ตรวจทีละข้อ
คุณภาพการอ้างอิงID ที่อ้างอิงแต่ละรายการมีอยู่จริงและรองรับข้อกล่าวอ้างที่ระบุไว้หรือไม่? ตรวจด้วยว่าข้อกล่าวอ้างสำคัญมีการอ้างอิงหรือไม่
การงดตอบในกรณีที่บริบทไม่เพียงพอ โมเดลระบุหรือไม่ว่าหลักฐานไม่เพียงพอ? ในกรณีที่ตอบได้ โมเดลหลีกเลี่ยงการงดตอบโดยไม่จำเป็นหรือไม่?

ตัวอย่างเช่น “30 days [policy-v1:p2]” ผ่านกรณีตัวอย่าง หากข้อความช่วงนั้นมีกฎตามที่ระบุ ส่วน “30 days [policy-v1:p3]” ควรไม่ผ่านการตรวจว่าข้ออ้างอิงรองรับคำตอบหรือไม่ หาก p3 ไม่ได้ยืนยันกฎนั้น แม้ระยะเวลาจะถูกต้องก็ตาม ID ข้อความที่แต่งขึ้นควรไม่ผ่านทั้งการตรวจสอบว่า ID มีอยู่จริงและการตรวจสอบหลักฐานรองรับ

การตรวจสอบ ID และรูปแบบโดยอัตโนมัติมีประโยชน์ แต่ไม่สามารถยืนยันได้ว่าข้อความรองรับข้อกล่าวอ้างตามหลักเหตุผล ใช้เกณฑ์ที่เขียนไว้และให้คนตรวจทานหลักฐานรองรับกับความถูกต้อง หากใช้โมเดลเป็นผู้ประเมิน ให้บันทึกเวอร์ชันและพรอมป์ต์ของโมเดลนั้น และตรวจสอบตัวอย่างผลการตัดสิน เก็บผลลัพธ์ของทั้งสองโมเดลและกำหนดป้ายกำกับข้อผิดพลาด เช่น missing_evidence, unsupported_claim, wrong_citation หรือ unnecessary_abstention

วิเคราะห์ปัญหาและรายงานผล

หากไม่มีข้อความที่ถูกต้องในผลการค้นคืน ให้ตรวจสอบการจัดทำดัชนี การแบ่ง chunk เวอร์ชัน corpus และการตั้งค่าการค้นคืนก่อนเปลี่ยนตัวสร้างคำตอบ หากมีข้อความอยู่แต่คำตอบไม่มีหลักฐานรองรับ ให้ตรวจสอบพรอมป์ต์และพฤติกรรมการสร้างคำตอบ หากคำตอบถูกต้องแต่อ้างอิงข้อความผิด ให้ถือว่าการอ้างอิงแหล่งที่มาเป็นข้อผิดพลาดแยกต่างหาก ไม่ใช่เพียงปัญหาการจัดรูปแบบ

เผยแพร่บันทึกการรันโดยย่อควบคู่กับผลลัพธ์ โดยระบุการสร้างและแบ่งชุดข้อมูล snapshot ของเอกสาร revision ของโมเดลและ adapter พรอมป์ต์ การตั้งค่าการค้นคืน การตั้งค่าการถอดรหัส กฎการให้คะแนน จำนวนในแต่ละกลุ่มกรณี และตัวอย่างความผิดพลาดที่เป็นตัวแทน เมื่อชุดทดสอบมีขนาดเล็ก ตัวอย่างเพียงไม่กี่กรณีอาจทำให้เปอร์เซ็นต์เปลี่ยนไปมาก รันซ้ำเมื่อมีการสุ่มและเกี่ยวข้องกับการทดสอบ พร้อมแยกความแปรผันระหว่างการรันออกจากความไม่แน่นอนที่เกิดจากชุดทดสอบขนาดจำกัด

benchmark สาธารณะช่วยให้เห็นบริบทเพิ่มเติมได้ แต่ไม่สามารถแทนที่หลักฐานเฉพาะงานนี้ได้ ข้อสรุปที่มีเหตุผลรองรับจึงมีขอบเขตจำกัด: ผลลัพธ์อธิบายโมเดล เอกสาร คำถาม และการตั้งค่าเหล่านี้ ไม่ใช่งาน Document QA ทุกประเภท

แหล่งข้อมูล

  • Hugging Face community: “What’s your method for benchmarking?” — การประเมินโดยเริ่มจากงาน การเปรียบเทียบโมเดลพื้นฐานกับโมเดลที่ fine-tune อย่างเป็นธรรม และข้อควรพิจารณาในการรายงานผล
  • Hugging Face LLM Course: evaluation — ความรู้พื้นฐานเพิ่มเติมเกี่ยวกับการประเมินโมเดล
  • Hugging Face Cookbook: LLM-as-a-judge — ความรู้พื้นฐานเกี่ยวกับการใช้โมเดลช่วยประเมิน

คำถามที่พบบ่อย

ควรประเมินการค้นคืนหรือโมเดลภาษาก่อน?

เริ่มจากเปรียบเทียบตัวสร้างคำตอบด้วยข้อความคงที่ชุดเดียวกัน เพื่อแยกดูพฤติกรรมของแต่ละโมเดล จากนั้นประเมินเวิร์กโฟลว์การค้นคืนและการสร้างคำตอบทั้งหมด รวมถึงตรวจว่าตัวค้นคืนพบหลักฐานที่จำเป็นหรือไม่

คำตอบที่ถูกต้องและมีการอ้างอิงถือว่าประสบความสำเร็จหรือไม่?

ไม่เสมอไป ต้องตรวจว่าข้อความที่อ้างอิงมีอยู่จริงและรองรับข้อกล่าวอ้างที่เกี่ยวข้อง คำตอบที่ถูกต้องแต่มีการอ้างอิงที่ไม่เกี่ยวข้องหรือแต่งขึ้นถือว่าไม่ผ่านด้านการอ้างอิงแหล่งที่มา

ใช้ LLM judge แทนการตรวจทานโดยคนได้หรือไม่?

LLM judge ให้สัญญาณที่มีประโยชน์ได้ แต่ไม่ควรถือว่าผลตัดสินเป็น ground truth โดยอัตโนมัติ ให้บันทึกเวอร์ชันโมเดลและพรอมป์ต์ ใช้เกณฑ์ที่ชัดเจน และให้คนตรวจสอบตัวอย่างผลการตัดสิน

บทความที่เกี่ยวข้อง

Guides

ประมาณค่าใช้จ่าย GPT 6.2 Astra API สำหรับการตอบคำถามจากเอกสาร

ประมาณค่าใช้จ่ายในการตอบคำถามจากเอกสารด้วย GPT 6.2 Astra โดยระบุสมมติฐานจำนวนโทเค็น ระดับบริบท อัตราแคช และวิธีคำนวณที่ตรวจสอบซ้ำได้

阅读全文 →

Guides

ประเมินค่าใช้จ่าย Claude Fable 5.2 API สำหรับการถามตอบจากเอกสาร

วิธีที่ทำซ้ำได้ในการประเมินค่าใช้จ่าย Claude Fable 5.2 สำหรับการถามตอบจากเอกสาร พร้อมสมมติฐานโทเค็นที่ระบุอย่างชัดเจน แนวทางการอ้างอิงแหล่งที่มา และตัวเลขราคาตามวันที่

阅读全文 →

Guides

วิธีสร้างการประเมิน Hugging Face ที่ทำซ้ำได้สำหรับคัดแยกทิกเก็ตฝ่ายสนับสนุน

แนวทางปฏิบัติสำหรับเปรียบเทียบโมเดลฐานกับโมเดลที่ fine-tune โดยใช้ทิกเก็ตฝ่ายสนับสนุนที่กันไว้ทดสอบ พร้อมการอนุมัติโดยมนุษย์และการระบุข้อจำกัดอย่างโปร่งใส

阅读全文 →

Guides

ค่าใช้จ่าย GPT Image 2.6 Sunburst API สำหรับตอบคำถามจากเอกสาร

จัดทำงบประมาณสำหรับการตอบคำถามจากเอกสารที่ตรวจสอบซ้ำได้ โดยระบุสมมติฐานเรื่องอินพุตภาพให้ชัดเจน และแยกค่าใช้จ่ายที่ยังไม่ทราบสำหรับการสร้างคำตอบและการอ้างอิงแหล่งที่มา

阅读全文 →