GuidesOneMux

ประเมินโมเดล Hugging Face เพื่อการตัดสินใจ Retry และ Recovery ที่เชื่อถือได้

สร้างการประเมินเฉพาะงานที่ทำซ้ำได้ เพื่อเปรียบเทียบโมเดล Hugging Face สำหรับการตัดสินใจ retry และ recovery ในระบบ production

AI

สรุป · TL;DR

แนวทางออกแบบการประเมินเชิงปฏิบัติเพื่อเปรียบเทียบโมเดล Hugging Face แบบ base และ fine-tuned ในเรื่อง retry, recovery, escalation และความเสี่ยงจากการดำเนินการซ้ำ

ประเด็นสำคัญ

  • ทดสอบการตัดสินใจในเวิร์กโฟลว์ที่คุณต้องการกับเหตุการณ์ที่กันไว้ทดสอบ ก่อนพึ่งพาคะแนน benchmark สาธารณะ
  • เปรียบเทียบโมเดล base และ fine-tuned โดยใช้อินพุต prompt template การตั้งค่า decoding และเงื่อนไขการให้บริการเดียวกัน
  • ให้คะแนนการแนะนำ retry ที่ไม่ปลอดภัยแยกจากความแม่นยำโดยรวมในการเลือก action และตรวจสอบข้อผิดพลาดแยกตามสถานการณ์
  • ให้คำแนะนำของโมเดลอยู่ภายใต้การบังคับใช้นโยบายแบบ deterministic และส่งต่อให้มนุษย์พิจารณาตามความเหมาะสม
ในหน้านี้ (7)

เริ่มจากการตัดสินใจในการปฏิบัติงาน

หากต้องการประเมินโมเดล Hugging Face สำหรับการดำเนินงานเวิร์กโฟลว์ ให้ทดสอบว่าโมเดลแนะนำ action ถัดไปได้ถูกต้องสำหรับเหตุการณ์ที่กันไว้ทดสอบหรือไม่ แทนที่จะดูเพียงว่าทำคะแนนได้ดีบน leaderboard ทั่วไปหรือไม่ เปรียบเทียบโมเดล base และ fine-tuned ด้วยกรณีเดียวกัน ใช้ prompt และการตั้งค่า generation เดียวกัน และรายงานคำแนะนำ retry ที่ไม่ปลอดภัยแยกจากความแม่นยำโดยรวม

แนวทางนี้สอดคล้องกับคำแนะนำหลักในการสนทนาบนฟอรัม Hugging Face เรื่อง benchmarking: วัดความสามารถที่สำคัญ ใช้ตัวอย่างที่ไม่รวมอยู่ในการฝึก เปรียบเทียบกับโมเดล base และตรวจสอบข้อผิดพลาดเป็นรายกรณี นโยบายและการตรวจสอบเฉพาะเวิร์กโฟลว์ด้านล่างเป็นเพียงตัวอย่างประกอบ ไม่ใช่ benchmark ที่ผ่านการทดสอบหรือข้ออ้างเกี่ยวกับประสิทธิภาพของโมเดลใด

กำหนดนโยบายก่อนสร้างชุดทดสอบ

สมมติว่าโมเดลได้รับสรุปเหตุการณ์และแนะนำหนึ่งในสี่ action ได้แก่ retry, recover, escalate หรือ stop ให้เขียนกฎร่วมกับเจ้าของเวิร์กโฟลว์ก่อนขอให้โมเดลนำไปใช้ ตัวอย่างเช่น:

  • Retry เฉพาะเมื่อความล้มเหลวเป็นแบบชั่วคราว ยังมีจำนวนครั้งที่อนุญาตให้ retry เหลืออยู่ และการรันซ้ำปลอดภัยตามกฎ idempotency ของเวิร์กโฟลว์
  • Recover เมื่อมีขั้นตอน recovery ที่จัดทำไว้ซึ่งใช้ได้กับกรณีนั้น และเป็นไปตามเงื่อนไขที่จำเป็นทั้งหมด
  • Escalate เมื่อไม่ทราบผลลัพธ์ของ side effect ขาดบริบทที่จำเป็น หรือจำเป็นต้องให้ผู้ปฏิบัติงานตัดสินใจ
  • Stop เมื่อความล้มเหลวเป็นแบบถาวรหรือใช้จำนวนครั้งที่อนุญาตให้ retry หมดแล้ว เว้นแต่จะมีกฎ recovery แยกต่างหากที่ได้รับอนุมัติและใช้ได้กับกรณีนั้น

กฎเหล่านี้เป็นตัวอย่าง ไม่ใช่เกณฑ์จำแนกที่ใช้ได้ทุกกรณี การเกิด timeout เพียงอย่างเดียวไม่ได้พิสูจน์ว่าการดำเนินการล้มเหลว เพราะอาจมีการส่งการชำระเงินหรือข้อความไปแล้ว คำแนะนำของโมเดลควรผ่านการตรวจสอบนโยบายแบบ deterministic และไม่ควรให้อำนาจโมเดลอนุมัติ side effect ที่อาจเกิดซ้ำได้ด้วยตัวเอง

สร้างชุด held-out ที่เป็นตัวแทนของสถานการณ์จริง

เริ่มจากเหตุการณ์ที่ลบข้อมูลอ่อนไหวแล้ว หรือกรณีสังเคราะห์ที่สมจริงและสะท้อนการตัดสินใจที่ผู้ปฏิบัติงานต้องเผชิญจริง อย่านำตัวอย่างประเมินไปรวมในข้อมูล fine-tuning และจัดกลุ่มเหตุการณ์ที่เกี่ยวข้องกันก่อนแบ่งชุด เพื่อป้องกันไม่ให้กรณีที่เกือบซ้ำกันจากเหตุการณ์เดียวกันรั่วไหลข้ามชุด เก็บชุดทดสอบสุดท้ายไว้สำหรับการตัดสินใจปล่อยใช้งาน และใช้ชุดพัฒนาแยกต่างหากสำหรับการเปลี่ยน prompt หรือนโยบาย

กลุ่มทดสอบตัวอย่างการตัดสินใจที่คาดหวังตามนโยบายตัวอย่าง
ความล้มเหลวชั่วคราวที่รันซ้ำได้อย่างปลอดภัยบริการขัดข้องชั่วคราว ยืนยันแล้วว่ามีการป้องกันด้วย idempotency และยังมีจำนวนครั้งที่อนุญาตเหลืออยู่Retry
ไม่ทราบผลลัพธ์ของ side effectคำขอเกิด timeout หลังส่งการชำระเงิน และไม่ทราบสถานะว่าดำเนินการเสร็จหรือไม่Escalate
ใช้จำนวนครั้งที่อนุญาตหมดแล้วความล้มเหลวชั่วคราว แต่ใช้จำนวนครั้งที่อนุญาตทั้งหมดแล้วStop
มีขั้นตอน recovery ที่จัดทำไว้พบสถานะที่ทราบว่าสามารถกู้คืนได้ และมีเงื่อนไขที่จำเป็นสำหรับ recovery ครบถ้วนRecover
บริบทไม่เพียงพอมีข้อมูลข้อผิดพลาด แต่ไม่ทราบว่าการรันซ้ำปลอดภัยหรือไม่Escalate
กรณี regressionเหตุการณ์ที่ไม่ซับซ้อนซึ่งโมเดล base จัดการได้ถูกต้องอยู่แล้วขึ้นอยู่กับนโยบาย

ใส่เหตุการณ์ที่พบบ่อยในสัดส่วนใกล้เคียงกับที่คาดว่าจะพบ และเก็บกลุ่มความเสี่ยงสูงแยกต่างหากสำหรับกรณีที่พบไม่บ่อย เช่น ไม่ทราบผลลัพธ์ของการชำระเงิน รายงานผลทั้งสองส่วน โดยไม่ควรนำเสนอชุดกรณีอันตรายที่จงใจเพิ่มสัดส่วนให้มากกว่าปกติว่าเป็นการกระจายของเหตุการณ์ใน production ให้ผู้เชี่ยวชาญด้านเวิร์กโฟลว์กำหนดป้ายกำกับ action ที่คาดหวังและหาข้อยุติสำหรับกรณีที่กำกวมก่อนให้คะแนน

กำหนดการตั้งค่าการเปรียบเทียบให้คงที่

ใช้ข้อความเหตุการณ์ system instructions response schema ตัวอย่าง few-shot และพารามิเตอร์ generation ที่เหมือนกันทุกประการสำหรับทั้งสองโมเดล บันทึก revision ของโมเดล base และ fine-tuned, tokenizer และ chat template, สถานะ adapter หรือโมเดลที่ merge แล้ว, เวอร์ชันของ inference library, backend, quantization และฮาร์ดแวร์ หากใช้ retrieval เพื่อดึง runbook ให้ตรึงบริบทที่ดึงมาไว้เช่นกัน

สำหรับแต่ละกรณี ให้บันทึก prompt, action ที่คาดหวัง, คำตอบดิบ, action ที่แยกวิเคราะห์ได้ และป้ายกำกับข้อผิดพลาด ให้ถือว่า JSON ที่ไม่ถูกต้อง ฟิลด์ที่ขาดหาย และ action ที่ไม่รู้จักเป็นความล้มเหลว แทนที่จะแก้ไขโดยไม่แจ้ง หากทั้งสองโมเดลต้องใช้ chat template ต่างกันจึงจะทำงานได้ถูกต้อง ให้บันทึกความแตกต่างนั้นไว้ โดยผลลัพธ์ที่ได้จะวัดระบบที่ตั้งค่าครบถ้วนทั้งระบบ ไม่ใช่เฉพาะผลของ fine-tune

หาก generation มีความสุ่ม ให้เปรียบเทียบซ้ำด้วย seed หลายค่าที่บันทึกไว้ พร้อมรายงานผลแต่ละรอบและช่วงของผลลัพธ์ การรองรับ seed และความสามารถในการทำซ้ำแตกต่างกันไปตาม backend การกำหนด seed คงที่ไม่ได้รับประกันว่าจะได้ผลลัพธ์เหมือนกันในทุกสภาพแวดล้อม การสนทนาในฟอรัมยังแนะนำให้ทดสอบซ้ำหลายรอบ เพราะคะแนนจากการทดสอบเพียงครั้งเดียวบนชุดข้อมูลขนาดเล็กอาจมีความผันผวน

ให้คะแนน action และ retry ที่ไม่ปลอดภัยแยกกัน

สิ่งที่ต้องมี: Python 3, ไฟล์ JSON Lines แบบ held-out และไฟล์คำตอบที่บันทึกไว้หนึ่งไฟล์ต่อโมเดล สร้างคำตอบเหล่านั้นด้วยการตั้งค่า inference ของ Hugging Face ที่คุณเลือกก่อนเรียกใช้ตัวให้คะแนนในเครื่อง ตัวอย่างด้านล่างยังไม่ได้ผ่านการทดสอบ และไม่ได้ตั้งสมมติฐานเกี่ยวกับโมเดล hosted endpoint หรือพารามิเตอร์ generation ที่รองรับเป็นกรณีเฉพาะ

แต่ละบรรทัดของ cases.jsonl ควรมี id, expected_action และค่า Boolean retry_safe ที่กำหนดตามนโยบายของเวิร์กโฟลว์ แต่ละบรรทัดในไฟล์คำตอบควรมี id เดียวกันและคำตอบดิบของโมเดลเป็นสตริงใน output ตัวอย่างเช่น:

{"id":"timeout-01","expected_action":"escalate","retry_safe":false}

ระเบียนคำตอบที่สอดคล้องกันอาจเป็น {"id":"timeout-01","output":"{\"action\":\"retry\"}"} ตัวให้คะแนนต่อไปนี้กำหนดให้มีคำตอบเพียงหนึ่งรายการต่อกรณี และจะระบุว่าคำตอบดังกล่าวเป็น retry ที่ไม่ปลอดภัย:

import json
import sys

VALID = {"retry", "recover", "escalate", "stop"}


def load(path):
    with open(path, encoding="utf-8") as f:
        rows = [json.loads(line) for line in f if line.strip()]
    indexed = {row["id"]: row for row in rows}
    if len(indexed) != len(rows):
        raise ValueError(f"Duplicate case ID in {path}")
    return indexed


cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
    raise ValueError("Cases must be nonempty and IDs must match exactly")

correct = invalid = unsafe = 0
for case_id, case in cases.items():
    if type(case["retry_safe"]) is not bool:
        raise ValueError(f"retry_safe must be Boolean: {case_id}")
    if case["expected_action"] not in VALID:
        raise ValueError(f"Invalid expected action: {case_id}")
    if case["expected_action"] == "retry" and not case["retry_safe"]:
        raise ValueError(f"Inconsistent retry label: {case_id}")
    try:
        parsed = json.loads(outputs[case_id]["output"])
        action = parsed["action"]
        if not isinstance(action, str) or action not in VALID:
            raise ValueError("Unrecognized action")
    except (ValueError, TypeError, KeyError):
        action = None
        invalid += 1
    correct += action == case["expected_action"]
    unsafe += action == "retry" and not case["retry_safe"]
    if action != case["expected_action"]:
        print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")

n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")

เรียกใช้หนึ่งครั้งต่อไฟล์ output ที่บันทึกไว้:

python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl

นี่เป็นตัวตรวจสอบ action ไม่ใช่ตัวตรวจสอบ schema แบบสมบูรณ์ โดยจะไม่ปฏิเสธฟิลด์ JSON ที่เกินมาและไม่ประเมินคำอธิบาย สำหรับการใช้งานใน production ให้เพิ่ม schema จริงและตรวจสอบพารามิเตอร์ recovery ที่จำเป็นด้วย นอกจากนี้ ให้ตรวจสอบว่า action ที่เสนอปลอดภัยหรือไม่แม้จะตรงกับป้ายกำกับ เพราะป้ายกำกับอาจผิดได้

ตีความผลลัพธ์และแก้ไขปัญหา

เปรียบเทียบความแม่นยำโดยรวม จำนวน output ที่ไม่ถูกต้อง จำนวน retry ที่ไม่ปลอดภัย และผลลัพธ์แยกตามกลุ่มทดสอบ ตรวจสอบ retry ที่ไม่ปลอดภัยทุกกรณีและทุกกรณีที่ผลแย่ลงจากโมเดล base สำหรับ recover ให้ตรวจสอบว่าขั้นตอนที่เสนอและเงื่อนไขที่จำเป็นถูกต้องหรือไม่ เพราะความแม่นยำในการเลือก action เพียงอย่างเดียวพิสูจน์เรื่องนี้ไม่ได้ บันทึกจำนวนกรณีที่ใช้คำนวณแต่ละอัตรา โดยเฉพาะสำหรับความล้มเหลวที่พบไม่บ่อย

หาก ID ไม่ตรงกัน ให้ตรวจสอบว่ามีผลการสร้างคำตอบตกหล่นหรือมีระเบียนซ้ำก่อนให้คะแนน หากคำตอบที่ไม่ถูกต้องมีจำนวนมาก ให้ตรวจสอบการตัดทอน chat template และ schema ที่ร้องขอก่อนเปลี่ยนโมเดล หากโมเดลแนะนำให้ retry เมื่อบริบทไม่เพียงพอ ให้เพิ่มกรณีเหล่านั้นลงในชุด development และปรับคำสั่งหรือการฝึก ไม่ใช่ชุดทดสอบสุดท้ายที่กันไว้

กำหนดเกณฑ์ปล่อยใช้งานร่วมกับเจ้าของเวิร์กโฟลว์ก่อนดูผลลัพธ์สุดท้าย รวมถึงจำนวนคำแนะนำที่ไม่ปลอดภัยที่ยอมรับได้และกรณีที่ต้องส่งต่อ ชุด held-out ขนาดเล็กไม่สามารถพิสูจน์ความปลอดภัยใน production ได้ แต่ช่วยเปิดเผยข้อผิดพลาดที่เป็นรูปธรรมและสนับสนุนการตัดสินใจที่มีข้อมูลมากขึ้น จัดทำเอกสารขอบเขตของชุดข้อมูล การตั้งค่า ตัวอย่างข้อผิดพลาด และความเสี่ยงที่ยังไม่ได้แก้ไขควบคู่กับผลลัพธ์ benchmark สาธารณะอาจช่วยให้มีบริบทเพิ่มเติม แต่ไม่สามารถแทนที่การทดสอบเฉพาะเวิร์กโฟลว์นี้ได้

แหล่งข้อมูล

คำถามที่พบบ่อย

ควรใช้ leaderboard สาธารณะของ Hugging Face เพื่อประเมินการตัดสินใจ retry หรือไม่?

ควรเริ่มจากชุดเวิร์กโฟลว์ held-out ที่เป็นตัวแทนของสถานการณ์จริงก่อน benchmark สาธารณะอาจช่วยให้มีบริบทเพิ่มเติม แต่งานและวิธีให้คะแนนอาจไม่ได้วัดนโยบาย retry หรือความเสี่ยงจากการดำเนินการซ้ำของคุณ

การกำหนด seed คงที่ทำให้การประเมิน Hugging Face ทำซ้ำได้สมบูรณ์แบบหรือไม่?

ไม่เสมอไป การรองรับ seed และความสามารถในการทำซ้ำขึ้นอยู่กับ inference backend และสภาพแวดล้อม ควรบันทึก seed, revision ของโมเดล, เวอร์ชันซอฟต์แวร์ และการตั้งค่าการให้บริการ พร้อมรายงานความแตกต่างระหว่างรอบการทดสอบ

โมเดลสามารถดำเนินการ retry ที่ตนเองแนะนำโดยอัตโนมัติได้หรือไม่?

คำแนะนำเพียงอย่างเดียวไม่ควรใช้อนุมัติการดำเนินการ ต้องตรวจสอบนโยบายเวิร์กโฟลว์แบบ deterministic รวมถึงความปลอดภัยในการรันซ้ำและขีดจำกัดการ retry และส่งต่อกรณีที่ไม่แน่ใจในผลลัพธ์ของ side effect

บทความที่เกี่ยวข้อง

Guides

วิธีสร้างการประเมิน Hugging Face ที่ทำซ้ำได้สำหรับคัดแยกทิกเก็ตฝ่ายสนับสนุน

แนวทางปฏิบัติสำหรับเปรียบเทียบโมเดลฐานกับโมเดลที่ fine-tune โดยใช้ทิกเก็ตฝ่ายสนับสนุนที่กันไว้ทดสอบ พร้อมการอนุมัติโดยมนุษย์และการระบุข้อจำกัดอย่างโปร่งใส

阅读全文 →

Guides

วิธีประเมินระบบถามตอบจากเอกสารบน Hugging Face

สร้างการประเมินระบบถามตอบจากเอกสารที่ทำซ้ำได้ โดยทดสอบคุณภาพคำตอบ การค้นคืน การอ้างอิงแหล่งที่มา และการงดตอบ

阅读全文 →

Guides

ใช้งาน Cline ใน Production: ตั้งค่าเซสชันและกู้คืนอย่างปลอดภัย

คู่มือเชิงปฏิบัติสำหรับตั้งค่าเซสชัน ClineCore แยกการตั้งค่า runtime ออกจากการกำหนดค่า provider และออกแบบกฎการลองใหม่และการกู้คืนอย่างปลอดภัย

阅读全文 →

Guides

Qwen4 Max สำหรับเวิร์กโฟลว์ใช้งานจริง: เปรียบเทียบอะไรกับ Qwen3.8 Max ได้บ้าง?

แยกความสามารถของ Qwen4 Max ที่มีข้อมูลอ้างอิงออกจากประเด็นที่ยังไม่ทราบ แล้วออกแบบการประเมินเวิร์กโฟลว์พร้อมกฎการลองซ้ำและการกู้คืนที่ชัดเจน

阅读全文 →