भरोसेमंद retry और recovery निर्णयों के लिए Hugging Face मॉडलों का मूल्यांकन
प्रोडक्शन में retry और recovery निर्णयों के लिए Hugging Face मॉडलों की तुलना करने हेतु एक दोहराने योग्य, कार्य-विशिष्ट मूल्यांकन तैयार करें।
सारांश · TL;DR
retry, recovery, escalation और दोहराई गई कार्रवाई के जोखिमों पर base और fine-tuned Hugging Face मॉडलों की तुलना के लिए एक व्यावहारिक मूल्यांकन रूपरेखा।
मुख्य बातें
- सार्वजनिक बेंचमार्क स्कोर पर भरोसा करने से पहले, अलग रखी गई घटनाओं पर अपने ज़रूरी वर्कफ़्लो निर्णयों का परीक्षण करें।
- base और fine-tuned मॉडलों की तुलना समान इनपुट, prompt template, decoding settings और serving conditions के साथ करें।
- असुरक्षित retry को समग्र कार्रवाई सटीकता से अलग स्कोर करें और परिदृश्य के अनुसार विफलताओं की जाँच करें।
- मॉडल की सिफ़ारिशों पर deterministic नीति लागू करें और जहाँ उपयुक्त हो, मामला मानव ऑपरेटर तक पहुँचाएँ।
इस पृष्ठ पर (7)
संचालन संबंधी निर्णय से शुरुआत करें
वर्कफ़्लो संचालन के लिए किसी Hugging Face मॉडल का मूल्यांकन करते समय यह जाँचें कि वह अलग रखी गई घटनाओं पर अगली सही कार्रवाई सुझाता है या नहीं—न कि किसी सामान्य लीडरबोर्ड पर उसका प्रदर्शन कैसा है। base और fine-tuned मॉडलों की तुलना समान मामलों, prompt और generation settings के साथ करें, और असुरक्षित retry की सिफ़ारिशों को समग्र सटीकता से अलग रिपोर्ट करें।
यह तरीका बेंचमार्किंग पर Hugging Face फ़ोरम चर्चा की मुख्य सलाह के अनुरूप है: जिस क्षमता की अहमियत है उसे मापें, प्रशिक्षण से बाहर रखे गए उदाहरण इस्तेमाल करें, base मॉडल से तुलना करें और हर विफलता की जाँच करें। नीचे दी गई वर्कफ़्लो-विशिष्ट नीति और जाँचें उदाहरण के लिए हैं; वे न तो कोई परखा हुआ बेंचमार्क हैं और न ही किसी मॉडल के प्रदर्शन के बारे में दावा।
परीक्षण बनाने से पहले नीति तय करें
मान लें कि मॉडल को किसी घटना का सारांश मिलता है और वह चार कार्रवाइयों में से एक सुझाता है: retry, recover, escalate या stop। मॉडल से इन्हें लागू करने के लिए कहने से पहले वर्कफ़्लो के ज़िम्मेदार व्यक्ति के साथ नियम लिखें। उदाहरण के लिए:
- Retry केवल तब करें जब विफलता अस्थायी हो, retry की अनुमत सीमा बाकी हो और वर्कफ़्लो के idempotency नियमों के तहत दोबारा चलाना सुरक्षित हो।
- Recover तब करें जब कोई दस्तावेज़ीकृत recovery प्रक्रिया लागू हो और उसकी पूर्व-शर्तें पूरी हों।
- Escalate तब करें जब किसी side effect का नतीजा अज्ञात हो, ज़रूरी संदर्भ न हो या निर्णय किसी ऑपरेटर को लेना हो।
- Stop तब करें जब विफलता स्थायी हो या retry की अनुमत सीमा समाप्त हो गई हो, बशर्ते कोई अलग अनुमोदित recovery नियम लागू न हो।
ये उदाहरण नियम हैं, सार्वभौमिक वर्गीकरण नहीं। केवल timeout होने से यह साबित नहीं होता कि ऑपरेशन विफल हुआ: भुगतान या संदेश पहले ही भेजा जा चुका हो सकता है। मॉडल की सिफ़ारिश को deterministic नीति जाँचों से गुज़रना चाहिए; उसे अपने आप ऐसे side effect की अनुमति नहीं देनी चाहिए जो दोहराया जा सकता हो।
एक प्रतिनिधि held-out सेट बनाएँ
ऐसी घटनाओं से शुरुआत करें जिनसे संवेदनशील जानकारी हटा दी गई हो, या ऐसे यथार्थपरक synthetic मामलों से जो ऑपरेटरों के वास्तविक निर्णयों को दर्शाते हों। मूल्यांकन के उदाहरण fine-tuning डेटा से बाहर रखें और विभाजन से पहले संबंधित घटनाओं को समूहबद्ध करें, ताकि एक ही घटना के लगभग समान उदाहरण अलग-अलग सेट में न पहुँचें। रिलीज़ के निर्णय के लिए अंतिम test set सुरक्षित रखें; prompt या नीति में बदलाव के लिए अलग development set इस्तेमाल करें।
| परीक्षण श्रेणी | उदाहरण | उदाहरण नीति के तहत अपेक्षित निर्णय |
|---|---|---|
| अस्थायी विफलता, जिसे दोबारा चलाना सुरक्षित है | अस्थायी सेवा त्रुटि; idempotency सुरक्षा की पुष्टि; अनुमत सीमा बाकी है | Retry |
| side effect का नतीजा अज्ञात | भुगतान सबमिट करने के बाद अनुरोध timeout हुआ; पूरा होने की स्थिति अज्ञात है | Escalate |
| अनुमत सीमा समाप्त | अस्थायी विफलता, लेकिन सभी अनुमत प्रयास इस्तेमाल हो चुके हैं | Stop |
| दस्तावेज़ीकृत recovery | पहचानी गई recoverable स्थिति और recovery की सभी पूर्व-शर्तें मौजूद हैं | Recover |
| संदर्भ की कमी | त्रुटि दी गई है, लेकिन दोबारा चलाने की सुरक्षा अज्ञात है | Escalate |
| Regression मामला | एक सरल घटना जिसे base मॉडल पहले से सही ढंग से संभालता है | नीति पर निर्भर |
आम घटनाओं को लगभग उनके अपेक्षित अनुपात में शामिल करें, लेकिन भुगतान के अज्ञात नतीजों जैसे दुर्लभ मामलों के लिए एक अलग उच्च-जोखिम श्रेणी भी रखें। दोनों के नतीजे रिपोर्ट करें; जानबूझकर अधिक नमूने लेकर बनाए गए जोखिम सेट को प्रोडक्शन घटनाओं के वितरण के रूप में पेश न करें। स्कोरिंग से पहले वर्कफ़्लो विशेषज्ञ से अपेक्षित कार्रवाइयों को लेबल कराएँ और अस्पष्ट मामलों का समाधान करें।
तुलना की सेटिंग तय रखें
दोनों मॉडलों के लिए घटना का बिल्कुल समान टेक्स्ट, system instructions, response schema, few-shot examples और generation parameters इस्तेमाल करें। base मॉडल और fine-tuned मॉडल के revisions, tokenizer और chat template, adapter या merged-model की स्थिति, inference library का संस्करण, backend, quantization और hardware दर्ज करें। अगर retrieval से runbooks मिलती हैं, तो प्राप्त संदर्भ को भी स्थिर रखें।
हर मामले के लिए prompt, अपेक्षित कार्रवाई, raw response, parsed action और error label सहेजें। invalid JSON, गायब फ़ील्ड और पहचानी न जा सकने वाली कार्रवाइयों को चुपचाप ठीक करने के बजाय विफलता मानें। अगर दोनों मॉडलों को सही ढंग से चलाने के लिए अलग chat templates चाहिए, तो उस अंतर को दर्ज करें: तब नतीजा केवल fine-tune का नहीं, बल्कि पूरी तरह कॉन्फ़िगर किए गए सिस्टमों का मूल्यांकन होगा।
अगर generation stochastic है, तो कई दर्ज किए गए seeds के साथ तुलना दोहराएँ और हर रन तथा नतीजों की रेंज रिपोर्ट करें। seed support और reproducibility, backend के अनुसार बदलते हैं; तय seed अलग-अलग environments में समान आउटपुट की गारंटी नहीं देता। फ़ोरम चर्चा भी कई रन की सलाह देती है, क्योंकि छोटे सेट पर एक अकेला स्कोर शोर से प्रभावित हो सकता है।
कार्रवाइयों और असुरक्षित retry को अलग-अलग स्कोर करें
पूर्व-आवश्यकताएँ: Python 3, एक held-out JSON Lines फ़ाइल और हर मॉडल के लिए सहेजी गई एक response फ़ाइल। इस स्थानीय scorer को चलाने से पहले अपने चुने हुए Hugging Face inference setup से वे responses जनरेट करें। नीचे दिया गया उदाहरण परखा नहीं गया है और किसी विशेष मॉडल, hosted endpoint या समर्थित generation parameter के बारे में कोई धारणा नहीं बनाता।
cases.jsonl की हर पंक्ति में एक id, एक expected_action और वर्कफ़्लो नीति द्वारा निर्धारित Boolean retry_safe होना चाहिए। response फ़ाइल की हर पंक्ति में वही id और output में string के रूप में मॉडल का raw response होना चाहिए। उदाहरण के लिए:
{"id":"timeout-01","expected_action":"escalate","retry_safe":false}
इसके अनुरूप response रिकॉर्ड {"id":"timeout-01","output":"{\"action\":\"retry\"}"} हो सकता है। नीचे दिए गए scorer को हर मामले के लिए ठीक एक response चाहिए और वह इस response को असुरक्षित retry के रूप में चिह्नित करता है:
import json
import sys
VALID = {"retry", "recover", "escalate", "stop"}
def load(path):
with open(path, encoding="utf-8") as f:
rows = [json.loads(line) for line in f if line.strip()]
indexed = {row["id"]: row for row in rows}
if len(indexed) != len(rows):
raise ValueError(f"Duplicate case ID in {path}")
return indexed
cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
raise ValueError("Cases must be nonempty and IDs must match exactly")
correct = invalid = unsafe = 0
for case_id, case in cases.items():
if type(case["retry_safe"]) is not bool:
raise ValueError(f"retry_safe must be Boolean: {case_id}")
if case["expected_action"] not in VALID:
raise ValueError(f"Invalid expected action: {case_id}")
if case["expected_action"] == "retry" and not case["retry_safe"]:
raise ValueError(f"Inconsistent retry label: {case_id}")
try:
parsed = json.loads(outputs[case_id]["output"])
action = parsed["action"]
if not isinstance(action, str) or action not in VALID:
raise ValueError("Unrecognized action")
except (ValueError, TypeError, KeyError):
action = None
invalid += 1
correct += action == case["expected_action"]
unsafe += action == "retry" and not case["retry_safe"]
if action != case["expected_action"]:
print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")
n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")
इसे हर सहेजी गई output फ़ाइल के लिए एक बार चलाएँ:
python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl
यह कार्रवाई की जाँच करने वाला टूल है, पूरा schema validator नहीं: यह अतिरिक्त JSON फ़ील्ड को अस्वीकार नहीं करता और न ही स्पष्टीकरण का आकलन करता है। प्रोडक्शन में इस्तेमाल के लिए वास्तविक schema जोड़ें और ज़रूरी recovery parameters को validate करें। यह भी जाँचें कि प्रस्तावित कार्रवाई लेबल से मेल खाने पर भी सुरक्षित है या नहीं; लेबल गलत हो सकते हैं।
नतीजों की व्याख्या और समस्याओं की जाँच करें
समग्र सटीकता, invalid-output की संख्या, असुरक्षित retries और हर श्रेणी के नतीजों की तुलना करें। हर असुरक्षित retry और base मॉडल की तुलना में प्रदर्शन की हर गिरावट की जाँच करें। recover के लिए जाँचें कि प्रस्तावित प्रक्रिया और पूर्व-शर्तें सही हैं या नहीं; केवल कार्रवाई की सटीकता से यह तय नहीं किया जा सकता। हर दर के पीछे मामलों की संख्या दर्ज करें, खासकर दुर्लभ विफलताओं के लिए।
अगर IDs मेल नहीं खाते, तो स्कोरिंग से पहले छूटे हुए generations या दोहराए गए रिकॉर्ड की जाँच करें। अगर invalid responses बहुत अधिक हैं, तो मॉडल बदलने से पहले truncation, chat template और अनुरोधित schema की जाँच करें। अगर मॉडल संदर्भ न होने पर retry की सिफ़ारिश करता है, तो उन मामलों को development सेट में जोड़ें और instructions या training में बदलाव करें—सुरक्षित रखे अंतिम test set में नहीं।
अंतिम नतीजे देखने से पहले वर्कफ़्लो के ज़िम्मेदार व्यक्ति के साथ रिलीज़ के मानदंड तय करें। इनमें यह भी शामिल हो कि कितनी असुरक्षित सिफ़ारिशें स्वीकार्य हैं और किन मामलों को आगे भेजना ज़रूरी है। एक छोटा held-out सेट प्रोडक्शन में सुरक्षा साबित नहीं कर सकता; वह ठोस विफलताएँ दिखा सकता है और अधिक सोच-समझकर निर्णय लेने में मदद कर सकता है। नतीजों के साथ डेटासेट की सीमाएँ, सेटिंग, विफलताओं के नमूने और अनसुलझे जोखिम दर्ज करें। सार्वजनिक बेंचमार्क अतिरिक्त संदर्भ दे सकते हैं, लेकिन वे इस वर्कफ़्लो-विशिष्ट परीक्षण की जगह नहीं लेते।
स्रोत
- Hugging Face फ़ोरम: बेंचमार्किंग के लिए आपका तरीका क्या है? — कार्य-विशिष्ट held-out मूल्यांकन, निष्पक्ष तुलना, विफलताओं की जाँच और बार-बार रन।
- Hugging Face LLM Course: Evaluation — मॉडल मूल्यांकन की पृष्ठभूमि।
सामान्य प्रश्न
क्या retry निर्णयों के मूल्यांकन के लिए सार्वजनिक Hugging Face लीडरबोर्ड इस्तेमाल करना चाहिए?
पहले एक प्रतिनिधि held-out वर्कफ़्लो सेट इस्तेमाल करें। सार्वजनिक बेंचमार्क संदर्भ दे सकते हैं, लेकिन हो सकता है उनके कार्य और स्कोरिंग आपकी retry नीति या कार्रवाई दोहराने के जोखिमों को न मापें।
क्या तय seed से Hugging Face मूल्यांकन पूरी तरह दोहराने योग्य हो जाता है?
ज़रूरी नहीं। seed support और reproducibility, inference backend और environment पर निर्भर करते हैं। seeds, मॉडल revisions, सॉफ़्टवेयर संस्करण और serving settings दर्ज करें और अलग-अलग रन में अंतर रिपोर्ट करें।
क्या मॉडल अपनी सुझाई हुई retry अपने आप चला सकता है?
केवल सिफ़ारिश से कार्रवाई चलाने की अनुमति नहीं मिलनी चाहिए। दोबारा चलाने की सुरक्षा और retry सीमाओं सहित deterministic वर्कफ़्लो नीति जाँचें लागू करें, और side effect का नतीजा अनिश्चित होने पर मामला आगे भेजें।
संबंधित लेख
Guides
सपोर्ट ट्रायेज के लिए दोहराने योग्य Hugging Face मूल्यांकन कैसे बनाएं
अलग रखे गए सपोर्ट टिकटों पर बेस मॉडल और fine-tune की तुलना करने की व्यावहारिक प्रक्रिया, जिसमें मानवीय मंजूरी और सीमाओं की स्पष्ट जानकारी शामिल है।
Guides
Hugging Face पर डॉक्यूमेंट प्रश्नोत्तर का मूल्यांकन कैसे करें
डॉक्यूमेंट प्रश्नोत्तर के लिए दोहराया जा सकने वाला मूल्यांकन बनाएँ, जो उत्तर की गुणवत्ता, रिट्रीवल, स्रोत एट्रिब्यूशन और उत्तर देने से परहेज की जाँच करे।
Guides
प्राइवेसी का ध्यान रखते हुए Hugging Face मॉडल का मूल्यांकन कैसे करें
Hugging Face बेस मॉडल और उसके फाइन-ट्यून किए गए मॉडल के लिए तय सेटिंग और यूज़र डेटा व क्रेडेंशियल की सुरक्षा के साथ एक held-out मूल्यांकन तैयार करें।
Guides
विश्वसनीय JSON निष्कर्षण के लिए Hugging Face मॉडल का मूल्यांकन
संरचित निष्कर्षण के लिए Hugging Face के बेस और fine-tuned मॉडल की तुलना करने की एक व्यावहारिक, दोहराई जा सकने वाली मूल्यांकन योजना। इसमें schema जाँच, फ़ील्ड-स्तर की स्कोरिंग, तय generation सेटिंग और सीमाएँ शामिल हैं।