Hugging Face मॉडल का पुनरुत्पादित मूल्यांकन: कार्य, सेटिंग्स और सीमाएँ
एक बेस Hugging Face मॉडल और उसके fine-tune की तुलना के लिए व्यावहारिक प्रोटोकॉल: held-out उदाहरण, तय generation सेटिंग्स, कार्य के अनुरूप metrics और दर्ज की गई सीमाएँ।
सारांश · TL;DR
यह जानने के लिए कि Hugging Face fine-tune ने आपके उपयोग के मामले में सुधार किया है या नहीं, उसकी तुलना बेस मॉडल से समान held-out उदाहरणों, prompts और generation सेटिंग्स पर करें। कार्य के अनुरूप metrics चुनें, हर उदाहरण के outputs सुरक्षित रखें, generation में randomness हो तो runs दोहराएँ और मूल्यांकन से क्या साबित नहीं होता, यह भी दर्ज करें।
मुख्य बातें
- Leaderboard से नहीं, उस व्यवहार से शुरुआत करें जिसे fine-tune के ज़रिए बेहतर बनाना है।
- ऐसे उदाहरण लें जिन्हें training में शामिल नहीं किया गया था और जिनमें सामान्य, कठिन, format-संबंधी और regression वाले मामले शामिल हों।
- तुलनाओं में model revisions, prompts, decoding सेटिंग्स, runtime और scoring के नियम तय रखें।
- Aggregate metrics के साथ हर उदाहरण की विफलताएँ और सीमाएँ भी बताएँ।
इस पृष्ठ पर (7)
उपयोगी तुलना: fine-tuned मॉडल बनाम बेस मॉडल
मॉडल का score तभी जानकारी देता है, जब वह किसी खास सवाल का जवाब दे। अगर आपने Hugging Face मॉडल को वैध JSON लौटाने के लिए fine-tune किया है, तो प्रतिनिधि inputs पर schema compliance मापें। अगर आपने उसे support-ticket classification के लिए tune किया है, तो held-out tickets और F1 जैसे classification metric का इस्तेमाल करें। कोई व्यापक सार्वजनिक benchmark संदर्भ दे सकता है, लेकिन अकेले उससे यह साबित नहीं होता कि बदलाव से आपके workflow को फायदा हुआ।
इस तरीके का आधार बनी Hugging Face forum चर्चा में सलाह दी गई है कि पहले लक्षित क्षमता तय करें, फिर समान held-out उदाहरणों और सेटिंग्स पर बेस और fine-tuned मॉडल की तुलना करें। चर्चा यह भी सावधान करती है कि benchmark नतीजों के लिए हर उदाहरण की जाँच ज़रूरी है और छोटे evaluation sets से scores अस्थिर हो सकते हैं। स्रोत: benchmarking पर Hugging Face forum चर्चा.
1. मूल्यांकन का सवाल लिखें
डेटा या metric चुनने से पहले यह वाक्य पूरा करें: “fine-tune को ___ बेहतर करना चाहिए, बिना ___ को खराब किए।” उदाहरण के लिए: “इसे invoice के fields ज़्यादा भरोसेमंद ढंग से निकालने चाहिए, बिना invalid JSON बढ़ाए।” इससे आपको एक primary metric और regression जाँच मिल जाएगी।
ऐसे उदाहरणों का held-out set बनाएँ जिनका इस्तेमाल fine-tuning में नहीं हुआ था। इसमें कुछ साफ़ तौर पर लेबल किए गए slices रखें:
| Slice | इससे क्या पता चलता है |
|---|---|
| सामान्य inputs | अपेक्षित workload पर प्रदर्शन |
| कठिन inputs | अस्पष्ट, लंबे या अव्यवस्थित उदाहरणों में त्रुटियाँ |
| Format वाले मामले | क्या ज़रूरी संरचना का पालन होता है |
| Regression वाले मामले | क्या बेस मॉडल का अच्छा प्रदर्शन करने वाला व्यवहार बिगड़ा है |
| अधूरी जानकारी वाले मामले | क्या मॉडल बिना आधार के जवाब गढ़ने से बचता है |
छोटा लेकिन सावधानी से जाँचा गया set शुरुआती जाँच के लिए उपयोगी हो सकता है, लेकिन इससे व्यापक प्रदर्शन साबित नहीं होता। दर्ज करें कि हर उदाहरण क्यों शामिल किया गया है और test set को training तथा prompt development से अलग रखें। उन्हीं test cases के आधार पर बार-बार tuning करने से वे development प्रक्रिया का हिस्सा बन जाते हैं।
2. तुलना की स्थितियाँ तय रखें
बेस मॉडल और fine-tuned मॉडल को एक जैसे उदाहरणों पर चलाएँ। सटीक model IDs और revisions, tokenizer और chat template, prompt text, system message, few-shot उदाहरण, decoding parameters, software versions और hardware या inference backend दर्ज करें। Adapter-आधारित fine-tune के लिए बताएँ कि आपने बेस मॉडल, बेस के साथ adapter, या merged अथवा quantized version का मूल्यांकन किया।
नीचे दिया गया उदाहरण सिर्फ़ configuration का नमूना है, जाँचा हुआ benchmark नहीं। इसमें माना गया है कि दोनों model IDs Transformers के causal language-model interface के अनुकूल हैं। Revisions को अपने model repositories में मौजूद commit hashes पर pin करें; सिर्फ़ model names इस्तेमाल करने से बदलते artifacts की ओर इशारा हो सकता है।
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "your-org/your-model"
revision = "replace-with-a-commit-hash"
# Use the same settings and prompts for both model variants.
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)
model = AutoModelForCausalLM.from_pretrained(model_id, revision=revision)
prompt = "Extract the invoice number and total as JSON: ..."
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(
**inputs,
do_sample=False,
max_new_tokens=128,
)
answer = tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(answer)
यह उदाहरण greedy decoding और output limit तय करता है, लेकिन कोई सार्वभौमिक chat template, device setup या task scorer निर्धारित नहीं करता। मॉडल के दस्तावेज़ों में दिया input format अपनाएँ। अगर वास्तविक application में chat template, retrieval context, quantization या hosted endpoint इस्तेमाल होता है, तो उसी configuration को जाँचें और दर्ज करें। यह न मानें कि हर मॉडल या serving endpoint सभी parameters का समर्थन करता है।
3. कार्य के अनुरूप scoring करें
जब वांछित व्यवहार को वस्तुनिष्ठ रूप से जाँचा जा सके, तो सीधे checks इस्तेमाल करें। Structured output के लिए valid-JSON rate, schema-valid rate और field-level accuracy अलग-अलग बताएँ: सही syntax का मतलब सही values नहीं होता। Classification के लिए चुना हुआ metric और class balance बताएँ। Code generation के लिए लक्षित कार्य से जुड़े tests इस्तेमाल करें। Open-ended जवाबों के लिए correctness, completeness, instruction-following और grounding की rubric तय करें, फिर judgments के नमूनों की जाँच करें।
Forum चर्चा के अनुसार, Hugging Face के Evaluate या Lighteval जैसे evaluation tools metrics व्यवस्थित करने या benchmark runs में मदद कर सकते हैं। लेकिन tool चुनने से task design का काम पूरा नहीं होता: dataset, scorer, tool version और custom prompts दर्ज करें। Automated या model-based judgments को सीमाओं वाले साक्ष्य की तरह लें, ground truth की तरह नहीं।
हर उदाहरण का input, अपेक्षित जवाब या rubric, दोनों मॉडलों के outputs, score और विफलता का छोटा label सुरक्षित रखें। उपयोगी labels में गलत जवाब, छूटी हुई जानकारी, बिना आधार का दावा, invalid format, निर्देश की अनदेखी और regression शामिल हैं। औसत scores किसी एक slice में केंद्रित गंभीर विफलता छिपा सकते हैं।
4. Randomness मायने रखे तो runs दोहराएँ
Deterministic decoding और तय inputs के साथ, बार-बार runs करने से sampling variability के बारे में ज़्यादा जानकारी न मिले। अगर production में sampling इस्तेमाल होती है, तो अलग-अलग seeds के साथ कई runs करें और decoding सेटिंग्स तथा runs के बीच का अंतर बताएँ। Forum चर्चा में, खासकर छोटा evaluation set होने पर, अलग seeds के साथ तीन runs को एक व्यावहारिक जाँच बताया गया है; यह एक heuristic है, statistical significance की गारंटी नहीं।
हर slice में उदाहरणों की संख्या बताएँ और uncertainty analysis के बिना score के छोटे अंतर को सिद्ध सुधार न कहें। अगर नतीजे runs या slices के बीच काफी बदलते हैं, तो विजेता चुनने से पहले कारण की जाँच करें।
5. बताएँ कि मूल्यांकन क्या साबित नहीं कर सकता
Held-out नतीजा जाँचे गए उदाहरणों और setup के बारे में दावे का आधार देता है। इससे हर user, domain, भाषा, prompt शैली या deployment backend पर प्रदर्शन साबित नहीं होता। सार्वजनिक benchmark scores के अपने task distributions और scoring rules होते हैं, जो आपके application से मेल न भी खाएँ। अगर product में retrieval, tools या serving infrastructure शामिल हैं, तो सिर्फ़ मॉडल की जाँच उन हिस्सों का मूल्यांकन नहीं करती।
एक संक्षिप्त report में मूल्यांकन का लक्ष्य; data source और split; training से बहिष्करण; model और adapter revisions; prompt और decoding सेटिंग्स; metric की परिभाषाएँ; sample counts; slice के अनुसार नतीजे; उदाहरणस्वरूप विफलताएँ; और ज्ञात सीमाएँ शामिल होनी चाहिए। Hugging Face model cards में evaluation results और limitations बताई जा सकती हैं, लेकिन setup फिर भी आम भाषा में समझ आने लायक होना चाहिए।
व्यावहारिक निर्णय का नियम
Fine-tune को तभी प्राथमिकता दें जब वह held-out मामलों में लक्षित व्यवहार सुधारे और महत्वपूर्ण slices में अस्वीकार्य regressions न लाए। Outputs और setup सुरक्षित रखें, ताकि कोई दूसरा व्यक्ति तुलना दोहरा सके। यह नतीजा मॉडलों की सार्वभौमिक ranking नहीं है; यह एक दर्ज configuration में परिभाषित एक कार्य के लिए साक्ष्य है।
सामान्य प्रश्न
क्या Hugging Face fine-tune का मूल्यांकन करने के लिए सार्वजनिक benchmark इस्तेमाल करना चाहिए?
तब इस्तेमाल करें जब उसका task और scoring method उस क्षमता से मेल खाता हो जिसकी आपको परवाह है। इसे अतिरिक्त संदर्भ मानें, अपने उपयोग के मामले से लिए गए held-out मूल्यांकन का विकल्प नहीं।
क्या evaluation loss यह दिखाने के लिए पर्याप्त है कि fine-tune बेहतर हुआ?
नहीं। Evaluation loss training पर नज़र रखने में मदद कर सकता है, लेकिन इससे सीधे यह साबित नहीं होता कि generated जवाब ज़्यादा सही हैं, ज़रूरी format का पालन करते हैं या regressions से बचते हैं। Outputs को कार्य के अनुरूप checks से score करें और उदाहरणों की जाँच करें।
Held-out evaluation set कितना बड़ा होना चाहिए?
इसका कोई सार्वभौमिक न्यूनतम आकार नहीं है। प्रतिनिधि मामलों और महत्वपूर्ण failure modes को शामिल करने वाले set से शुरुआत करें, उसका आकार और संरचना बताएँ, और छोटे set के नतीजों को निर्णायक न मानें।
क्या evaluation एक से ज़्यादा बार चलाना चाहिए?
अगर generation stochastic है, तो अलग-अलग seeds के साथ runs दोहराएँ और सेटिंग्स तथा variability बताएँ। उद्धृत forum post में तीन runs को व्यावहारिक जाँच बताया गया है, लेकिन इस संख्या से statistical significance की गारंटी नहीं मिलती।
संबंधित लेख
Guides
प्राइवेसी का ध्यान रखते हुए Hugging Face मॉडल का मूल्यांकन कैसे करें
Hugging Face बेस मॉडल और उसके फाइन-ट्यून किए गए मॉडल के लिए तय सेटिंग और यूज़र डेटा व क्रेडेंशियल की सुरक्षा के साथ एक held-out मूल्यांकन तैयार करें।
Guides
विश्वसनीय JSON निष्कर्षण के लिए Hugging Face मॉडल का मूल्यांकन
संरचित निष्कर्षण के लिए Hugging Face के बेस और fine-tuned मॉडल की तुलना करने की एक व्यावहारिक, दोहराई जा सकने वाली मूल्यांकन योजना। इसमें schema जाँच, फ़ील्ड-स्तर की स्कोरिंग, तय generation सेटिंग और सीमाएँ शामिल हैं।
Guides
API incidents की जांच के लिए दोहराने योग्य Hugging Face मूल्यांकन बनाएं
Hugging Face पर मॉडल revisions की तुलना करने का व्यावहारिक workflow: तय prompts, प्रतिनिधि tasks, API विफलता के दिखने वाले संकेत और स्पष्ट सीमाएं।
Guides
रिपॉज़िटरी कोड में बदलावों पर Hugging Face मॉडल का पुनरुत्पादनीय मूल्यांकन कैसे करें
Hugging Face कोड मॉडल के लिए दोहराया जा सकने वाला मूल्यांकन तैयार करें: अप्रयुक्त रिपॉज़िटरी टास्क, तय जनरेशन सेटिंग्स, अलग-थलग टेस्ट रन और सीमाओं का स्पष्ट दस्तावेज़ीकरण इस्तेमाल करें।