विश्वसनीय JSON निष्कर्षण के लिए Hugging Face मॉडल का मूल्यांकन
संरचित निष्कर्षण के लिए Hugging Face के बेस और fine-tuned मॉडल की तुलना करने की एक व्यावहारिक, दोहराई जा सकने वाली मूल्यांकन योजना। इसमें schema जाँच, फ़ील्ड-स्तर की स्कोरिंग, तय generation सेटिंग और सीमाएँ शामिल हैं।
सारांश · TL;DR
यह जानने के लिए कि Hugging Face fine-tune से संरचित निष्कर्षण बेहतर हुआ या नहीं, उसी अलग रखे गए उदाहरण-समूह पर उसकी तुलना बेस मॉडल से करें और prompts तथा generation सेटिंग एक जैसी रखें। JSON को parse कर पाने और schema की वैधता को फ़ील्ड की शुद्धता से अलग स्कोर करें, विफलताओं की जाँच करें और इतनी configuration जानकारी प्रकाशित करें कि कोई अन्य व्यक्ति भी परीक्षण दोहरा सके।
मुख्य बातें
- ऐसे अलग रखे गए उदाहरण इस्तेमाल करें जो fine-tuning में शामिल नहीं थे।
- बेस और fine-tuned मॉडल revisions का मूल्यांकन एक ही prompt, chat template, decoding parameters और inference path के साथ करें।
- मान्य JSON, schema अनुपालन और अर्थ की दृष्टि से फ़ील्ड की शुद्धता को अलग-अलग metrics में मापें।
- सामान्य, कठिन, malformed, अस्पष्ट और स्रोत में मौजूद न होने वाले उदाहरण शामिल करें।
- हर नमूने की विफलताएँ और सीमाएँ बताएँ; छोटा मूल्यांकन सेट व्यापक विश्वसनीयता साबित नहीं करता।
इस पृष्ठ पर (8)
मूल्यांकन का सवाल
संरचित निष्कर्षण वाला मॉडल ऐसा JSON दे सकता है जिसका syntax सही हो, फिर भी निकाली गई value गलत हो सकती है। यह सही value पहचान सकता है, लेकिन कोई ज़रूरी key छोड़ सकता है या बिना स्रोत-समर्थन वाला field जोड़ सकता है। इसलिए उपयोगी मूल्यांकन तीन अलग सवालों के जवाब देता है: क्या आउटपुट parse किया जा सकता है? क्या वह schema से मेल खाता है? क्या निकाली गई values सही हैं?
Hugging Face के बेस मॉडल और उसके fine-tuned संस्करण के लिए इन सवालों के जवाब एक ही अलग रखे गए इनपुट पर, एक ही prompt और generation सेटिंग के साथ दें। इससे जाँचा जाता है कि fine-tune ने निष्कर्षण वाले काम में मदद की या नहीं—यह नहीं कि उसने किसी असंबंधित leaderboard पर प्रदर्शन सुधारा या नहीं।
यह तरीका Hugging Face Community की उस चर्चा में किए गए task-specific मूल्यांकन और public benchmarks के अंतर के अनुरूप है: public scores से सामान्य दिशा मिल सकती है, लेकिन जिस काम के लिए मॉडल इस्तेमाल होना है उससे मेल खाने वाला अलग रखा गया सेट अधिक सीधी जाँच है। चर्चा में outputs सहेजने, बेस और fine-tuned मॉडल की निष्पक्ष तुलना करने और अलग-अलग विफलताओं की जाँच करने की सलाह भी दी गई है। स्रोत: Hugging Face Community, “What’s your method for benchmarking?”
1. निष्कर्षण का अनुबंध तय करें
उदाहरण जुटाने से पहले लिख लें कि मॉडल को क्या निकालना है, किसे अनुपस्थित माना जाएगा और स्रोत में जवाब न होने पर उसे क्या करना चाहिए। तय करें कि अतिरिक्त keys वर्जित हैं या नहीं और अनुपस्थित जानकारी को खाली values, null या किसी स्पष्ट abstention value से दर्शाया जाएगा।
उदाहरण के लिए, invoice वाले काम में supplier का नाम, invoice की तारीख और कुल राशि निकालना ज़रूरी हो सकता है। मूल्यांकन अनुबंध में स्पष्ट होना चाहिए कि तारीखें ISO format में होनी चाहिए या नहीं, currency कैसे दिखाई जाएगी और अनुपस्थित तारीख का अनुमान लगाने के बजाय null देना चाहिए या नहीं। इन फैसलों का असर schema बनाने और स्कोरिंग पर पड़ता है; इन्हें मूल्यांकनकर्ता के विवेक पर नहीं छोड़ना चाहिए।
मशीन से जाँचे जा सकने वाले अनुबंध के रूप में JSON Schema इस्तेमाल करें। नीचे दिया गया उदाहरण केवल schema का नमूना है; यह किसी खास Hugging Face मॉडल या serving endpoint के लिए परीक्षित configuration नहीं है:
{
"type": "object",
"properties": {
"supplier": {"type": ["string", "null"]},
"invoice_date": {
"type": ["string", "null"],
"format": "date"
},
"total": {"type": ["number", "null"]},
"currency": {"type": ["string", "null"]}
},
"required": ["supplier", "invoice_date", "total", "currency"],
"additionalProperties": false
}
Schema validator संरचना, types, ज़रूरी keys और अतिरिक्त properties की जाँच कर सकता है। लेकिन वह यह साबित नहीं कर सकता कि कोई value स्रोत दस्तावेज़ से समर्थित है। इसके लिए अपेक्षित values पर लेबल और काम के अनुसार तुलना के नियम चाहिए।
2. वास्तविक इनपुट से मेल खाने वाला अलग मूल्यांकन सेट बनाएँ
मूल्यांकन के उदाहरणों को fine-tuning डेटा से अलग रखें। अगर मॉडल कोई उदाहरण training के दौरान पहले ही देख चुका है, तो सही जवाब सामान्यीकरण के बजाय याद रखने का नतीजा हो सकता है। शुरुआती जाँच के लिए छोटा सेट उपयोगी है, बशर्ते उसके उदाहरण और उद्देश्य स्पष्ट हों; छोटे सेट को सभी दस्तावेज़ों में प्रदर्शन के प्रमाण के रूप में पेश न करें।
कई तरह के उदाहरण शामिल करें:
- सामान्य इनपुट: ऐसे प्रतिनिधि दस्तावेज़ जिनमें values स्पष्ट रूप से दी गई हों।
- कठिन मामले: असामान्य लेआउट, लंबे इनपुट, OCR की गड़बड़ियाँ या अनपेक्षित format में दी गई values।
- अनुपस्थित जानकारी: ऐसे fields जो स्रोत में सचमुच नहीं हैं, ताकि जाँचा जा सके कि मॉडल अनुमान लगाने से बचता है या नहीं।
- अस्पष्टता: परस्पर विरोधी values या अस्पष्ट संदर्भ, जिनके लिए अपेक्षित व्यवहार पहले से तय हो।
- Regression मामले: ऐसे उदाहरण जिन्हें बेस मॉडल पहले से सही संभालता है, ताकि fine-tune से हुई गिरावट दिखाई दे।
- Format पर दबाव डालने वाले मामले: ऐसे इनपुट जिनसे commentary, Markdown fences, छूटी हुई keys या अतिरिक्त properties आने की आशंका हो।
हर उदाहरण के साथ स्रोत इनपुट, अपेक्षित आउटपुट और normalization के नियम सहेजें। स्कोरिंग से पहले नियम तय करें। उदाहरण के लिए, अगर 1,250.00 और 1250 को समान कुल राशि माना जाता है, तो numeric values को एक ही तरीके से normalize करें; यह नियम मॉडल के नतीजे देखने के बाद न बदलें।
3. Hugging Face मूल्यांकन सेटअप को स्थिर रखें
बेस मॉडल और fine-tuned मॉडल, दोनों के सटीक model ID और revision दर्ज करें। अगर fine-tune adapter इस्तेमाल करता है, तो adapter revision और यह भी दर्ज करें कि मूल्यांकन में बेस मॉडल के साथ adapter लोड किया गया है, merged model इस्तेमाल हुआ है या कोई अन्य artifact। Hugging Face की चर्चा में बताया गया है कि adapters, merged weights, quantization और serving paths का व्यवहार अलग-अलग हो सकता है, इसलिए मूल्यांकित artifact मायने रखता है।
जहाँ लागू हो, दोनों मॉडलों के बीच ये सेटिंग एक जैसी रखें:
- system message, prompt template और chat template;
- इनपुट उदाहरण, उनका क्रम और few-shot demonstrations;
- decoding parameters, जिनमें temperature, top-p और अधिकतम नए tokens शामिल हैं;
- inference backend, quantization और संदर्भ को संभालने के संबंधित तरीके।
दोहराई जा सकने वाली extraction तुलना के लिए, जब चुना हुआ मॉडल और backend समर्थन करते हों, तो deterministic decoding एक उचित शुरुआती विकल्प है। यह मानने के बजाय कि हर endpoint हर विकल्प को लागू करता है, इस्तेमाल की गई वास्तविक parameter values दर्ज करें। अगर endpoint किसी सेटिंग के समर्थन का दस्तावेज़ नहीं देता, तो उसे अज्ञात चिह्नित करें और यह दावा न करें कि उस सेटिंग पर दोनों runs एक जैसे थे।
Prompt में निर्देश स्पष्ट रखें: केवल माँगा गया JSON object लौटाएँ, schema में अनुपस्थित values के लिए तय convention अपनाएँ और इनपुट में न दी गई values का अनुमान न लगाएँ। इससे अनुपालन की गारंटी नहीं मिलती; मूल्यांकन में इसी की जाँच होती है।
4. वैधता और शुद्धता को अलग-अलग स्कोर करें
छोटे dataset के लिए प्रतिशत के साथ counts भी बताएँ। उपयोगी scorecard का उदाहरण:
| माप | यह क्या जाँचता है | इससे क्या साबित नहीं होता |
|---|---|---|
| Parseable JSON दर | आउटपुट को JSON के रूप में decode किया जा सकता है | Keys या values सही हैं |
| Schema-valid दर | Parse किया गया आउटपुट चुने हुए schema पर खरा उतरता है | Values स्रोत से मेल खाती हैं |
| ज़रूरी fields की पूर्णता | सभी ज़रूरी keys मौजूद हैं | Values सटीक हैं |
| Field-level exact match | घोषित normalization के बाद हर field अपने लेबल वाली value से मेल खाता है | मूल्यांकन सेट से बाहर सामान्यीकरण |
| Record-level exact match | किसी record के जाँचे गए सभी fields सही हैं | अनदेखे formats के प्रति मजबूती |
हर माप के लिए numerator और denominator बताएँ—उदाहरण के लिए, “20 में से 18 outputs ने schema validation पास किया”—और प्रतिशत भी दें। बताएं कि आउटपुट के साथ आए अतिरिक्त prose या Markdown fences को कैसे संभाला जाता है। एक सुसंगत नीति यह है कि पहले raw response को स्कोर करें: अगर काम में केवल JSON आउटपुट ज़रूरी है, तो अतिरिक्त text format की विफलता है। मॉडल के आउटपुट को चुपचाप सुधारने से बचें, जब तक सुधार वास्तविक production workflow का हिस्सा न हो; अगर सुधार वाले चरण का मूल्यांकन करते हैं, तो उसके नतीजे अलग बताएँ।
5. केवल कुल स्कोर नहीं, विफलताओं की भी जाँच करें
हर इनपुट, reference output, बेस मॉडल का raw output, fine-tuned मॉडल का raw output, validation का नतीजा और field-level scores सहेजें। हर त्रुटि को छोटा label दें, जैसे invalid JSON, छूटी हुई key, गलत value, बिना आधार का अनुमान, अतिरिक्त property या गलत abstention। फिर उन उदाहरणों की जाँच करें जहाँ fine-tuned मॉडल बेहतर हुआ और जहाँ उसका प्रदर्शन गिरा।
Schema की वैधता में बढ़ोतरी के पीछे extraction की कम होती शुद्धता छिप सकती है। इसके उलट, कोई मॉडल अधिक fields सही निकाल सकता है, फिर भी कभी-कभी malformed JSON दे सकता है। मापों को अलग रखें, ताकि टीम तय कर सके कि उसके workflow में कौन-सी विफलता सबसे ज़्यादा मायने रखती है।
छोटे सेट में कुछ उदाहरणों से प्रतिशत काफी बदल सकता है। नमूनों की संख्या बताएँ और स्कोर के छोटे अंतर को निर्णायक न मानें। दी गई चर्चा के बाद के जवाब में अलग-अलग seeds के साथ कई runs करने की सलाह है, क्योंकि छोटे सेट के scores बदल सकते हैं; यह बात मॉडल के sampling व्यवहार और आपके inference setup पर निर्भर करती है। अगर outputs deterministic हैं, तो एक ही run को बार-बार दोहराने से स्वतंत्र सबूत मिलने के बजाय वही नतीजे फिर आ सकते हैं।
6. पुनरुत्पादन संबंधी जानकारी और सीमाएँ प्रकाशित करें
एक उपयोगी रिपोर्ट में dataset का स्रोत और split, उदाहरणों की संख्या, training से उनका अलग रखा जाना, model और adapter revisions, prompt और chat template, generation सेटिंग, inference path, validator और scoring नियम तथा विफलताओं के प्रतिनिधि उदाहरण शामिल होते हैं। उन सेटिंग का भी उल्लेख करें जिनकी पुष्टि नहीं हो सकी या जिन्हें एक जैसा नहीं रखा जा सका।
निष्कर्ष सटीक रखें: “इस परीक्षण में fine-tuned revision ने अलग रखे गए 20 में से 18 उदाहरणों पर schema validation पास किया” कहना उचित है। “यह मॉडल invoices का विश्वसनीय निष्कर्षण करता है” ऐसा व्यापक दावा है, जिसे छोटा और सीमित मूल्यांकन साबित नहीं कर सकता। अगर उद्देश्य से मेल खाते हों, तो public benchmarks को दूसरे स्तर की जाँच के रूप में इस्तेमाल किया जा सकता है, लेकिन वे वास्तविक extraction contract के परीक्षण की जगह नहीं लेते।
निष्कर्ष
Hugging Face पर JSON निष्कर्षण का मूल्यांकन demo के बजाय दोहराई जा सकने वाली तुलना के रूप में करें: प्रतिनिधि उदाहरण अलग रखें, setup को स्थिर करके दर्ज करें, संरचना validate करें, field values स्कोर करें और विफलताओं की जाँच करें। नतीजे के साथ dataset और inference configuration की सीमाएँ बताएँ। इससे पाठकों को यह तय करने का आधार मिलता है कि दिखा हुआ बदलाव उनके अपने निष्कर्षण workflow के लिए प्रासंगिक है या नहीं।
सामान्य प्रश्न
क्या मान्य JSON से यह साबित होता है कि Hugging Face मॉडल सही निष्कर्षण करता है?
नहीं। Parseability से केवल यह पता चलता है कि आउटपुट को JSON के रूप में decode किया जा सकता है। Schema की वैधता, ज़रूरी fields और स्रोत के लेबल वाले उदाहरणों के आधार पर field-level शुद्धता को अलग-अलग जाँचें।
क्या मुझे fine-tuned मॉडल की तुलना उसके बेस मॉडल से करनी चाहिए?
हाँ, अगर उद्देश्य यह मापना है कि fine-tuning से सुधार हुआ या नहीं। जहाँ संभव हो, दोनों को एक ही अलग रखे गए उदाहरणों, prompt, chat template, generation सेटिंग और inference path पर चलाएँ। जिन अंतरों को स्थिर नहीं रख सकते, उन्हें दर्ज करें।
JSON निष्कर्षण के मूल्यांकन सेट में क्या शामिल होना चाहिए?
सामान्य उदाहरण, कठिन या अव्यवस्थित इनपुट, अनुपस्थित fields, अस्पष्ट मामले, format पर दबाव डालने वाले परीक्षण और ऐसे उदाहरण शामिल करें जिन्हें बेस मॉडल पहले से संभालता है। सेट को fine-tuning डेटा से अलग रखें और बताएँ कि अपेक्षित values पर लेबल कैसे लगाए गए।
क्या JSON Schema validation यह माप सकता है कि निकाली गई values सही हैं?
नहीं। Schema validation संरचना और data types जाँचता है, यह नहीं कि कोई value इनपुट से समर्थित है। निष्कर्षण की शुद्धता के लिए अपेक्षित values पर लेबल लगाएँ और field-level scoring करें।
JSON के आसपास prose वाले मॉडल आउटपुट को कैसे संभालना चाहिए?
परीक्षण से पहले तय करें। अगर काम में केवल JSON चाहिए, तो आसपास के prose को format की विफलता मानकर स्कोर करें। अगर production parser या सुधार का चरण उसे हटाता है, तो outputs को चुपचाप साफ़ करने के बजाय उस अलग workflow का मूल्यांकन करके नतीजे बताएँ।
संबंधित लेख
Guides
प्राइवेसी का ध्यान रखते हुए Hugging Face मॉडल का मूल्यांकन कैसे करें
Hugging Face बेस मॉडल और उसके फाइन-ट्यून किए गए मॉडल के लिए तय सेटिंग और यूज़र डेटा व क्रेडेंशियल की सुरक्षा के साथ एक held-out मूल्यांकन तैयार करें।
Guides
Hugging Face मॉडल का पुनरुत्पादित मूल्यांकन: कार्य, सेटिंग्स और सीमाएँ
एक बेस Hugging Face मॉडल और उसके fine-tune की तुलना के लिए व्यावहारिक प्रोटोकॉल: held-out उदाहरण, तय generation सेटिंग्स, कार्य के अनुरूप metrics और दर्ज की गई सीमाएँ।
Guides
API incidents की जांच के लिए दोहराने योग्य Hugging Face मूल्यांकन बनाएं
Hugging Face पर मॉडल revisions की तुलना करने का व्यावहारिक workflow: तय prompts, प्रतिनिधि tasks, API विफलता के दिखने वाले संकेत और स्पष्ट सीमाएं।
Guides
रिपॉज़िटरी कोड में बदलावों पर Hugging Face मॉडल का पुनरुत्पादनीय मूल्यांकन कैसे करें
Hugging Face कोड मॉडल के लिए दोहराया जा सकने वाला मूल्यांकन तैयार करें: अप्रयुक्त रिपॉज़िटरी टास्क, तय जनरेशन सेटिंग्स, अलग-थलग टेस्ट रन और सीमाओं का स्पष्ट दस्तावेज़ीकरण इस्तेमाल करें।