Hugging Face पर डॉक्यूमेंट प्रश्नोत्तर का मूल्यांकन कैसे करें
डॉक्यूमेंट प्रश्नोत्तर के लिए दोहराया जा सकने वाला मूल्यांकन बनाएँ, जो उत्तर की गुणवत्ता, रिट्रीवल, स्रोत एट्रिब्यूशन और उत्तर देने से परहेज की जाँच करे।
सारांश · TL;DR
अलग रखे गए प्रश्नों पर डॉक्यूमेंट QA मॉडल की तुलना करने का व्यावहारिक वर्कफ़्लो, जिसमें रिट्रीवल की विफलताओं, बिना साक्ष्य वाले उत्तरों और भ्रामक उद्धरणों को अलग-अलग परखा जाता है।
मुख्य बातें
- ऐसे अलग रखे गए प्रश्नों से शुरुआत करें जो उन दस्तावेज़ों और निर्णयों का प्रतिनिधित्व करें जिन्हें सिस्टम वास्तव में संभालेगा।
- पूरी रिट्रीवल पाइपलाइन का परीक्षण करने से पहले बेस और फाइन-ट्यून किए गए मॉडल की तुलना एक जैसे प्रश्नों और निश्चित संदर्भों पर करें।
- उत्तर की शुद्धता, दावों के समर्थन, उद्धरण की गुणवत्ता और उत्तर देने से परहेज को अलग-अलग स्कोर करें।
- हर परिणाम के साथ मॉडल रिविज़न, प्रॉम्प्ट, जनरेशन सेटिंग्स, दस्तावेज़ संस्करण, आउटपुट और ज्ञात सीमाएँ सहेजें।
इस पृष्ठ पर (7)
उत्तर और उसके साक्ष्य का अलग-अलग मूल्यांकन करें
डॉक्यूमेंट प्रश्नोत्तर के उपयोगी मूल्यांकन में दो सवाल पूछे जाते हैं: क्या उत्तर सही है, और क्या उसमें उद्धृत अंश उसका समर्थन करते हैं? अप्रासंगिक उद्धरण के साथ दिया गया सही उत्तर, विश्वसनीय स्रोत-सहित उत्तर नहीं है। रिट्रीवल से पुराना दस्तावेज़ मिलने पर, प्राप्त टेक्स्ट का सटीक सारांश देने वाला उत्तर भी गलत हो सकता है।
वास्तविक दस्तावेज़ प्रश्नों के एक अलग रखे गए सेट से शुरुआत करें। बेस मॉडल और फाइन-ट्यून किए गए मॉडल की तुलना समान प्रश्नों, स्रोत अंशों, प्रॉम्प्ट और जनरेशन सेटिंग्स का उपयोग करके करें। फिर रिट्रीवल का अलग से मूल्यांकन करें। यह Hugging Face समुदाय की बेंचमार्किंग चर्चा में बताए गए कार्य-केंद्रित दृष्टिकोण के अनुरूप है। इसमें अलग रखे गए सेट, बेस-मॉडल बेसलाइन, निश्चित सेटिंग्स, कार्य-विशिष्ट मेट्रिक्स और अलग-अलग विफलताओं की जाँच की सलाह दी गई है।
आवश्यकताएँ और मूल्यांकन का दायरा
आपको Hugging Face के माध्यम से उपलब्ध एक बेस मॉडल और, जहाँ लागू हो, उसका फाइन-ट्यून किया गया संस्करण चाहिए। साथ ही, मूल्यांकन में दस्तावेज़ों का उपयोग करने की अनुमति भी होनी चाहिए। transformers, torch और मॉडल के लिए आवश्यक अन्य डिपेंडेंसी के संगत संस्करण इंस्टॉल करें। इंस्टॉल किए गए संस्करण दर्ज करें; हार्डवेयर और मेमोरी की ज़रूरतें मॉडल पर निर्भर करती हैं। नीचे दिए गए उदाहरण रनर का किसी खास मॉडल के साथ परीक्षण नहीं किया गया है।
रन शुरू करने से पहले तय करें कि आप किसकी तुलना कर रहे हैं:
- जेनरेटर की तुलना: दोनों मॉडल को वही निश्चित अंश दें। इससे उत्तर जनरेशन और एट्रिब्यूशन को रिट्रीवल में होने वाले बदलावों से अलग परखा जा सकता है।
- एंड-टू-एंड तुलना: वास्तविक रिट्रीवर और जेनरेटर को साथ चलाएँ। इससे तैनात वर्कफ़्लो का मापन होता है, लेकिन स्कोर में बदलाव का कारण अपने आप मॉडल को नहीं माना जा सकता।
जहाँ संभव हो, दोनों परीक्षण करें। जेनरेटर की तुलना बताती है कि समान साक्ष्य के साथ फाइन-ट्यून से मदद मिलती है या नहीं; एंड-टू-एंड परीक्षण बताता है कि पूरा सिस्टम काम करता है या नहीं।
अलग रखा गया डॉक्यूमेंट QA सेट बनाएँ
फाइन-ट्यूनिंग से पहले प्रश्नों और संबंधित दस्तावेज़ों या दस्तावेज़ समूहों को अलग रखें। स्प्लिट के बीच डुप्लिकेट और लगभग डुप्लिकेट अंशों की जाँच करें: यदि मॉडल को उसी उत्तर वाले अंश पर प्रशिक्षित किया गया है, तो प्रश्न की भाषा बदलने से लीकेज नहीं रुकता। रिट्रीवल परीक्षण के लिए एक अलग, संस्करणबद्ध कॉर्पस रखें, जिसमें वे दस्तावेज़ शामिल हों जिन्हें खोजने की सिस्टम को अनुमति है।
मामलों को ऐसे अनुपात में शामिल करें जो अपेक्षित उपयोग से मेल खाते हों। जानबूझकर कठिन बनाए गए सेट को सामान्य ट्रैफ़िक के रूप में पेश करने के बजाय, कठिन श्रेणियों के नतीजे अलग से बताएँ।
| श्रेणी | मूल्यांकन के लक्ष्य का उदाहरण |
|---|---|
| सामान्य | सीधा प्रश्न जिसका उत्तर एक अंश में है |
| कई अंशों वाला | ऐसा उत्तर जिसके लिए दो अंशों से साक्ष्य चाहिए |
| जिसका उत्तर उपलब्ध नहीं | दिए गए संदर्भ में उत्तर मौजूद नहीं है |
| परस्पर विरोधी या पुराना | दो संस्करणों में असहमति है; प्रश्न या मेटाडेटा बताता है कि कौन-सा लागू है |
| रिग्रेशन | ऐसा मामला जिसका बेस मॉडल ने पहले सही उत्तर और उद्धरण दिया था |
| अव्यवस्थित या लंबा | प्रासंगिक साक्ष्य लंबे या खराब फ़ॉर्मैट वाले दस्तावेज़ में छिपा है |
हर मामले के लिए एक स्थिर ID, प्रश्न, अपेक्षित उत्तर या ग्रेडिंग रूब्रिक, स्रोत दस्तावेज़ का संस्करण, समर्थन देने वाले अंशों के ID और यह जानकारी सहेजें कि दिया गया संदर्भ पर्याप्त है या नहीं। जहाँ उचित हो, स्वीकार्य वैकल्पिक उत्तर और उद्धरण भी निर्दिष्ट करें। यदि साक्ष्य की व्याख्या करनी पड़े, तो अस्पष्ट लेबल को ग्राउंड ट्रुथ मानने से पहले किसी समीक्षक से उनका समाधान कराएँ।
निश्चित-संदर्भ परीक्षण का एक संक्षिप्त रिकॉर्ड इस तरह दिख सकता है। नीति और उत्तर केवल फ़ॉर्मैट समझाने के लिए काल्पनिक हैं:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
ऐसे अंश पहचानकर्ता इस्तेमाल करें जो दस्तावेज़ के ठीक उसी संस्करण और टेक्स्ट तक पहुँचें जिसकी समीक्षक जाँच कर सके। किसी विशेष दावे की पुष्टि के लिए केवल दस्तावेज़ का शीर्षक बहुत व्यापक हो सकता है।
Hugging Face इन्फरेंस सेटअप निश्चित करें
मॉडल और टोकनाइज़र के रिपॉज़िटरी नाम और अपरिवर्तनीय रिविज़न, किसी भी एडॉप्टर और उसके रिविज़न, वेट मर्ज या क्वांटाइज़ किए गए हैं या नहीं, बैकएंड, पैकेज संस्करण और हार्डवेयर दर्ज करें। सटीक प्रॉम्प्ट और चैट टेम्पलेट, संदर्भ का क्रम, ट्रंकेशन नियम, अधिकतम इनपुट लंबाई और डिकोडिंग पैरामीटर भी सहेजें। एडॉप्टर-आधारित फाइन-ट्यून के लिए लिखें कि मूल्यांकित कॉन्फ़िगरेशन में केवल बेस मॉडल है या बेस मॉडल के साथ एडॉप्टर भी है।
नीचे दिया गया रनर संगत causal language models के लिए उदाहरण मात्र है और इसका परीक्षण नहीं किया गया है। प्लेसहोल्डर को वास्तविक रिपॉज़िटरी नामों और अपरिवर्तनीय रिविज़न से बदलें। यह सैंपलिंग में बदलाव कम करने के लिए ग्रीडी डिकोडिंग इस्तेमाल करता है और संदर्भ निश्चित रखता है; यह एडॉप्टर लोड नहीं करता, रिट्रीवल नहीं करता और परिणाम स्कोर नहीं करता। कुछ मॉडल को मॉडल-विशिष्ट चैट टेम्पलेट या टोकनाइज़र सेटिंग्स चाहिए। यदि दोनों मॉडल को अलग टेम्पलेट चाहिए, तो उस अंतर को दर्ज करें और उसे तुलना की सीमा मानें।
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
पूरा रन करने से पहले कुछ प्रॉम्प्ट को हर मॉडल की संदर्भ सीमा के हिसाब से जाँचें। साक्ष्य को बिना बताए ट्रंकेट न करें: या तो एक ही दस्तावेज़ीकृत ट्रंकेशन नीति लागू करें या मामले को मूल्यांकन योग्य न होने के रूप में चिह्नित करें। ग्रीडी डिकोडिंग से सभी हार्डवेयर और सॉफ़्टवेयर कॉन्फ़िगरेशन में एक जैसे आउटपुट की गारंटी नहीं मिलती। यदि सैंपलिंग प्रस्तावित तैनाती का हिस्सा है, तो उसकी सेटिंग्स और सीड दर्ज करें और विविधता जाँचने के लिए रन दोहराएँ।
रिट्रीवल, उत्तर और उद्धरण स्कोर करें
नीचे दिए गए माप अलग-अलग रखें। प्रत्येक दर के लिए अंश, हर और बाहर रखे गए मामलों की संख्या प्रकाशित करें; साथ ही हर श्रेणी के परिणाम भी बताएँ।
| माप | व्यावहारिक जाँच |
|---|---|
| रिट्रीवल रिकॉल | ज्ञात समर्थनकारी अंशों वाले प्रश्नों में प्राप्त सेट में आवश्यक साक्ष्य कितनी बार मौजूद था? तय करें कि सभी आवश्यक अंश मौजूद होना ज़रूरी है या नहीं। |
| उत्तर की शुद्धता | क्या उत्तर संदर्भ उत्तर से मेल खाता है या मामले के रूब्रिक को पूरा करता है? एक्ज़ैक्ट मैच का उपयोग केवल वहीं करें जहाँ शब्दावली पर्याप्त रूप से सीमित हो। |
| दावों का समर्थन | क्या उत्तर के तथ्यात्मक दावों का समर्थन दिए गए अंशों से होता है? उत्तर में कई दावे हों तो हर दावे की अलग जाँच करें। |
| उद्धरण की गुणवत्ता | क्या उद्धृत हर ID मौजूद है और उससे जुड़े दावे का समर्थन करता है? यह भी जाँचें कि महत्वपूर्ण दावों के साथ उद्धरण हैं या नहीं। |
| उत्तर देने से परहेज | अपर्याप्त संदर्भ वाले मामलों में क्या मॉडल बताता है कि साक्ष्य पर्याप्त नहीं है? जिन मामलों में उत्तर दिया जा सकता है, क्या वह अनावश्यक परहेज से बचता है? |
उदाहरण के लिए, यदि संबंधित अंश में बताई गई नीति मौजूद है, तो “30 days [policy-v1:p2]” उदाहरण वाले मामले में पास होता है। यदि p3 उस नीति को स्थापित नहीं करता, तो अवधि सही होने पर भी “30 days [policy-v1:p3]” उद्धरण-समर्थन की जाँच में फेल होना चाहिए। मनगढ़ंत अंश ID, ID की वैधता और समर्थन—दोनों जाँचों में फेल होना चाहिए।
स्वचालित ID और फ़ॉर्मैट जाँच उपयोगी हैं, लेकिन उनसे यह स्थापित नहीं होता कि कोई अंश किसी दावे को सिद्ध करता है। समर्थन और शुद्धता के लिए लिखित रूब्रिक और मानव समीक्षा का उपयोग करें; यदि मॉडल जज इस्तेमाल कर रहे हैं, तो उसका संस्करण और प्रॉम्प्ट दर्ज करें और उसके निर्णयों के एक नमूने का ऑडिट करें। दोनों मॉडल के आउटपुट सहेजें और missing_evidence, unsupported_claim, wrong_citation, या unnecessary_abstention जैसे त्रुटि लेबल दें।
समस्या की जाँच करें और परिणाम रिपोर्ट करें
यदि सही अंश मौजूद नहीं है, तो जेनरेटर बदलने से पहले इंडेक्सिंग, चंकिंग, कॉर्पस संस्करण और रिट्रीवल सेटिंग्स जाँचें। यदि अंश मौजूद है लेकिन उत्तर को उसका समर्थन नहीं मिलता, तो प्रॉम्प्ट और जनरेशन व्यवहार की जाँच करें। यदि उत्तर सही है लेकिन गलत अंश उद्धृत करता है, तो एट्रिब्यूशन को अपनी अलग विफलता मानें, केवल दिखावटी फ़ॉर्मैटिंग समस्या नहीं।
परिणामों के साथ एक संक्षिप्त रन मैनिफ़ेस्ट प्रकाशित करें: डेटासेट का निर्माण और स्प्लिट, दस्तावेज़ स्नैपशॉट, मॉडल और एडॉप्टर रिविज़न, प्रॉम्प्ट, रिट्रीवल कॉन्फ़िगरेशन, डिकोडिंग सेटिंग्स, स्कोरिंग नियम, हर श्रेणी के मामलों की संख्या और प्रतिनिधि विफलताएँ। छोटे सेट में कुछ उदाहरण भी प्रतिशत को काफ़ी बदल सकते हैं। जहाँ प्रासंगिक हो, सैंपलिंग वाले रन दोहराएँ और रनों के बीच बदलाव को सीमित परीक्षण सेट से पैदा होने वाली अनिश्चितता से अलग रखें।
सार्वजनिक बेंचमार्क संदर्भ जोड़ सकता है, लेकिन वह इस कार्य-विशिष्ट साक्ष्य का विकल्प नहीं है। एक उचित निष्कर्ष का दायरा सीमित होता है: परिणाम इन्हीं मॉडल, दस्तावेज़ों, प्रश्नों और सेटिंग्स का वर्णन करता है—हर डॉक्यूमेंट QA वर्कलोड का नहीं।
स्रोत
- Hugging Face समुदाय: “What’s your method for benchmarking?” — कार्य-केंद्रित मूल्यांकन, बेस और फाइन-ट्यून किए गए मॉडल की निष्पक्ष तुलना और रिपोर्टिंग संबंधी विचार।
- Hugging Face LLM Course: evaluation — मॉडल मूल्यांकन की अतिरिक्त पृष्ठभूमि।
- Hugging Face Cookbook: LLM-as-a-judge — मूल्यांकन में सहायता के लिए मॉडल के उपयोग की पृष्ठभूमि।
सामान्य प्रश्न
मुझे पहले रिट्रीवल का मूल्यांकन करना चाहिए या भाषा मॉडल का?
पहले जेनरेटर के व्यवहार को अलग से परखने के लिए उनकी तुलना समान, निश्चित अंशों पर करें। फिर पूरे रिट्रीवल और जनरेशन वर्कफ़्लो का मूल्यांकन करें, जिसमें यह भी जाँचें कि रिट्रीवर आवश्यक साक्ष्य ढूँढ़ता है या नहीं।
क्या उद्धरण के साथ दिया गया सही उत्तर सफल परिणाम माना जाएगा?
ज़रूरी नहीं। जाँचें कि उद्धृत अंश मौजूद है और वास्तव में संबंधित दावे का समर्थन करता है। अप्रासंगिक या मनगढ़ंत उद्धरण वाला सही उत्तर एट्रिब्यूशन में विफल होता है।
क्या मैं मानव समीक्षा के बजाय LLM जज का उपयोग कर सकता हूँ?
LLM जज उपयोगी संकेत दे सकता है, लेकिन उसके निर्णयों को अपने आप ग्राउंड ट्रुथ नहीं मानना चाहिए। उसका मॉडल संस्करण और प्रॉम्प्ट दर्ज करें, स्पष्ट रूब्रिक इस्तेमाल करें और लोगों से निर्णयों के एक नमूने का ऑडिट कराएँ।
संबंधित लेख
Guides
दस्तावेज़ों से सवाल-जवाब के लिए GPT 6.2 Astra API लागत का अनुमान
टोकन से जुड़ी स्पष्ट मान्यताओं, संदर्भ टियर, कैश दरों और दोहराई जा सकने वाली गणनाओं से GPT 6.2 Astra पर दस्तावेज़ों से सवाल-जवाब की लागत का अनुमान लगाएं।
Guides
दस्तावेज़ Q&A के लिए Claude Fable 5.2 API लागत का अनुमान लगाएँ
दस्तावेज़ प्रश्नोत्तर के लिए Claude Fable 5.2 की लागत का अनुमान लगाने की पुनरुत्पाद्य विधि, जिसमें स्पष्ट टोकन मान्यताएँ, स्रोत-एट्रिब्यूशन मार्गदर्शन और दिनांकित मूल्य आँकड़े शामिल हैं।
Guides
सपोर्ट ट्रायेज के लिए दोहराने योग्य Hugging Face मूल्यांकन कैसे बनाएं
अलग रखे गए सपोर्ट टिकटों पर बेस मॉडल और fine-tune की तुलना करने की व्यावहारिक प्रक्रिया, जिसमें मानवीय मंजूरी और सीमाओं की स्पष्ट जानकारी शामिल है।
Guides
दस्तावेज़ों पर प्रश्नोत्तर के लिए GPT Image 2.6 Sunburst API की लागत
स्पष्ट इमेज-इनपुट मान्यताओं के आधार पर दस्तावेज़ प्रश्नोत्तर का दोहराने योग्य बजट बनाएं और अज्ञात उत्तर-निर्माण व स्रोत-उल्लेख लागतों को अलग रखें।