दोहराए जा सकने वाले कोडिंग-एजेंट मूल्यांकनों के लिए Cline को कैसे कॉन्फ़िगर करें
निश्चित इनपुट, स्पष्ट टूल सीमाओं, दोहराए जा सकने वाले टेस्ट केस और समस्या-निवारण चेकलिस्ट के साथ ClineCore सेशन कॉन्फ़िगर करें।
सारांश · TL;DR
कोडिंग-एजेंट के मूल्यांकनों की तुलना योग्य बनाने के लिए ClineCore का उपयोग करें: मॉडल और वर्कस्पेस तय रखें, टास्क की सीमाएँ स्पष्ट करें, समर्थित रनटाइम नियंत्रणों से टूल सीमित करें और टेस्ट तथा उपयोग के साथ परिणाम दर्ज करें।
मुख्य बातें
- मूल्यांकन के हर रन में प्रॉम्प्ट, मॉडल कॉन्फ़िगरेशन, वर्कस्पेस और टेस्ट कमांड एक जैसे रखें।
- ClineCore सेशन-स्तरीय कॉन्फ़िगरेशन, टूल नीतियाँ और रनटाइम क्षमताएँ स्वीकार करता है; आपके इंस्टॉल किए गए SDK संस्करण में नीति और कॉलबैक के सटीक स्कीमा जाँचें।
- प्रॉम्प्ट को टास्क के निर्देश मानें, सुरक्षा सीमा नहीं। निष्पादन योग्य क्षमताओं और अनुमोदन के रास्तों को स्पष्ट रूप से सीमित करें।
- टेस्ट के नतीजे, सेशन संदेश और संचित उपयोग दर्ज करें, ताकि विफलताओं का पता लगाया जा सके और निर्णय सिर्फ़ अंतिम जवाब के आधार पर न हो।
इस पृष्ठ पर (10)
व्यावहारिक जवाब
निष्पक्ष कोडिंग-एजेंट मूल्यांकन के लिए, हर Cline रन एक ही रिपॉज़िटरी स्थिति, प्रॉम्प्ट, प्रोवाइडर और मॉडल पहचानकर्ताओं, रनटाइम सेटिंग तथा टेस्ट कमांड से शुरू करें। एजेंट को सिर्फ़ वही टूल दें जिनकी टेस्ट को ज़रूरत है, फिर टेस्ट का नतीजा और सेशन का इतिहास—दोनों दर्ज करें। “इस फ़ोल्डर के बाहर की फ़ाइलें संपादित न करें” कहने वाला प्रॉम्प्ट उपयोगी निर्देश है, लेकिन यह अपने-आप उस सीमा को लागू नहीं करता।
ClineCore सेशन कॉन्फ़िगरेशन, प्रति-सेशन टूल नीतियाँ और क्षमताएँ, सेशन इतिहास, संदेश पढ़ने, उपयोग प्राप्त करने और रन रद्द या रोकने के नियंत्रण देता है। संदर्भ में नीति मानों या क्षमता कॉलबैक का विस्तृत स्वरूप परिभाषित नहीं है, इसलिए उन पर निर्भर होने से पहले अपने प्रोजेक्ट में इस्तेमाल हो रहे SDK संस्करण के दस्तावेज़ देखें। ClineCore API संदर्भ
पूर्वापेक्षाएँ और मूल्यांकन की रूपरेखा
हार्नेस लिखने से पहले तय करें कि सफलता किसे माना जाएगा और एजेंट को क्या करने की अनुमति होगी।
- शुरुआती स्थिति तय करें: हर रन से पहले साफ़ checkout का उपयोग करें या उसी टेस्ट फ़िक्स्चर को रीसेट करें। कमिट या फ़िक्स्चर पहचानकर्ता दर्ज करें।
- हर केस के लिए एक टास्क तय करें: अनुरोध, अपेक्षित व्यवहार और चलाए जा सकने वाले टेस्ट कमांड को शामिल करें। “कोड बेहतर बनाएँ” जैसे अस्पष्ट लक्ष्य न रखें।
- सीमाएँ तय करें: निर्धारित करें कि रन फ़ाइलें संपादित कर सकता है, टेस्ट चला सकता है, नेटवर्क एक्सेस कर सकता है या एजेंट शुरू कर सकता है या नहीं। सिर्फ़ केस के लिए आवश्यक क्षमताएँ चालू करें।
- रोकने का नियम चुनें: उदाहरण के लिए, टेस्ट कमांड पूरा होने पर या मानव समीक्षक के हस्तक्षेप पर रोकें। ClineCore
abortऔरstopमेथड का दस्तावेज़ देता है, लेकिन संदर्भ किसी खास टाइमआउट व्यवस्था की गारंटी नहीं देता। - पर्यावरण दर्ज करें: Cline SDK संस्करण, प्रोवाइडर और मॉडल ID, संबंधित कॉन्फ़िगरेशन, टेस्ट आउटपुट और सेशन ID सहेजें।
अगर कई मूल्यांकन एक ही लिखने योग्य वर्कस्पेस साझा करते हैं, तो उन्हें क्रम से चलाएँ। एक ही checkout में समानांतर एजेंटों द्वारा संपादन से नतीजे प्रभावित हो सकते हैं।
निश्चित ClineCore सेशन कॉन्फ़िगर करें
नीचे दिया गया उदाहरण दस्तावेज़ में वर्णित create और start संरचना का अनुसरण करता है। यह उदाहरण समझाने के लिए है, जाँची हुई इंटीग्रेशन रेसिपी नहीं; मॉडल और प्रोवाइडर पहचानकर्ताओं की जगह अपने चुने हुए प्रोवाइडर के समर्थित मान रखें और सीक्रेट्स को सोर्स कंट्रोल से बाहर रखें।
import { ClineCore } from "@cline/sdk"
const cline = await ClineCore.create({
clientName: "cline-eval-harness",
backendMode: "auto",
})
const session = await cline.start({
prompt: [
"Implement the requested change in this repository.",
"Do not change files outside the task scope.",
"Run the specified test command and report its exact result.",
"Do not spawn agents or agent teams.",
].join("\n"),
source: "repeatable-evaluation",
interactive: false,
config: {
providerId: "anthropic",
modelId: "claude-sonnet-4-6",
apiKey: process.env.ANTHROPIC_API_KEY,
systemPrompt: "Make the smallest change that satisfies the task.",
cwd: process.cwd(),
workspaceRoot: process.cwd(),
enableTools: true,
enableSpawnAgent: false,
enableAgentTeams: false,
},
})
console.log({ sessionId: session.sessionId, result: session.result })
दिखाए गए प्रोवाइडर और मॉडल संदर्भ में दिए गए उदाहरण मान हैं; ये न तो सिफ़ारिश हैं, न ही उनकी उपलब्धता का प्रमाण। ClineCore, निर्माण के समय या सेशन स्तर पर toolPolicies और capabilities का भी दस्तावेज़ देता है। जहाँ आपका इंस्टॉल किया गया SDK इनका समर्थन करता हो, वहाँ इन नियंत्रणों से अनुमोदन और आपके क्लाइंट द्वारा निष्पादित टूल नियंत्रित करें। स्रोत सारांश में नीति स्कीमा या कॉलबैक सिग्नेचर नहीं दिए गए हैं; हार्नेस में अनुमान से बनाए गए नीति कुंजी न डालें।
प्रोवाइडर से स्वतंत्र मूल्यांकन सेटिंग के लिए टास्क, वर्कस्पेस, टेस्ट सूट, इंटरैक्शन मोड, टूल सीमाएँ और रिकॉर्डिंग प्रक्रिया एक जैसी रखें। प्रोवाइडर ID, मॉडल ID, क्रेडेंशियल और प्रोवाइडर-विशिष्ट अनुरोध पैरामीटर प्रोवाइडर-स्वतंत्र नहीं हैं। पुष्टि करें कि प्रोवाइडर आपके रनटाइम द्वारा भेजे गए कॉन्फ़िगरेशन को स्वीकार करता है; उदाहरण के लिए, OpenAI-संगत एंडपॉइंट के साथ संगतता उस एंडपॉइंट के दस्तावेज़ में दिए गए पैरामीटर समर्थन पर निर्भर करती है। Cline संदर्भ किसी खास तृतीय-पक्ष एंडपॉइंट इंटीग्रेशन को स्थापित नहीं करता।
टेस्ट केस को दोहराए जा सकने योग्य बनाएँ
हर केस को किसी छोटी मेनिफ़ेस्ट या संस्करण-नियंत्रित टेस्ट फ़ाइल में रखें। उपयोगी केस में ये विवरण दर्ज होते हैं:
| फ़ील्ड | उदाहरण मान |
|---|---|
| केस ID | add-input-validation |
| शुरुआती स्थिति | कमिट या फ़िक्स्चर पहचानकर्ता |
| प्रॉम्प्ट | Cline को दिया गया सटीक टेक्स्ट |
| अनुमत कार्रवाइयाँ | सिर्फ़ फ़ाइल संपादन और निर्दिष्ट स्थानीय टेस्ट |
| टेस्ट कमांड | सटीक कमांड और अपेक्षित एग्ज़िट स्टेटस |
| समीक्षा मानदंड | आवश्यक व्यवहार और निषिद्ध बदलाव |
| रन रिकॉर्ड | सेशन ID, SDK संस्करण, मॉडल ID, टेस्ट आउटपुट |
ऊपर दिए गए केस नाम और मान सिर्फ़ उदाहरण हैं। हर रन के लिए Cline सेशन ID सहेजें और readMessages से संदेश प्राप्त करें; सेशन के रिपोर्ट किए गए संचित टोकन या लागत उपयोग की ज़रूरत हो, तो getAccumulatedUsage का उपयोग करें। इन रिकॉर्ड से यह पता लगाने में मदद मिलती है कि विफलता इम्प्लीमेंटेशन में हुई, टेस्ट चला ही नहीं या एजेंट ने टास्क गलत समझा। अलग-अलग प्रोवाइडरों के रॉ लागत या उपयोग की तुलना न करें, जब तक यह ज्ञात न हो कि उनकी रिपोर्टिंग इकाइयाँ और गणना तुलनीय हैं।
मूल्यांकन में आम समस्याओं का निवारण
हर दोहराव में रन बदल जाता है
जाँचें कि वर्किंग ट्री में बदलाव तो नहीं हैं, डिपेंडेंसी बदल तो नहीं रही, फ़ाइलें जनरेट तो नहीं हो रहीं, टेस्ट पर्यावरण पर निर्भर तो नहीं हैं या प्रॉम्प्ट तय न किए गए डेटा से तो नहीं बनाया गया। निष्कर्ष निकालने से पहले वर्कस्पेस रीसेट करें और सटीक प्रॉम्प्ट तथा सेशन कॉन्फ़िगरेशन की तुलना करें।
एजेंट अनपेक्षित टूल इस्तेमाल करता है
सिर्फ़ प्रॉम्प्ट के निर्देशों पर निर्भर न रहें। कॉन्फ़िगर की गई टूल नीतियों और क्लाइंट के स्वामित्व वाली क्षमताओं तथा अनुमोदन कॉलबैक की समीक्षा करें। इंस्टॉल किए गए SDK के समर्थित स्कीमा की पुष्टि करें, फिर निष्पादन के उपलब्ध रास्ते घटाएँ या अनुमोदन अनिवार्य करें। संदर्भ इन नियंत्रणों की सूची देता है, लेकिन हर टूल या नीति मान का विवरण नहीं देता।
रन बिना स्पष्ट नतीजे के समाप्त हो जाता है
सेशन संदेश और नतीजा देखें, फिर जाँचें कि टेस्ट कमांड वास्तव में चला था या नहीं। दस्तावेज़ के अनुसार, start के नतीजे में सेशन ID होता है और उसमें परिणाम भी हो सकता है; send AgentResult या undefined लौटाता है। हार्नेस में नतीजा न मिलने की संभावना को संभालें—इसे पास हुआ टेस्ट न मानें।
रन रोकना हो या पहले का काम देखना हो
हस्तक्षेप की ज़रूरत पड़ने पर सेशन ID के साथ दस्तावेज़ में दिए गए abort या stop मेथड का उपयोग करें। डीबगिंग के लिए, ClineCore सेशन खोजने, संदेश पढ़ने, इतिहास सूचीबद्ध करने और चेकपॉइंट बहाल करने की सुविधाएँ भी दस्तावेज़ करता है। औपचारिक मूल्यांकन प्रोटोकॉल में शामिल करने से पहले restore व्यवहार को अलग से जाँचें।
मूल्यांकन के लिए संक्षिप्त चेकलिस्ट
- रिपॉज़िटरी को ज्ञात स्थिति पर रीसेट करें।
- SDK संस्करण, प्रोवाइडर/मॉडल पहचानकर्ता, प्रॉम्प्ट और सेशन कॉन्फ़िगरेशन पिन करें।
- वर्कस्पेस रूट सोच-समझकर तय करें और समर्थित नियंत्रणों से टूल निष्पादन सीमित करें।
- एक नामित केस को निश्चित टेस्ट कमांड के साथ चलाएँ।
- सेशन ID, संदेश, टेस्ट आउटपुट और संबंधित उपयोग डेटा सहेजें।
- उसी शुरुआती स्थिति से दोहराएँ; नतीजों की तुलना करने से पहले पर्यावरण में किसी भी अंतर की जाँच करें।
ClineCore दोहराए जा सकने वाले हार्नेस के लिए उपयोगी सुविधाएँ देता है, लेकिन पुनरुत्पादकता आसपास की टेस्ट रूपरेखा पर निर्भर करती है: निश्चित इनपुट, स्पष्ट अनुमतियाँ, नियंत्रित वर्कस्पेस और दर्ज किए गए प्रमाण।
सामान्य प्रश्न
कोडिंग-एजेंट मूल्यांकन के रन के बीच कौन-सी Cline सेटिंग एक जैसी रखनी चाहिए?
प्रॉम्प्ट, प्रोवाइडर और मॉडल पहचानकर्ता, Cline सेशन कॉन्फ़िगरेशन, वर्कस्पेस स्थिति, टूल सीमाएँ, टेस्ट कमांड और SDK संस्करण एक जैसे रखें। नतीजे को प्रभावित कर सकने वाले पर्यावरण मान भी दर्ज करें।
क्या Cline को किसी फ़ाइल में बदलाव न करने का निर्देश देने से वह पाबंदी लागू हो जाती है?
नहीं। प्रॉम्प्ट इरादा बताता है, लेकिन निष्पादन सीमा नहीं बनता। लागू करने के लिए समर्थित टूल नीतियों, क्लाइंट के स्वामित्व वाली क्षमताओं और अनुमोदन कॉलबैक का उपयोग करें; पहले अपने SDK संस्करण में उनके सटीक स्कीमा की पुष्टि करें।
क्या ClineCore किसी भी प्रोवाइडर या OpenAI-संगत एंडपॉइंट के साथ काम कर सकता है?
दिए गए ClineCore संदर्भ में सेशन कॉन्फ़िगरेशन के भीतर प्रोवाइडर और मॉडल पहचानकर्ता दिखाए गए हैं, लेकिन इससे हर प्रोवाइडर के समर्थन या किसी खास एंडपॉइंट इंटीग्रेशन की पुष्टि नहीं होती। जाँचें कि आपका प्रोवाइडर और एंडपॉइंट आपके रनटाइम द्वारा इस्तेमाल किए जाने वाले कॉन्फ़िगरेशन और पैरामीटर का समर्थन करते हैं।
विफल या अधूरे Cline रन की जाँच कैसे करूँ?
सेशन का नतीजा और सहेजे गए संदेश देखें, पुष्टि करें कि अपेक्षित टेस्ट कमांड चला था या नहीं, और अनचाहे बदलावों के लिए वर्कस्पेस जाँचें। ClineCore सेशन खोजने, संदेश पढ़ने, संचित उपयोग प्राप्त करने और रन रोकने या रद्द करने के मेथड का दस्तावेज़ देता है।
संबंधित लेख
Guides
प्रोडक्शन में Cline: सेशन कॉन्फ़िगर करें और सुरक्षित तरीके से रिकवर करें
ClineCore सेशन कॉन्फ़िगर करने, रनटाइम सेटिंग को प्रोवाइडर कॉन्फ़िगरेशन से अलग रखने और सुरक्षित रीट्राई व रिकवरी नियम बनाने की व्यावहारिक गाइड।
Guides
गोपनीयता-सचेत कोडिंग सत्रों के लिए ClineCore कॉन्फ़िगर करें
ClineCore सत्र कॉन्फ़िगर करने, संवेदनशील डेटा का खुलासा सीमित रखने और सेटअप की आम समस्याएँ सुलझाने के लिए एक व्यावहारिक मार्गदर्शिका।
Guides
API Incident की जाँच के लिए Cline कॉन्फ़िगर करें
API incident की जाँच के लिए Cline SDK session कॉन्फ़िगर करें, provider से स्वतंत्र runtime settings चुनें और दिखाई देने वाले failure signals के आधार पर troubleshooting करें।
Guides
JSON Schema एक्सट्रैक्शन के लिए Cline को OpenAI-Compatible Provider के साथ कॉन्फ़िगर करें
Cline में OpenAI-compatible provider सेट अप करें, फिर coding-agent workflow की मदद से structured extraction बनाएं और JSON Schema से उसे validate करें।