मानव समीक्षा के साथ सीमित LangGraph टूल-कॉलिंग एजेंट बनाएं
स्पष्ट चरण-सीमाओं, जोखिमपूर्ण कार्रवाइयों के लिए मानव अनुमोदन और दोहराए जा सकने वाले टेस्ट केस के साथ LangGraph टूल-कॉलिंग एजेंट का मूल्यांकन करने का व्यावहारिक तरीका।
सारांश · TL;DR
निष्पादन को सीमित रखने के लिए ग्राफ़ चरणों की सीमा तय करें, जोखिमपूर्ण टूल कॉल रोकने के लिए HumanInTheLoopMiddleware का उपयोग करें, और अनुमोदन, अस्वीकृति तथा सीमा से जुड़े व्यवहार जांचने के लिए एक छोटा, तय टेस्ट सेट रखें। उदाहरणों को शुरुआती आधार मानें: मॉडल और टूल के व्यवहार को अपने परिवेश में जांचना ज़रूरी है।
मुख्य बातें
- ग्राफ़ रिकर्शन लिमिट एजेंट के निष्पादन की स्पष्ट सीमा तय करती है; यह इस बात की गारंटी नहीं देती कि एजेंट अपना काम पूरा कर लेगा।
- अगर ग्राफ़ में चेकपॉइंटर और थ्रेड ID हो, तो मानव समीक्षा टूल का निष्पादन रोक सकती है और बाद में उसे फिर शुरू कर सकती है।
- टेस्ट इनपुट, अपेक्षित नतीजे, टूल फ़िक्स्चर और निष्पादन सीमा तय करके मूल्यांकन को दोहराने योग्य रखें।
- अस्वीकृत कार्रवाइयों और सीमा समाप्त होने की स्थिति का स्पष्ट परीक्षण करें; इनमें से कोई भी सफल रिकवरी के समान नहीं है।
इस पृष्ठ पर (6)
टूल-कॉलिंग एजेंट के लिए अच्छे प्रॉम्प्ट से अधिक की ज़रूरत होती है: उसे रुकने की सीमा, जोखिमपूर्ण कार्रवाइयों को संभालने की योजना और ऐसे टेस्ट चाहिए जो उसके व्यवहार को दोहराने योग्य बनाएं। LangGraph में आप ग्राफ़ रिकर्शन लिमिट को चुने हुए टूल के लिए human-in-the-loop (HITL) समीक्षा के साथ जोड़ सकते हैं। इसके बाद, कुछ सफल रन पर निर्भर रहने के बजाय तय केस के साथ वर्कफ़्लो का मूल्यांकन करें।
नीचे दिया गया उदाहरण केवल समझाने के लिए है, यह कोई जांचा हुआ कॉन्फ़िगरेशन नहीं है। इसमें संगत LangChain और LangGraph पैकेज वाला Python परिवेश, टूल कॉलिंग समर्थित चैट मॉडल और आपके द्वारा लागू किया गया एक टूल मानकर चला गया है। अपने परिवेश में वर्शन और मॉडल प्रदाता के पैरामीटर जांच लें।
टूल जोड़ने से पहले सीमा तय करें
रिकर्शन लिमिट ग्राफ़ के निष्पादन चरणों को सीमित करती है। यह सुरक्षा सीमा है, न कि इस बात का वादा कि एजेंट काम पूरा करेगा; न ही यह टूल कॉल की संख्या पर सटीक सीमा है: चरणों की गणना ग्राफ़ की संरचना पर निर्भर करती है। अगर निष्पादन इस सीमा तक पहुंचता है, तो ग्राफ़ रिकर्शन त्रुटि की आशंका रखें और इसे अधूरे रन के रूप में संभालें। इसे सफल उत्तर न मानें।
मूल्यांकन के दौरान छोटी सीमा से शुरू करें और इसे तभी बढ़ाएं जब कोई टेस्ट केस दिखाए कि वर्कफ़्लो को अधिक चरणों की ज़रूरत है। टूल कार्रवाइयों का दायरा भी सीमित रखें। ग्राफ़-स्तर की सीमा किसी टूल द्वारा पहले ही किए गए साइड इफ़ेक्ट को वापस नहीं कर सकती।
ऐसा टूल कॉल कॉन्फ़िगर करें जिसे समीक्षा के लिए रोका जा सके
इस उदाहरण में HITL middleware के साथ create_agent का उपयोग किया गया है। write_file टूल को अनुमोदन या अस्वीकृति के लिए रोका जाता है; read_data को नहीं। टूल के कार्यान्वयन और मॉडल का नाम केवल प्लेसहोल्डर हैं। पुष्टि करें कि चुना गया मॉडल और एंडपॉइंट आपके एजेंट द्वारा उपयोग किए जाने वाले पैरामीटर और टूल-कॉलिंग व्यवहार का समर्थन करते हैं।
from langchain.agents import create_agent
from langchain.agents.middleware import HumanInTheLoopMiddleware
from langgraph.checkpoint.memory import InMemorySaver
# Replace these placeholders with your own tool implementations.
tools = [write_file, read_data]
agent = create_agent(
model="your-tool-capable-chat-model",
tools=tools,
middleware=[
HumanInTheLoopMiddleware(
interrupt_on={
"write_file": {"allowed_decisions": ["approve", "reject"]},
"read_data": False,
}
)
],
checkpointer=InMemorySaver(),
)
config = {
"configurable": {"thread_id": "evaluation-case-001"},
"recursion_limit": 8,
}
result = agent.invoke(
{"messages": [{"role": "user", "content": "Save the approved summary."}]},
config=config,
version="v2",
)
प्रोटोटाइप या एक ही प्रक्रिया में चलने वाले टेस्ट के लिए InMemorySaver उपयुक्त है; प्रक्रिया रीस्टार्ट होने पर यह डेटा सुरक्षित नहीं रखता। डिप्लॉय किए गए वर्कफ़्लो के लिए स्थायी चेकपॉइंटर इस्तेमाल करें। LangChain की HITL गाइड के अनुसार, निष्पादन को रोकने और फिर से शुरू करने के लिए चेकपॉइंटर और थ्रेड ID आवश्यक हैं। स्रोत: Human-in-the-loop।
जब रन में interrupt लौटे, तो समीक्षक को अनुरोधित कार्रवाई और उसके आर्ग्युमेंट दिखाएं। उसी थ्रेड में निर्णय के साथ रन फिर शुरू करें। निर्णयों का क्रम interrupt में दी गई कार्रवाइयों के क्रम से मेल खाना चाहिए। जिस कार्रवाई को अस्वीकार कर रहे हों, उसे reject करें; respond का उपयोग टूल नतीजे के रूप में मानव का उत्तर लौटाने के लिए होता है, साइड इफ़ेक्ट को अस्वीकार करने के लिए नहीं।
from langgraph.types import Command
# Use the same config, including the same thread ID, to resume.
result = agent.invoke(
Command(resume={"decisions": [{"type": "reject", "message": "Outside the approved scope."}]}),
config=config,
version="v2",
)
मूल्यांकन को दोहराने योग्य बनाएं
वर्शन कंट्रोल में एक छोटा टेस्ट सेट रखें। हर केस में उपयोगकर्ता का अनुरोध, अपेक्षित टूल व्यवहार, समीक्षा की ज़रूरत है या नहीं, और अपेक्षित अंतिम स्थिति तय होनी चाहिए। टेस्ट के लिए हानिरहित फ़िक्स्चर या मॉक किए गए टूल इस्तेमाल करें; मूल्यांकन केस को असली फ़ाइलों में लिखने या प्रोडक्शन डेटा बदलने न दें।
| केस | सेटअप | अपेक्षित नतीजा |
|---|---|---|
| सुरक्षित रीड | read_data के ज़रिए जानकारी का अनुरोध | कोई HITL interrupt नहीं; टूल का नतीजा लौटाया जाता है |
| समीक्षा वाला राइट | अनुमत लेखन का अनुरोध | राइट चलने से पहले interrupt आता है; अनुमोदन मिलने पर निष्पादन होता है |
| अस्वीकृत राइट | राइट का अनुरोध करें, फिर उसे अस्वीकार करें | राइट टूल नहीं चलता; अस्वीकृति की प्रतिक्रिया एजेंट को लौटती है |
| चरण-सीमा | ऐसा फ़िक्स्चर इस्तेमाल करें जो वर्कफ़्लो को पूरा होने से रोके | रन तय सीमा पर रुकता है और अधूरे के रूप में दर्ज होता है |
हर रन के लिए केस ID, कॉन्फ़िगर की गई सीमा, टूल कॉल, interrupt के निर्णय, पूर्णता की स्थिति और कोई भी त्रुटि दर्ज करें। इन फ़ील्ड की अपेक्षित नतीजों से तुलना करें। मूल्यांकन केवल अंतिम प्राकृतिक-भाषा उत्तर के आधार पर न करें: एजेंट गलत कार्रवाई करने के बाद भी विश्वसनीय लगने वाला उत्तर दे सकता है।
विफलता संभालना: रोकें, अस्वीकार करें या बंद करें
HITL नियंत्रित विराम है, सामान्य रीट्राई व्यवस्था नहीं। कॉन्फ़िगर की गई नीति के अनुसार समीक्षक अनुमोदन दे सकता है, बदलाव कर सकता है, अस्वीकार कर सकता है या उत्तर दे सकता है। अस्वीकृति से अनुरोधित टूल कॉल छोड़ दी जाती है और अस्वीकृति की प्रतिक्रिया एजेंट को लौटती है। इसके बाद एजेंट काम पूरा करता है, दूसरी कार्रवाई मांगता है या विफल होता है—यह उसके आगे के व्यवहार पर निर्भर करता है, इसलिए उस रास्ते का परीक्षण करें।
अगर ग्राफ़ रिकर्शन लिमिट तक पहुंचता है, तो रन को सीमा-विफलता के रूप में दर्ज करें और उसकी स्थिति तथा टूल इतिहास की जांच करें। ऐसे रन को अपने-आप दोबारा न चलाएं जिसमें साइड इफ़ेक्ट पहले ही हो चुके हों। जहां व्यावहारिक हो, टूल को idempotent बनाएं या किसी कार्रवाई को दोहराने से पहले अलग जांच अनिवार्य करें। दिए गए दस्तावेज़ में चेकपॉइंट के साथ विराम और फिर से शुरू करने का तरीका बताया गया है; यह मनमानी टूल या मॉडल विफलताओं से अपने-आप रिकवरी की पुष्टि नहीं करता।
समस्या निवारण चेकलिस्ट
- कोई interrupt नहीं आता: जांचें कि टूल का नाम
interrupt_onमैपिंग से मेल खाता है और उसकी नीति समीक्षा चालू करती है। - फिर शुरू करने पर रुका हुआ रन नहीं मिलता: पुष्टि करें कि वही चेकपॉइंटर और थ्रेड ID इस्तेमाल किए जा रहे हैं।
- रन जल्दी रुक जाता है: कॉन्फ़िगर की गई रिकर्शन लिमिट और ग्राफ़ पथ जांचें; सीमा तभी बढ़ाएं जब कोई टेस्ट केस इसकी वजह बताता हो।
- लगता है कि अस्वीकृत कार्रवाई हो गई: पुष्टि करें कि समीक्षा से पहले टूल नहीं चला था और समीक्षक ने
respondके बजायrejectइस्तेमाल किया था। - टेस्ट के नतीजे हर रन में बदलते हैं: टूल फ़िक्स्चर और टेस्ट इनपुट तय रखें, और जहां आपका सेटअप अनुमति देता हो, मॉडल के जवाबों को नियंत्रित करें या स्टब करें। केवल इनपुट तय रखने से मॉडल का आउटपुट नियतात्मक नहीं हो जाता।
व्यावहारिक नियम
ग्राफ़ के काम को सीमित रखने के लिए रिकर्शन लिमिट, महत्वपूर्ण टूल कॉल पर नियंत्रण के लिए HITL और सफल तथा विफल—दोनों रास्ते जांचने के लिए एक छोटा, स्पष्ट टेस्ट सेट इस्तेमाल करें। interrupt हुए, अस्वीकृत और सीमा पूरी होने पर रुके रन को अलग-अलग नतीजों के रूप में देखें। इससे एजेंट का मूल्यांकन करना आसान होता है और उसमें बदलाव करना अधिक सुरक्षित।
सामान्य प्रश्न
क्या LangGraph की रिकर्शन लिमिट टूल कॉल की संख्या तय करती है?
बिल्कुल नहीं। यह ग्राफ़ के निष्पादन चरणों को सीमित करती है, और कितनी टूल कॉल इसमें समा सकती हैं, यह ग्राफ़ की संरचना पर निर्भर करता है। सीमा पूरी होने को अधूरा रन मानें और इस सीमा का परीक्षण करें।
मानव-समीक्षित टूल कॉल को फिर से शुरू करने के लिए क्या आवश्यक है?
चेकपॉइंटर कॉन्फ़िगर करें, थ्रेड ID दें और उसी थ्रेड तथा स्थायित्व संदर्भ का उपयोग करके रन फिर शुरू करें। समीक्षक interrupt हुई हर कार्रवाई के लिए निर्णय देता है।
क्या HITL विफल टूल कॉल को अपने-आप फिर से चलाता है?
नहीं। दस्तावेज़ित HITL वर्कफ़्लो मानव निर्णय के लिए रुकता है और फिर समीक्षा की गई कार्रवाई को चलाता है या छोड़ देता है। यह मनमानी टूल या मॉडल विफलताओं के लिए अपने-आप रीट्राई की पुष्टि नहीं करता।
अस्वीकृत टूल कॉल का परीक्षण कैसे करना चाहिए?
हानिरहित या मॉक किए गए टूल का उपयोग करें, interrupt शुरू करें, कार्रवाई अस्वीकार करें और पुष्टि करें कि टूल नहीं चला तथा रन में अस्वीकृति की प्रतिक्रिया दर्ज हुई।
संबंधित लेख
Guides
Tool Approval और Recovery के साथ Privacy-Aware LangGraph Agent बनाएँ
संवेदनशील डेटा संभालने वाले एजेंट में LangGraph की human review, checkpointing, सीमित रन और credential-safe tools का व्यावहारिक पैटर्न।
Guides
सीमित निष्पादन और विफलता से उबरने के साथ LangGraph Tool Calling
अनिश्चितकालीन निष्पादन के बजाय tool calling, retry budget, मानव अनुमोदन और स्पष्ट recovery paths का उपयोग करके LangGraph production-operations agent बनाएं।
Guides
API incidents की जाँच के लिए सीमित LangGraph Agent बनाएँ
ऐसा LangGraph incident-diagnosis agent बनाएँ जो केवल-पठन वाले diagnostic tools चलाए, execution सीमित रखे, failures को स्पष्ट करे और जोखिम वाले actions से पहले रुककर मंज़ूरी माँगे।
Guides
Tool Calling, मानव अनुमोदन और Execution Limits के साथ LangGraph Customer Support Agent बनाएं
Customer-support triage के लिए एक व्यावहारिक LangGraph pattern: अनुरोधों को route करें, lookup tools कॉल करें, human approval के लिए refunds रोकें और graph execution को सीमित करें।