สร้างเอเจนต์เรียกใช้เครื่องมือด้วย LangGraph ที่จำกัดขั้นตอนและมีมนุษย์ตรวจสอบ
แนวทางเชิงปฏิบัติสำหรับประเมินเอเจนต์เรียกใช้เครื่องมือด้วย LangGraph โดยกำหนดขีดจำกัดขั้นตอนอย่างชัดเจน ให้มนุษย์อนุมัติการดำเนินการที่มีความเสี่ยง และใช้กรณีทดสอบที่ทำซ้ำได้
สรุป · TL;DR
ใช้ขีดจำกัดขั้นตอนของกราฟเพื่อควบคุมการทำงาน ใช้ HumanInTheLoopMiddleware เพื่อหยุดการเรียกใช้เครื่องมือที่มีความเสี่ยง และใช้ชุดทดสอบขนาดเล็กที่กำหนดไว้แน่นอนเพื่อตรวจสอบการอนุมัติ การปฏิเสธ และพฤติกรรมเมื่อถึงขีดจำกัด ให้มองตัวอย่างเหล่านี้เป็นจุดเริ่มต้น และทดสอบพฤติกรรมของโมเดลและเครื่องมือในสภาพแวดล้อมของคุณเอง
ประเด็นสำคัญ
- recursion limit ของกราฟกำหนดขอบเขตการทำงานของเอเจนต์ แต่ไม่ได้รับประกันว่าเอเจนต์จะทำงานเสร็จ
- การตรวจสอบโดยมนุษย์สามารถหยุดการทำงานของเครื่องมือไว้ชั่วคราวและกลับมาทำต่อภายหลังได้ เมื่อกราฟมี checkpointer และ thread ID
- ทำให้การประเมินทำซ้ำได้โดยกำหนดอินพุตทดสอบ ผลลัพธ์ที่คาดหวัง ชุดเครื่องมือทดสอบ และขีดจำกัดการทำงานไว้แน่นอน
- ทดสอบการดำเนินการที่ถูกปฏิเสธและกรณีที่ใช้ขั้นตอนจนถึงขีดจำกัดโดยเฉพาะ เพราะทั้งสองกรณีไม่ใช่การกู้คืนที่สำเร็จ
ในหน้านี้ (6)
เอเจนต์ที่เรียกใช้เครื่องมือต้องมีมากกว่า prompt ที่ดี นั่นคือ ต้องมีขอบเขตการหยุดทำงาน แผนรับมือกับการดำเนินการที่มีความเสี่ยง และชุดทดสอบที่ทำให้พฤติกรรมทำซ้ำได้ ใน LangGraph คุณสามารถใช้ recursion limit ของกราฟร่วมกับการตรวจสอบโดยมนุษย์ในลูป (human-in-the-loop หรือ HITL) สำหรับเครื่องมือที่เลือกไว้ จากนั้นประเมินเวิร์กโฟลว์ด้วยกรณีทดสอบที่กำหนดตายตัว แทนการอาศัยผลจากการทดลองที่สำเร็จเพียงไม่กี่ครั้ง
ตัวอย่างด้านล่างมีไว้เพื่อประกอบความเข้าใจ ไม่ใช่การตั้งค่าที่ผ่านการทดสอบแล้ว โดยสมมติว่าคุณใช้สภาพแวดล้อม Python ที่มีแพ็กเกจ LangChain และ LangGraph เวอร์ชันที่เข้ากันได้ มี chat model ที่รองรับการเรียกใช้เครื่องมือ และมีเครื่องมือที่คุณพัฒนาเอง โปรดตรวจสอบเวอร์ชันและพารามิเตอร์ของผู้ให้บริการโมเดลในสภาพแวดล้อมของคุณ
กำหนดขอบเขตก่อนเพิ่มเครื่องมือ
recursion limit จะจำกัดจำนวนขั้นตอนการทำงานของกราฟ นี่คือขอบเขตด้านความปลอดภัย ไม่ใช่คำรับรองว่าเอเจนต์จะทำงานเสร็จ และไม่ใช่การจำกัดจำนวนครั้งที่เรียกใช้เครื่องมืออย่างแม่นยำ เพราะโครงสร้างกราฟมีผลต่อวิธีนับขั้นตอน หากการทำงานถึงขีดจำกัด ให้คาดว่าจะเกิดข้อผิดพลาดจากการเรียกซ้ำของกราฟ และจัดการเป็นการทำงานที่ไม่สมบูรณ์ อย่าถือว่าเป็นคำตอบที่สำเร็จแล้ว
เริ่มด้วยการตั้งขีดจำกัดให้ต่ำระหว่างการประเมิน แล้วเพิ่มเมื่อกรณีทดสอบแสดงให้เห็นว่าเวิร์กโฟลว์ต้องใช้ขั้นตอนมากขึ้นเท่านั้น และควรกำหนดขอบเขตการทำงานของเครื่องมือให้แคบด้วย ขีดจำกัดระดับกราฟไม่สามารถย้อนคืนผลข้างเคียงที่เครื่องมือทำไปแล้วได้
ตั้งค่าการเรียกใช้เครื่องมือที่หยุดรอการตรวจสอบได้
ตัวอย่างนี้ใช้ create_agent ร่วมกับ HITL middleware โดยการเรียกใช้เครื่องมือ write_file จะหยุดรอการอนุมัติหรือการปฏิเสธ ส่วน read_data จะไม่หยุด เครื่องมือและชื่อโมเดลในตัวอย่างเป็นเพียงค่าตัวอย่าง โปรดยืนยันว่าโมเดลและ endpoint ที่เลือกไว้รองรับพารามิเตอร์และพฤติกรรมการเรียกใช้เครื่องมือที่เอเจนต์ของคุณต้องใช้
from langchain.agents import create_agent
from langchain.agents.middleware import HumanInTheLoopMiddleware
from langgraph.checkpoint.memory import InMemorySaver
# Replace these placeholders with your own tool implementations.
tools = [write_file, read_data]
agent = create_agent(
model="your-tool-capable-chat-model",
tools=tools,
middleware=[
HumanInTheLoopMiddleware(
interrupt_on={
"write_file": {"allowed_decisions": ["approve", "reject"]},
"read_data": False,
}
)
],
checkpointer=InMemorySaver(),
)
config = {
"configurable": {"thread_id": "evaluation-case-001"},
"recursion_limit": 8,
}
result = agent.invoke(
{"messages": [{"role": "user", "content": "Save the approved summary."}]},
config=config,
version="v2",
)
InMemorySaver เหมาะสำหรับต้นแบบหรือการทดสอบที่ทำงานในโปรเซสเดียว แต่ไม่สามารถเก็บข้อมูลให้คงอยู่หลังรีสตาร์ตโปรเซสได้ หากนำเวิร์กโฟลว์ไปใช้งานจริง ให้ใช้ checkpointer แบบถาวร คู่มือ HITL ของ LangChain อธิบายว่าต้องมี checkpointer และ thread ID เพื่อหยุดและกลับมาทำงานต่อได้ ที่มา: Human-in-the-loop.
เมื่อการทำงานส่งคืน interrupt ให้แสดงการดำเนินการที่ร้องขอและอาร์กิวเมนต์ของการดำเนินการนั้นแก่ผู้ตรวจสอบ จากนั้นกลับมาทำงานต่อใน thread เดิมพร้อมคำตัดสิน ลำดับคำตัดสินต้องตรงกับลำดับการดำเนินการใน interrupt หากไม่อนุมัติการดำเนินการ ให้ปฏิเสธการดำเนินการนั้น ส่วน respond ใช้ส่งคำตอบจากมนุษย์กลับไปเป็นผลลัพธ์ของเครื่องมือ ไม่ใช่ใช้ปฏิเสธผลข้างเคียง
from langgraph.types import Command
# Use the same config, including the same thread ID, to resume.
result = agent.invoke(
Command(resume={"decisions": [{"type": "reject", "message": "Outside the approved scope."}]}),
config=config,
version="v2",
)
ทำให้การประเมินทำซ้ำได้
เก็บชุดทดสอบขนาดกะทัดรัดไว้ในระบบควบคุมเวอร์ชัน แต่ละกรณีควรระบุคำขอจากผู้ใช้ พฤติกรรมของเครื่องมือที่คาดหวังว่าต้องมีการตรวจสอบหรือไม่ และสถานะสุดท้ายที่คาดหวัง ใช้ชุดข้อมูลจำลองที่ไม่ก่อให้เกิดอันตรายหรือเครื่องมือจำลองในการทดสอบ อย่าให้กรณีประเมินเขียนลงไฟล์จริงหรือเปลี่ยนแปลงข้อมูลในระบบจริง
| กรณี | การตั้งค่า | ผลลัพธ์ที่คาดหวัง |
|---|---|---|
| อ่านข้อมูลที่ปลอดภัย | ขอข้อมูลผ่าน read_data | ไม่มี HITL interrupt และส่งคืนผลลัพธ์จากเครื่องมือ |
| เขียนข้อมูลโดยมีการตรวจสอบ | ขอให้เขียนข้อมูลที่ได้รับอนุญาต | มี interrupt ก่อนเริ่มเขียนข้อมูล และการอนุมัติทำให้ดำเนินการต่อได้ |
| ปฏิเสธการเขียนข้อมูล | ขอให้เขียนข้อมูล แล้วปฏิเสธคำขอ | ไม่มีการเรียกใช้เครื่องมือเขียนข้อมูล และส่งคำปฏิเสธกลับไปยังเอเจนต์ |
| ขอบเขตของ step limit | ใช้ชุดข้อมูลจำลองที่ทำให้เวิร์กโฟลว์ทำงานไม่เสร็จ | การทำงานหยุดที่ขอบเขตที่กำหนด และบันทึกสถานะว่าไม่สมบูรณ์ |
ในแต่ละรอบ ให้บันทึก ID ของกรณีทดสอบ ขีดจำกัดที่ตั้งไว้ การเรียกใช้เครื่องมือ คำตัดสินจาก interrupt สถานะการทำงานเสร็จสิ้น และข้อผิดพลาดที่เกิดขึ้น จากนั้นเปรียบเทียบข้อมูลเหล่านี้กับผลที่คาดหวัง อย่าประเมินจากคำตอบภาษาธรรมชาติสุดท้ายเพียงอย่างเดียว เพราะเอเจนต์อาจสร้างคำตอบที่ฟังดูสมเหตุสมผลหลังจากดำเนินการผิดพลาดไปแล้ว
จัดการความล้มเหลว: หยุดรอ ปฏิเสธ หรือหยุดการทำงาน
HITL คือการหยุดรอแบบควบคุม ไม่ใช่กลไกลองใหม่ทั่วไป ผู้ตรวจสอบสามารถอนุมัติ แก้ไข ปฏิเสธ หรือตอบกลับได้ตามนโยบายที่กำหนดไว้ การปฏิเสธจะข้ามการเรียกใช้เครื่องมือที่ร้องขอและส่งคำปฏิเสธกลับไปยังเอเจนต์ การทำงานจะเสร็จสิ้น ขอให้ดำเนินการอื่น หรือเกิดความล้มเหลวต่อจากนั้นหรือไม่ ขึ้นอยู่กับพฤติกรรมของเอเจนต์ในขั้นถัดไป ดังนั้นควรทดสอบเส้นทางนี้ด้วย
หากกราฟถึง recursion limit ให้บันทึกการทำงานเป็นความล้มเหลวจากการถึงขีดจำกัด แล้วตรวจสอบสถานะและประวัติการเรียกใช้เครื่องมือ อย่าเล่นการทำงานซ้ำโดยอัตโนมัติ หากเครื่องมืออาจทำผลข้างเคียงไปแล้ว ในกรณีที่ทำได้ ควรออกแบบเครื่องมือให้เรียกซ้ำได้โดยไม่เกิดผลซ้ำ หรือกำหนดให้ตรวจสอบแยกต่างหากก่อนทำรายการเดิมซ้ำ เอกสารที่อ้างถึงอธิบายการหยุดและกลับมาทำงานต่อโดยใช้ checkpoint แต่ไม่ได้ยืนยันว่าระบบจะกู้คืนจากความล้มเหลวของเครื่องมือหรือโมเดลทุกรูปแบบโดยอัตโนมัติ
รายการตรวจสอบสำหรับแก้ปัญหา
- ไม่มี interrupt ปรากฏ: ตรวจสอบว่าชื่อเครื่องมือตรงกับการกำหนดค่า
interrupt_onและนโยบายของเครื่องมือนั้นเปิดให้ตรวจสอบหรือไม่ - กลับมาทำงานต่อแล้วหารอบที่หยุดไว้ไม่พบ: ยืนยันว่าใช้ checkpointer และ thread ID เดิม
- การทำงานหยุดก่อนกำหนด: ตรวจสอบ recursion limit ที่ตั้งไว้และเส้นทางของกราฟ เพิ่มขีดจำกัดเฉพาะเมื่อกรณีทดสอบรองรับความจำเป็นนั้น
- ดูเหมือนว่าการดำเนินการที่ถูกปฏิเสธเกิดขึ้นแล้ว: ตรวจสอบว่าไม่มีการเรียกใช้เครื่องมือก่อนการตรวจสอบ และผู้ตรวจสอบเลือก
rejectไม่ใช่respond - ผลการทดสอบไม่เหมือนกันในแต่ละรอบ: กำหนดชุดเครื่องมือทดสอบและอินพุตให้แน่นอน รวมทั้งควบคุมหรือจำลองคำตอบของโมเดลเมื่อการตั้งค่าของคุณเอื้ออำนวย การใช้อินพุตเดิมเพียงอย่างเดียวไม่ได้ทำให้ผลลัพธ์จากโมเดลเป็นแบบกำหนดแน่นอน
หลักปฏิบัติ
ใช้ recursion limit เพื่อจำกัดการทำงานของกราฟ ใช้ HITL เพื่อควบคุมการเรียกใช้เครื่องมือที่มีผลสำคัญ และใช้ชุดทดสอบที่ระบุไว้อย่างชัดเจนและมีขนาดเล็กเพื่อตรวจสอบทั้งเส้นทางที่ทำงานได้ตามคาดและเส้นทางความล้มเหลว แยกการทำงานที่ถูกหยุดรอ ถูกปฏิเสธ และใช้ขั้นตอนจนถึงขีดจำกัดออกจากกัน การแยกผลลัพธ์เหล่านี้ทำให้ประเมินและปรับเปลี่ยนเอเจนต์ได้ง่ายขึ้นและปลอดภัยยิ่งขึ้น
คำถามที่พบบ่อย
recursion limit ของ LangGraph จำกัดจำนวนครั้งที่เรียกใช้เครื่องมือหรือไม่
ไม่ใช่โดยตรง แต่จะจำกัดขั้นตอนการทำงานของกราฟ และจำนวนครั้งที่เรียกใช้เครื่องมือได้ขึ้นอยู่กับโครงสร้างกราฟ ให้ถือว่าการใช้ขั้นตอนจนถึงขีดจำกัดเป็นการทำงานที่ไม่สมบูรณ์ และทดสอบกรณีดังกล่าว
ต้องมีอะไรบ้างจึงจะกลับมาทำงานต่อหลังตรวจสอบการเรียกใช้เครื่องมือโดยมนุษย์
กำหนดค่า checkpointer ระบุ thread ID และกลับมาทำงานต่อโดยใช้ thread และบริบทการเก็บข้อมูลเดิม ผู้ตรวจสอบต้องให้คำตัดสินสำหรับแต่ละการดำเนินการที่ถูกขัดจังหวะ
HITL จะลองเรียกใช้เครื่องมือที่ล้มเหลวซ้ำโดยอัตโนมัติหรือไม่
ไม่ เวิร์กโฟลว์ HITL ตามที่เอกสารอธิบายจะหยุดรอการตัดสินจากมนุษย์ จากนั้นจึงดำเนินการหรือข้ามการดำเนินการที่ตรวจสอบแล้ว ไม่ได้ยืนยันว่ามีการลองใหม่โดยอัตโนมัติสำหรับความล้มเหลวของเครื่องมือหรือโมเดลทุกรูปแบบ
ควรทดสอบการเรียกใช้เครื่องมือที่ถูกปฏิเสธอย่างไร
ใช้เครื่องมือที่ไม่ก่อให้เกิดอันตรายหรือเครื่องมือจำลอง ทำให้เกิด interrupt แล้วปฏิเสธการดำเนินการ จากนั้นยืนยันว่าไม่มีการเรียกใช้เครื่องมือและการทำงานบันทึกคำปฏิเสธไว้
บทความที่เกี่ยวข้อง
Guides
สร้างเอเจนต์ LangGraph ที่คำนึงถึงความเป็นส่วนตัว พร้อมการอนุมัติเครื่องมือและการกู้คืน
แนวทางใช้งานจริงสำหรับการตรวจสอบโดยมนุษย์ การบันทึกจุดตรวจ การจำกัดการทำงาน และเครื่องมือที่ปลอดภัยต่อข้อมูลรับรองในเอเจนต์ที่จัดการข้อมูลอ่อนไหว
Guides
สร้างเอเจนต์ LangGraph ที่จำกัดขอบเขตสำหรับวินิจฉัยเหตุขัดข้องของ API
สร้างเอเจนต์ LangGraph สำหรับวินิจฉัยเหตุขัดข้อง โดยเรียกใช้เครื่องมือวินิจฉัยแบบอ่านอย่างเดียว จำกัดการทำงาน แสดงข้อผิดพลาด และหยุดรอการอนุมัติก่อนดำเนินการที่มีความเสี่ยง
Guides
สร้างเอเจนต์ Customer Support ด้วย LangGraph พร้อมการเรียกใช้เครื่องมือ การอนุมัติโดยมนุษย์ และข้อจำกัดการทำงาน
แนวทาง LangGraph เชิงปฏิบัติสำหรับคัดแยกคำขอฝ่ายสนับสนุนลูกค้า: จัดเส้นทางคำขอ เรียกใช้เครื่องมือค้นข้อมูล หยุดคำขอคืนเงินเพื่อรอการอนุมัติจากมนุษย์ และจำกัดการทำงานของกราฟ
Guides
LangGraph Agentic RAG: การเรียกใช้เครื่องมือ การระบุแหล่งที่มา และการประมวลผลแบบมีขอบเขต
สร้างเอเจนต์ตอบคำถามจากเอกสารด้วย LangGraph ที่ตัดสินใจได้ว่าควรค้นคืนข้อมูลหรือไม่ ประเมินบริบท ลองค้นหาใหม่เมื่อผลลัพธ์ไม่เพียงพอ และตอบพร้อมระบุแหล่งที่มาโดยไม่ประมวลผลแบบไร้ขอบเขต