GuidesOneMux

สร้างเอเจนต์เรียกใช้เครื่องมือด้วย LangGraph ที่จำกัดขั้นตอนและมีมนุษย์ตรวจสอบ

แนวทางเชิงปฏิบัติสำหรับประเมินเอเจนต์เรียกใช้เครื่องมือด้วย LangGraph โดยกำหนดขีดจำกัดขั้นตอนอย่างชัดเจน ให้มนุษย์อนุมัติการดำเนินการที่มีความเสี่ยง และใช้กรณีทดสอบที่ทำซ้ำได้

AI

สรุป · TL;DR

ใช้ขีดจำกัดขั้นตอนของกราฟเพื่อควบคุมการทำงาน ใช้ HumanInTheLoopMiddleware เพื่อหยุดการเรียกใช้เครื่องมือที่มีความเสี่ยง และใช้ชุดทดสอบขนาดเล็กที่กำหนดไว้แน่นอนเพื่อตรวจสอบการอนุมัติ การปฏิเสธ และพฤติกรรมเมื่อถึงขีดจำกัด ให้มองตัวอย่างเหล่านี้เป็นจุดเริ่มต้น และทดสอบพฤติกรรมของโมเดลและเครื่องมือในสภาพแวดล้อมของคุณเอง

ประเด็นสำคัญ

  • recursion limit ของกราฟกำหนดขอบเขตการทำงานของเอเจนต์ แต่ไม่ได้รับประกันว่าเอเจนต์จะทำงานเสร็จ
  • การตรวจสอบโดยมนุษย์สามารถหยุดการทำงานของเครื่องมือไว้ชั่วคราวและกลับมาทำต่อภายหลังได้ เมื่อกราฟมี checkpointer และ thread ID
  • ทำให้การประเมินทำซ้ำได้โดยกำหนดอินพุตทดสอบ ผลลัพธ์ที่คาดหวัง ชุดเครื่องมือทดสอบ และขีดจำกัดการทำงานไว้แน่นอน
  • ทดสอบการดำเนินการที่ถูกปฏิเสธและกรณีที่ใช้ขั้นตอนจนถึงขีดจำกัดโดยเฉพาะ เพราะทั้งสองกรณีไม่ใช่การกู้คืนที่สำเร็จ
ในหน้านี้ (6)

เอเจนต์ที่เรียกใช้เครื่องมือต้องมีมากกว่า prompt ที่ดี นั่นคือ ต้องมีขอบเขตการหยุดทำงาน แผนรับมือกับการดำเนินการที่มีความเสี่ยง และชุดทดสอบที่ทำให้พฤติกรรมทำซ้ำได้ ใน LangGraph คุณสามารถใช้ recursion limit ของกราฟร่วมกับการตรวจสอบโดยมนุษย์ในลูป (human-in-the-loop หรือ HITL) สำหรับเครื่องมือที่เลือกไว้ จากนั้นประเมินเวิร์กโฟลว์ด้วยกรณีทดสอบที่กำหนดตายตัว แทนการอาศัยผลจากการทดลองที่สำเร็จเพียงไม่กี่ครั้ง

ตัวอย่างด้านล่างมีไว้เพื่อประกอบความเข้าใจ ไม่ใช่การตั้งค่าที่ผ่านการทดสอบแล้ว โดยสมมติว่าคุณใช้สภาพแวดล้อม Python ที่มีแพ็กเกจ LangChain และ LangGraph เวอร์ชันที่เข้ากันได้ มี chat model ที่รองรับการเรียกใช้เครื่องมือ และมีเครื่องมือที่คุณพัฒนาเอง โปรดตรวจสอบเวอร์ชันและพารามิเตอร์ของผู้ให้บริการโมเดลในสภาพแวดล้อมของคุณ

กำหนดขอบเขตก่อนเพิ่มเครื่องมือ

recursion limit จะจำกัดจำนวนขั้นตอนการทำงานของกราฟ นี่คือขอบเขตด้านความปลอดภัย ไม่ใช่คำรับรองว่าเอเจนต์จะทำงานเสร็จ และไม่ใช่การจำกัดจำนวนครั้งที่เรียกใช้เครื่องมืออย่างแม่นยำ เพราะโครงสร้างกราฟมีผลต่อวิธีนับขั้นตอน หากการทำงานถึงขีดจำกัด ให้คาดว่าจะเกิดข้อผิดพลาดจากการเรียกซ้ำของกราฟ และจัดการเป็นการทำงานที่ไม่สมบูรณ์ อย่าถือว่าเป็นคำตอบที่สำเร็จแล้ว

เริ่มด้วยการตั้งขีดจำกัดให้ต่ำระหว่างการประเมิน แล้วเพิ่มเมื่อกรณีทดสอบแสดงให้เห็นว่าเวิร์กโฟลว์ต้องใช้ขั้นตอนมากขึ้นเท่านั้น และควรกำหนดขอบเขตการทำงานของเครื่องมือให้แคบด้วย ขีดจำกัดระดับกราฟไม่สามารถย้อนคืนผลข้างเคียงที่เครื่องมือทำไปแล้วได้

ตั้งค่าการเรียกใช้เครื่องมือที่หยุดรอการตรวจสอบได้

ตัวอย่างนี้ใช้ create_agent ร่วมกับ HITL middleware โดยการเรียกใช้เครื่องมือ write_file จะหยุดรอการอนุมัติหรือการปฏิเสธ ส่วน read_data จะไม่หยุด เครื่องมือและชื่อโมเดลในตัวอย่างเป็นเพียงค่าตัวอย่าง โปรดยืนยันว่าโมเดลและ endpoint ที่เลือกไว้รองรับพารามิเตอร์และพฤติกรรมการเรียกใช้เครื่องมือที่เอเจนต์ของคุณต้องใช้

from langchain.agents import create_agent
from langchain.agents.middleware import HumanInTheLoopMiddleware
from langgraph.checkpoint.memory import InMemorySaver

# Replace these placeholders with your own tool implementations.
tools = [write_file, read_data]

agent = create_agent(
    model="your-tool-capable-chat-model",
    tools=tools,
    middleware=[
        HumanInTheLoopMiddleware(
            interrupt_on={
                "write_file": {"allowed_decisions": ["approve", "reject"]},
                "read_data": False,
            }
        )
    ],
    checkpointer=InMemorySaver(),
)

config = {
    "configurable": {"thread_id": "evaluation-case-001"},
    "recursion_limit": 8,
}

result = agent.invoke(
    {"messages": [{"role": "user", "content": "Save the approved summary."}]},
    config=config,
    version="v2",
)

InMemorySaver เหมาะสำหรับต้นแบบหรือการทดสอบที่ทำงานในโปรเซสเดียว แต่ไม่สามารถเก็บข้อมูลให้คงอยู่หลังรีสตาร์ตโปรเซสได้ หากนำเวิร์กโฟลว์ไปใช้งานจริง ให้ใช้ checkpointer แบบถาวร คู่มือ HITL ของ LangChain อธิบายว่าต้องมี checkpointer และ thread ID เพื่อหยุดและกลับมาทำงานต่อได้ ที่มา: Human-in-the-loop.

เมื่อการทำงานส่งคืน interrupt ให้แสดงการดำเนินการที่ร้องขอและอาร์กิวเมนต์ของการดำเนินการนั้นแก่ผู้ตรวจสอบ จากนั้นกลับมาทำงานต่อใน thread เดิมพร้อมคำตัดสิน ลำดับคำตัดสินต้องตรงกับลำดับการดำเนินการใน interrupt หากไม่อนุมัติการดำเนินการ ให้ปฏิเสธการดำเนินการนั้น ส่วน respond ใช้ส่งคำตอบจากมนุษย์กลับไปเป็นผลลัพธ์ของเครื่องมือ ไม่ใช่ใช้ปฏิเสธผลข้างเคียง

from langgraph.types import Command

# Use the same config, including the same thread ID, to resume.
result = agent.invoke(
    Command(resume={"decisions": [{"type": "reject", "message": "Outside the approved scope."}]}),
    config=config,
    version="v2",
)

ทำให้การประเมินทำซ้ำได้

เก็บชุดทดสอบขนาดกะทัดรัดไว้ในระบบควบคุมเวอร์ชัน แต่ละกรณีควรระบุคำขอจากผู้ใช้ พฤติกรรมของเครื่องมือที่คาดหวังว่าต้องมีการตรวจสอบหรือไม่ และสถานะสุดท้ายที่คาดหวัง ใช้ชุดข้อมูลจำลองที่ไม่ก่อให้เกิดอันตรายหรือเครื่องมือจำลองในการทดสอบ อย่าให้กรณีประเมินเขียนลงไฟล์จริงหรือเปลี่ยนแปลงข้อมูลในระบบจริง

กรณีการตั้งค่าผลลัพธ์ที่คาดหวัง
อ่านข้อมูลที่ปลอดภัยขอข้อมูลผ่าน read_dataไม่มี HITL interrupt และส่งคืนผลลัพธ์จากเครื่องมือ
เขียนข้อมูลโดยมีการตรวจสอบขอให้เขียนข้อมูลที่ได้รับอนุญาตมี interrupt ก่อนเริ่มเขียนข้อมูล และการอนุมัติทำให้ดำเนินการต่อได้
ปฏิเสธการเขียนข้อมูลขอให้เขียนข้อมูล แล้วปฏิเสธคำขอไม่มีการเรียกใช้เครื่องมือเขียนข้อมูล และส่งคำปฏิเสธกลับไปยังเอเจนต์
ขอบเขตของ step limitใช้ชุดข้อมูลจำลองที่ทำให้เวิร์กโฟลว์ทำงานไม่เสร็จการทำงานหยุดที่ขอบเขตที่กำหนด และบันทึกสถานะว่าไม่สมบูรณ์

ในแต่ละรอบ ให้บันทึก ID ของกรณีทดสอบ ขีดจำกัดที่ตั้งไว้ การเรียกใช้เครื่องมือ คำตัดสินจาก interrupt สถานะการทำงานเสร็จสิ้น และข้อผิดพลาดที่เกิดขึ้น จากนั้นเปรียบเทียบข้อมูลเหล่านี้กับผลที่คาดหวัง อย่าประเมินจากคำตอบภาษาธรรมชาติสุดท้ายเพียงอย่างเดียว เพราะเอเจนต์อาจสร้างคำตอบที่ฟังดูสมเหตุสมผลหลังจากดำเนินการผิดพลาดไปแล้ว

จัดการความล้มเหลว: หยุดรอ ปฏิเสธ หรือหยุดการทำงาน

HITL คือการหยุดรอแบบควบคุม ไม่ใช่กลไกลองใหม่ทั่วไป ผู้ตรวจสอบสามารถอนุมัติ แก้ไข ปฏิเสธ หรือตอบกลับได้ตามนโยบายที่กำหนดไว้ การปฏิเสธจะข้ามการเรียกใช้เครื่องมือที่ร้องขอและส่งคำปฏิเสธกลับไปยังเอเจนต์ การทำงานจะเสร็จสิ้น ขอให้ดำเนินการอื่น หรือเกิดความล้มเหลวต่อจากนั้นหรือไม่ ขึ้นอยู่กับพฤติกรรมของเอเจนต์ในขั้นถัดไป ดังนั้นควรทดสอบเส้นทางนี้ด้วย

หากกราฟถึง recursion limit ให้บันทึกการทำงานเป็นความล้มเหลวจากการถึงขีดจำกัด แล้วตรวจสอบสถานะและประวัติการเรียกใช้เครื่องมือ อย่าเล่นการทำงานซ้ำโดยอัตโนมัติ หากเครื่องมืออาจทำผลข้างเคียงไปแล้ว ในกรณีที่ทำได้ ควรออกแบบเครื่องมือให้เรียกซ้ำได้โดยไม่เกิดผลซ้ำ หรือกำหนดให้ตรวจสอบแยกต่างหากก่อนทำรายการเดิมซ้ำ เอกสารที่อ้างถึงอธิบายการหยุดและกลับมาทำงานต่อโดยใช้ checkpoint แต่ไม่ได้ยืนยันว่าระบบจะกู้คืนจากความล้มเหลวของเครื่องมือหรือโมเดลทุกรูปแบบโดยอัตโนมัติ

รายการตรวจสอบสำหรับแก้ปัญหา

  • ไม่มี interrupt ปรากฏ: ตรวจสอบว่าชื่อเครื่องมือตรงกับการกำหนดค่า interrupt_on และนโยบายของเครื่องมือนั้นเปิดให้ตรวจสอบหรือไม่
  • กลับมาทำงานต่อแล้วหารอบที่หยุดไว้ไม่พบ: ยืนยันว่าใช้ checkpointer และ thread ID เดิม
  • การทำงานหยุดก่อนกำหนด: ตรวจสอบ recursion limit ที่ตั้งไว้และเส้นทางของกราฟ เพิ่มขีดจำกัดเฉพาะเมื่อกรณีทดสอบรองรับความจำเป็นนั้น
  • ดูเหมือนว่าการดำเนินการที่ถูกปฏิเสธเกิดขึ้นแล้ว: ตรวจสอบว่าไม่มีการเรียกใช้เครื่องมือก่อนการตรวจสอบ และผู้ตรวจสอบเลือก reject ไม่ใช่ respond
  • ผลการทดสอบไม่เหมือนกันในแต่ละรอบ: กำหนดชุดเครื่องมือทดสอบและอินพุตให้แน่นอน รวมทั้งควบคุมหรือจำลองคำตอบของโมเดลเมื่อการตั้งค่าของคุณเอื้ออำนวย การใช้อินพุตเดิมเพียงอย่างเดียวไม่ได้ทำให้ผลลัพธ์จากโมเดลเป็นแบบกำหนดแน่นอน

หลักปฏิบัติ

ใช้ recursion limit เพื่อจำกัดการทำงานของกราฟ ใช้ HITL เพื่อควบคุมการเรียกใช้เครื่องมือที่มีผลสำคัญ และใช้ชุดทดสอบที่ระบุไว้อย่างชัดเจนและมีขนาดเล็กเพื่อตรวจสอบทั้งเส้นทางที่ทำงานได้ตามคาดและเส้นทางความล้มเหลว แยกการทำงานที่ถูกหยุดรอ ถูกปฏิเสธ และใช้ขั้นตอนจนถึงขีดจำกัดออกจากกัน การแยกผลลัพธ์เหล่านี้ทำให้ประเมินและปรับเปลี่ยนเอเจนต์ได้ง่ายขึ้นและปลอดภัยยิ่งขึ้น

คำถามที่พบบ่อย

recursion limit ของ LangGraph จำกัดจำนวนครั้งที่เรียกใช้เครื่องมือหรือไม่

ไม่ใช่โดยตรง แต่จะจำกัดขั้นตอนการทำงานของกราฟ และจำนวนครั้งที่เรียกใช้เครื่องมือได้ขึ้นอยู่กับโครงสร้างกราฟ ให้ถือว่าการใช้ขั้นตอนจนถึงขีดจำกัดเป็นการทำงานที่ไม่สมบูรณ์ และทดสอบกรณีดังกล่าว

ต้องมีอะไรบ้างจึงจะกลับมาทำงานต่อหลังตรวจสอบการเรียกใช้เครื่องมือโดยมนุษย์

กำหนดค่า checkpointer ระบุ thread ID และกลับมาทำงานต่อโดยใช้ thread และบริบทการเก็บข้อมูลเดิม ผู้ตรวจสอบต้องให้คำตัดสินสำหรับแต่ละการดำเนินการที่ถูกขัดจังหวะ

HITL จะลองเรียกใช้เครื่องมือที่ล้มเหลวซ้ำโดยอัตโนมัติหรือไม่

ไม่ เวิร์กโฟลว์ HITL ตามที่เอกสารอธิบายจะหยุดรอการตัดสินจากมนุษย์ จากนั้นจึงดำเนินการหรือข้ามการดำเนินการที่ตรวจสอบแล้ว ไม่ได้ยืนยันว่ามีการลองใหม่โดยอัตโนมัติสำหรับความล้มเหลวของเครื่องมือหรือโมเดลทุกรูปแบบ

ควรทดสอบการเรียกใช้เครื่องมือที่ถูกปฏิเสธอย่างไร

ใช้เครื่องมือที่ไม่ก่อให้เกิดอันตรายหรือเครื่องมือจำลอง ทำให้เกิด interrupt แล้วปฏิเสธการดำเนินการ จากนั้นยืนยันว่าไม่มีการเรียกใช้เครื่องมือและการทำงานบันทึกคำปฏิเสธไว้

บทความที่เกี่ยวข้อง

Guides

สร้างเอเจนต์ LangGraph ที่คำนึงถึงความเป็นส่วนตัว พร้อมการอนุมัติเครื่องมือและการกู้คืน

แนวทางใช้งานจริงสำหรับการตรวจสอบโดยมนุษย์ การบันทึกจุดตรวจ การจำกัดการทำงาน และเครื่องมือที่ปลอดภัยต่อข้อมูลรับรองในเอเจนต์ที่จัดการข้อมูลอ่อนไหว

阅读全文 →

Guides

สร้างเอเจนต์ LangGraph ที่จำกัดขอบเขตสำหรับวินิจฉัยเหตุขัดข้องของ API

สร้างเอเจนต์ LangGraph สำหรับวินิจฉัยเหตุขัดข้อง โดยเรียกใช้เครื่องมือวินิจฉัยแบบอ่านอย่างเดียว จำกัดการทำงาน แสดงข้อผิดพลาด และหยุดรอการอนุมัติก่อนดำเนินการที่มีความเสี่ยง

阅读全文 →

Guides

สร้างเอเจนต์ Customer Support ด้วย LangGraph พร้อมการเรียกใช้เครื่องมือ การอนุมัติโดยมนุษย์ และข้อจำกัดการทำงาน

แนวทาง LangGraph เชิงปฏิบัติสำหรับคัดแยกคำขอฝ่ายสนับสนุนลูกค้า: จัดเส้นทางคำขอ เรียกใช้เครื่องมือค้นข้อมูล หยุดคำขอคืนเงินเพื่อรอการอนุมัติจากมนุษย์ และจำกัดการทำงานของกราฟ

阅读全文 →

Guides

LangGraph Agentic RAG: การเรียกใช้เครื่องมือ การระบุแหล่งที่มา และการประมวลผลแบบมีขอบเขต

สร้างเอเจนต์ตอบคำถามจากเอกสารด้วย LangGraph ที่ตัดสินใจได้ว่าควรค้นคืนข้อมูลหรือไม่ ประเมินบริบท ลองค้นหาใหม่เมื่อผลลัพธ์ไม่เพียงพอ และตอบพร้อมระบุแหล่งที่มาโดยไม่ประมวลผลแบบไร้ขอบเขต

阅读全文 →