สร้างเวิร์กโฟลว์ถามตอบจากเอกสารใน n8n พร้อมตรวจสอบการอ้างอิงและให้มนุษย์ทบทวน
ออกแบบเวิร์กโฟลว์ n8n เพื่อดึงหลักฐานจากเอกสาร ตรวจสอบคำตอบตามโครงสร้างที่กำหนด ลองใหม่อย่างมีขีดจำกัด และส่งผลลัพธ์ที่ไม่แน่ชัดให้มนุษย์ทบทวน
สรุป · TL;DR
แนวทางใช้งานได้จริงในการตอบคำถามจากเอกสารด้วย n8n โดยตรวจสอบการอ้างอิง จำกัดจำนวนครั้งที่ลองใหม่ และแยกการทบทวนคำตอบออกจากการอนุมัติการเรียกใช้เครื่องมือที่มีความเสี่ยง
ประเด็นสำคัญ
- เก็บ document ID, เวอร์ชัน, เลขหน้า และข้อความต้นฉบับไว้ด้วยกันตลอดขั้นตอนการดึงและค้นคืนข้อมูล
- ตรวจสอบทั้งรูปแบบคำตอบและการมีอยู่ของหลักฐานที่อ้างอิงในข้อความต้นทางที่ให้มา
- ลองใหม่เมื่อเกิดข้อผิดพลาดชั่วคราวโดยกำหนดจำนวนครั้งไว้ หากการตรวจสอบยังไม่ผ่านหรือคำตอบไม่มีหลักฐา��รองรับ ให้ส่งตรวจทานหรืองดตอบ
- การควบคุมการอนุมัติเครื่องมือใน n8n กำหนดว่า Agent จะเรียกใช้เครื่องมือหรือไม่ แต่ใช้แทนการตรวจสอบคุณภาพคำตอบไม่ได้
ในหน้านี้ (7)
เริ่มจากชุดหลักฐานขนาดเล็กที่ตรวจสอบได้: ดึงข้อความพร้อมตัวระบุหน้า หรือส่วนของเอกสาร ขอให้โมเดลตอบจากข้อความนั้นเท่านั้น และปฏิเสธคำตอบที่ตรวจสอบการอ้างอิงไม่ได้ ใน n8n ให้ใช้แขนงเวิร์กโฟลว์ทั่วไปสำหรับตรวจสอบผลลัพธ์และส่งทบทวน ส่วนการอนุมัติโดยมนุษย์ของ AI Agent ให้ใช้กับการเรียกเครื่องมือที่อาจก่อให้เกิดผลกระทบสำคัญ
การตั้งค่าด้านล่างเป็น ตัวอย่างแนวทางออกแบบ ไม่ใช่ไฟล์ส่งออกเวิร์กโฟลว์ที่ผ่านการทดสอบ การตั้งค่าโหนดและการเชื่อมต่อที่ใช้งานได้อาจแตกต่างกันตามเวอร์ชัน n8n และผู้ให้บริการ
ข้อกำหนดเบื้องต้นและโครงสร้างเวิร์กโฟลว์
คุณต้องมีอินสแตนซ์ n8n เข้าถึงโมเดลที่รองรับข้อความผ่านการเชื่อมต่อที่รองรับหรือ HTTP endpoint วิธีดึงข้อความจากเอกสาร และพื้นที่สำหรับจัดเก็บเอกสารกับบันทึกการทบทวน หากเป็น PDF ที่สแกน ให้เพิ่ม OCR เพราะการดึงข้อความจาก PDF ทั่วไปอาจได้ข้อความเพียงเล็กน้อยหรือไม่ได้เลย ก่อนเชื่อมต่อระบบค้นคืนข้อมูล ให้กำหนดก่อนว่าใครมีสิทธิ์เข้าถึงเอกสารแต่ละฉบับ
สร้างขั้นตอนที่เชื่อมต่อกันสองส่วน:
- นำเข้า: ทริกเกอร์เอกสาร → ดึงข้อความหรือทำ OCR → แบ่งเป็นระเบียนระดับหน้าหรือส่วน → จัดเก็บข้อความและข้อมูลเมทาดาทา
- ตอบคำถาม: ทริกเกอร์คำถาม → ค้นคืนระเบียนที่ได้รับอนุญาต → ให้โมเดลดึงข้อมูล → ตรวจสอบด้วย Code node → ตอบ ลองใหม่โดยจำกัดจำนวนครั้ง หรือส่งเข้าคิวตรวจทาน
เก็บ document_id, version, page และ text ไว้ในทุกรายการที่จัดเก็บ การอ้างอิงควรระบุเอกสารเวอร์ชันและหน้าที่เจาะจง ไม่ใช่เพียงชื่อไฟล์ หากตัวดึงข้อมูลรักษาขอบเขตของหน้าไว้ไม่ได้ ให้ใช้ตัวระบุส่วนที่คงที่แทนและระบุให้ถูกต้อง หากดึงข้อความไม่ได้ ให้ปฏิเสธผลลัพธ์ที่ว่างเปล่าแทนการส่งต่อให้โมเดล
สำหรับชุดเอกสารขนาดเล็ก ให้ค้นคืนระเบียนตาม document ID แล้วส่งหน้าที่เกี่ยวข้องให้โมเดลโดยตรง สำหรับชุดที่มีขนาดใหญ่ขึ้น ให้เพิ่มขั้นตอนค้นหาหรือค้นคืนข้อมูล แต่ต้องรักษาเมทาดาทาเดิมไว้ การค้นคืนข้อมูลอาจพลาดคำตอบได้ ดังนั้นคำตอบที่ดูเหมือนถูกต้องไม่ได้ยืนยันว่าค้นพบหน้าที่เกี่ยวข้องครบถ้วนแล้ว
กำหนดสัญญาของคำตอบ
ในโหนดโมเดล ให้ขอ JSON object หนึ่งรายการที่มีสตริง answer, ค่า status เป็น answered หรือ insufficient_evidence และอาร์เรย์ evidence หลักฐานแต่ละรายการต้องมี document_id, version, page และ quote ที่คัดลอกมาตรงตามระเบียนที่ให้ไว้ กำชับโมเดลให้เพิกเฉยต่อคำสั่งที่พบในเอกสารและถือว่าเป็นข้อมูลที่ไม่น่าเชื่อถือ รวมถึงให้ตอบ insufficient_evidence เมื่อข้อความที่ให้มาไม่มีหลักฐานรองรับคำตอบ
ตัวอย่างคำตอบมีลักษณะดังนี้:
{
"status": "answered",
"answer": "The agreement renews annually.",
"evidence": [
{
"document_id": "agreement-17",
"version": "v2",
"page": 3,
"quote": "This agreement renews for successive one-year terms."
}
]
}
ข้อความอ้างอิงและตัวระบุเป็นเพียงตัวอย่าง ไม่ใช่ข้อเท็จจริงเกี่ยวกับข้อตกลงจริง กำหนดให้คำตอบสถานะ answered มีหลักฐานอย่างน้อยหนึ่งรายการ และคำตอบสถานะ insufficient_evidence ไม่มีหลักฐาน แสดงการอ้างอิงเป็นชื่อเอกสารหรือ ID, เวอร์ชัน, หน้า และข้อความอ้างอิง โดยใส่ลิงก์เฉพาะเมื่อแอปพลิเคชันของคุณสร้างลิงก์ที่ได้รับอนุญาตไปยังแหล่งข้อมูลนั้นได้
ตรวจสอบผลลัพธ์และการอ้างอิงใน n8n
หลังเรียกโมเดล ให้แยกวิเคราะห์ JSON แล้วส่ง object ที่แยกวิเคราะห์แล้วพร้อมกับ ระเบียนที่ค้นคืนมาจริง ไปยัง Code node ตัวอย่าง JavaScript ต่อไปนี้สมมติว่ามี input item หนึ่งรายการ โดย result เก็บคำตอบที่แยกวิเคราะห์แล้ว และ sources เก็บอาร์เรย์ระเบียนที่มี document_id, version, page และ text ปรับโหนดก่อนหน้าให้ส่งข้อมูลในรูปแบบนี้ ส่วนข้อผิดพลาดจากการแยกวิเคราะห์ควรส่งไปยังแขนงข้อผิดพลาด
const { result, sources } = $input.first().json;
const errors = [];
if (!result || typeof result !== 'object' || Array.isArray(result)) {
errors.push('Result must be an object');
} else {
if (!['answered', 'insufficient_evidence'].includes(result.status))
errors.push('Invalid status');
if (typeof result.answer !== 'string' || !result.answer.trim())
errors.push('Missing answer');
if (!Array.isArray(result.evidence)) {
errors.push('Evidence must be an array');
} else {
if (result.status === 'answered' && result.evidence.length === 0)
errors.push('Answered response needs evidence');
if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
errors.push('Insufficient-evidence response must not cite evidence');
for (const e of result.evidence) {
const validFields = e && typeof e.document_id === 'string' &&
typeof e.version === 'string' && Number.isInteger(e.page) &&
typeof e.quote === 'string' && e.quote.trim().length > 0;
if (!validFields) {
errors.push('Invalid evidence fields');
continue;
}
const source = Array.isArray(sources) && sources.find(s =>
s.document_id === e.document_id && s.version === e.version &&
s.page === e.page && typeof s.text === 'string'
);
if (!source || !source.text.includes(e.quote))
errors.push('Citation or exact quote not found in retrieved source');
}
}
}
return [{ json: { result, errors, valid: errors.length === 0 } }];
โค้ดนี้ตรวจสอบสัญญาที่กำหนดไว้อย่างชัดเจนจำนวนหนึ่งและตรวจว่าข้อความอ้างอิงตรงกันทุกประการ แต่ไม่ใช่ตัวตรวจสอบ JSON Schema ทั่วไป หากต้องการข้อจำกัด เช่น ความยาวสูงสุด หรือปฏิเสธฟิลด์ส่วนเกิน ให้เพิ่มไลบรารีหรือบริการตรวจสอบสคีมา การจับคู่แบบตรงทุกตัวอักษรอาจล้มเหลวเพราะ OCR ผิดพลาดหรือช่องว่างเปลี่ยนแปลง หากปรับข้อความให้เป็นรูปแบบมาตรฐาน ให้ใช้วิธีปรับข้อความแบบเดียวกันที่มีการระบุไว้ชัดเจนทั้งกับต้นฉบับและข้อความอ้างอิง และเก็บข้อความต้นฉบับไว้ให้ผู้ตรวจทาน
ที่สำคัญที่สุด ข้อความอ้างอิงที่ตรงกัน ไม่ได้พิสูจน์ว่าคำตอบสรุปได้จากข้อความนั้น ผู้ตรวจทานหรือกระบวนการควบคุมคุณภาพแยกต่างหากต้องประเมินว่าข้อความที่อ้างอิงรองรับข้อกล่าวอ้างสำคัญแต่ละข้อจริงหรือไม่ สำหรับคำตอบที่มีความเสี่ยงสูง ให้ส่งตรวจทานแม้ผลลัพธ์จะผ่านการตรวจสอบโครงสร้างแล้ว
เพิ่มการลองใหม่แบบจำกัดและเส้นทางงดตอบ
ใช้ IF node หลังการตรวจสอบ ส่งคำตอบที่ถูกต้องและมีความเสี่ยงต่ำไปยังขั้นตอนถัดไป ส่วน insufficient_evidence ให้ส่งเป็นข้อความงดตอบ เช่น “ไม่พบหลักฐานเพียงพอในเอกสารที่ให้มา” ส่งผลลัพธ์ที่ไม่ผ่านการตรวจสอบไปยังแขนงลองใหม่ โดยเก็บตัวนับไว้ใน workflow item
แนวทางเริ่มต้นที่นำไปใช้ได้จริง:
- ลองใหม่เมื่อเกิดข้อผิดพลาดเครือข่ายชั่วคราวหรือถูกจำกัดอัตราการเรียกใช้ได้ไม่เกินสองครั้ง โดยเพิ่มเวลารอในแต่ละครั้ง และปฏิบัติตามเวลารอก่อนลองใหม่ที่ผู้ให้บริการระบุไว้
- ลองใหม่หนึ่งครั้งเมื่อ JSON มีรูปแบบผิดหรือการตรวจสอบการอ้างอิงไม่ผ่าน โดยส่งเฉพาะข้อผิดพลาดจากการตรวจสอบและระเบียนแหล่งข้อมูลเดิมที่ได้รับอนุญาตกลับไปให้โมเดล
- อย่าลองซ้ำหลายครั้งเมื่อไม่มีสิทธิ์เข้าถึง ดึงข้อมูลไม่ได้ หรือไม่มีหลักฐาน ให้แก้ไขข้อมูลนำเข้า ขอเอกสารฉบับอื่น หรือส่งกรณีไปตรวจทาน
- เมื่อครบจำนวนครั้ง ให้บันทึกข้อผิดพลาดและส่งสถานะรอตรวจทานหรือไม่พร้อมใช้งานแทนการส่งคำตอบที่ยังไม่ผ่านการตรวจสอบ
แนวทางเหล่านี้เป็นทางเลือกด้านการออกแบบ ไม่ใช่การรับประกัน ให้จำแนกข้อผิดพลาดของผู้ให้บริการจากการตอบกลับจริงของการเชื่อมต่อ หากการลองใหม่อาจทำให้เกิดการเขียนข้อมูลซ้ำ ให้ใช้ idempotency key ระดับแอปพลิเคชัน หรือตรวจสอบว่ามีระเบียนเดิมอยู่แล้วก่อน คำขอที่ส่งซ้ำต้องไม่สร้างตั๋วตรวจทานหรือส่งข้อความซ้ำ
แยกการทบทวนคำตอบออกจากการอนุมัติเครื่องมือ
สำหรับการทบทวนคำตอบ ให้สร้างระเบียนตรวจทานที่มีคำถาม คำตอบที่เสนอ ข้อผิดพลาดจากการตรวจสอบ ข้อความที่อ้างอิง เวอร์ชันเอกสาร และลิงก์ไปยังแหล่งข้อมูลที่ได้รับอนุญาต ผู้ตรวจทานควรอนุมัติ แก้ไข หรือปฏิเสธคำตอบ และบันทึกการตัดสินใจกับตัวตนของผู้ตรวจทานก่อนเผยแพร่ ปกป้องช่องทางตรวจทาน และหลีกเลี่ยงการคัดลอกข้อความอ่อนไหวจากเอกสารไปยังช่องทางที่ไม่มีการควบคุมสิทธิ์เหมาะสม
สิ่งนี้แตกต่างจาก Human review for tools ของ n8n ตามเอกสาร n8n ฟีเจอร์ดังกล่าวจะหยุด AI Agent ชั่วคราวก่อนเรียกใช้เครื่องมือที่เลือกไว้ การอนุมัติจะเรียกใช้เครื่องมือด้วยข้อมูลนำเข้าที่ AI ระบุ ส่วนการปฏิเสธจะยกเลิกการเรียกใช้และแจ้ง Agent ฟีเจอร์นี้ไม่ได้ตรวจสอบความถูกต้องของคำตอบด้วยตัวเอง
หากต้องการควบคุมการดำเนินการ เช่น ส่งคำตอบออกไปภายนอกหรืออัปเดตระเบียน ให้เปิดแผง Tools ของ AI Agent ตั้งค่าช่องทาง Human review และเชื่อมเครื่องมือที่เกี่ยวข้องผ่านขั้นตอนตรวจทานดังกล่าว เอกสารระบุช่องทางต่าง ๆ รวมถึง n8n Chat และ Slack ใส่ชื่อเครื่องมือและพารามิเตอร์ไว้ในข้อความตรวจทานโดยใช้ expression $tool.name และ $tool.parameters ตามที่ระบุในเอกสาร ใน system prompt ของ Agent ให้ระบุเครื่องมือที่ต้องได้รับอนุมัติ และกำชับให้ Agent อธิบายเมื่อถูกปฏิเสธ แทนที่จะลองซ้ำเงียบ ๆ หรือหาทางเลี่ยง กำหนดนโยบายปฏิบัติงานสำหรับคำขอที่ยังไม่ได้รับคำตอบ เช่น ทำเครื่องหมายว่ารอดำเนินการและส่งต่อ อย่าสมมติว่าจะมีพฤติกรรมหมดเวลาโดยอัตโนมัติ
การแก้ปัญหาและรายการตรวจสอบก่อนเผยแพร่
- การอ้างอิงไม่ผ่านทั้งที่เป็นหน้าที่ถูกต้อง: ตรวจสอบ OCR การขึ้นบรรทัดใหม่ การนับหน้า และเวอร์ชันที่ไม่ตรงกัน อย่าเปลี่ยนไปใช้อีกหน้าโดยไม่แจ้ง
- คำตอบขาดข้อมูลที่เกี่ยวข้อง: ตรวจสอบความครอบคลุมของการค้นคืนและสิทธิ์เข้าถึงเอกสารก่อนเพิ่มจำนวนครั้งที่ลองใหม่
- ผู้ตรวจทานตรวจสอบข้อความไม่ได้: ระบุเวอร์ชันที่แน่นอนและลิงก์แหล่งข้อมูลที่ใช้งานได้และควบคุมสิทธิ์ ไม่ใช่เพียงชื่อไฟล์
- Agent พยายามดำเนินการที่มีความเสี่ยงโดยไม่มีการตรวจทาน: ตรวจสอบว่าเชื่อมการดำเนินการผ่านขั้นตอน Human review จริง และทดสอบทั้งกรณีอนุมัติและปฏิเสธ
ก่อนเผยแพร่ ให้ทดสอบด้วยกรณีที่มีหลักฐานรองรับ กรณีที่ไม่พบคำตอบ ข้อความอ้างอิงที่แต่งขึ้น JSON ผิดรูปแบบ ข้อผิดพลาดชั่วคราวจากผู้ให้บริการ และกรณีปฏิเสธการเรียกใช้เครื่องมือ เวิร์กโฟลว์ที่ดีควรตอบว่า “หลักฐานไม่เพียงพอ” ได้และเก็บบันทึกการตัดสินใจนั้นไว้ ไม่ควรเปลี่ยนการตรวจสอบที่ล้มเหลวให้กลายเป็นคำตอบที่ดูเหมือนยืนยันข้อเท็จจริง
แหล่งข้อมูล
คำถามที่พบบ่อย
การทบทวนโดยมนุษย์ใน n8n ใช้ตรวจสอบคำตอบจากเอกสารได้หรือไม่
ไม่ได้ด้วยตัวเอง ฟีเจอร์ Human review ที่ระบุในเอกสารจะหยุดการเรียกใช้เครื่องมือบางรายการของ AI Agent เพื่อรออนุมัติหรือปฏิเสธ ให้สร้างเส้นทางตรวจสอบคำตอบและทบทวนแยกต่างหากสำหรับการอ้างอิงและการรองรับข้อเท็จจริง
ข้อความอ้างอิงที่ตรงทุกตัวอักษรพิสูจน์หรือไม่ว่าคำตอบถูกต้อง
ไม่ ข้อความดังกล่าวยืนยันเพียงว่าพบข้อความอ้างอิงในระเบียนแหล่งข้อมูลที่ตรวจสอบ ไม่ได้ยืนยันว่าข้อความนั้นรองรับทุกข้อกล่าวอ้างในคำตอบ ควรตรวจสอบความสัมพันธ์ระหว่างคำตอบกับหลักฐาน
ควรทำอย่างไรเมื่อไม่มีคำตอบอยู่ในเอกสาร
ตอบว่าไม่มีหลักฐานเพียงพอ หรือส่งคำถามไปตรวจทาน การลองเรียกโมเดลซ้ำหลายครั้งไม่สามารถทดแทนเนื้อหาต้นทางที่ขาดหายไปได้อย่างน่าเชื่อถือ
บทความที่เกี่ยวข้อง
Guides
สร้างเวิร์กโฟลว์สกัดข้อมูลใน n8n ที่กู้คืนได้
ออกแบบเวิร์กโฟลว์สกัดข้อมูลใน n8n ที่ตรวจสอบระเบียน ลองซ้ำเมื่อเกิดความขัดข้องชั่วคราว และส่งกรณีผิดปกติให้ผู้ตรวจสอบโดยไม่เขียนข้อมูลซ้ำ
Guides
สร้างเวิร์กโฟลว์ n8n สำหรับดึงข้อมูลเหตุขัดข้องจาก API ที่ทนทาน
ออกแบบเวิร์กโฟลว์ n8n เพื่อดึงข้อมูลเหตุขัดข้องจาก API ตรวจสอบโครงสร้าง แสดงข้อผิดพลาดจากการลองใหม่และการตรวจสอบ พร้อมส่งการดำเนินการต่อที่มีความเสี่ยงให้มนุษย์อนุมัติ
Guides
สร้างเวิร์กโฟลว์ดึงข้อมูลใน n8n ที่ทำซ้ำได้ พร้อมการตรวจสอบ การลองใหม่ และการตรวจทานโดยมนุษย์
ออกแบบเวิร์กโฟลว์ดึงข้อมูลใน n8n ที่ตรวจสอบเอาต์พุตแบบมีโครงสร้าง ลองใหม่เมื่อเกิดข้อผิดพลาดชั่วคราว ส่งระเบียนที่ไม่แน่ใจให้ตรวจทาน และประเมินผลด้วยชุดกรณีทดสอบที่กำหนดไว้
Guides
สร้างเวิร์กโฟลว์คัดแยกคำร้องฝ่ายสนับสนุนใน n8n พร้อมการอนุมัติจากเจ้าหน้าที่
สร้างเวิร์กโฟลว์คัดแยกคำร้องฝ่ายสนับสนุนใน n8n โดยใช้ API ที่รองรับ OpenAI เพื่อร่างคำแนะนำ จากนั้นหยุดรอการตัดสินใจจากเจ้าหน้าที่ก่อนตอบกลับหรือส่งต่อ