Как создать в n8n процесс ответов на вопросы по документам с проверкой цитат и участием человека
Спроектируйте процесс в n8n, который извлекает данные из документов, проверяет структурированные ответы, безопасно повторяет запросы и направляет сомнительные результаты человеку.
Кратко · TL;DR
Практический подход к созданию в n8n ответов на вопросы по документам: с проверкой цитат, ограничением повторных запросов и разделением проверки ответов и согласования рискованных вызовов инструментов.
Главное
- При извлечении и поиске сохраняйте вместе идентификаторы и версии документов, ссылки на страницы и исходный текст.
- Проверяйте как структуру ответа, так и наличие цитируемых фрагментов в предоставленном тексте источника.
- Повторяйте запросы при временных сбоях ограниченное число раз; результаты, которые не удается проверить или подтвердить источниками, направляйте на проверку либо отказывайтесь от ответа.
- Согласование инструментов в n8n определяет, может ли агент вызвать инструмент; оно не заменяет проверку качества ответа.
В этой статье (7)
Начните с небольшого набора данных, которые можно проверить: извлеките текст с идентификаторами страниц или разделов, попросите модель отвечать только на его основе и отклоняйте ответы, цитаты в которых невозможно проверить. В n8n используйте обычные ветви процесса для проверки результатов и их рассмотрения человеком, а согласование человеком в AI Agent оставьте для вызовов инструментов, способных выполнять значимые действия.
Приведенная ниже конфигурация — пример проектирования, а не протестированный экспорт процесса. Настройки узлов и доступные интеграции могут различаться в зависимости от версии n8n и провайдера.
Предварительные требования и структура процесса
Вам понадобятся экземпляр n8n, доступ к модели, работающей с текстом, через поддерживаемую интеграцию или конечную точку HTTP, способ извлечения текста из документов, а также хранилище документов и записей о проверке. Для сканированных PDF добавьте OCR: обычное извлечение текста из PDF может вернуть мало текста или не вернуть его вовсе. Прежде чем подключать систему поиска, определите, кто может получать доступ к каждому документу.
Создайте два связанных этапа:
- Загрузка: триггер документа → извлечение текста или OCR → разбиение на записи по страницам или разделам → сохранение текста и метаданных.
- Формирование ответа: триггер вопроса → поиск записей, к которым разрешен доступ → извлечение данных моделью → проверка в узле Code → ответ, ограниченный повторный запрос или очередь на проверку.
Сохраняйте document_id, version, page и text в каждой записи. Ссылка на источник должна указывать на конкретную версию документа и страницу, а не только на имя файла. Если инструмент извлечения не может сохранить границы страниц, используйте стабильные идентификаторы разделов и обозначайте их соответствующим образом. Отклоняйте пустые результаты извлечения, вместо того чтобы отправлять их модели.
Для небольшой коллекции находите записи по идентификатору документа и передавайте соответствующие страницы напрямую. Для более крупных коллекций добавьте этап поиска или извлечения, сохранив те же метаданные. Поиск может пропустить ответ; даже ответ, который выглядит корректным, не доказывает, что были найдены все нужные страницы.
Определите формат ответа
В узле модели запросите один объект JSON со строкой answer, полем status со значением answered или insufficient_evidence и массивом evidence. Каждый элемент evidence должен содержать document_id, version, page и точную цитату quote, скопированную из предоставленных записей. Укажите модели игнорировать инструкции внутри документов, считать их недоверенными данными и возвращать insufficient_evidence, если предоставленный текст не позволяет обосновать ответ.
Пример ответа:
{
"status": "answered",
"answer": "The agreement renews annually.",
"evidence": [
{
"document_id": "agreement-17",
"version": "v2",
"page": 3,
"quote": "This agreement renews for successive one-year terms."
}
]
}
Цитата и идентификаторы приведены для примера и не являются фактами о реальном соглашении. Требуйте как минимум один элемент evidence для ответа со статусом answered и отсутствие элементов evidence для ответа со статусом insufficient-evidence. При отображении ссылки на источник указывайте название или идентификатор документа, версию, страницу и цитату. Добавляйте ссылку только в том случае, если приложение может сформировать ссылку на этот конкретный источник с учетом прав доступа.
Проверяйте ответ и цитаты в n8n
После вызова модели разберите полученный JSON и передайте разобранный объект вместе с фактически извлеченными записями в узел Code. Приведенный ниже пример JavaScript рассчитан на один входной элемент, где result содержит разобранный ответ, а sources — массив записей с полями document_id, version, page и text. Настройте предыдущие узлы так, чтобы они передавали данные в этом формате; ошибки разбора должны направляться в ветвь обработки сбоев.
const { result, sources } = $input.first().json;
const errors = [];
if (!result || typeof result !== 'object' || Array.isArray(result)) {
errors.push('Result must be an object');
} else {
if (!['answered', 'insufficient_evidence'].includes(result.status))
errors.push('Invalid status');
if (typeof result.answer !== 'string' || !result.answer.trim())
errors.push('Missing answer');
if (!Array.isArray(result.evidence)) {
errors.push('Evidence must be an array');
} else {
if (result.status === 'answered' && result.evidence.length === 0)
errors.push('Answered response needs evidence');
if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
errors.push('Insufficient-evidence response must not cite evidence');
for (const e of result.evidence) {
const validFields = e && typeof e.document_id === 'string' &&
typeof e.version === 'string' && Number.isInteger(e.page) &&
typeof e.quote === 'string' && e.quote.trim().length > 0;
if (!validFields) {
errors.push('Invalid evidence fields');
continue;
}
const source = Array.isArray(sources) && sources.find(s =>
s.document_id === e.document_id && s.version === e.version &&
s.page === e.page && typeof s.text === 'string'
);
if (!source || !source.text.includes(e.quote))
errors.push('Citation or exact quote not found in retrieved source');
}
}
}
return [{ json: { result, errors, valid: errors.length === 0 } }];
Этот код проверяет небольшой явно заданный формат и точное наличие цитаты в источнике; он не является универсальным валидатором JSON Schema. Добавьте библиотеку или сервис проверки схемы, если нужны ограничения, например максимальная длина полей или отклонение лишних полей. Проверка точного совпадения может не пройти из-за ошибок OCR или изменений пробелов. Если вы нормализуете текст, применяйте одну и ту же документированную нормализацию и к источнику, и к цитате, а исходный текст сохраняйте для проверяющих.
Самое важное: совпадение цитаты не доказывает, что ответ следует из нее. Проверяющий или отдельный процесс контроля качества должен оценить, действительно ли цитируемый фрагмент подтверждает каждое существенное утверждение. Если ошибка в ответе может иметь серьезные последствия, направляйте на проверку даже структурно корректные результаты.
Добавьте ограниченные повторные запросы и возможность отказаться от ответа
После проверки используйте узел IF. Корректные ответы с низким риском передавайте дальше; для insufficient_evidence возвращайте отказ от ответа, например: «В предоставленных документах не удалось найти достаточно подтверждений». Некорректные результаты направляйте в ветвь повторных запросов со счетчиком, сохраненным в элементе процесса.
В качестве отправной точки можно использовать такие правила:
- Повторяйте запрос при временных сетевых ошибках и ограничениях частоты не более двух раз, увеличивая интервалы ожидания; соблюдайте задержку перед повтором, если ее указал провайдер.
- При некорректном JSON или ошибках проверки цитат повторяйте запрос один раз, передавая модели только ошибки проверки и те же записи источников, к которым разрешен доступ.
- Не выполняйте многократные повторы при отсутствии прав доступа, пустом результате извлечения или отсутствии подтверждающих данных. Исправьте входные данные, запросите другой документ или отправьте случай на проверку.
- После достижения лимита зафиксируйте сбой и верните статус ожидания проверки или недоступности, а не непроверенный ответ.
Это проектные решения, а не гарантии. Классифицируйте ошибки провайдера по фактическому ответу интеграции. Если повторный запрос может повторно выполнить запись, используйте ключ идемпотентности на уровне приложения или сначала проверьте, существует ли уже такая запись; повторный запрос не должен создавать дублирующие заявки на проверку или отправлять дублирующие сообщения.
Разделите проверку ответа и согласование вызова инструмента
Для проверки ответа создайте запись, содержащую вопрос, предлагаемый ответ, ошибки проверки, цитируемые фрагменты, версию документа и ссылку на источник с учетом прав доступа. Проверяющий должен одобрить, исправить или отклонить ответ; прежде чем выдать ответ, зафиксируйте решение и личность проверяющего. Защитите канал проверки и не копируйте конфиденциальный текст документов в каналы без надлежащего контроля доступа.
Это отличается от функции n8n Human review for tools. Согласно документации n8n, эта функция приостанавливает AI Agent перед выполнением выбранного инструмента. При одобрении инструмент запускается с входными данными, указанными AI; при отказе вызов отменяется, а агент получает уведомление. Сама по себе эта функция не проверяет ответ.
Чтобы контролировать такие действия, как отправка ответа внешнему получателю или обновление записи, откройте панель Tools в AI Agent, настройте канал Human review и подключите нужный инструмент через этот этап проверки. В документации среди доступных каналов указаны n8n Chat и Slack. Включите в сообщение для проверки имя инструмента и его параметры с помощью документированных выражений $tool.name и $tool.parameters. В системном промпте агента укажите инструменты, требующие согласования, и предписывайте ему объяснять отказ, а не повторять попытку незаметно или искать обходной путь. Определите порядок работы с запросами, оставшимися без ответа, например отмечайте их как ожидающие и передавайте на следующий уровень рассмотрения; не предполагайте, что тайм-аут сработает автоматически.
Устранение неполадок и контрольный список перед запуском
- Цитаты не проходят проверку, хотя страница верна: проверьте OCR, переносы строк, нумерацию страниц и несовпадения версий. Не подменяйте страницу другой без уведомления.
- В ответах отсутствует важная информация: прежде чем увеличивать число повторных запросов, проверьте полноту поиска и права доступа к документам.
- Проверяющие не могут подтвердить фрагмент: укажите точную версию и рабочую ссылку на источник с контролем доступа, а не только имя файла.
- Агент пытается выполнить рискованное действие без проверки: убедитесь, что действие действительно подключено через этап проверки человеком, и протестируйте как отказ, так и одобрение.
Перед запуском протестируйте ответ, подтвержденный источником, отсутствие ответа, вымышленную цитату, некорректный JSON, временный сбой провайдера и отклоненный вызов инструмента. Полезный процесс может сообщить «недостаточно данных» и сохранить это решение; он ни в коем случае не должен превращать результат, не прошедший проверку, в авторитетный ответ.
Источники
Вопросы
Проверяет ли human review в n8n ответы по документам?
Не сама по себе. Описанная в документации функция human review приостанавливает выбранные вызовы инструментов AI Agent для одобрения или отклонения. Для проверки цитат и фактической обоснованности создайте отдельную ветвь проверки ответа.
Доказывает ли точная цитата правильность ответа?
Нет. Она подтверждает, что цитируемый текст присутствует в проверенной записи источника, но не то, что этот фрагмент обосновывает каждое утверждение в ответе. Необходимо проверить связь между ответом и подтверждающими данными.
Что делать, если документ не содержит ответа?
Верните ответ о недостаточности данных или направьте вопрос на проверку. Многократные повторные запросы к модели не могут надежно заменить отсутствующие исходные материалы.
Похожие статьи
Guides
Как создать в n8n процесс извлечения данных с возможностью восстановления
Спроектируйте процесс извлечения данных в n8n, который проверяет записи, повторяет попытки при временных сбоях и направляет исключения на проверку человеку без создания дубликатов при записи.
Guides
Как создать workflow для извлечения данных в n8n с учетом конфиденциальности
Спроектируйте workflow извлечения данных в n8n, который проверяет структурированный результат, безопасно обрабатывает ошибки и направляет чувствительные действия на проверку человеку.
Guides
Как создать надежный workflow в n8n для изменений в репозитории, проверок и согласования
Спроектируйте workflow в n8n, который извлекает структурированные данные об изменениях в репозитории, проверяет результат, повторяет запросы при временных сбоях, сверяет тесты и направляет рискованные действия на ручное согласование.
Guides
Как создать в n8n процесс обработки обращений с проверкой данных, повторными попытками и согласованием человеком
Создайте процесс в n8n, который извлекает поля из обращений в поддержку, проверяет их, обрабатывает сбои и требует согласования человеком перед значимыми действиями.