GuidesOneMux

Как создать в n8n процесс ответов на вопросы по документам с проверкой цитат и участием человека

Спроектируйте процесс в n8n, который извлекает данные из документов, проверяет структурированные ответы, безопасно повторяет запросы и направляет сомнительные результаты человеку.

AI

Кратко · TL;DR

Практический подход к созданию в n8n ответов на вопросы по документам: с проверкой цитат, ограничением повторных запросов и разделением проверки ответов и согласования рискованных вызовов инструментов.

Главное

  • При извлечении и поиске сохраняйте вместе идентификаторы и версии документов, ссылки на страницы и исходный текст.
  • Проверяйте как структуру ответа, так и наличие цитируемых фрагментов в предоставленном тексте источника.
  • Повторяйте запросы при временных сбоях ограниченное число раз; результаты, которые не удается проверить или подтвердить источниками, направляйте на проверку либо отказывайтесь от ответа.
  • Согласование инструментов в n8n определяет, может ли агент вызвать инструмент; оно не заменяет проверку качества ответа.
В этой статье (7)

Начните с небольшого набора данных, которые можно проверить: извлеките текст с идентификаторами страниц или разделов, попросите модель отвечать только на его основе и отклоняйте ответы, цитаты в которых невозможно проверить. В n8n используйте обычные ветви процесса для проверки результатов и их рассмотрения человеком, а согласование человеком в AI Agent оставьте для вызовов инструментов, способных выполнять значимые действия.

Приведенная ниже конфигурация — пример проектирования, а не протестированный экспорт процесса. Настройки узлов и доступные интеграции могут различаться в зависимости от версии n8n и провайдера.

Предварительные требования и структура процесса

Вам понадобятся экземпляр n8n, доступ к модели, работающей с текстом, через поддерживаемую интеграцию или конечную точку HTTP, способ извлечения текста из документов, а также хранилище документов и записей о проверке. Для сканированных PDF добавьте OCR: обычное извлечение текста из PDF может вернуть мало текста или не вернуть его вовсе. Прежде чем подключать систему поиска, определите, кто может получать доступ к каждому документу.

Создайте два связанных этапа:

  1. Загрузка: триггер документа → извлечение текста или OCR → разбиение на записи по страницам или разделам → сохранение текста и метаданных.
  2. Формирование ответа: триггер вопроса → поиск записей, к которым разрешен доступ → извлечение данных моделью → проверка в узле Code → ответ, ограниченный повторный запрос или очередь на проверку.

Сохраняйте document_id, version, page и text в каждой записи. Ссылка на источник должна указывать на конкретную версию документа и страницу, а не только на имя файла. Если инструмент извлечения не может сохранить границы страниц, используйте стабильные идентификаторы разделов и обозначайте их соответствующим образом. Отклоняйте пустые результаты извлечения, вместо того чтобы отправлять их модели.

Для небольшой коллекции находите записи по идентификатору документа и передавайте соответствующие страницы напрямую. Для более крупных коллекций добавьте этап поиска или извлечения, сохранив те же метаданные. Поиск может пропустить ответ; даже ответ, который выглядит корректным, не доказывает, что были найдены все нужные страницы.

Определите формат ответа

В узле модели запросите один объект JSON со строкой answer, полем status со значением answered или insufficient_evidence и массивом evidence. Каждый элемент evidence должен содержать document_id, version, page и точную цитату quote, скопированную из предоставленных записей. Укажите модели игнорировать инструкции внутри документов, считать их недоверенными данными и возвращать insufficient_evidence, если предоставленный текст не позволяет обосновать ответ.

Пример ответа:

{
  "status": "answered",
  "answer": "The agreement renews annually.",
  "evidence": [
    {
      "document_id": "agreement-17",
      "version": "v2",
      "page": 3,
      "quote": "This agreement renews for successive one-year terms."
    }
  ]
}

Цитата и идентификаторы приведены для примера и не являются фактами о реальном соглашении. Требуйте как минимум один элемент evidence для ответа со статусом answered и отсутствие элементов evidence для ответа со статусом insufficient-evidence. При отображении ссылки на источник указывайте название или идентификатор документа, версию, страницу и цитату. Добавляйте ссылку только в том случае, если приложение может сформировать ссылку на этот конкретный источник с учетом прав доступа.

Проверяйте ответ и цитаты в n8n

После вызова модели разберите полученный JSON и передайте разобранный объект вместе с фактически извлеченными записями в узел Code. Приведенный ниже пример JavaScript рассчитан на один входной элемент, где result содержит разобранный ответ, а sources — массив записей с полями document_id, version, page и text. Настройте предыдущие узлы так, чтобы они передавали данные в этом формате; ошибки разбора должны направляться в ветвь обработки сбоев.

const { result, sources } = $input.first().json;
const errors = [];

if (!result || typeof result !== 'object' || Array.isArray(result)) {
  errors.push('Result must be an object');
} else {
  if (!['answered', 'insufficient_evidence'].includes(result.status))
    errors.push('Invalid status');
  if (typeof result.answer !== 'string' || !result.answer.trim())
    errors.push('Missing answer');
  if (!Array.isArray(result.evidence)) {
    errors.push('Evidence must be an array');
  } else {
    if (result.status === 'answered' && result.evidence.length === 0)
      errors.push('Answered response needs evidence');
    if (result.status === 'insufficient_evidence' && result.evidence.length !== 0)
      errors.push('Insufficient-evidence response must not cite evidence');

    for (const e of result.evidence) {
      const validFields = e && typeof e.document_id === 'string' &&
        typeof e.version === 'string' && Number.isInteger(e.page) &&
        typeof e.quote === 'string' && e.quote.trim().length > 0;
      if (!validFields) {
        errors.push('Invalid evidence fields');
        continue;
      }
      const source = Array.isArray(sources) && sources.find(s =>
        s.document_id === e.document_id && s.version === e.version &&
        s.page === e.page && typeof s.text === 'string'
      );
      if (!source || !source.text.includes(e.quote))
        errors.push('Citation or exact quote not found in retrieved source');
    }
  }
}
return [{ json: { result, errors, valid: errors.length === 0 } }];

Этот код проверяет небольшой явно заданный формат и точное наличие цитаты в источнике; он не является универсальным валидатором JSON Schema. Добавьте библиотеку или сервис проверки схемы, если нужны ограничения, например максимальная длина полей или отклонение лишних полей. Проверка точного совпадения может не пройти из-за ошибок OCR или изменений пробелов. Если вы нормализуете текст, применяйте одну и ту же документированную нормализацию и к источнику, и к цитате, а исходный текст сохраняйте для проверяющих.

Самое важное: совпадение цитаты не доказывает, что ответ следует из нее. Проверяющий или отдельный процесс контроля качества должен оценить, действительно ли цитируемый фрагмент подтверждает каждое существенное утверждение. Если ошибка в ответе может иметь серьезные последствия, направляйте на проверку даже структурно корректные результаты.

Добавьте ограниченные повторные запросы и возможность отказаться от ответа

После проверки используйте узел IF. Корректные ответы с низким риском передавайте дальше; для insufficient_evidence возвращайте отказ от ответа, например: «В предоставленных документах не удалось найти достаточно подтверждений». Некорректные результаты направляйте в ветвь повторных запросов со счетчиком, сохраненным в элементе процесса.

В качестве отправной точки можно использовать такие правила:

  • Повторяйте запрос при временных сетевых ошибках и ограничениях частоты не более двух раз, увеличивая интервалы ожидания; соблюдайте задержку перед повтором, если ее указал провайдер.
  • При некорректном JSON или ошибках проверки цитат повторяйте запрос один раз, передавая модели только ошибки проверки и те же записи источников, к которым разрешен доступ.
  • Не выполняйте многократные повторы при отсутствии прав доступа, пустом результате извлечения или отсутствии подтверждающих данных. Исправьте входные данные, запросите другой документ или отправьте случай на проверку.
  • После достижения лимита зафиксируйте сбой и верните статус ожидания проверки или недоступности, а не непроверенный ответ.

Это проектные решения, а не гарантии. Классифицируйте ошибки провайдера по фактическому ответу интеграции. Если повторный запрос может повторно выполнить запись, используйте ключ идемпотентности на уровне приложения или сначала проверьте, существует ли уже такая запись; повторный запрос не должен создавать дублирующие заявки на проверку или отправлять дублирующие сообщения.

Разделите проверку ответа и согласование вызова инструмента

Для проверки ответа создайте запись, содержащую вопрос, предлагаемый ответ, ошибки проверки, цитируемые фрагменты, версию документа и ссылку на источник с учетом прав доступа. Проверяющий должен одобрить, исправить или отклонить ответ; прежде чем выдать ответ, зафиксируйте решение и личность проверяющего. Защитите канал проверки и не копируйте конфиденциальный текст документов в каналы без надлежащего контроля доступа.

Это отличается от функции n8n Human review for tools. Согласно документации n8n, эта функция приостанавливает AI Agent перед выполнением выбранного инструмента. При одобрении инструмент запускается с входными данными, указанными AI; при отказе вызов отменяется, а агент получает уведомление. Сама по себе эта функция не проверяет ответ.

Чтобы контролировать такие действия, как отправка ответа внешнему получателю или обновление записи, откройте панель Tools в AI Agent, настройте канал Human review и подключите нужный инструмент через этот этап проверки. В документации среди доступных каналов указаны n8n Chat и Slack. Включите в сообщение для проверки имя инструмента и его параметры с помощью документированных выражений $tool.name и $tool.parameters. В системном промпте агента укажите инструменты, требующие согласования, и предписывайте ему объяснять отказ, а не повторять попытку незаметно или искать обходной путь. Определите порядок работы с запросами, оставшимися без ответа, например отмечайте их как ожидающие и передавайте на следующий уровень рассмотрения; не предполагайте, что тайм-аут сработает автоматически.

Устранение неполадок и контрольный список перед запуском

  • Цитаты не проходят проверку, хотя страница верна: проверьте OCR, переносы строк, нумерацию страниц и несовпадения версий. Не подменяйте страницу другой без уведомления.
  • В ответах отсутствует важная информация: прежде чем увеличивать число повторных запросов, проверьте полноту поиска и права доступа к документам.
  • Проверяющие не могут подтвердить фрагмент: укажите точную версию и рабочую ссылку на источник с контролем доступа, а не только имя файла.
  • Агент пытается выполнить рискованное действие без проверки: убедитесь, что действие действительно подключено через этап проверки человеком, и протестируйте как отказ, так и одобрение.

Перед запуском протестируйте ответ, подтвержденный источником, отсутствие ответа, вымышленную цитату, некорректный JSON, временный сбой провайдера и отклоненный вызов инструмента. Полезный процесс может сообщить «недостаточно данных» и сохранить это решение; он ни в коем случае не должен превращать результат, не прошедший проверку, в авторитетный ответ.

Источники

Вопросы

Проверяет ли human review в n8n ответы по документам?

Не сама по себе. Описанная в документации функция human review приостанавливает выбранные вызовы инструментов AI Agent для одобрения или отклонения. Для проверки цитат и фактической обоснованности создайте отдельную ветвь проверки ответа.

Доказывает ли точная цитата правильность ответа?

Нет. Она подтверждает, что цитируемый текст присутствует в проверенной записи источника, но не то, что этот фрагмент обосновывает каждое утверждение в ответе. Необходимо проверить связь между ответом и подтверждающими данными.

Что делать, если документ не содержит ответа?

Верните ответ о недостаточности данных или направьте вопрос на проверку. Многократные повторные запросы к модели не могут надежно заменить отсутствующие исходные материалы.

Похожие статьи

Guides

Как создать в n8n процесс извлечения данных с возможностью восстановления

Спроектируйте процесс извлечения данных в n8n, который проверяет записи, повторяет попытки при временных сбоях и направляет исключения на проверку человеку без создания дубликатов при записи.

阅读全文 →

Guides

Как создать workflow для извлечения данных в n8n с учетом конфиденциальности

Спроектируйте workflow извлечения данных в n8n, который проверяет структурированный результат, безопасно обрабатывает ошибки и направляет чувствительные действия на проверку человеку.

阅读全文 →

Guides

Как создать надежный workflow в n8n для изменений в репозитории, проверок и согласования

Спроектируйте workflow в n8n, который извлекает структурированные данные об изменениях в репозитории, проверяет результат, повторяет запросы при временных сбоях, сверяет тесты и направляет рискованные действия на ручное согласование.

阅读全文 →

Guides

Как создать в n8n процесс обработки обращений с проверкой данных, повторными попытками и согласованием человеком

Создайте процесс в n8n, который извлекает поля из обращений в поддержку, проверяет их, обрабатывает сбои и требует согласования человеком перед значимыми действиями.

阅读全文 →