Бот вежливо ответил на вопрос, уточнил контакт и сообщил, что передаст заявку. В CRM остался прежний город, появилось две карточки, а встреча забронирована несмотря на отказ клиента. Если оценивать только последнюю реплику, такой эпизод может выглядеть успешным. Для бизнеса результат находится одновременно в разговоре, вызванных инструментах и сохранённых объектах.
Проверять нужно целое намерение клиента с уточнениями и изменениями. Отдельный удачный ответ не доказывает, что помощник довёл заявку до правильного состояния. Ниже — практический способ подготовить такие проверки для бота, связанного с Битрикс24 или другой CRM.
Повод для разбора — исследование ToolTurns от 11 ноября 2026 года . Авторы проверяли диалоги с исходно неполным запросом и последующими уточнениями. В их протоколе лучший агент решил 69,6% отдельных запросов, но завершил 39,8% полных диалогов; исследование охватывает девять моделей. Это результат конкретного бенчмарка, а не оценка вашего бота или статистика ошибок Битрикс24.
Начните с одного бизнес-сценария. В учебном примере клиент интересуется демонстрацией 1С:ERP, исправляет город и затем просит пока не бронировать встречу. Нужно сохранить одну актуальную заявку и передать менеджеру просьбу прислать вопросы по email. Ни одного реального контакта или календаря в этом примере нет.
Для такого эпизода недостаточно ожидаемого ответа «Хорошо, передам». Зафиксируйте конечные условия: одна заявка, выбранный продукт, исправленный город, действующий канал связи, отсутствие активной встречи и понятная передача человеку. У каждого условия должно быть место проверки — поле карточки, событие маршрутизации или запись календаря.
Если команда не договорилась, какой объект создаётся после первой реплики, тест пока нечего принимать. Сначала определите модель процесса. Иначе разработчик будет проверять наличие лида, заказчик — задачи менеджеру, а бот формально пройдёт один набор условий и провалит другой.
«Нужна демонстрация 1С:ERP для офиса в Казани. Пишите на buyer@example.test»
Продукт, город и канал зафиксированы; время встречи ещё не согласовано
Создана одна заявка, активной встречи нет
«Поправка: офис в Самаре. Удобнее в среду»
Самара заменяет прежний город; среда — пожелание, а не назначенное время
Обновлена та же карточка, новый лид не создан
«Встречу пока не бронируйте, пусть менеджер сначала пришлёт вопросы»
Последнее намерение отменяет бронирование; нужен переход к человеку
Встречи нет, актуальная просьба включена в передачу
Адрес buyer@example.test — учебный адрес, не получатель настоящей рассылки. Время встречи в примере не задано: бот не может самостоятельно превратить пожелание «в среду» в подтверждённый слот.
Такой тест ловит ошибки, которые не видны по первому ответу: потерю исправления, создание нового объекта на каждое сообщение и исполнение устаревшего намерения. Добавляйте их как отдельные ожидаемые условия, чтобы понимать причину провала.
У этих проверок разные основания. По диалогу видно, уточнил ли помощник недостающие сведения и честно ли сообщил результат. По журналу вызовов — каким инструментом и с какими параметрами он пытался действовать. По состоянию системы — что действительно сохранилось.
Команда LangChain в разборе тестирования Deep Agents также разделяет отдельные шаги, полные запуски, несколько реплик и проверку состояния среды. Для нашей схемы это означает три независимых слоя:
—Смысл: ответ учитывает последнее уточнение и не сообщает о неподтверждённой записи на встречу.
—Действие: изменяется выбранная карточка, а запрещённый для этого сценария инструмент не вызывается.
—Состояние: после завершения действительно осталась одна заявка с нужными данными и без активной встречи.
Сравнивать только точный текст ответа неудобно: правильные формулировки могут различаться. Но проверку количества объектов и значения поля не нужно отдавать на свободное суждение другой модели — их можно проверить обычным кодом.
Следующая функция для Python 3.8+ проверяет нормализованный снимок учебной среды. Это внутренний формат тестового стенда, не ответ REST API Битрикс24. Адаптер, который получает реальные карточки и календарные события, нужно реализовать отдельно и проверить на вашей схеме данных.
pythonPython
defverify_episode(state): expected ={"lead_count":1,"product":"1c-erp","city":"Самара","channel":"email","active_meeting_count":0,"handoff_ready":True,"request":"send_questions_before_booking",}return[key for key, value in expected.items()if state.get(key)!= value]good ={"lead_count":1,"product":"1c-erp","city":"Самара","channel":"email","active_meeting_count":0,"handoff_ready":True,"request":"send_questions_before_booking",}bad =dict(good,city="Казань",active_meeting_count=1)print(verify_episode(good))print(verify_episode(bad))
Ожидаемый вывод: [] и ['city', 'active_meeting_count'] . Второй результат прямо показывает, что исправление города потеряно, а встреча существует вопреки последнему намерению. Пустой список подтверждает только перечисленные условия; он не оценивает тон разговора или правильность маршрута доступа.
В рабочем стенде проверяйте не только общие количества. Нужна связь объектов именно с этим эпизодом и исходным клиентом. Иначе существующая чужая карточка или задача случайно удовлетворит условие теста. Снимок получают после завершения ожидаемой обработки, а при истечении срока явно фиксируют незавершённый результат.
Симулятор клиента может варьировать формулировки и раскрывать сведения в ответ на уточнения. Но цель, известные ему факты и разрешённые изменения должны быть записаны заранее. Если оба агента свободно договариваются о новом удобном сценарии, тест перестаёт проверять исходное требование.
Например, если бот предложил встретиться во вторник, симулятор не должен автоматически соглашаться, когда по сценарию клиенту подходит только среда. И если бот не спросил контакт, нельзя незаметно добавить его в тестовую CRM ради успешного финала. Такие послабления скрывают реальные ошибки маршрута.
В практике LangChain переходы между репликами проверяются условно: при неожиданном результате дальнейшее продолжение может терять смысл. Используйте тот же принцип в стенде: остановите эпизод с понятной причиной либо продолжите по заранее заданной ветке. Трудные и неоднозначные диалоги дополнительно просматривает человек.
Подготовьте изолированную среду и набор регрессий #
Тестовые обращения не должны попадать настоящим клиентам, создавать реальные встречи или уведомлять рабочий отдел продаж. Используйте отдельный контур либо подмену инструментов с записанными ответами. Перед каждым эпизодом восстанавливайте исходное состояние: остатки прошлого запуска делают результаты зависимыми друг от друга.
После основного сценария добавьте отказ CRM, недоступный календарь, несколько найденных клиентов и противоречивое исправление. Для каждого задайте ожидаемый результат: уточнить выбор, сообщить об ограничении, подготовить передачу человеку. Отсутствие ответа API не должно превращаться в сообщение «готово».
Сохраняйте версию модели, инструкции, инструментов, сценария и результат проверки. После изменения бота повторите те же эпизоды. Если улучшился ответ на первый вопрос, но сломалось исправление города на третьей реплике, это регрессия, которую нужно увидеть до выпуска.