Оценка качества AI-ассистентов и RAG-систем нужна перед запуском и после изменений модели, документов или поиска. Демонстрация нескольких удачных ответов не показывает, как система справляется с противоречивыми инструкциями, отсутствующими сведениями и вопросами сотрудников с разными правами. Строим воспроизводимую проверку и отделяем ошибки извлечения источника от ошибок самого ответа.
Контрольный набор вопросов
Собираем реальные задачи: найти инструкцию, сравнить условия, получить ответ с оговоркой или выполнить разрешённое действие. Для каждого примера фиксируем вопрос, роль пользователя, допустимый источник и критерий правильного результата. Если точного единственного текста ответа нет, описываем обязательные факты и недопустимые утверждения.
В набор включаем разговорные формулировки, сокращения, вопросы без ответа, устаревшие версии и конфликтующие документы. Отдельную часть оставляем для итоговой проверки и не используем для подстройки. Иначе улучшение на знакомых примерах может скрыть ухудшение на новых вопросах.
Качество поиска и контекста
Проверяем, попал ли нужный источник в найденные фрагменты, не вытеснили ли его похожие документы и сохранилась ли важная таблица или оговорка. Разбираем извлечение текста, разбиение, метаданные, фильтры и ранжирование. Ошибка поиска не исправляется одной более уверенной формулировкой ответа.
Для RAG измеряем показатели извлечения на размеченном наборе, например долю случаев с нужным источником в первых результатах. Конкретные значения интерпретируем вместе с размером и составом выборки. Сравниваем варианты на одинаковых вопросах и одной версии корпуса.
Поиск по корпоративным знаниям
Если проверка выявляет проблемы самого корпуса, индекса или ранжирования, их исправление относится к развитию RAG-системы.
Разработка RAG и поискаОбоснованность и полезность ответа
Сопоставляем утверждения с источниками: есть ли подтверждение, корректна ли ссылка, не потеряно ли условие применения. Правдивый, но не отвечающий на вопрос абзац оценивается отдельно от выдуманного факта. Для расчётов и структурированных ответов добавляем детерминированные проверки полей и чисел.
Автоматическую оценку можно построить на Python и подходящих инструментах, например Ragas, но модель-оценщик тоже ошибается. Калибруем её на ручной разметке, сохраняем критерии и спорные примеры. Один итоговый балл без разбора причин не помогает исправить систему.
Отказы, права и действия ассистента
Проверяем, что система не отвечает по закрытым документам пользователю без доступа и не цитирует удалённый источник. Подмена инструкции в найденном документе не должна становиться разрешением на действие. Для ассистента с инструментами отдельно оцениваем выбор операции, аргументы и необходимость подтверждения.
Отказ должен быть уместным: если информации нет, система сообщает границу знания и предлагает допустимый следующий шаг. Но постоянное уклонение от обычных вопросов также является ошибкой. Разделяем чрезмерный отказ, необоснованную уверенность и нарушение прав.
Регрессии и отчёт
Сохраняем версии корпуса, поиска, промптов, модели и параметров запуска. После изменения сравниваем качество, задержку и стоимость на одном наборе, учитывая нестабильность генерации. Для критичных сценариев нужны повторные прогоны и отдельные пороги.
Результат оценки RAG-системы — набор тестов, правила разметки, отчёт по категориям ошибок и приоритеты исправлений. Для начала нужны доступ к тестовому контуру, примеры вопросов, роли и список разрешённых источников. Проверка не даёт обещания безошибочной работы на любых будущих запросах.
Вопросы перед началом работ
Сколько вопросов нужно для проверки?
Объём зависит от разнообразия задач и риска ошибки. Важнее покрыть разные роли, источники и исключения, чем набрать много похожих вопросов. Состав и достаточность выборки фиксируем в отчёте.
Можно оценивать ответы без эталонного текста?
Да, если есть проверяемые критерии: обязательные факты, допустимые источники и ограничения. Для части метрик нужны размеченные релевантные документы. Отсутствие эталона не означает отсутствие правил оценки.
Может ли другая нейросеть заменить эксперта?
Она помогает масштабировать проверку, но её выводы нужно калибровать. На критичных и спорных примерах требуется предметный эксперт. Сохраняем расхождения автоматической и ручной оценки.
Почему правильный документ найден, а ответ неверный?
Модель могла проигнорировать условие, перепутать версии или добавить неподтверждённый факт. Поэтому извлечение источников и генерация оцениваются отдельно, с сохранением полученного контекста.
Как проверять систему после обновления базы знаний?
Повторяем согласованный набор, добавляем примеры по новым документам и проверяем удаление старых сведений. Фиксируем версии, чтобы отличить изменение корпуса от изменения модели или поиска.