Разработка RAG-систем и поиска по базе знаний нужна, когда сотрудник знает вопрос, но не знает, в каком регламенте, инструкции или проектном документе находится ответ. NetLabCS проектирует весь путь: получение документа, поиск основания, подготовку ответа и переход к проверяемому источнику. Результатом может быть поисковый интерфейс, помощник с цитатами или компонент существующего портала. Формат выбираем по рабочим вопросам компании.
Поиск, RAG или дообучение: разные задачи
Для поиска номера договора, артикула или точной формулировки может быть достаточно полнотекстового поиска с фильтрами. Для вопроса «как оформить возврат при частичной поставке» полезно находить материалы по смыслу и собирать объяснение из нескольких оснований. Генеративный ответ добавляем там, где он помогает человеку разобраться; список подходящих документов остаётся самостоятельным полезным результатом.
RAG передаёт найденный контекст модели во время ответа. Дообучение меняет поведение модели на подготовленном наборе примеров и решает другую задачу. Часто обновляемые правила, цены и версии инструкций храним в управляемом источнике. Загрузка файлов в индекс сама по себе не является обучением и не гарантирует правильного ответа.
Подготовка PDF, страниц, таблиц и сканов
Подключаем согласованные файловые хранилища, базу знаний, HTML-страницы и выгрузки прикладных систем. Сохраняем заголовки, структуру разделов, идентификатор исходника и ссылку на него. У PDF проверяем порядок чтения колонок, колонтитулы и переносы. Для скана нужен OCR; распознанный текст сопоставляем с изображением на характерных образцах, прежде чем включать весь архив.
Таблица требует связи строки со столбцами, единицами и примечанием. Если отделить число от названия показателя, поиск найдёт похожий фрагмент, а ответ потеряет смысл. Для длинных таблиц рассматриваем отдельные записи с повторением необходимых заголовков или специализированное извлечение. Изображения и схемы подключаем отдельным способом, если ответы действительно зависят от них; обычный текстовый парсер не превращает рисунок в описание процесса.
Автоматическая обработка документов с ИИ
Если документы нужны также для извлечения реквизитов и передачи в учёт, отдельно проектируем обработку файлов, проверку полей и очередь исключений.
Подробнее о решенииФрагменты, версии и управляемое обновление
Документ делим по смысловым границам: раздел, процедура, пункт, связанная таблица. Размер и перекрытие фрагментов подбираем на вопросах: слишком короткий фрагмент теряет условия, слишком длинный приносит посторонние правила. К каждому сохраняем название, раздел, дату действия, версию, подразделение и необходимые права. Страница источника или иной якорь помогает открыть конкретное основание.
Начальная индексация и последующее обновление используют устойчивые идентификаторы. Изменённый документ получает новую согласованную версию; удаление исключает прежние фрагменты из доступного поиска. Для архивных материалов задаём отдельный режим: вопрос о прошлом периоде может требовать старую редакцию, рабочая инструкция на сегодня — действующую. Переиндексация не должна оставлять обе версии равноправными без объяснения их применимости.
Точный, векторный и гибридный поиск
Полнотекстовый поиск учитывает слова и их формы; отдельно сохраняем точные идентификаторы, которые нельзя терять при нормализации. Векторный поиск использует эмбеддинги, чтобы находить смысловую близость при разных формулировках. Для корпоративных материалов часто сравниваем гибридную схему: точные термины и смысловой поиск дополняют друг друга. Их результаты объединяем по выбранному правилу, затем оцениваем качество на контрольных вопросах.
PostgreSQL с полнотекстовым поиском и pgvector рассматриваем, если удобно хранить сведения и поисковые представления в одной поддерживаемой среде. Qdrant — вариант отдельного векторного хранилища с фильтрацией по метаданным и многоэтапными запросами. Выбор зависит от объёма, обновлений, существующей инфраструктуры и требований поиска. Само название базы не определяет ни точность ответа, ни сохранение прав.
При необходимости добавляем переранжирование: отдельный компонент подробнее оценивает пары «вопрос — найденный фрагмент» и переставляет кандидатов перед передачей модели. Проверяем пользу относительно задержки и вычислительных затрат. Для вопроса с несколькими условиями может потребоваться несколько поисковых шагов; расширение запроса не должно незаметно менять исходную задачу пользователя.
Поддержка pgvector и векторного поиска в PostgreSQL
Для уже действующего поиска на PostgreSQL отдельно разбираем pgvector, индексы, фильтры и причины потери качества или производительности.
Подробнее о решенииОтвет и ссылки на подтверждающие фрагменты
В контекст передаём релевантные основания вместе с происхождением. Ответ отделяет подтверждённое правило, условия его применения и отсутствующие сведения. Ссылка должна подтверждать конкретное утверждение: похожий документ с нужными словами не доказывает вывод. При противоречии инструкций показываем версии и основание выбора либо направляем вопрос владельцу материала.
Для цены, остатка, статуса заказа или результата расчёта одного документа может быть недостаточно: эти сведения запрашиваются в прикладной системе отдельным разрешённым инструментом. Не помещаем оперативный остаток в вечный справочный индекс как гарантированно актуальное значение. Создание заявки или изменение учёта также проектируется отдельной операцией, а не продолжением свободной генерации текста.
Доступ к источникам, истории и кэшу
Поиск выполняется в контексте установленного пользователя и разрешённых источников. Права применяются до выдачи фрагментов модели; отдельно проверяем ссылки, цитаты, историю разговора и кэш. Общий технический аккаунт индексатора не должен превращать все прочитанные им документы в общедоступную базу. Изменение группы или отозванный доступ должно учитываться на следующем разрешённом обращении по выбранной архитектуре.
Текст документа рассматриваем как данные. Встроенное в него требование раскрыть другой файл или вызвать инструмент не получает полномочий приложения. Секреты подключения остаются на сервере, журналы ограничиваются необходимыми данными. Локальная модель — один из вариантов размещения, но правила доступа и обработки источников нужны при любом способе генерации.
Развёртывание локальных языковых моделей
Когда генерацию нужно разместить в инфраструктуре компании, отдельно подбираем модель, сервер вывода, ресурсы и внутренний API.
Подробнее о решенииКак принимаем результат и развиваем систему
Формируем набор реальных вопросов: точное обозначение, перефразирование, несколько источников, устаревшее правило, отсутствие ответа и разные права. Сначала оцениваем, найдено ли нужное основание. Затем — использовала ли его модель правильно, не добавила ли неподтверждённое и понятен ли ответ пользователю. Эти ошибки исправляются в разных частях системы: парсере, метаданных, поиске или генерации.
Заказчик получает подключённый корпус, поисковый маршрут, интерфейс результата и правила обновления. Фиксируем контрольный набор, ограничения качества, задержку на характерной нагрузке и порядок обратной связи. Смена модели, эмбеддингов или структуры фрагментов требует повторной проверки; удачный ответ на демонстрационный вопрос не заменяет приёмку по рабочим сценариям.
Оценка качества AI-ассистентов и RAG-систем
Независимая оценка помогает разделить ошибки поиска и генерации и сравнивать изменения системы на одном наборе заданий.
Подробнее о решенииВопросы по проекту
Когда достаточно обычного поиска без генеративной модели?
Когда пользователь ищет конкретный документ, идентификатор или точную формулировку и ему удобно открыть результат. RAG полезен для объяснения правил и сопоставления нескольких источников. В пилоте сравниваем оба интерфейса на реальных вопросах, чтобы не добавлять генерацию без практической пользы.
Можно подключить сканы и большие таблицы?
Да, после проверки их обработки. Сканы распознаются, для таблиц сохраняются заголовки, единицы и отношения строк. На образцах проверяем, можно ли восстановить нужный факт. Плохо читаемые страницы и сложные схемы могут потребовать отдельного извлечения или ручной подготовки.
Как система понимает, какая инструкция действует сейчас?
Вместе с содержанием сохраняем версию и дату применимости, а также правило выбора действующей редакции. Если источник не содержит этих сведений, их должен определить владелец материала. Модель не должна угадывать приоритет противоречащих файлов по убедительности текста.
Закрытые документы можно хранить в общем индексе?
Это возможно только при корректно спроектированной изоляции и проверке доступа. Фильтрация применяется до передачи контекста модели; проверяются также цитаты, кэш и история. Для несовместимых требований доступа может потребоваться раздельное хранение. Скрытие ссылки в интерфейсе не является достаточной защитой.
Как отличить ошибку поиска от ошибки модели?
Для вопроса заранее отмечаем подходящие основания. Если они не найдены, исследуем обработку и поисковый маршрут. Если основание передано, но вывод не подтверждается им, проверяем генерацию и сборку контекста. Такой разбор полезнее одной общей оценки «ответ понравился».
Что происходит при смене модели эмбеддингов?
Проверяем совместимость поисковых представлений и необходимость пересчёта индекса. Новую схему сравниваем со старой на одном наборе вопросов, отдельно оцениваем точные обозначения, смысловые запросы и права. Переключение планируем с возможностью вернуться к проверенной версии.