ИИ-поиск по нормативным актам корпорации: RAG + Large Vision Model

Задача

Крупная корпорация хранит тысячи нормативных документов: регламенты, стандарты, инструкции, приказы. Сотрудники тратят часы на поиск нужного пункта, а сами документы написаны не только текстом. В них таблицы, схемы, сканы, диаграммы и изображения. Обычный полнотекстовый поиск по таким файлам не работает: он не видит содержимое таблиц и не понимает картинки. Нужна была система, которая принимает вопрос на естественном языке и находит точный ответ в смешанном корпусе документов.

Решение

Мы построили ИИ-ассистента на базе RAG с поддержкой мультимодального контента. Система разбирает документы на смысловые фрагменты, распознаёт текст, извлекает данные из таблиц и интерпретирует изображения. На запрос сотрудника ассистент находит релевантные фрагменты семантическим поиском и формирует ответ со ссылками на источник. Пользователь спрашивает обычными словами, а не подбирает ключевики.

Технологии

RAG-конвейер с векторной базой для семантического поиска. Связка Large Vision Model и LLM: LVM распознаёт и описывает таблицы, схемы и изображения внутри документов, переводя их в текстовое представление для индексации, LLM генерирует финальный ответ по найденному контексту. Это позволяет искать одновременно по тексту и по визуальному содержимому документов.

Результат

Поиск по смешанным корпоративным документам сократился с часов до секунд. Ассистент отвечает на вопросы, ответ на которые раньше требовал листать десятки регламентов вручную. Система понимает таблицы и изображения, а не только плоский текст, что критично для технической документации. Решение разворачивается в контуре заказчика и масштабируется на любой объём нормативной базы без потери качества поиска.