ИИ-поиск по нормативным актам корпорации: RAG + Large Vision Model

Задача

Нормативный документ содержит не только текст. Важное правило может находиться в таблице, схеме или изображении, а сотрудник ищет его по смыслу вопроса. Для крупной корпорации мы подготовили ассистента по базе нормативных актов с обработкой нескольких типов содержимого.

Подготовка базы

Корпоративные документы собраны и предобработаны. NLP-модули разбирают текст, а мультимодальная связка LVM и LLM помогает использовать таблицы и изображения вместе с текстовыми фрагментами. Это расширяет материал, доступный для поиска, по сравнению с работой только с извлечённым текстом.

После подготовки корпуса RAG связывает вопрос пользователя с релевантным контекстом. Пользователь формулирует задачу обычными словами; система ищет фрагменты по смыслу и использует их для ответа.

Веб-приложение для заказчика

Решение упаковано в веб-приложение для клиентского тестирования. Сотрудники проверяют, как ассистент отвечает на их вопросы к нормативной базе и обрабатывает разные виды документов. Такое тестирование связывает подготовку данных с реальными запросами к регламентам.

В этом сценарии качество поиска зависит от содержимого и подготовки корпоративной базы. Найденный материал остаётся связан с документом, который специалист использует при работе с нормами и правилами.

Результат

Создан мультимодальный поиск по нормативным актам: текст, таблицы и изображения включены в один процесс ответа. Заказчик получил инструмент для проверки сценариев работы с собственными документами.

Подход полезен организациям с большой нормативной базой и смешанным форматом файлов: внедрение ИИ в компании.