Разработка набора моделей по анализу текстов, разметка текстового массива при помощи генеративных моделей
Работа с текстовым массивом и персональными данными: исследование локальных моделей для распознавания сущностей и замены найденных данных по правилам в процессе анонимизации.

Задача
Проект объединил анализ текстового массива, работу с генеративными моделями и изучение способов анонимизации персональных данных. Для обработки текстов требовался подход, в котором поиск чувствительных фрагментов и их последующее преобразование можно выполнять программно.
Что проверили
Завершили изучение методов анонимизации с использованием внутренних моделей и кода. Рассматривались RU LLaMA и BERT для распознавания именованных сущностей, NER. После обнаружения персональных данных их предполагалось заменять по заданным правилам.
Это два самостоятельных шага обработки: модель находит фрагмент в тексте, а правила определяют его замену. Такое разделение делает логику преобразования явной и позволяет рассматривать анонимизацию как отдельную задачу внутри работы с текстовым массивом.
Результат этапа
Завершено исследование методов анонимизации с использованием внутренних моделей и кода. Работа относится к подготовке текстов для дальнейшего анализа и разметки.
Для организаций, обрабатывающих большие массивы обращений и документов, этот опыт полезен при разработке моделей анализа текста.
Похожие кейсы
NLP
Arkeda
Arkeda превращает архивные документы в данные для работы: оцифровка, поиск, фильтрация и объединение сведений дополняются интерфейсом для подготовки аналитических отчётов.
NLP
AI Documents - Платформа kosynka
Kosynka анализирует содержание договоров и выделяет условия исполнения: сроки, обязанности, ответственных и события. Структурированное представление помогает организовать контроль обязательств.
NLP
Модель автоматической классификации текстов обращений клиентов
Модель классифицирует обращения из электронной почты по тематическим разделам и направляет запросы соответствующим сотрудникам. Ручное чтение общего потока заменяется автоматической рубрикацией.