Все кейсы
NLP1 января 2024 г.

Разработка набора моделей по анализу текстов, разметка текстового массива при помощи генеративных моделей

Работа с текстовым массивом и персональными данными: исследование локальных моделей для распознавания сущностей и замены найденных данных по правилам в процессе анонимизации.

Разработка набора моделей по анализу текстов, разметка текстового массива при помощи генеративных моделей

Задача

Проект объединил анализ текстового массива, работу с генеративными моделями и изучение способов анонимизации персональных данных. Для обработки текстов требовался подход, в котором поиск чувствительных фрагментов и их последующее преобразование можно выполнять программно.

Что проверили

Завершили изучение методов анонимизации с использованием внутренних моделей и кода. Рассматривались RU LLaMA и BERT для распознавания именованных сущностей, NER. После обнаружения персональных данных их предполагалось заменять по заданным правилам.

Это два самостоятельных шага обработки: модель находит фрагмент в тексте, а правила определяют его замену. Такое разделение делает логику преобразования явной и позволяет рассматривать анонимизацию как отдельную задачу внутри работы с текстовым массивом.

Результат этапа

Завершено исследование методов анонимизации с использованием внутренних моделей и кода. Работа относится к подготовке текстов для дальнейшего анализа и разметки.

Для организаций, обрабатывающих большие массивы обращений и документов, этот опыт полезен при разработке моделей анализа текста.