ЛитРес: ИИ-анализ авторского стиля и сюжетных линий книг

Задача

ЛитРес поставил задачу анализа художественных текстов в акселераторе «Формула IT». Требовалось получить признаки, по которым можно описывать и сравнивать книги: жанры, особенности авторского стиля и сюжетные линии. По итогам программы Z-union заключил договор на разработку.

Входные данные и модули

Заказчик предоставлял полные тексты книг в формате TXT, список тегов и жанров для каждой книги и их иерархию. Проект предусматривал два модуля: полнотекстовую классификацию по жанрам и выделение тегов по стилю и сюжету. Модели должны обучаться на данных заказчика и встраиваться в его инфраструктуру.

Такая постановка позволяет формировать семантический профиль книги из самого произведения. Полученные признаки могут использоваться при загрузке новой книги и для обогащения описаний уже существующего каталога.

Что показал анализ

В демонстрационной обработке участвовали 100 книг трех жанров: фэнтези, роман и детектив. Выполнили выделение имен героев по книгам и жанрам, построение карты ключевых словосочетаний и векторный анализ похожести текстов. Сохранены результаты извлечения сущностей и словосочетаний для дальнейшего разбора.

Техническое задание предусматривает проверку моделей на отложенной выборке и нагрузочное тестирование на больших книгах и массивах текстов. Эти проверки относятся к качеству классификации и производительности обработки.

Результат и применение

Получен аналитический задел для описания и сравнения литературных произведений. Жанры и теги служат основой будущих рекомендаций, автоматических подборок или диалога с читателем. Разработка самой рекомендательной системы выделена за пределы объема этого проекта.

История сотрудничества описана в материале об интервью Радио России. Работа с полными текстами и отраслевыми тегами полезна каталогам контента в рамках заказной разработки ИИ.