Конвертация видео в мультик (Стилизация)

Задача

Контент-командам и брендам нужен был способ превращать обычное видео в мультипликационную или художественную стилизацию: ролик, снятый на камеру, должен выглядеть как нарисованный анимационный сюжет. Ручная ротоскопия и покадровая стилизация в продакшене стоят дорого и занимают недели. Требовался автоматический инструмент, который переводит видео в выбранный мультяшный или художественный стиль, сохраняет движение и сюжет исходника и удерживает стиль стабильным между кадрами без мерцания.

Решение

Мы собрали конвейер конвертации видео в мультик на нейросетевой стилизации. Пользователь загружает ролик, выбирает стиль (мультипликация, рисунок, конкретная художественная манера), и система переводит каждый кадр в выбранную стилистику, удерживая согласованность между кадрами, чтобы картинка не дрожала. Стиль сохраняет движение, ракурсы и сюжет оригинала. Под заказчика собираются фирменные стили, чтобы стилизованное видео совпадало с брендом. Конвейер работает в пакетном режиме и обрабатывает ролики целиком без ручной покадровой правки.

Технологии

Ядро: нейросетевой перенос стиля на базе CycleGAN, обученный в GAN-лаборатории Z-union, с механизмом временной согласованности между кадрами для устранения мерцания. Модели обучаются на наборах изображений выбранного стиля. Покадровая обработка и сшивка идут на GPU-инференсе, что позволяет стилизовать ролики быстро и партиями.

Результат

Заказчики получили инструмент, который заменяет дорогой анимационный продакшен на автоматическую стилизацию. Обычное видео превращается в мультипликационный контент за минуты вместо недель ручной работы. Библиотека стилей расширяется под кампании и бренды, а стабильность между кадрами даёт результат, пригодный для публикации и рекламы. Решение сняло зависимость от студий анимации для типовых задач.