Перенос лиц (deepfake технологии)

Задача

Заказчикам из развлекательной и медиаиндустрии требовалась технология переноса лиц для интерактивных механик, рекламы и контента: подставить лицо пользователя в видеоролик, заменить персонажа, создать персонализированное обращение. Готовые массовые приложения дают грубый результат с заметными артефактами на краях лица и при движении. Нужно было решение, которое переносит лицо реалистично, сохраняет мимику и освещение исходного кадра и работает на видео, а не только на статичных фото.

Решение

Мы построили в GAN-лаборатории Z-union конвейер переноса лиц для развлекательных и медийных сценариев. Система определяет лицо в исходном видео, переносит на него лицо пользователя и подгоняет под освещение, ракурс и мимику сцены, чтобы результат выглядел естественно в движении. Решение применяется в персонализированных рекламных роликах, интерактивных активациях и развлекательном контенте. Конвейер обрабатывает видео покадрово автоматически и поддерживает пакетную генерацию для массовых персонализированных рассылок.

Технологии

Основа: генеративно-состязательные сети для замены лиц, обученные в лаборатории Z-union. Детекция и выравнивание лица обеспечивают точную привязку, генеративная модель синтезирует целевое лицо с переносом мимики и адаптацией под освещение кадра. Постобработка сглаживает границы и убирает артефакты между кадрами. Инференс идёт на GPU, что позволяет обрабатывать видео и партии запросов быстро. Технология применяется исключительно в развлекательных и медийных сценариях.

Результат

Заказчики получили инструмент для персонализированного видеоконтента и интерактивных механик, который повышает вовлечённость аудитории. Перенос лиц работает на движущемся видео с естественным результатом, а пакетный режим закрывает массовые кампании. Технология стала основой развлекательных активаций, где зритель становится частью ролика.