Smart Tasting - системы распознавания эмоций online и в записи

Задача

Производителям продуктов и напитков нужна была объективная оценка реакции людей на вкус во время дегустаций. Анкеты и устные отзывы субъективны: участник сглаживает мнение, забывает первую реакцию, отвечает социально желательно. Настоящая эмоция возникает в первые секунды после пробы и не отражается в опроснике. Требовалась система, которая фиксирует мимическую реакцию участника по видео и переводит её в измеримые эмоции, причём как в реальном времени на самой дегустации, так и при анализе записей.

Решение

Мы разработали систему Smart Tasting для распознавания эмоций на дегустациях по видео. Камера фиксирует лицо участника в момент пробы, система распознаёт мимические реакции и классифицирует их по эмоциям и интенсивности. Работают два режима: онлайн, когда реакции считываются прямо во время дегустации и видны организатору в реальном времени, и анализ записей, когда обрабатываются ранее снятые сессии. Результаты сводятся в отчёт по каждому продукту и участнику: какая проба вызвала позитивную реакцию, какая отторжение, в какую секунду. Это даёт производителю объективную картину поверх анкет.

Технологии

Основа: модели распознавания эмоций по мимике, обученные в лаборатории Z-union на видеопотоке. Детекция и трекинг лица обеспечивают устойчивую работу при движении участника. Классификатор переводит выражения в шкалу эмоций с привязкой ко времени кадра. Инференс работает в реальном времени для онлайн-режима и в пакетной обработке для записей, что позволяет анализировать большие наборы сессий.

Результат

Производитель получил объективный инструмент оценки продуктов, который дополняет субъективные анкеты замером реальной мимической реакции. Эмоция фиксируется в момент пробы, до того как участник её осознанно сгладит. Два режима закрывают и живые дегустации, и анализ архивов. Решение даёт измеримые данные для выбора рецептур и сравнения продуктов между собой.