Тачпад панели любого размера

Задача

Заказчику нужно было превращать обычные поверхности и большие экраны в интерактивные сенсорные панели без установки дорогого touch-оборудования. Промышленные сенсорные панели большого формата стоят дорого, плохо масштабируются под нестандартные размеры и привязаны к конкретному стеклу. Требовалось решение, которое делает интерактивной поверхность любого размера: проекцию, стену, витрину или большой дисплей, и позволяет управлять контентом жестами и касаниями без специализированного железа в самой поверхности.

Решение

Мы разработали систему тачпад-панелей любого размера на основе компьютерного зрения и трекинга. Камера отслеживает руки и касания пользователя по поверхности, система определяет точки контакта и жесты и передаёт их в приложение как сенсорный ввод. Это превращает в интерактивную панель проекцию, стену или большой экран, причём размер поверхности ограничен только зоной обзора камеры. Решение работает с одновременными касаниями нескольких пользователей и настраивается под формат поверхности. Контент управляется как на обычном тачскрине: нажатия, перетаскивания, жесты масштабирования.

Технологии

Основа: компьютерное зрение и трекинг рук и касаний по видеопотоку с камеры, обученные модели детекции в лаборатории Z-union. Калибровка привязывает координаты камеры к плоскости поверхности, обеспечивая точное попадание касаний. Обработка идёт в реальном времени, мультитач поддерживается за счёт отслеживания нескольких точек контакта. Визуализация контента строится на WebGL для совместимости с разными дисплеями и проекциями.

Результат

Заказчик получил интерактивные панели произвольного размера без вложений в дорогое сенсорное оборудование. Любая поверхность стала площадкой для интерактивного контента: витрины, стены, выставочные стенды. Решение масштабируется под нестандартные форматы и одновременную работу нескольких людей, что снизило стоимость интерактивных инсталляций по сравнению с промышленными touch-экранами.