Инженеры Корнеллского университета (Итака, штат Нью-Йорк, США) разработали новое носимое устройство, которое следит за мимикой человека с помощью маленького сонара и переносит ее на цифровой аватар. В системе не используются традиционные камеры, что решает проблемы с конфиденциальностью.
Как это работает?
Гаджет получил название EarIO. Устройство состоит из оголовья с микрофоном и динамиком с двух сторон лица пользователя. Впрочем, систему можно закрепить на любой другой гарнитуре, например, на наушниках. Каждый динамик генерирует звуковые импульсы, не слышимые человеческим ухом. Импульсы направлены в сторону лица пользователя. Отраженное от лица эхо улавливается микрофонами.
Поскольку человек мягкий, кожа немного искажает отражение, особенно во время движения. Чтобы исправить это, в дело вступают специально обученные алгоритмы. Они распознают эхо-профили и быстро восстанавливают оригинальное выражение лица пользователя, отображая его на цифровом аватаре.
Команда уже протестировала систему EarIO на 16 участниках, запустив алгоритм на обычном смартфоне. Устройство смогло реконструировать мимику с такой же точностью, какую выдает обычная камера. Фоновый шум - ветер, разговоры звуки машин с улицы - не мешает работе устройства.
Зачем это нужно?
По словам ученых, у сонара есть несколько преимуществ перед камерой. Акустические данные требуют гораздо меньше энергии и вычислительной мощности, а значит, устройство может быть меньше и легче.
Также камеры могут собирать огромное количество посторонних данных, которыми пользователь не хочет делиться. В отличие от них, сонар обеспечивает полную приватность.
Технологию можно использовать, чтобы переносить реальную мимику пользователя на цифровые аватары - в виртуальную реальность, видеоигры или проекты метавселенной.
Теперь команда продолжит работу над устройством, чтобы сделать его еще более точным и надежным.
Описание разработки опубликовано в журнале Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
