В прошлом году мы рассказывали об интересном исследовательском проекте ученых из Корнелльского университета (Нью-Йорк, США). Напомним, они пытались использовать носимые камеры для отслеживания мимики. Теперь технология приобрела более практичную форму.
Команда разработала устройство, похожее на ожерелье, которое отслеживает мимику и считывает эмоции пользователя. Ожерелье использует инфракрасные камеры для захвата движений лица. По мнению разработчиков, оно может стать полезным инструментом для отслеживания эмоций пользователя в течение дня.
Развитие технологии
Первая версия технологии называлась C-Face. Она была задумана как способ «видеть» мимику людей, когда они носят маску. Система состояла из пары камер, прикрепленных к наушникам и размещенных под ушами человека. Наблюдая за контурами щек, выглядывающих из-за маски, система могла анализировать положение 42 лицевых мышц и, следовательно, определять текущую форму глаз, бровей и рта. Затем эти данные позволяли интерпретировать выражение лица пользователя. Система работала с точностью 88 процентов.
Чтобы сделать технологию более практичной, теперь исследователи воплотили ее в устройстве, похожем на ожерелье. Новый гаджет был назван TalkFace. Он работает по тому же принципу, но использует систему инфракрасных камер вместо RGB камер, которые использовались в оригинале. Система снимает лицо пользователя снизу, захватывая изображение подбородка и шеи. По этому она может отслеживать движения лица пользователя и производить трехмерную реконструкцию его выражений.
Работа устройства была продемонстрирована в ходе исследования с участием 13 испытуемых. Люди должны были изображать различные выражения лица во время сидения и ходьбы. В общей сложности система научилась безошибочно интерпретировать 52 различных выражения лица.
Зачем это нужно?
Разработчики продолжают оптимизировать технологию, но уже придумывают разнообразные применения для нее. По их словам, система может использоваться для переноса эмоций пользователя в виртуальную реальность в ситуациях, когда использование обычной фронтальной камеры по какой-то причине недоступно.
Также она может использоваться в качестве ненавязчивого монитора психического здоровья пользователя, незаметно отслеживая его мимику и настроение в течение дня.
«С помощью этой технологии мы можем собрать базу данных о том, как вы чувствуете себя физически и морально в течение дня. Вы можете отслеживать свое собственное поведение. Врач мог бы использовать эту информацию в ходе терапии», - говорит руководитель команды Чэн Чжан.
Технология подробно описана в журнале Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
