Представьте, что виртуальный мир откликается не только на ваши прямые команды, но чутко реагирует на эмоции, которые вы испытываете. Например, вы улыбаетесь, и виртуальный персонаж реагирует на вашу улыбку соответствующим образом. Это - не фантастика, а вполне реальная технология, разработанная учеными корейского Университета Йонсей и инженерами компании Motion Device Inc. Статья с описанием разработки на днях была опубликована в научной базе данных IEEE Xplore.
Предложенная технология сильно отличается от других разработок, направленных на распознавание эмоций. Дело в том, что для работы с виртуальной реальностью пользователь должен надеть на голову ВР-шлем, полностью закрывающий верхнюю часть его лица. Но большинство существующих алгоритмов распознавания эмоций обучены распознавать лицо человека в целом. Проще говоря, пока на вас шлем, они работать не будут.
Исследователи Университета Йонсей обучили три нейросети определять эмоции людей по частичному изображению нижней половины лица. Для этого они взяли готовые фото лиц из базы данных Radbound Faces (RaFD), которая включает 8040 изображений.
Фото были отредактированы так, чтобы нейросеть видела только ту часть лица, что остается открытой при надевании ВР-шлема. И выяснилось, что даже по поведению губ алгоритм может распознавать эмоции. Точность распознавания составляет примерно 90%.
По словам ученых, технология готова к использованию в шлемах виртуальной реальности следующих поколений. Для этого разработчикам придется оборудовать шлемы небольшими оптическими датчиками в нижней фронтальной части. Эти датчики будут следить за поведением нижней части лица пользователя. Само собой, контент также должен быть адаптирован под подобный “эмоциональный” способ ввода. Но те игры или приложения, которые смогут реагировать на мимику пользователя, без сомнения, станут настоящими хитами. Ведь речь идет о принципиально новом уровне достоверности и погружения в виртуальность.
