Исследователи из Университета Карнеги-Меллона разработали новую технологию для управления виртуальной реальностью, которая позволяет использовать жесты на ладони для взаимодействия с интерфейсом.
Прототип системы EgoTouch использует камеру шлема виртуальной реальности для отслеживания движений пальцев пользователя на его собственной ладони. Когда пользователь касается определенной области ладони, камера фиксирует изменение освещения и деформацию кожи. Затем алгоритм определяет, какую опцию в виртуальном мире выбрал пользователь. Таким образом, ладонь пользователя превращается в виртуальный сенсорный дисплей.
Для обучения алгоритма исследователи использовали данные, собранные с помощью датчика давления, расположенного на пальце, и камеры виртуального шлема. Участники эксперимента с различным цветом кожи и густотой волос выполняли различные жесты в разных условиях освещения.
В результате тестирования было установлено, что система EgoTouch обладает высокой точностью и надежностью. Она способна распознавать различные жесты, такие как нажатие, отпускание и перетаскивание, с высокой степенью точности.
Эта инновационная технология открывает новые возможности для создания более интуитивных и удобных интерфейсов виртуальной реальности. Она позволяет избавиться от необходимости использования дополнительных контроллеров и упрощает взаимодействие с виртуальным миром.
