Захват движений человеческой руки - очень сложная задача. Это вам подтвердит любой художник или аниматор. Но инженеры Корнелльского университета и Университета Висконсина-Мэдисона разработали браслет, который умеет отслеживать положение ладоней и пальцев пользователя с помощью термодатчиков. Он захватывает движения с невероятной точностью. Такое устройство может стать колоссальным прорывом в сфере носимой электроники.
Как это работает?
Устройство называется FingerTrak и представляет собой браслет, оснащенный четырьмя маленькими тепловыми камерами, каждая размером с горошину. Каждая камера снимает изображение контуров запястья пользователя со своего ракурса. Этого достаточно, чтобы специально разработанный алгоритм на ходу реконструировал трехмерную модель всей руки, включая положение каждого пальца.
“Это стало крупным открытием нашей команды - что, глядя на контуры запястья, технология может реконструировать трехмерный образ с очень высокой точностью. Это первая система, которая восстанавливает точное положение руки на основе одних лишь контуров запястья”, - говорит Чэн Чжан, автор исследования.
Алгоритм FingerTrak использует машинное обучение для прогнозирования положения 20 пальцевых суставов на основе контуров запястья. Эти позы могут быть воссозданы на виртуальной модели или даже на руке робота.
Так, в ходе тестов роботизированная рука смогла на основе сигнала FingerTrak воспроизвести действия вроде открытия книги, письма ручкой, питья и использования телефона:
Почему это так важно?
Потому что это - реальный прорыв в носимой электронике. Перед нами - самый простой и одновременно самый точный контроллер, позволяющий считывать жесты. До сих пор разработки, которые пытались анализировать положение рук, использовали либо сложные перчатки с датчиками на пальцах, либо полагались на неточные системы компьютерного зрения. Как вы понимаете, все эти решения слишком громоздкие для реального повседневного использования.
FingerTrak изначально разработан, чтобы быть максимально легким. Более того, такую систему можно интегрировать в другие устройства. Например, в фитнес-трекеры или в смарт-часы. Только представьте, что гаджет, который вы и так носите каждый день, может дополнительно превращаться в невероятно точный контроллер.
Система позволит игрокам виртуальной реальности переносить естественные движения рук в игру. Она позволит создавать роботов-аватаров, точно повторяющих жесты оператора. Представьте, например, робота-хирурга, который проводит сложную операцию под руководством врача на другой стороне планеты.
Также разработка может выявлять на ранних стадиях проблемы со здоровьем, которые влияют на двигательные навыки человека. “То, как мы двигаем руками и пальцами, часто свидетельствует о состоянии нашего здоровья. Подобное устройство может быть использовано для лучшего понимания того, как пожилые люди используют свои руки в повседневной жизни. Оно поможет выявлять ранние признаки заболеваний, вроде болезни Паркинсона и болезни Альцгеймера”, - говорит Инь Ли, один из авторов исследования.
Подробнее с исследованием можно ознакомиться в библиотеке ACM Digital Library.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
