Представьте, что вы дважды щёлкаете большим и указательным пальцем, чтобы переключить трек, или управляете курсором на компьютере, просто двигая пальцами в воздухе, без мыши. Учёные из Корнеллского университета (США) и KAIST (Южная Корея) сделали этот сценарий гораздо ближе к реальности. Они разработали систему WatchHand, которая превращает обычные смарт-часы в устройство для непрерывного трекинга позы руки с помощью ИИ и микро-сонара.
WatchHand использует уже имеющиеся в часах динамик и микрофон. Динамик излучает неслышимые звуковые волны, которые отражаются от руки и возвращаются в микрофон, создавая «эхопрофиль». Специальный алгоритм машинного обучения, работающий прямо на часах, анализирует этот профиль и в реальном времени определяет трёхмерную позу кисти и пальцев.
Вся обработка данных происходит локально на устройстве, поэтому личная информация никуда не передаётся. Система не требует дополнительного оборудования и работает на стандартных Android-смарт-часах.
Технологию протестировали на 40 участниках в четырёх разных исследованиях (всего около 36 часов данных). WatchHand надёжно отслеживала движения пальцев и повороты запястья даже в шумных условиях. Система работает на разных моделях часов, на правой и левой руке.
Возможные применения
- управление устройствами жестами (переключение треков, прокрутка, управление курсором);
- ассистивные технологии для людей с ограниченной подвижностью или речью;
- контроллер для дополненной и виртуальной реальности.
Соавтор исследования Чи-Джун Ли (Chi-Jung Lee) из Корнелла отметила: «В будущем с такой технологией мы сможем отслеживать набор текста просто с помощью смарт-часов. Наши руки могут стать полноценным устройством ввода для компьютеров».
