Учёные из Массачусетского технологического института (MIT) разработали компактную систему трекинга движений руки, которая использует ультразвук и искусственный интеллект. Небольшой браслет со специальными ультразвуковыми датчиками позволяет точно отслеживать положение пальцев и кисти в реальном времени, даже при сложных движениях. Это может стать прорывом для управления роботами, виртуальной реальностью и ассистивных технологий.
Браслет размером с часы размещается на запястье и с помощью ультразвука создаёт непрерывные изображения мышц и сухожилий. Каждое движение пальца (всего 22 степени свободы) отражается в этих изображениях. Исследователи сравнивают сухожилия и мышцы с «нитками марионетки», которые управляют пальцами.
Сначала команда пыталась вручную сопоставлять изображения с движениями, но это оказалось слишком сложным для реального времени. Тогда они обучили ИИ распознавать паттерны на ультразвуковых снимках и предсказывать позу руки. Результат превзошёл ожидания.
Систему проверили на добровольцах, которые выполняли все 26 букв американского языка жестов и взаимодействовали с различными предметами (карандаш, ножницы, теннисный мяч). Браслет точно предсказывал движения руки. Кроме того, его использовали как беспроводной контроллер для роботизированной руки, которая в реальном времени повторяла жесты человека — вплоть до игры простых мелодий на пианино.
В будущем браслет может стать удобным носимым трекером, который позволит управлять роботами, виртуальными объектами или даже помогать в хирургических операциях. Сбор большого объёма данных о движениях рук позволит обучить ИИ множеству задач — от бесконтактного управления устройствами до взаимодействия в VR-среде.
Исследование опубликовано в журнале Nature Electronics.
