Обычные умные часы могут стать полноценной системой отслеживания движений человеческого тела — причём для этого им не понадобятся ни камеры, ни дополнительные датчики, ни VR-гарнитуры. Исследователи из Корнеллского университета (Cornell University) разработали технологию EchoMotion, которая использует ультразвуковые сигналы и компактную модель искусственного интеллекта, чтобы определять положение тела человека с помощью обычных смарт-часов.
Разработка открывает новые возможности для фитнес-трекеров, персональных цифровых помощников и систем виртуальной реальности. При этом технология обещает быть не только доступной, но и достаточно экономичной с точки зрения энергопотребления.
Как работает EchoMotion: сонар прямо на запястье
В основе EchoMotion лежит принцип, напоминающий работу сонара. Умные часы излучают ультразвуковые сигналы, которые распространяются вокруг человека и отражаются от его тела. Встроенный микрофон улавливает возвращающиеся звуковые волны, а специальный алгоритм анализирует характер отражений.
По изменениям акустического сигнала система определяет, как движутся различные части тела и где находятся ключевые суставы.
Разработкой занималась лаборатория Smart Computer Interfaces for Future Interactions (SciFi) Корнеллского университета под руководством Чэн Чжана (Cheng Zhang), доцента кафедры информационных наук Колледжа вычислительной техники и информационных наук имени Анны Бауэрс.
На первом этапе исследователи создали собственный прототип часов, напечатанный на 3D-принтере. В нём разместили по паре динамиков и микрофонов с каждой стороны корпуса. Два динамика генерировали ультразвуковые сигналы, формируя вокруг человека своеобразную сферу невидимого звукового поля. Два микрофона принимали отражения от движущихся частей тела.
Затем команда собрала акустические данные десяти добровольцев, которые выполняли 18 различных физических упражнений. На основе этих записей исследователи обучили модель глубокого обучения распознавать движения человека.
Для оценки точности алгоритма использовались данные о положении 12 суставов — от головы до лодыжек. Полученные результаты сравнивали с изображениями поз, зафиксированными обычными камерами.
Однако главная задача заключалась не в создании специального устройства, а в адаптации технологии к уже существующим коммерческим часам.
Точность распознавания и испытания на обычных смарт-часах
В отличие от экспериментального прототипа, серийные умные часы обычно оснащены только одним динамиком и одним микрофоном. Поэтому исследователям пришлось проверить, сможет ли EchoMotion работать с такими ограниченными аппаратными возможностями.
Для этого они использовали стандартные Samsung Galaxy Watch 6 и привлекли ещё 15 добровольцев.
Результаты оказались многообещающими. У пользователей, которые впервые взаимодействовали с системой, средняя ошибка определения положения каждого сустава составляла менее 10 сантиметров.
После однократной калибровки продолжительностью 12 минут точность заметно повысилась: ошибка сократилась более чем на треть и составила примерно 6,1 сантиметра.
Примечательно, что разработчикам удалось добиться совместимости и с другими моделями устройств. Та же самая модель искусственного интеллекта, без дополнительного обучения, успешно работала на Samsung Galaxy Watch 7 и Google Pixel Watch 3.
Это важный момент: технология не требует создания принципиально новых часов и потенциально может появиться в уже существующих линейках носимой электроники.
Почему ультразвук лучше камер?
Одно из главных преимуществ EchoMotion — возможность отслеживать движения без видеосъёмки.
Традиционные системы компьютерного зрения используют камеры, чтобы анализировать положение тела и распознавать движения. Такой подход достаточно эффективен, но имеет очевидные ограничения. Например, не каждый человек захочет заниматься спортом в помещении, где постоянно ведётся видеонаблюдение.
Ультразвуковая технология решает эту проблему иначе. Она анализирует отражения звуковых волн, а не изображения человека. Следовательно, системе не нужно записывать и обрабатывать видеопоток, что делает её менее intrusive для личной жизни пользователя и окружающих.
Есть и технические преимущества:
- Меньше данных для обработки. Акустические сигналы занимают меньше вычислительных ресурсов, чем видеопотоки.
- Экономия энергии. Система потребляет значительно меньше электричества по сравнению с носимыми камерами.
- Доступность. Для работы подходят обычные коммерческие смарт-часы.
- Конфиденциальность. Отсутствие видеосъёмки снижает риски, связанные с записью изображения человека и окружающей обстановки.
По данным исследователей, энергопотребление ультразвукового сенсора составляет около 12 милливатт — примерно в 40 раз меньше, чем у носимой камеры.
Практические испытания также подтвердили экономичность разработки: 30-минутный сеанс работы EchoMotion на Samsung Galaxy Watch 6 расходовал всего 5–6% заряда аккумулятора.
Соавтор исследования Франсуа Гимбретьер (François Guimbretière), профессор информационных наук Корнеллского университета, обращает внимание на ещё одну интересную тенденцию. Пока основное внимание общественности приковано к большим языковым моделям вроде ChatGPT, небольшие ИИ-модели, работающие непосредственно на носимых устройствах, также способны радикально менять взаимодействие человека с технологиями.
Насколько хорошо система работает в реальных условиях?
Лабораторные испытания — это одно, а повседневная жизнь — совсем другое. В реальном мире ультразвуковым сигналам приходится сталкиваться с мебелью, посторонними звуками и отражениями от других людей.
Чтобы проверить устойчивость EchoMotion, исследователи провели дополнительные испытания с участием десяти новых добровольцев. Участники выполняли те же 18 упражнений в трёх условиях: небольшой комнате, узком коридоре и рядом с шумной дорогой.
Выяснилось, что мебель и фоновый шум практически не влияют на работу системы. Однако в узком коридоре точность несколько снижалась из-за дополнительных отражений ультразвука от находившихся поблизости людей.
По мнению Саифа Махмуда (Saif Mahmud), аспиранта Корнеллского университета и ведущего автора исследования, эту проблему можно частично решить за счёт расширения обучающей выборки.
Если вместо нескольких десятков участников использовать данные тысяч пользователей, модель сможет лучше различать движения владельца часов и посторонние акустические отражения. Это особенно важно для работы в многолюдных местах — например, в общественном транспорте.
От фитнес-трекера до персонального цифрового помощника
На ближайшем этапе команда планирует сосредоточиться на применении EchoMotion в фитнес-индустрии.
Представьте себе персонального тренера, который не просто подсчитывает шаги и пульс, а действительно понимает, какие упражнения вы выполняете и насколько правильно двигаетесь.
Например, система сможет автоматически считать повторения во время болгарских приседаний, анализировать положение тела и подсказывать, когда пользователь нарушает технику выполнения упражнения.
Ещё одно перспективное направление — физическая реабилитация. Отслеживание движений всего тела позволит точнее контролировать выполнение восстановительных упражнений и оценивать динамику прогресса.
Исследователи также рассматривают возможность объединения EchoMotion с системами компьютерного зрения в умных очках. В таком сочетании ультразвук сможет отслеживать движения тела, а камеры — распознавать предметы, с которыми взаимодействует человек.
В перспективе это может стать основой для персональных ИИ-помощников, способных анализировать повседневную активность владельца носимых устройств. Как отмечает Махмуд, в ближайшем будущем такие помощники потенциально смогут составлять подробное описание дня человека: чем он занимался, что ел и с какими предметами взаимодействовал.
EchoMotion должна обеспечить важную часть этой концепции — понимание движений человеческого тела.
Что дальше?
Исследование EchoMotion демонстрирует, что для полноценного отслеживания движений человека необязательно использовать громоздкие системы с несколькими камерами, датчиками и специальными контроллерами.
Обычные умные часы, дополненные ультразвуковым сенсором и компактным алгоритмом искусственного интеллекта, уже способны определять положение основных суставов с точностью в несколько сантиметров.
Разумеется, до массового внедрения технологии предстоит решить ряд задач. Среди них — повышение точности в людных пространствах, адаптация к индивидуальным особенностям пользователей и дальнейшая проверка надёжности системы в повседневных условиях.
Тем не менее направление выглядит перспективным. Возможно, в будущем умные часы перестанут быть просто устройством для подсчёта шагов и измерения пульса, превратившись в полноценную систему понимания движений и действий человека.
