Во время пандемии COVID-19 многие из нас перешли на домашние тренировки, и это немедленно отразилось на статистике травм. Американская комиссия по безопасности потребительских товаров зафиксировала рост на 48% повреждений, связанных с самостоятельными занятиями. Главная причина — отсутствие квалифицированной обратной связи. Без тренера сложно уследить за правильной формой, а типичные приложения дают слишком общие советы.
Чтобы решить эту проблему, ученые из Университета Дрексела и Университета штата Мичиган разработали прототип системы BioCoach. Она использует искусственный интеллект и компьютерное зрение для анализа видео в реальном времени и выдачи персонализированных рекомендаций. Работа опубликована на сервере препринтов arXiv, а демонстрация прототипа прошла на конференции CVPR.
Как устроена технология BioCoach
BioCoach сочетает три ключевых компонента: компьютерное зрение, биомеханическое моделирование и языковую модель. Система анализирует видео двумя параллельными потоками. Первый отслеживает внешний вид и характер движения с помощью трехмерной сверточной нейронной сети. Второй оценивает скелетную модель тела, определяя углы в суставах, диапазон движений и фазы упражнения.
Благодаря этому ИИ точно понимает, какие суставы наиболее важны в каждом конкретном движении — бедра, колени и лодыжки при приседаниях или плечи, локти и запястья при отжиманиях. Перед тем как дать совет, программа учитывает форму тела и качество движения, а затем формулирует объяснение на естественном языке.
«Многие люди занимаются по видео и приложениям, но не получают качественной оценки своих движений, — отметил Фэн Лю (Feng Liu), доцент Колледжа инженерии и вычислительной техники Университета Дрексела, руководитель исследования. — Обратная связь часто бывает слишком общей. Наша цель — давать timely, конкретные подсказки, основанные на биомеханике, как это делает опытный тренер».
Для обучения системы ученые взяли открытый датасет Qualcomm Exercise Video Dataset и существенно его доработали. Они добавили более 2400 детальных биомеханических аннотаций с объяснениями, почему то или иное исправление важно. Это позволило модели не просто говорить «опусти тело ниже», а объяснять: «увеличь сгибание в коленях до 90 градусов, чтобы равномерно распределить нагрузку».
Результаты тестирования
BioCoach сравнили с ведущими системами от NVIDIA, OpenAI, MIT, ByteDance, Alibaba и других крупных игроков. В тестах на оригинальном датасете новая разработка обошла ближайшего конкурента Stream-VLM по качеству текста и правильности рекомендаций. При оценке на более детализированных аннотациях преимущество стало еще заметнее — особенно в биомеханической точности и анатомически обоснованных советах.
Результаты показали, что добавление явного трехмерного кинематического и биомеханического контекста существенно повышает качество обратной связи без серьезной потери скорости реакции.
Перспективы применения
Сейчас ученые работают над расширением возможностей системы. В будущем BioCoach сможет оценивать реактивные силы в суставах и активацию мышц, чтобы вовремя замечать компенсаторные движения, которые часто приводят к травмам.
«Мы верим, что такие технологии помогут приложениям для фитнеса и физиотерапии дополнять работу живых тренеров, — говорит Фэн Лю. — Человек сможет получать точную и своевременную обратную связь во время самостоятельных занятий, при этом эксперты-человеки останутся в процессе».
BioCoach — яркий пример того, как сочетание компьютерного зрения и биомеханических знаний делает искусственный интеллект по-настоящему полезным помощником в заботе о здоровье.
