Исследователи из Гарвардского университета разработали Mobilio — мобильное приложение на основе искусственного интеллекта, которое помогает людям с нарушениями зрения самостоятельно ориентироваться в окружающем пространстве. Программа использует камеру и датчики смартфона, чтобы определять безопасный маршрут, предупреждать о препятствиях и подсказывать направление движения с помощью звуковых сигналов.
Первые испытания показали обнадёживающие результаты: с Mobilio участники эксперимента проходили маршруты на 13% быстрее, чем при использовании Google Maps, а количество столкновений с препятствиями в помещении сокращалось на 41%. При этом для работы системы не требуется специальное дорогостоящее оборудование — достаточно обычного смартфона.
Как работает Mobilio?
Приложение разработали исследователи Инженерной школы имени Джона А. Полсона при Гарвардском университете. Работу возглавили аспирант Рэймонд Лю (Raymond Liu) и доцент кафедры биоинженерии Патрик Слейд (Patrick Slade).
В отличие от традиционных навигационных программ, которые преимущественно сообщают пользователю, куда повернуть на перекрёстке, Mobilio стремится обеспечить непрерывное сопровождение во время ходьбы. Приложение должно не только привести человека к пункту назначения, но и помочь ему удерживаться на безопасном пути, замечать потенциальные препятствия и своевременно менять направление.
Для этого система объединяет данные сразу нескольких датчиков смартфона:
- Камеры — анализируют изображение окружающего пространства в режиме реального времени.
- GPS — определяет местоположение пользователя и помогает прокладывать маршрут.
- Инерциальных датчиков — отслеживают движение и ориентацию устройства, помогая оценивать перемещение человека.
- Лидарного датчика (LiDAR) — если он установлен в смартфоне, предоставляет дополнительную информацию о расстоянии до объектов.
Ключевую роль играет алгоритм компьютерного зрения — технологии, позволяющей компьютеру анализировать изображения и распознавать объекты. Mobilio использует специальную модель семантической сегментации: она разделяет изображение на области, соответствующие разным типам поверхностей и объектов. Благодаря этому система может различать тротуары, пешеходные переходы, проезжую часть и другие элементы окружающей среды.
Это особенно важно для навигации пешком. Многие существующие модели компьютерного зрения обучаются на изображениях, снятых с автомобилей. Однако то, что хорошо работает для водителя, не обязательно подходит человеку, который передвигается по тротуару и должен замечать препятствия непосредственно на своём пути. Разработчики Mobilio уделили особое внимание данным, полученным с точки зрения пешехода.
Система также объединяет информацию камеры с данными о движении смартфона, чтобы точнее оценивать положение пользователя и направление доступного пути. Если устройство оснащено лидаром, его показания помогают дополнительно определять расстояние до препятствий.
Звуковые сигналы вместо постоянных голосовых подсказок
Одна из особенностей Mobilio — способ взаимодействия с пользователем. Вместо того чтобы постоянно произносить длинные инструкции, приложение использует короткие звуковые сигналы, которые помогают корректировать направление движения.
Сигналы имеют пространственную привязку: звук может указывать, в какую сторону следует сместиться. Пользователь получает подсказки непосредственно во время ходьбы и может корректировать траекторию, не отвлекаясь на прослушивание развёрнутых голосовых сообщений.
При этом система адаптирует звуковые подсказки под конкретного человека. Она оценивает, насколько точно пользователь следует указаниям, и корректирует характеристики сигналов, включая их высоту и рисунок. Такой подход позволяет учитывать индивидуальные особенности восприятия и реакции на звуковые команды.
По словам Патрика Слейда, Mobilio использует данные датчиков, GPS и сведения о фактическом движении человека, чтобы строить своего рода план управления автономным транспортным средством. Только в данном случае система направляет не машину, а пешехода.
Разработчикам пришлось решить и другую сложную задачу: обеспечить работу алгоритмов в режиме реального времени на обычном смартфоне. Специализированные устройства с мощными процессорами и большим объёмом памяти могут справляться с подобными вычислениями легче, но стоят дорого и доступны далеко не всем. Возможность использовать массовые мобильные устройства делает технологию потенциально гораздо доступнее.
Испытания: на 13% быстрее и на 41% меньше столкновений
Прежде чем приступить к разработке, исследователи опросили более 100 людей с полной или частичной потерей зрения. Участники выделили три основных требования к навигационным технологиям:
- точные пошаговые инструкции при движении по маршруту;
- непрерывное сопровождение на тротуарах и пешеходных дорожках;
- надёжное обнаружение препятствий и помощь в их обходе.
Существующие средства, включая белую трость, собак-проводников и электронные навигационные устройства, решают отдельные задачи, но не всегда обеспечивают все необходимые функции одновременно. Обычные картографические приложения также не дают достаточно подробной информации об окружающей обстановке, чтобы человек с нарушениями зрения мог безопасно полагаться только на них.
Чтобы проверить эффективность Mobilio, команда провела эксперименты с участием 14 добровольцев, имевших нарушения зрения. Участники выполняли задания в двух режимах: с обычной белой тростью и пошаговой навигацией Google Maps, а затем с той же тростью и приложением Mobilio.
Исследователи проверяли работу системы на открытом маршруте и на специальной полосе препятствий в помещении.
Результаты оказались многообещающими. При прохождении уличного маршрута участники с Mobilio справлялись в среднем на 13% быстрее. На участке с препятствиями количество контактов с объектами окружающей среды уменьшилось примерно на 41%.
Кроме того, надёжность навигации Mobilio на открытом маршруте оказалась сопоставима с сопровождением человека-проводника. Участники также отмечали, что приложение удобно использовать, а звуковые подсказки воспринимаются интуитивно.
Впрочем, результаты следует оценивать с учётом масштаба исследования. В испытаниях участвовали всего 14 человек, а контролируемые эксперименты не могут полностью воспроизвести разнообразие реальных условий: от плотного городского движения до плохой погоды и неожиданных препятствий.
Почему разработка важна для людей с нарушениями зрения?
Мобильная навигация давно помогает людям ориентироваться в незнакомых местах, но для незрячего пешехода недостаточно знать, где находится ближайший поворот. Важно понимать, можно ли безопасно пройти по выбранному пути, где заканчивается тротуар и не возникло ли препятствие прямо перед человеком.
Mobilio пытается объединить эти возможности в одном приложении. Причём использовать его предполагается вместе с привычной белой тростью, которая остаётся важным средством обнаружения препятствий на близком расстоянии. Смартфон дополняет её, обеспечивая навигацию и дополнительную информацию об окружающем пространстве.
У проекта есть и личная составляющая. Старший брат Рэймонда Лю незрячий, поэтому исследователь хорошо знаком с практическими трудностями, которые возникают при самостоятельном передвижении. По его словам, непосредственное участие людей с нарушениями зрения в тестировании необходимо: заранее предугадать, как конкретный человек будет воспринимать устройство и реагировать на его подсказки, невозможно.
Именно поэтому команда не ограничилась разработкой алгоритмов, а изучала реальные потребности потенциальных пользователей и проверяла систему с их участием.
Когда приложение станет доступно?
Пока Mobilio находится на стадии исследований и дальнейшей разработки. Следующий шаг команды — испытания в более разнообразных условиях, чтобы выяснить, насколько хорошо система справляется с повседневными маршрутами, разными типами окружающей среды и индивидуальными привычками пользователей.
Исследователи также намерены оценить, как приложение можно встроить в обычную жизнь людей с нарушениями зрения и сделать его максимально удобным для длительного использования.
Работа опубликована в научном журнале Nature Biomedical Engineering в августе 2026 года. Гарвардский университет рассматривает возможности коммерциализации технологии, однако точная дата выхода Mobilio для широкой публики пока не объявлена.
Если дальнейшие испытания подтвердят первые результаты, приложение сможет стать доступным дополнением к существующим средствам навигации. Его главное преимущество — попытка превратить обычный смартфон в персонального помощника, который не просто указывает дорогу, а помогает человеку безопаснее двигаться по ней.
