Исследователи Университета Пенсильвании представили инновационную систему навигации для людей с нарушениями зрения — NaviSense. Это приложение для смартфона использует искусственный интеллект, чтобы в реальном времени распознавать окружающие предметы и направлять пользователя к нужной цели с помощью звуковых и вибрационных подсказок.
Технологию впервые представили на конференции ACM SIGACCESS ASSETS ’25 в Денвере, где она получила награду Best Audience Choice Poster Award. Разработчики считают, что NaviSense сможет решить давние проблемы вспомогательных сервисов для ориентирования в пространстве.
Как работает технология
Большинство существующих навигационных приложений для людей с нарушениями зрения требуют участия операторов поддержки или работают на основе заранее подготовленных библиотек объектов. Но такой подход ограничивает гибкость: если предмета нет в базе, инструмент просто не сможет его распознать.
По словам профессора электротехники Виджайкришнана Нараянана, команда решила устранить это узкое место с помощью современных моделей искусственного интеллекта. Приложение связывается с внешним сервером, на котором работают большие языковые модели (LLM) и визуально-языковые модели (VLM).
Благодаря этому NaviSense может:
- понимать голосовые инструкции,
- сканировать окружающее пространство,
- определять любые объекты без предварительно загруженных описаний.
«Используя VLM и LLM, NaviSense распознаёт предметы в реальном времени по голосовой команде, без необходимости заранее загружать модели», — отмечает Нараянан. Он называет это важным технологическим прорывом.
Совместная с пользователями разработка
Чтобы учесть реальные потребности, исследователи провели серию интервью с людьми с нарушениями зрения. Эти беседы позволили сформировать функциональные требования и учесть сценарии использования, с которыми сталкиваются пользователи в повседневной жизни.
Как объясняет ведущий исследователь, аспирант Аджай Нараянан Сридхар, система не просто находит нужный объект, но и понимает, когда требуется уточнение. В таких случаях NaviSense задаёт дополнительные вопросы — своего рода диалоговый режим, который делает взаимодействие гибким и естественным.
Одной из ключевых возможностей стало наведение руки. Приложение отслеживает движение смартфона и с помощью точных направляющих подсказок помогает пользователю буквально "вывести" руку к предмету. Эта функция оказалась особенно востребованной, но на рынке её до сих пор не существовало.
Первые испытания
В ходе тестирования 12 участникам предложили сравнить NaviSense с двумя коммерческими альтернативами. Оценивались скорость обнаружения объектов, точность подсказок и субъективное удобство.
Результаты впечатлили: NaviSense заметно сократил время поиска и повысил точность распознавания. Пользователи также отметили улучшенный общий опыт работы. Один из участников так описал систему: «Мне нравится, что приложение сразу подсказывает, где находится объект — слева, справа, выше или ниже. А потом — бац, точно в цель.»
Команда сейчас улучшает энергоэффективность и оптимизирует модели, чтобы подготовить технологию к коммерческому запуску.
«Система уже очень близка к выходу на рынок, и мы продолжаем делать её ещё доступнее», — говорит Нараянан.
NaviSense показывает, как современные модели искусственного интеллекта могут менять качество жизни людей с ограничениями зрения. Убирая необходимость заранее загружать базы объектов и добавляя интуитивные функции вроде «ведения руки», система делает цифровую навигацию значительно более гибкой и естественной.
