Учёные из Университета Бингемтона (США) разработали роботизированного проводника для незрячих людей, который не только ведёт по маршруту, но и активно общается с пользователем. Система использует большие языковые модели, чтобы объяснять маршрут заранее, описывать окружающую обстановку в реальном времени и предупреждать об препятствиях.
В отличие от традиционных собак-поводырей, робот может:
- заранее рассказать о возможных маршрутах и примерном времени в пути;
- во время движения описывать коридор, препятствия и окружающую обстановку;
- отвечать на голосовые команды и вести естественный диалог.
«Настоящие собаки понимают максимум около 20 команд. А робот с GPT-4 и голосовым управлением обладает очень сильными языковыми возможностями», — отметил Шици Чжан (Shiqi Zhang), один из авторов исследования.
Система включает две ключевые функции: объяснение маршрута перед началом и реальное описание окружающей обстановки. Это особенно важно для людей с нарушением зрения, у которых ограничена ситуационная осведомлённость.
Исследователи протестировали систему с семью слепыми участниками в большом офисном помещении. Робот сначала спрашивал, куда человек хочет попасть, предлагал варианты маршрутов, а затем шаг за шагом вёл по выбранному пути, комментируя всё происходящее. Участники высоко оценили удобство и эффективность комбинированного подхода — предварительного объяснения плюс постоянного сопровождения голосом.
В дальнейшем учёные планируют повысить автономность системы и расширить её работу за пределы помещений. Они надеются, что такой робот-проводник станет практичным помощником в повседневной жизни, сочетая поддержку мобильности с интеллектуальным общением.
