Инженеры Пенсильванского университета разработали систему, способную буквально заглядывать за угол. Технология под названием HoloRadar позволяет роботам и беспилотным автомобилям восстанавливать трёхмерную картину пространства вне прямой видимости — например, обнаруживать пешехода, приближающегося из-за поворота.
В отличие от существующих решений для так называемого восприятия вне прямой видимости (Non-Line-of-Sight, NLOS), HoloRadar опирается не на видимый свет, а на радиоволны, обработанные с помощью искусственного интеллекта. Это означает, что система стабильно работает в темноте и не зависит от освещения — будь то яркий солнечный день или полностью затемнённое помещение.
«Роботы и автономные транспортные средства должны видеть не только то, что прямо перед ними, — объясняет Минмин Чжао, доцент факультета компьютерных и информационных наук и руководитель проекта. — Без этого невозможно принимать по-настоящему безопасные решения в реальном времени».
И действительно: если человек на перекрёстке иногда ориентируется по зеркалу на столбе, то как быть беспилотнику?
Как радиоволны превращают стены в зеркала
Ключевая идея HoloRadar на первый взгляд кажется парадоксальной. Радиоволны имеют гораздо большую длину волны по сравнению с видимым светом. Обычно это считается недостатком — длинные волны дают худшее пространственное разрешение. Но команда Чжао увидела в этом преимущество.
«Поскольку радиоволны значительно больше микроскопических неровностей поверхности стен, — объясняет аспирант Хаовэнь Лай, — стены для них становятся почти идеальными зеркалами».
Проще говоря, стены, полы и потолки начинают работать как отражающие поверхности. Радиосигнал «обтекает» угол, отражается от поверхностей и возвращается к датчику, неся информацию о скрытом пространстве.
HoloRadar улавливает эти отражения и реконструирует трёхмерную сцену — восстанавливая положение объектов, которые физически находятся вне поля зрения.
Получается, что окружающая среда сама становится системой зеркал — без необходимости устанавливать какие-либо дополнительные устройства.
Безопасность беспилотников и роботов
Ранее исследователи уже демонстрировали системы NLOS-наблюдения, но чаще всего они использовали видимый свет, анализируя тени и косвенные отражения. Такие решения критически зависят от освещения и плохо работают в реальных условиях.
Попытки применить радиосигналы тоже предпринимались, однако требовали громоздкого и медленного сканирующего оборудования. Для реального мира — складов, фабрик, городских улиц — это непрактично.
HoloRadar изначально проектировался как мобильная система, работающая в реальном времени. Она не заменяет существующие сенсоры — например, LiDAR, использующий лазеры для сканирования пространства перед автомобилем, — а дополняет их.
Если LiDAR видит то, что находится в прямой видимости, то HoloRadar добавляет «второй слой зрения», предупреждая о том, что скрыто за углом. Это может дать беспилотнику дополнительные секунды на реакцию — а иногда именно они решают всё.
Как ИИ распутывает радиосигналы
Один радиосигнал может многократно отражаться от разных поверхностей, создавая сложный «клубок» отражений. Традиционные методы обработки сигналов с трудом справляются с такой путаницей.
Чтобы решить эту проблему, исследователи разработали специализированную систему искусственного интеллекта, сочетающую машинное обучение и физическое моделирование.
Процесс состоит из двух этапов:
- Улучшение и разделение сигналов. Система повышает разрешение «сырых» радиоданных и выделяет несколько отдельных отражённых сигналов, соответствующих различным траекториям.
- Физически ориентированная реконструкция. Модель, учитывающая законы распространения радиоволн, «отматывает» отражения назад, устраняя зеркальный эффект стен и восстанавливая реальное положение объектов в пространстве.
«Это похоже на комнату, полную зеркал, — объясняет аспирант Цзытун Лан. — Вы видите множество копий одного объекта, и главная задача — понять, где он находится на самом деле. Наша система учится делать это, опираясь на физику».
Благодаря такому подходу ИИ способен различать прямые и косвенные отражения и корректно определять положение различных объектов — включая людей.
Испытания и перспективы
HoloRadar протестировали на мобильном роботе в реальных помещениях: в коридорах и на углах зданий. Система успешно реконструировала стены, проходы и обнаруживала людей, находящихся вне прямой видимости робота.
Следующий шаг — испытания на открытом воздухе: на перекрёстках и городских улицах, где расстояния больше, а среда более динамична и непредсказуема.
По словам Минмина Чжао, это лишь начало пути к созданию машин, которые смогут так же уверенно ориентироваться в сложной и быстро меняющейся среде, как это делают люди.
В конечном счёте цель проста — сделать автономные системы по-настоящему безопасными и интеллектуальными. А значит, научить их видеть то, что раньше было скрыто.
