Ваш смартфон скоро сможет заглядывать за угол, отслеживать движение за стеной и даже распознавать форму скрытых объектов. Учёные из Массачусетского технологического института (MIT) разработали алгоритм, который превращает обычный потребительский LiDAR-сенсор в мощный инструмент нелинейного зрения (Non-Line-of-Sight, NLOS). Это настоящий прорыв, который раньше был возможен только в лабораториях с дорогим оборудованием.
Обычный LiDAR в смартфонах (например, в iPhone Pro или некоторых Android-флагманах) посылает короткие лазерные импульсы и измеряет время их возвращения. Он отлично работает с объектами в прямой видимости, но бессилен, если цель скрыта за препятствием.
Новый алгоритм MIT использует слабые, рассеянные отражения света, которые обычно отбрасываются как шум. Алгоритм собирает эти «отголоски» в течение нескольких кадров, пока телефон или объект слегка перемещается, и восстанавливает из них форму и движение скрытого предмета. По сути, смартфон «видит» отражения от стен и пола, анализирует их и реконструирует скрытую картину.
Результаты испытаний
Для тестов учёные использовали обычный потребительский LiDAR стоимостью менее 100 долларов. За перегородкой размещали движущийся манекен, картонные силуэты и буквы. Наведя сенсор просто на стену или пол рядом с препятствием, система в реальном времени отслеживала движение и создавала грубую 3D-модель скрытых объектов. Особенно хорошо алгоритм справляется с отслеживанием рук (при использовании светоотражающих перчаток) с частотой 30 кадров в секунду.
Технология может найти применение в робототехнике, автономных автомобилях, носимых устройствах, спасательных операциях и даже в быту — например, для поиска людей или предметов в задымлённых или разрушенных помещениях. Сейчас алгоритм лучше работает, если примерно известна форма объекта. Следующая задача — научить его распознавать полностью неизвестные и меняющиеся объекты.
«Наши результаты открывают путь к plug-and-play NLOS-системам, где любой человек сможет «видеть» скрытые объекты с помощью обычного смартфона», — отметили авторы исследования.
Работа опубликована в журнале Nature.
