MIT представил технологию, которая позволяет воссоздать изображение по его отражению на глянцевой искривленной поверхности. Например, на посуде, елочной игрушке или корпусе автомобиля.
Технология получила название ORCa («Objects as Radiance-Field Camers»). Она разработана учеными Массачусетского технологического института (MIT) и Университета Райса.
Как это работает?
Технология анализирует искривленные отражения на поверхности глянцевых объектов, чтобы получить более четкое представление о том, что отражается на объекте и какова дистанция до него.
Система работает путем анализа множества изображений рассматриваемого глянцевого объекта, каждое из которых сделано под немного другим углом. Проще говоря, анализ невозможно провести по одной фотографии. Это должен быть фрагмент видео, либо камера должна смещаться относительно глянцевого объекта.
Сначала программное обеспечение на основе машинного обучения разбивает отражение на поверхности объекта на отдельные пиксели. Анализируя, как эти пиксели смещаются друг относительно друга по мере смены кадров, система может точно определить форму объекта (вместе с его цветом и текстурой) и, таким образом, понять, как именно он искажает отражение.
Далее приходит черед моделирования. Зная форму глянцевого объекта, ORCa определяет направление и интенсивность световых лучей, которые присутствуют в каждой точке в сцене. Эта информация, в свою очередь, позволяет системе определить, как далеко эти точки находятся от отражающей поверхности и друг от друга. А это, по сути, и является восстановлением отражения.
Зачем это нужно?
«Мы показали, что любая поверхность может быть преобразована в датчик с этой системой, которая преобразует объекты в виртуальные пиксели и виртуальные датчики. можно применить во многих областях», - говорит аспирант MIT Кушагра Тивари, соавтор исследования.
Самое первое и очевидное применение для системы - беспилотные автомобили. С ORCa автопилот может использовать глянцевые поверхности других машин, чтобы «заглядывать» за углы и лучше понимать, что происходит на перекрестке.
Также технология может использоваться в воздушных беспилотниках. Анализируя отражения на глянцевых объектах, расположенных на земле, беспилотник может получать наземный обзор окружающей среды, над которой он летит.
