Исследователи из Университета Мэриленда разработали систему, которая превращает человеческий глаз в зеркало. В сочетании с последними достижениями в 3D-графике и компьютерном зрении, это позволяет воссоздать 3D-сцену того, на что смотрит человек.
Ключевым элементом технологии является тот факт, что люди никогда не бывают полностью неподвижны. Даже слабое движение головы естественным образом создает разные перспективы одной и той же сцены и помогает воссоздать ее виртуально. Ранее для этого требовалась движущаяся камера.
Для создания алгоритма исследователи обучили свою нейронную сеть отделять отражение от сложной текстуры радужки и преодолевать ограничения низкого разрешения. Теперь ученые могут реконструировать 3D-сцены, используя отражения, с человеческих глаз различных цветов, а также с искусственных глазных яблок или контактных линз.
Стоит отметить, что наилучшие результаты были получены в лабораторных условиях с идеальным освещением и преднамеренными движениями головы. Восстановление сцены с использованием обычных фотографий, вероятно, будет гораздо более сложной задачей, хотя в подходящей обстановке это все еще может быть возможно.
По словам разработчиков, человеческий глаз является недооцененным источником информации об окружающем мире. Не исключено, что однажды подобные отражения будут использоваться в криминалистике и для других практических целей.
