Учёные значительно улучшили способность устройств дополненной реальности (AR) понимать сложные трёхмерные сцены и поведение людей внутри них. Новая технология позволяет AR-очкам и гарнитурам не просто накладывать виртуальные объекты, а по-настоящему «понимать» пространство и действия пользователя — где он смотрит, что делает и как взаимодействует с окружением.
Традиционные AR-системы хорошо справляются с отслеживанием плоских поверхностей и простым размещением объектов. Однако они часто «теряются» в сложных реальных сценах: плохо распознают, где именно находится человек, какие объекты он может взять в руки, и как его движения влияют на окружающую обстановку.
Новая разработка использует продвинутые алгоритмы 3D-сценного понимания (3D scene understanding), которые одновременно анализируют геометрию пространства, семантику объектов и динамику человеческих действий. Благодаря этому устройство может предугадывать намерения пользователя и предлагать более естественное и контекстно-релевантное дополнение реальности.
Как это работает
Система объединяет данные с нескольких сенсоров:
- глубинных камер;
- IMU-датчиков;
- нейронных сетей, обученных на огромных датасетах реальных сцен.
В результате AR-устройство не просто видит «стол», а понимает, что это рабочий стол, на котором лежит ноутбук, и пользователь, скорее всего, хочет работать. Или распознаёт, что человек стоит на кухне и держит кружку — и сразу предлагает рецепт или таймер.
Особенно важно, что новая технология работает в реальном времени даже на относительно скромном железе носимых устройств, а не только в мощных лабораторных прототипах.
Такое глубокое понимание сцен открывает новые возможности:
- более интуитивные интерфейсы для работы и обучения;
- помощь людям с ограниченными возможностями;
- промышленное применение (ремонт сложного оборудования с подсказками);
- игры и развлечения следующего поколения;
- навигация в помещениях.
Исследователи отмечают, что переход от простого «наложения графики» к настоящему пониманию окружающего мира — это следующий большой шаг в развитии дополненной реальности после появления первых потребительских AR-очков.
