Исследователи из Массачусетского технологического института (MIT), Гонконгского университета науки и технологий и Швейцарской высшей технической школы Цюриха (ETH Zurich) разработали революционный инструмент, который позволяет не только создавать цифровые копии реальных объектов, но и воспроизводить их функциональность в смешанной реальности (MR). Технология под названием InteRecon способна воссоздать игрушку с подвижными конечностями или гаджет, воспроизводящий видео и музыку, в виртуальной среде.
Разработчики предлагают использовать InteRecon для сохранения воспоминаний о любимых игрушках и других личных предметах, а также для создания интерактивных музейных экспонатов, которые можно детально изучать.
Технология InteRecon (сокращение от Interactive Reconstruction, или «интерактивная реконструкция») включает четыре основных этапа:
- Воссоздание 3D-модели объекта.
- Добавление физических трансформаций, позволяющих объекту функционировать, как его реальный аналог.
- Создание интерактивного интерфейса с кнопками, ползунками и другими элементами управления.
- Встраивание мультимедийного контента, например, видео или музыки, если они были частью оригинального объекта.
Для работы с InteRecon используется приложение для iPhone, которое позволяет отсканировать объект и преобразовать его в 3D-модель. Затем модель загружается в MR-интерфейс, доступный через гарнитуру виртуальной реальности, например, Meta Quest. Пользователь может сегментировать объект на отдельные части и задать им различные функции. Например, если у вас есть игрушечный кролик, можно выделить его длинные уши и настроить их движение так, чтобы они свободно покачивались при взаимодействии.
Особенно впечатляющими возможностями обладает InteRecon при работе с электронными устройствами. Например, исследователи показали, как можно «оживить» в MR старый iPod Shuffle, позволяя его кнопкам работать и даже воспроизводить музыку. Также была продемонстрирована цифровая реконструкция игрушечного телевизора, где можно переключать каналы с заранее загруженными мультфильмами и настраивать положение экрана.
Технология InteRecon может применяться не только для оцифровки игрушек. Она может быть полезна модельерам для тестирования различных материалов в MR или использоваться в медицине для обучения студентов сложным хирургическим процедурам. Исследователи также планируют расширить функциональность инструмента, добавив поддержку воспроизведения целых интерактивных физических сред и интеграцию с генеративными ИИ-моделями, которые позволят воссоздавать утерянные предметы на основе голосового описания, а затем даже печатать их на 3D-принтере.
Презентация этой инновационной технологии состоится на конференции ACM CHI, которая пройдет в этом месяце в Иокогаме, Япония.
