Исследователи Техасского университета в Далласе представили новую систему ввода для дополненной реальности — PropType. Эта технология накладывает виртуальную клавиатуру на повседневные предметы вроде бутылок, банок или книг, позволяя печатать прямо по их поверхности.
Разработчики стремились решить одну из главных проблем AR-интерфейсов: медленный набор текста и усталость рук при «воздушном» вводе. PropType возвращает процесс на землю — точнее, на реальные объекты, обеспечивая естественную тактильную опору.
Как устроена технология PropType
Ключевая идея проста: использовать предмет, который уже есть в руках пользователя, как основу для клавиатуры. Виртуальная раскладка буквально «оборачивается» вокруг объекта — будь то цилиндр бутылки или поверхность толстой книги — и подстраивается под форму.
«PropType объединяет физическую и виртуальную среду, перенося ввод текста обратно в знакомый, осязаемый мир», — поясняет руководитель проекта, доцент кафедры компьютерных наук Джин Рён Ким. По его словам, тактильный отклик самого предмета помогает точнее ощущать нажатия и меньше смотреть на клавиши.
Команда исследователей изучила, как шестнадцать человек держат различные предметы: измеряла силу хвата, положение рук и движение пальцев. Эти данные позволили создать адаптивные раскладки, удобные для разных форм и размеров объектов.
PropType работает на неровных и изогнутых поверхностях — от кофейных стаканов до алюминиевых банок. При желании пользователь может настроить клавиатуру сам: изменить размер, интервал между символами и визуальные эффекты.
Зачем это нужно
Виртуальные клавиатуры давно вызывают недовольство — печатать в воздухе неудобно, руки быстро устают, а взгляд постоянно приходится держать на интерфейсе. PropType предлагает альтернативу: использовать привычные предметы как инструмент ввода, особенно в ситуациях, где обычную клавиатуру не подключишь — например, в мобильных AR-сценариях или при занятиях, требующих свободных рук.
«PropType расширяет возможности ввода в дополненной реальности, опираясь на знакомые всем объекты. Это делает систему более доступной и интуитивной», — отмечает Ким.
PropType — часть более масштабной работы лаборатории Кима, посвящённой тактильным ощущениям в цифровых системах. Учёные исследуют, как мозг воспринимает вибрации, температуру и их сочетания.
Одно из недавних открытий — эффект, при котором тепло и вибрация, подаваемые на разные точки кожи, могут создавать иллюзию тепла в обеих зонах. Такие эксперименты демонстрировались на конференциях IEEE и были представлены на ACM CHI 2024.
Подобные технологии могут изменить способы погружения в виртуальную реальность, а также улучшить медицинские симуляторы, делая ощущения более правдоподобными. «Наша цель — создавать интерфейсы, которые реагируют точно и усиливают эффект присутствия», — подчеркивает Ким.
