Современные смартфоны неплохо справляются с распознаванием предметов, но им для этого нужен доступ к камере. Главный недостаток системы визуального распознавания заключается в том, что она не работает при плохом освещении. Новая система, разработанная Корейским институтом передовых технологий (KAIST) может идентифицировать объекты при помощи стука. Для срабатывания достаточно несильно постучать смартфоном про интересующему вас предмету.
Как это работает?
Система получила название Knocker. Разработчики “тренировали” ее на образцах различных бытовых предметов, используя микрофон, гироскоп и акселерометр. Алгоритм учился выявлять уникальные вибрации, возникающие, когда корпус смартфона вступает в контакт с объектом. После обучения система заработала в обратном направлении, и уже по вибрациям научилась распознавать вещи.
В данный момент система умеет распознавать 23 часто используемых в обиходе предмета, вроде ноутбуков, велосипедов, книг или бутылок с водой. Точность распознавания составляет около 83% в шумных условиях и почти 98% в тихом помещении.
Зачем это нужно?
На первый взгляд, в такой функции нет особого смысла, ведь если пользователь видит предмет и имеет возможность по нему постучать, ему не нужны подсказки касательно того, что перед ним. Тем не менее, потенциал такой системы раскрывается в сочетании с умным интерфейсом.
Например, функцию Knocker можно интегрировать в приложение для заказа воды. Представьте, что вам достаточно постучать смартфоном по пустому бутылю, чтобы смартфон воспринял это как команду и отправил заказ на доставку новой партии очищенной воды.
Если совместить Knocker с функционалом умного дома, на базе этой функции можно программировать различные умные команды. Например, постукивание смартфоном о спинку кровати может быть командой, по которой в комнате выключается свет.
В общем, Knocker открывает новые возможности для взаимодействия с окружающим миром при помощи смартфона. И список применения этой функции ограничен лишь фантазией разработчиков.
“Новая технология не требует каких-либо специализированных датчиков или оборудования. Она использует встроенные датчики, которые уже имеются во всех смартфонах, и основывается исключительно на машинном обучении. Это программное решение, которое может быть доступно всем пользователям смартфонов”, - говорит руководитель проекта, профессор KAIST Сон-Джу Ли.
