Хотя сегодня уже существуют решения, позволяющие управлять компьютером с помощью жестов рук, обычно они используют дополнительные периферийные устройства или специальное встроенное оборудование. Новая система Typealike позволяет контролировать ПК жестами, используя для этого только стандартную веб-камеру.
Система Typealike разрабатывается инженерами канадского Университета Ватерлоо. Она состоит из двух компонентов. Это маленькое наклоненное вниз зеркало, которое размещается над веб-камерой компьютера, и программное обеспечение на основе машинного обучения, которое работает на этом компьютере.
Если пользователь хочет, например, увеличить уровень громкости, ему достаточно показать большой палец, не убирая рук от клавиатуры. Программное обеспечение распознает этот жест и, соответственно, увеличивает громкость.
«Все началось с простой идеи о новых способах использования веб-камеры. Веб-камера направлена на ваше лицо, но большинство взаимодействий с компьютером происходит с помощью ваших рук. Итак, мы подумали, что мы можем сделать, если веб-камера сможет видеть жесты рук?», - говорит Налин Чиббер, один из авторов разработки.
Дополнительный плюс системы заключается в том, что, направляя взгляд веб-камеры на свои руки, пользователи избегают проблем с конфиденциальностью.
Поскольку разных людей выглядят и двигаются по-разному, исследователи использовали 30 добровольцев для создания видеобазы из 36 жестов. Затем на этой базе данных был обучен алгоритм машинного обучения, который научился последовательно распознавать каждый жест.
В настоящее время система распознает жесты с точностью 97%. Считается, что в будущем Typealike можно будет использовать и в средах виртуальной реальности, делая аппаратные контроллеры ненужными.
Описание технологии опубликовано в журнале ACM Human Computer Interaction.
