Исследователи из университетов Хериота-Ватта, Эдинбурга Нейпира и Стирлинга представили умные очки, способные читать по губам с помощью камеры и искусственного интеллекта. Проект реализуется в сотрудничестве с производителями слуховых аппаратов, а выпуск устройства планируется уже в следующем году.
Как это работает
Когда пользователь смотрит на собеседника, встроенная камера анализирует движения губ и при помощи алгоритмов ИИ улучшает и очищает речь от фоновых шумов. Для обучения системы использовались записи с помехами — шумом улицы, звуками бытовой техники и другими источниками.
Очки не заменяют слуховые аппараты, а дополняют их. Они могут быть полезны и людям с нормальным слухом, например, в шумных кафе, на концертах или в толпе. Устройство способно выделять речь одного человека даже в ситуации, когда говорят сразу двое, что затруднительно для традиционных слуховых аппаратов и наушников с шумоподавлением.
Зачем это нужно
Главная цель разработки — помочь людям с нарушениями слуха и снизить стоимость таких технологий. Сейчас, например, AirPods Pro 2 уже имеют функции слухового аппарата и шумоподавления, а с 2023 года получили одобрение FDA для продажи без рецепта, что сделало их более доступной альтернативой. Однако даже самые современные устройства сталкиваются с трудностями в многоголосых диалогах.
ИИ-очки решают эту проблему, фокусируясь на одном говорящем. Единственный минус — для работы алгоритмов требуется постоянное подключение к интернету, так как вычисления происходят на облачном сервере в Швеции. При этом, по словам ученых, благодаря скоростному интернету и 5G задержка практически не ощущается.
Пока неизвестно, появится ли функция чтения по губам в смарт-очках Meta или других крупных производителей. У Meta уже есть очки с 12-мегапиксельной камерой и динамиками, а слухи утверждают, что Apple готовит собственную модель умных очков с улучшенным качеством сборки. Обе компании также рассматривают возможность добавления функции живого перевода.
