Люди, потерявшие способность говорить или двигаться из-за травм или заболеваний мозга, часто оказываются отрезанными от общения. Существующие нейроинтерфейсы с высокой точностью обычно требуют хирургической имплантации электродов. Исследователи Meta предложили альтернативу — систему Brain2Qwerty v2, которая считывает сигналы мозга снаружи черепа и преобразует их в связный текст.
Система использует магнитоэнцефалографию (МЭГ) — метод, который регистрирует слабые магнитные поля, возникающие при работе нейронов. Добровольцы надевали МЭГ-сканер и печатали предложения на клавиатуре. Искусственный интеллект учился сопоставлять сырые сигналы мозга с набираемым текстом.
В отличие от первой версии, которая расшифровывала текст по буквам, Brain2Qwerty v2 работает на уровне слов и смысла. Один модуль считывает нейронную активность, а языковая модель помогает восстановить целые предложения. Обучение велось end-to-end: система напрямую училась на сырых данных без ручной обработки сигналов.
Первые результаты
Модель обучили примерно на 22 тысячах предложений, которые набрали девять здоровых добровольцев. Каждый из них провёл в сканере около десяти часов. В итоге средняя точность по словам составила 61%. У лучшего участника показатель достиг 78%, причём больше половины предложений расшифровывались с одной ошибкой или без ошибок вовсе.
Для сравнения: предыдущие неинвазивные методы давали точность порядка 8%. Инвазивные системы с имплантами пока остаются заметно точнее (ошибка по словам часто ниже 2%), но разрыв сокращается. Исследователи отмечают, что точность растёт почти линейно с объёмом данных, поэтому дальнейшее увеличение выборки может заметно улучшить результат.
Зачем это нужно
Главная цель — помочь людям, которые не могут общаться из-за поражений мозга. Неинвазивный подход снимает риски, связанные с операцией, и потенциально делает технологию более доступной. Meta открыла код и набор данных, чтобы другие исследователи могли развивать направление.
Пока система работает только в лабораторных условиях: МЭГ-сканеры громоздкие и требуют специальной обстановки. Кроме того, все тесты проводились на здоровых людях, которые активно печатали. Для пациентов, утративших двигательные функции, потребуется дополнительная адаптация.
Тем не менее Brain2Qwerty v2 показывает, что неинвазивные интерфейсы «мозг — текст» уже способны выдавать связные предложения с приемлемой точностью. Если точность продолжит расти, а оборудование станет компактнее, такие системы могут стать реальным инструментом коммуникации для людей, которые сегодня почти полностью зависят от окружающих.
Исследование опубликовано в журнале Nature Neuroscience.
