Google представила модель, которая превращает жестовый язык в текст. Система под названием SL2T (sign-language-to-text) уже появляется в потребительских устройствах: сначала в американском жестовом языке (ASL) на смартфонах Pixel 11. С её помощью можно искать в интернете, писать сообщения и общаться с Gemini, просто жестикулируя перед камерой.
Жестовые языки — это полноценные независимые языки со своей грамматикой и словарём. Смысл передаётся одновременно руками, мимикой, положением головы, рук и корпуса. Поэтому перевод жестов — это одновременно задача компьютерного зрения и машинного перевода.
Как работает система
Вместо того чтобы отправлять на сервер сырое видео, модель использует MediaPipe Holistic. Она выделяет ключевые точки тела — координаты рук, лица и позы. На перевод отправляются только эти геометрические данные, а само видео можно сразу удалить. Такой подход снижает объём чувствительной визуальной информации, покидающей устройство.
SL2T переводит последовательность этих точек напрямую в текст, без промежуточных «глосс» — упрощённых меток отдельных жестов. По словам Google, это помогает лучше учитывать пространственные отношения и невербальные сигналы.
Обучение и результаты
Модель обучили на более чем 100 тысячах часов записей жестовых языков — свыше 50 языков и диалектов. Около четверти данных пришлось на ASL. Разнообразие языков и уровней владения помогло системе уловить общие структуры.
На бенчмарке FLEURS-ASL модель показала результат 70 BLEURT (баллов оценки моделей генерации текста) — существенно выше предыдущих опубликованных показателей. Отдельно работали над снижением задержки, уменьшением «галлюцинаций» (когда человек не жестикулирует), а также над распознаванием леворукого и однорукого жестикулирования. Последнее особенно важно: часто одной рукой держат телефон, а второй показывают жесты.
Google подчёркивает, что привлекала глухих пользователей и организации на всех этапах — от сбора данных до тестирования и оценки. Работала консультативная группа, представляющая интересы сообщества.
Первыми функцию получили Gboard и Live Transcribe на Pixel 11. В Live Transcribe можно отвечать жестами во время разговора. Позже поддержку обещают расширить на другие устройства и жестовые языки. В перспективе Google рассматривает и обратную задачу — генерацию жестов.
Новая модель делает взаимодействие с цифровыми сервисами заметно доступнее для людей, использующих жестовый язык. При этом акцент на конфиденциальности и работе в реальном времени показывает, что технология уже готова к повседневному использованию, а не только к лабораторным демонстрациям.
