Google представила ИИ-модель SL2T для перевода языка жестов в текст
Подразделение Google DeepMind разработала инновационную ИИ-модель SL2T, способную переводить язык жестов в текст в режиме реального времени. Технология создана для 70 миллионов человек по всему миру, использующих жестовую речь. Первыми опробовать систему смогут владельцы смартфонов Pixel 11 через приложения Gboard и Live Transcribe. На старте модель поддерживает американский жестовый язык с переводом на английский.
Полноценное управление смартфоном и общение
Благодаря SL2T глухие и слабослышащие пользователи могут взаимодействовать со смартфоном без ручного ввода текста. С помощью жестов теперь можно:
• искать информацию в интернете и писать письма;
• общаться в мессенджерах и соцсетях;
• давать команды ИИ-помощнику Gemini;
• переводить жестовую речь прямо во время видеозвонков.
Как это работает и защита данных
В отличие от аналогов, SL2T отслеживает не только руки, но и мимику, движения головы и корпуса, что критически важно для передачи точного смысла. Модель адаптирована для левшей, правшей и даже для тех, кто использует только одну руку.
Разработчики отдельно позаботились о конфиденциальности: видеозаписи пользователей не отправляются в облако. Алгоритм MediaPipe Holistic считывает лишь анонимные координаты точек лица и тела, отправляя на сервер только эти цифровые данные.
В будущем Google планирует добавить поддержку других мировых языков жестов и научить ИИ генерировать ответные жестовые видеосообщения.
ORIENT
