В официальном релизе Grok Voice Transcribe 2.0 описана как новая модель для транскрибации речи. Разработчики подчёркивают, что обычное чистое аудио с одним говорящим не является главным испытанием для таких систем: в реальных записях встречаются нестабильные телефонные линии, конкурирующие голоса, местные акценты, а также телефонные номера и адреса электронной почты, которые человек произносит вслух. Именно для таких условий и заявлена новая версия. По данным xAI, в собственных реальных оценках Grok Voice Transcribe 2.0 стала вдвое точнее Grok Voice Transcribe 1.0 при той же цене. Отдельно указано, что модель занимает первое место по точности среди 32 потоковых моделей в публичном рейтинге Artificial Analysis. Это измеренные результаты из релиза, а не гарантия одинакового результата на любой записи.

Особенности архитектуры и оптимизации

Модель построена на аудиальной базовой модели, которая лежит в основе Grok Voice. В релизе сказано, что Grok Voice уже используется для десятков тысяч звонков поддержки в день, транскрибирует миллионы часов видеонаррации и работает в голосовых агентах физических продуктов, включая ассистента Grok в автомобилях Tesla. Для Grok Voice Transcribe 2.0 важна не только архитектура, но и данные: модель обучали на живом, шумном, многоязычном аудио, записанном в разных средах, а затем уточняли с помощью постобучения. Под постобучением здесь можно понимать дополнительную настройку модели после основного этапа обучения. Такой набор сведений объясняет, почему в релизе основной акцент сделан на телефонии, голосовых ассистентах, коротких командах и произнесённых реквизитах, а не на студийных записях.

Для каких задач подходит модель

Подтверждённые сценарии в релизе связаны с распознаванием речи там, где запись короткая, шумная или смешивает языки. Внутри xAI модель проверяли на четырёх наборах из производственного трафика: телефонное аудио из звонков поддержки, разговоры с Grok, произнесённые учётные данные вроде кодов аккаунта и адресов электронной почты, а также короткие многоязычные голосовые команды. На всех четырёх наборах Grok Voice Transcribe 2.0 улучшила результаты по сравнению с версией 1.0, а на телефонии, по словам разработчиков, опередила все протестированные ими модели. Отдельно сказано, что она транскрибирует десятки языков, автоматически определяет язык и отслеживает переключения языка внутри одной записи за один проход. На наборе коротких фраз word error rate, то есть доля ошибок в словах, снизилась с 20,6% до 6,8%.

Доступ и ограничения модели

Про доступ известно немного, но есть важная практическая деталь: в релизе сказано, что существующие интеграции Speech-to-Text API получают повышение точности без изменений кода. Это означает, что подтверждён именно путь через уже существующие интеграции API для преобразования речи в текст. О доступности отдельного чат-бота, скачивании весов, лицензии, региональных условиях или новых тарифных деталях в предоставленном источнике нет подтверждённых данных. Также в тексте упомянуты расширенные настройки и элементы управления, но их перечень в доступном фрагменте не раскрыт, поэтому нельзя уверенно описывать конкретные параметры. Из ограничений прямо следует только то, что модель предназначена для транскрибации речи в текст, а не для генерации изображений, видео или ответа голосом.

Источники

Вопросы и ответы

Нужно ли менять код, чтобы получить Grok Voice Transcribe 2.0?

Официальный релиз сообщает, что существующие интеграции Speech-to-Text API получают улучшение точности без изменений кода. Другие варианты доступа в источнике не подтверждены.