Точный HF ID
Qwen/Qwen3-Omni-30B-A3B-Captioner
Модель Alibaba
Не чат-версия Omni: Captioner принимает один аудиофрагмент и выдаёт текстовое описание звуков. Официальная карточка рекомендует для детализации клипы не длиннее 30 секунд.
Коротко
Это downstream fine-tuning от Qwen3-Omni-30B-A3B-Instruct с Thinker-компонентом. Паспорт явно ограничивает режим одним аудиовходом за запрос, без текстового промпта и без аудиовыхода.
Главные возможности — коротко. Полные условия и параметры доступны ниже.
Qwen/Qwen3-Omni-30B-A3B-Captioner
специализированное описание аудио
одно аудио → текстовое описание
официальный HF-репозиторий; самостоятельный запуск зависит от среды
Apache-2.0
Сценарии
Выбирайте Captioner, когда нужен смысловой отчёт о звуках, а не разговор, таймкоды или синтез речи. Для вопроса по видео и голосового ответа нужен иной Omni checkpoint.
До внедрения
В модель нельзя подать свой текстовый вопрос; она не работает как многотуровый чат. Рекомендуемое ограничение 30 секунд связано с потерей деталей в длинном аудио. Нельзя считать описание дословной стенограммой.
Веса опубликованы под Apache-2.0; HF показывает код самостоятельного запуска. Демонстрация и сторонний хостинг не подтверждают официальный API Alibaba именно для этого ID, цену или географическую доступность.
Русский язык
Карточка не подтверждает отдельный русский интерфейс описаний. Для русской речи сравните выход с ручным описанием и транскриптом, не называя эту модель гарантированным ASR или переводчиком.
Внутри линейки
Выберите до четырёх версий и сопоставьте задачу, контекст и доступ. Неуказанная цена не считается нулевой.
Для этого типа задачи в каталоге пока нет второй модели этого провайдера. Не сравнивайте её численно с моделью другого типа входа или выхода.
описание короткого разрешённого звукового фрагмента
Другие провайдеры
Сравните модели того же типа от разных провайдеров. Числовое место не присваивается версии без независимого измерения.
Это downstream fine-tuning от Qwen3-Omni-30B-A3B-Instruct с Thinker-компонентом. Паспорт явно ограничивает режим одним аудиовходом за запрос, без текстового промпта и без аудиовыхода.
Сопоставимой модели другого провайдера этого типа пока нет в проверенном каталоге.
Связи
Проверка сведений
По официальному паспорту Captioner обучен для подробных описаний произвольного аудио: речи, музыки, окружающей среды и смешанных сцен. Полезный тест — короткая собственная запись, где на фоне разговора включается сигнал и меняется акустика помещения. Ручной эталон должен перечислить реально слышимые события без догадок об их причине. Хорошее описание может отметить сигнал и изменение фона; утверждение о конкретной марке устройства без слышимого основания было бы галлюцинацией. Это не задача дословной расшифровки: имена и формулировки реплик лучше проверять отдельной ASR-моделью. Такой профиль самостоятельный, потому что fine-tuned веса имеют конкретную задачу и строгий формат входа/выхода, а не служат внутренним токенизатором.
Карточка прямо называет модель single-turn: один аудиофайл, без текстового промпта, выход только текстовый. Даже если HF отмечает семейство как any-to-any, ограничения конкретного Captioner важнее общего ярлыка. Рекомендация не превышать 30 секунд не означает технический запрет на длинный файл, но предупреждает о снижении детализации. Для монтажной разметки понадобятся отдельные временные метки, для перевода — отдельный процесс, для речевого ответа — Talker другой версии. Apache-2.0 описывает права на опубликованные веса, но не даёт прав на запись чужого разговора. Сохраняйте согласие на исходное аудио и проверяйте конфиденциальность ещё до запуска локального пайплайна.
Вопросы и ответы
Это downstream fine-tuning от Qwen3-Omni-30B-A3B-Instruct с Thinker-компонентом. Паспорт явно ограничивает режим одним аудиовходом за запрос, без текстового промпта и без аудиовыхода.
Карточка не подтверждает отдельный русский интерфейс описаний. Для русской речи сравните выход с ручным описанием и транскриптом, не называя эту модель гарантированным ASR или переводчиком.
Подходящие сценарии: описание короткого разрешённого звукового фрагмента; разметка наличия речи, музыки и фоновых событий; исследовательское сравнение описания звука с обычной транскрибацией.
Выбирайте Captioner, когда нужен смысловой отчёт о звуках, а не разговор, таймкоды или синтез речи. Для вопроса по видео и голосового ответа нужен иной Omni checkpoint.
В модель нельзя подать свой текстовый вопрос; она не работает как многотуровый чат. Рекомендуемое ограничение 30 секунд связано с потерей деталей в длинном аудио. Нельзя считать описание дословной стенограммой.
Каталог GPT House
Сравните назначение модели со связанными рабочими сценариями и проверьте ее на собственных данных.