Главная идея релиза: голос и визуальное поведение аватара строятся как единая потоковая система. Muse Realtime Voice отвечает за разговорный интеллект и создаёт поток речевых токенов VQ. Простыми словами, это компактное представление того, что произносится и как именно звучит речь. Аудиодекодер превращает эти токены в звук, а Muse Realtime Avatar использует тот же поток, чтобы сгенерировать соответствующее видеоисполнение. За счёт общего источника модель связывает голос, движение губ и выражение лица. В описании указано, что аватар может быть основан на референсном медиа: портрете, полнотелой иллюстрации, изображении животного или даже повседневного объекта.
Смотреть видео в официальном источнике:
https://research.meta.ai/blog/bringing-your-muse-to-life
Контекст и работа с памятью
Внутри Muse Realtime Avatar описана как audio-driven Diffusion Transformer: диффузионная трансформерная модель, которая управляется аудиоданными. Она получает поток речевых токенов, референсное медиа и скользящее окно недавних video latents. Latents можно понимать как внутреннее сжатое представление кадров и движения, с которым модели проще работать, чем с готовым видео напрямую. Видео создаётся короткими причинными фрагментами: каждый новый фрагмент строится только с учётом доступного прошлого контекста. Когда фрагмент готов, его новые latents становятся контекстом движения для следующего. Так модель переносит внешний вид и манеры персонажа от одной реплики к другой, а вычисления остаются ограниченными.
Особенности архитектуры и оптимизации
Отдельная часть релиза посвящена тому, как модель сделали пригодной для живого потока. В источнике сказано, что разработчики начали с качественного двунаправленного teacher: более тяжёлой модели-наставника. Затем они получили причинную student-модель с KV cache фиксированной длины. KV cache: это память трансформера о ранее обработанном контексте, которая помогает не пересчитывать всё заново. Для обучения использовались self-forcing и distribution matching distillation. В описании также приведено числовое сокращение вычислений: teacher использовал 40 diffusion steps и три прохода модели на шаг, всего 120 оценок модели на фрагмент. Student воспроизводит результат за две unguided оценки, что названо сокращением в 60 раз.
Для каких задач подходит модель
Практически Muse Realtime Avatar ориентирована на интерактивных аватаров в разговоре, а не просто на заранее записанный ролик. Официальный материал говорит о синхронизированном видео, где персонаж отвечает мимикой, движением губ, жестами рук и движением всего тела. Для портрета описаны тонкие выражения лица, для полнотелой иллюстрации: жесты и смена позы во время речи. Также указано, что животные и обычные объекты могут становиться выразительными, сохраняя отличительные черты. При этом подтверждён только официальный исследовательский материал: данных о публичном API, скачивании весов, лицензии, цене, регионах или пользовательском запуске модели в источнике нет.
Источники
Вопросы и ответы
Чем Muse Realtime Avatar отличается от обычного говорящего портрета?
Источник описывает не только лицо: модель создаёт синхронизированное видео с мимикой, движением губ, рук и всего тела, поддерживая внешний вид и манеры аватара между репликами.
