Долгосрочная аудиовизуальная генерация для persistent stories и интерактивных миров

исследования офиц. + СМИ 2 ист. ~1 мин

Представлен JoyAI-Echo-1.5 — унифицированная система аудиовизуальной генерации с двумя вариантами: длинный нарративный видеоряд и интерактивная 6-DoF world-модель, построенная на компонуемой памяти между шотами, речевых аудио-сигналах с фильтрацией и каузальном few-step генераторе, обученном с прогрессивным teacher forcing и Self-Gradient Forcing.

Почему это важно

HF Daily Papers за 27 августа — 1.96k апвоутов, с большим отрывом самая голосованная новая статья окна; показывает, что долгосрочная аудиовизуальная согласованность с управляемыми траекториями камеры теперь достижима для унифицированных систем генерации.

Важность: 4/5

flagship release; official+media confirmation; HF Daily 1.96k upvotes

video-generation audio-generation world-model multimodal long-form interaction

Источники

СМИ Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds (arXiv 2608.23383)

официальный HF Daily Papers: Long-Horizon Audio-Visual Generation (1.96k upvotes)