DreamX-Creator: нативная совместная генерация аудио и видео в разрешении 2K

AMAP-ML (Alibaba)

исследования официальный 2 ист. ~1 мин

DreamX-Creator 1.0 — модель на 7 млрд параметров, генерирующая синхронизированные аудио и видео совместно из первого кадра и текстового промпта вместо дублирования видео в пост-обработке. Она связывает специализированные по модальностям потоки через Gated Cross-Modal Attention, применяет modality-aware RL post-training и авторегрессионное одношаговое уточнение для достижения 2K, не уступая state-of-the-art open-source системам. Авторы планируют выпустить 7B-генератор и 2K-уточнитель.

Почему это важно

Топ HF Daily Papers за 1 сентября 2026 с 49 апвоутами; обещан открытый релиз компактного нативного аудио-видео генератора — категории, сейчас монополизированной закрытыми системами.

Важность: 2/5

Топ-статья HF Daily Papers (49 апвоутов), официальные источники

Источники