DreamX-World 1.0: интерактивная модель мира общего назначения с управлением камерой 6DoF
AMAP-ML (Alibaba Maps AI Lab)
DreamX-World — интерактивная модель мира общего назначения, генерирующая разнообразные высококачественные миры по текстовым или графическим промптам и позволяющая пользователям или агентам исследовать их с помощью управления камерой 6DoF в стиле WASD. Обученная на смеси данных Unreal Engine, игрового видеозаписи и видео реального мира, модель поддерживает генерацию в разрешении 720P длительностью до 7,5 секунд на клип и долгосрочные роллауты до одной минуты. Под лицензией Apache 2.0 выпущены два варианта: DreamX-World-5B-Cam (двунаправленный, 5 с) и DreamX-World-5B (авторегрессионный, долгосрочный).
Почему это важно
Одна из первых открыто опубликованных интерактивных моделей мира общего назначения, способных реагировать на точное управление камерой и событиями в помещениях, городских, природных, фантастических и игровых сценах. 264 голоса на HuggingFace Daily Papers свидетельствуют о высоком интересе сообщества. Сочетание обучения на основе RL с памятью на основе геометрии повышает практичность моделей мира как симуляционных сред для агентов.
Важность: 3/5
Заметный выпуск интерактивной модели мира с открытым кодом; 264 голоса на HF Daily Papers (+1 бамп); продвигает симуляционные среды для агентов.