WorldDirector: управляемый симулятор мира с постоянной памятью динамических объектов
WorldDirector разделяет планирование движения и рендеринг видео: LLM координирует 3D-траектории объектов и движения камеры, которые затем управляют моделью генерации видео. В результате динамические объекты сохраняют согласованный визуальный облик даже при выходе из кадра и возврате в него на протяжении длительных последовательностей.
Почему это важно
Большинство видеомоделей мира со временем теряют идентичность объектов. Разделение семантической оркестровки и пиксельного рендеринга обеспечивает постоянные, поддающиеся повторной идентификации объекты при свободных ракурсах камеры — шаг к универсальным интерактивным симуляторам мира. 18 голосов на HuggingFace Daily Papers.
Важность: 2/5
Новая архитектура для постоянной идентичности объектов в видеомоделях мира; 18 голосов на HF Daily Papers