Programmable World Model: программируемое агентами постоянное состояние для интерактивного видео
Alaya Lab
Фреймворк разделяет эволюцию мирового состояния и визуальную генерацию: агент компилирует правила на естественном языке в исполняемые программы переходов состояния, лёгкий движок поддерживает постоянное глобальное состояние (включая заэкранные сущности), а снабжённые состоянием 3D bounding box'ы детерминированно компилируются в conditioning для предобученного видео-рендерера. На новом CombatStateBench достигаются 94% точности подсчёта и 98% точности состояния — сильно выше существующих интерактивных видео world models.
Почему это важно
81 upvote на HuggingFace Daily Papers (10 сентября). Решает главную нерешённую проблему интерактивных видео world models — постоянное, уважающее правила мировое состояние — с управляемым дизайном, пригодным для игр, и открытым кодом.
Важность: 3/5
Заметная статья о постоянном мировом состоянии в генерации интерактивного видео