Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
Tsinghua THUSI-Lab, miHoYo
Контролируемое исследование continued pre-training для агентов, играющих с клавиатурой и мышью, на 120 конфигурациях (модели 0,8B–27B, 50–1600 часов геймплея, пять смесей данных). Объём данных помогает в пределах корпуса, а разнообразие — переносу на родственные миры, но ни то, ни другое не закрывает разрыв с далёкими мирами; авторы подгоняют эмпирический закон масштабирования и выпускают восемь чекпоинтов.
Почему это важно
С 301 голосом в Hugging Face Daily это самая обсуждаемая статья окна: подобранный закон масштабирования сочетается в ней с открытыми весами, а также документируется, что имитационное обучение оставляет устойчивые пробелы в невиданных мирах.
Важность: 4/5
главная статья окна с 301 голосом в Hugging Face Daily и открытыми чекпоинтами