Ring-Zero: масштабирование zero RL до триллиона параметров для возникающего рассуждения
inclusionAI
Ring-Zero исследует обучение с подкреплением на верифицируемых наградах (zero RL, то есть без SFT-разогрева), масштабированное до модели с триллионом параметров, представляя стабильный пайплайн обучения, который устраняет такие проблемы, как плохая читаемость и избыточность токенов в цепочках рассуждений. Показано, что масштабирование повышает эффективность использования данных и порождает возникающее поведение — такое как самопроверка и параллельное рассуждение — на математических бенчмарках.
Почему это важно
Одно из крупнейших опубликованных исследований масштабирования zero-RL на сегодняшний день, дающее данные о том, как ведут себя режимы обучения только на RL при росте числа параметров до триллионного диапазона.
Важность: 2/5
Значимая исследовательская работа