PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
Показывает, что дополнительные итерации на этапе тестирования в зацикленных языковых моделях сами по себе не помогают на более длинных задачах, и исправляет это, обучая каждую итерацию предсказывать состояние после соответствующего числа операций, одновременно масштабируя рекуррентные состояния к их нормам на первой итерации. На swap-S5 модель Qwen2.5-0.5B, обученная максимум на 32 ходах, достигает 95,5% средней точности полного состояния при 512 ходах против 55,7% у RLT и 0,8% у явной цепочки рассуждений.
Почему это важно
Со 158 голосами она даёт 16-кратный скачок обобщения по длине от модели 0,5B — свидетельство того, что зацикленные архитектуры можно обучить алгоритмической экстраполяции, а не просто масштабировать в неё.
Важность: 4/5
158 голосов в Hugging Face Daily и 16-кратный результат по обобщению длины