Continual Learning Exam: бенчмарк долгосрочного RSI и обучения на опыте для LLM-агентов

исследования официальный 1 ист. ~1 мин

CLE — бенчмарк из 120 задач от 50+ экспертов с лестницами пяти уровней (600 уровней, 89 профессиональных ролей, 12 доменов), где каждый уровень открывается только после прохождения предыдущего, так что агенты должны опираться на накопленный опыт. На 17 конфигурациях «харнесс-модель» фронтирных LLM обратная связь плюс одна ревизия дают медианный прирост 5,3 процентного пункта, но лучшая система проходит лишь 47,7% уровней и завершает все пять уровней только в 23,3% задач.

Почему это важно

Даёт заявлениям о рекурсивном самоулучшении жёсткий бенчмарк, написанный экспертами, где фронтирные агенты сейчас проваливаются более чем в половине случаев.

Важность: 3/5

Заметный препринт; бенчмарк с долей провалов фронтирных моделей.

agents benchmark continual-learning evaluation long-horizon

Источники

официальный arXiv:2610.33956 Continual Learning Exam