Рекурсивное самосовершенствование в ИИ: обзор 1250 статей с таксономией по силе верификации
Обзор 1250 статей arXiv (2024–2026) о том, как системы ИИ участвуют в собственном совершенствовании. Предлагается иерархия силы верификации: формальные верификаторы > модели вознаграждения процесса > LLM-судьи > рубрики > внутренняя самооценка. Показано, что качество улучшения коррелирует с этой иерархией. Выявлены режимы отказов, включая самоподтверждающиеся петли и коллапс модели. Определение направлений исследований обозначено как оставшееся узкое место на стороне человека. arXiv:2607.07663.
Почему это важно
Всесторонняя структурированная карта быстро приобретающей критическое значение для безопасности области исследований. Вывод об иерархии верификации имеет практические последствия для проектирования: системы, использующие самооценку низшего уровня, подвержены систематическим режимам отказов. Измерения на уровне управления обозначены как недостаточно развитая область.
Важность: 2/5
Всесторонний обзор 1250 статей о рекурсивном самосовершенствовании — релевантен для проектирования обучения и оценки безопасности моделей.