RL-дообучение активно формирует стратегии композиционного рассуждения, а не просто усиливает базовые навыки

исследования официальный 1 ист. ~1 мин

Используя полностью прозрачную среду на основе грамматики перезаписей, исследователи показывают, что RL-дообучение не просто усиливает базовые возможности — оно активно строит новые композиционные стратегии: как последовательные (свёртывание упорядоченных шагов), так и параллельные (объединение независимых операций). RL концентрирует исследование в допустимых переиспользуемых структурах; rejection fine-tuning порождает множество недопустимых сокращений. Воркшоп по композиционному обучению ICML 2026. arXiv:2607.07646.

Почему это важно

Представляет механистическую, контролируемую демонстрацию того, что именно RL-дообучение делает с рассуждением модели — вопрос, часто вызывающий споры. Вывод о том, что организация предобучения базовой модели определяет, какие композиционные стратегии возникают, имеет прямые последствия для проектирования пайплайнов обучения.

Важность: 2/5

Воркшоп ICML 2026; механистический результат о RL vs RFT для композиционного рассуждения — релевантен для решений по дообучению моделей.

reasoning rl post-training icml-2026 training-dynamics

Источники

официальный RL Post-Training Builds Compositional Reasoning Strategies | arXiv