Обобщение от слабого к сильному через прямую on-policy дистилляцию

ByteDance / Tsinghua University

исследования официальный 1 ист. ~1 мин

Direct-OPD переносит достижения RL от меньших моделей к большим, используя индуцированный RL сдвиг log-ratio слабой модели как плотный неявный сигнал вознаграждения для ученика. Применённый к Qwen3-1.7B, метод повышает точность на AIME 2024 с 48.3% до 62.4% за четыре часа обучения без отдельной модели вознаграждения.

Почему это важно

Предлагает вычислительно эффективный путь к масштабированию улучшений рассуждений от малых моделей к большим — актуально по мере роста вычислительных затрат на RL-для-рассуждений с размером модели.

Важность: 2/5

Эффективный перенос рассуждений от слабого к сильному; четыре часа обучения с улучшением точности AIME на +14 п.п.

rl weak-to-strong reasoning distillation post-training

Источники

официальный arXiv:2607.05394 — Weak-to-Strong Generalization via Direct On-Policy Distillation