←

Waypoint-OPD: перенос RL-индуцированных сдвигов политики через gated on-policy distillation

исследования официальный 1 ист. ~1 мин

Улучшает дистилляцию сдвигов политики, используя промежуточный чекпоинт того же RL-прогона как waypoint: ранние и поздние изменения относительных предпочтений действий учителя сравниваются, а итоговый сдвиг гейтится (подавляется), если они указывают в противоположные стороны. Стоит всего один дополнительный проход скоринга с замороженным учителем и выигрывает во всех шести настройках «домен-студент» на студентах Qwen3-8B/14B/30B-A3B по математике и коду.

Важность: 3/5

заметный релиз (мажорная версия, значимый open-weights-релиз или регуляторное изменение)

Источники

официальный arXiv:2610.21601 — Waypoint-OPD