Передай эстафету: эстафетная on-policy дистилляция траекторий
Zhejiang University
Новый метод on-policy дистилляции, при котором модели учитель и ученик по очереди передают друг другу сегменты траектории рассуждений, стремясь сохранить распределение обучающих данных ученика ближе к тому, что он увидит на инференсе, по сравнению со стандартной дистилляцией по полной траектории.
Почему это важно
Попала в HuggingFace Daily Papers (29 июля 2026, 27 голосов); on-policy дистилляция — активная область для дешёвой передачи способности к рассуждению от больших моделей к малым.
Важность: 2/5
Инкрементальный исследовательский вклад в активной области, скромная популярность на HF Daily Papers (27 голосов).
Источники
вторичный
HuggingFace Daily Papers, July 29 2026