When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation

исследования официальный 2 ист. ~1 мин

Статья identifies рассинхрон терминирующих токенов между базовыми студентами и пост-трейн учителями как главную причину раздувания длины в on-policy дистилляции: модели размещают вероятность остановки на разных, но эквивалентных EOS-токенах в Qwen3, Llama и Gemma. Объединение эквивалентных EOS-токенов в одно семантическое действие остановки в основном устраняет неконтролируемую многословность студента.

Почему это важно

Объясняет широко наблюдаемый режим отказа on-policy дистилляции конкретным диагностикой и фиксом, что актуально для всех, кто дистиллирует reasoning-модели.

Важность: 2/5

Заметная статья о дистилляции, 94 апвота на HF Daily Papers

distillation reasoning training

Источники

официальный When EOS Tokens Disagree

официальный HF Daily Papers: When EOS Tokens Disagree (94 upvotes)