TTPO: оптимизация политики на этапе теста
Zhejiang University
Метод позволяет test-time training без разметки, заменяя ground-truth метки псевдометки по мажоритарному голосованию и используя асимметрию этой подмены: rollout'ы, согласующиеся с псевдометкой, дистиллируются через on-policy self-distillation, а несогласные штрафуются через группированный RL, с токен-уровневым отбором на обеих ветках. Метод догоняет OPSD с супервизией по меткам на пяти математических бенчмарках уровня соревнований, поднимая Qwen3-1.7B с 38.0% до 45.2% в test-time training и +25–36% в режиме no-thinking.
Почему это важно
67 апвоутов; test-time training, которому вообще не нужны метки
Важность: 3/5
заметная статья, 67 апвоутов на HF
Источники
официальный
arXiv 2608.27448
официальный
HF Papers — 67 upvotes, Aug 28