distillation — AI Digest

19 авг S²VOPD: самообучаемая визуальная on-policy дистилляция поднимает Qwen3.5-4B с 70,7% до 77,4% на шести бенчмарках тонкого восприятия UC San Diego research
2 июл DOPD: двойная on-policy дистилляция с advantage-aware маршрутизацией токенов research
21 июн Moebius: лёгкая модель инпейнтинга на 0,2 млрд параметров сравнялась с FLUX на 11,9 млрд Huazhong University of Science and Technology research
16 мая Causal Forcing++: 2-шаговая дистилляция для генерации интерактивного видео в реальном времени Tsinghua University research
16 мая SDAR: агентное обучение с подкреплением через самодистилляцию для многоходовых агентов Zhejiang University / Meituan research
4 июн ThoughtFold: интроспективное обучение предпочтениям сокращает токены рассуждения на 56% без потери точности research
5 авг DAPD: Dual-Anchored Policy Distillation research
13 авг On-Policy Self-Distillation without Any Supervision research
14 мая AnyFlow: видеодиффузия с произвольным числом шагов через on-policy дистилляцию flow map MIT / NVIDIA research
3 июн TrOPD: Trust-Region On-Policy Distillation Stabilizes LLM Training When Teacher-Student Gap Is Large Samsung Research research
28 июн DanceOPD: дистилляция генеративных полей на основе онлайн-выборки для унифицированной генерации изображений ByteDance Seed research
30 июл Передай эстафету: эстафетная on-policy дистилляция траекторий Zhejiang University research
25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research
25 июн Anthropic обвиняет Alibaba в крупнейшей известной атаке дистилляции Claude: 28,8 млн диалогов Anthropic industry
24 июл Представитель Белого дома обвинил Moonshot AI в дистилляции Fable от Anthropic для создания Kimi K3; эксперты возражают Moonshot AI industry
9 июн О геометрии on-policy дистилляции: парадигма обучения, отличная от SFT и RLVR Hong Kong University of Science and Technology research
9 июн Слабые критики создают сильных учеников: On-Policy Critique Distillation для масштабируемого надзора Rutgers University research
17 июн ZPPO: дистилляция знаний через учителя-в-промптах превосходит градиентные методы для малых моделей рассуждений NVIDIA research
7 июл Обобщение от слабого к сильному через прямую on-policy дистилляцию ByteDance / Tsinghua University research
4 авг Weak-to-Strong On-Policy Distillation Microsoft Research / University of Maryland / MBZUAI research
11 авг Agent Memory Distillation: усиление малых LLM-агентов иерархической памятью учителя research