Мираж оптимизации политик обучения: монотонные политики инференса как реальная цель для RL языковых моделей
Tianjin University / Alibaba
Статья выявляет фундаментальное рассогласование в RL для LLM: улучшение политики на стороне обучения не гарантирует улучшения политики инференса из-за квантизации и рассогласования движков. Принцип MIPI и фреймворк MIPU решают это двухэтапным подходом, фильтрующим обновления политики через прокси разрыва на стороне инференса, улучшая точность рассуждений и стабильность обучения на моделях Qwen3 при инференсе FP8.
Почему это важно
Получила 147 голосов на HuggingFace Daily Papers. Адресует практический сбой, затрагивающий любой RL-пайплайн обучения, где движки обучения и инференса различаются — распространённая ситуация в production-системах с квантизованным инференсом.
Важность: 3/5
147 голосов на HF Daily Papers (+1 bump); адресует повсеместный production-сбой в развёртываниях LLM, обученных с RL.