Program-as-Weights: парадигма «компилируй один раз» достигает качества 32B-моделей при 1/50 объёма памяти
Исследователи из Университета Ватерлоо представляют Program-as-Weights (PAW): компилятор на 4B параметров генерирует небольшие переиспользуемые адаптерные веса для задач, не поддающихся решению на основе правил. Интерпретатор Qwen3 на 0,6B, направляемый этими адаптерами, соответствует 32B-модели при 1/50 объёма памяти на инференсе и работает со скоростью 30 токенов/с на MacBook M3. Авторы также публикуют FuzzyBench — обучающий датасет из 10 миллионов примеров.
Почему это важно
PAW переосмысляет использование foundation-моделей: вместо инференса на каждый входной запрос предлагается паттерн «компилируй один раз, запускай многократно». Сокращение памяти в 50 раз позволяет получать качество frontier-задач на потребительском железе.
Важность: 3/5
92 голоса на HF Daily Papers (3 июля, максимум дня); сокращение памяти в 50× по сравнению с 32B-моделью; 30 токенов/с на MacBook M3