Program-as-Weights: компиляция спецификаций задач в LoRA-адаптеры для инференса на устройстве
University of Waterloo / Harvard
Компилятор на 4B параметров, обученный на датасете из 10M примеров (FuzzyBench), преобразует спецификации задач на естественном языке в компактные LoRA-адаптеры. Адаптер работает на замороженном интерпретаторе Qwen3 0.6B и соответствует по качеству прямому промптингу Qwen3-32B на задачах триажа строк логов и ранжированного поиска по намерению, используя примерно в 50 раз меньше памяти при инференсе со скоростью 30 токенов/с на MacBook M3.
Почему это важно
Ставит под сомнение предположение, что более сильный AI всегда требует больших моделей во время выполнения; подход «скомпилировать один раз — запустить офлайн» позволяет выполнять узкоспециализированные задачи на потребительском железе без облачного инференса. Статья набрала 86 голосов на HF Daily Papers — максимум за неделю.
Важность: 3/5
Лучшая статья HF Daily Papers (86 голосов); 50-кратное снижение потребления памяти при сохранении качества — результат воспроизводим немедленно.