Super Weights в LLM: почему высокосалиентные параметры не работают как цели дообучения
Amazon
Эта статья с COLM 2026 исследует «Super Weights» — крошечное подмножество параметров (100–36K), удаление которых обрушивает производительность LLM. Вопреки интуиции, нацеливание только на эти высокозначимые параметры при дообучении приводит к падению точности до уровня случайного угадывания на моделях OLMo. Обучение равного числа случайно выбранных параметров в тех же слоях успешно, что доказывает специфичность сбоя именно для Super Weight-таргетирования. Vanilla LoRA — распределение обновлений по полным матрицам весов через низкоранговую декомпозицию — успешно справляется всего с 0,16% параметров. Результаты подтверждены на 10 случайных инициализациях.
Почему это важно
Это напрямую опровергает популярную гипотезу о том, что высокая значимость параметра во время инференса предсказывает его полезность при дообучении — предпосылку, лежащую в основе ряда опубликованных методов эффективного обучения. Практики не могут безопасно использовать координаты Super Weight для управления parameter-efficient fine-tuning, не рискуя катастрофической деградацией производительности. Убедительное положительное свидетельство в пользу структурированных низкоранговых подходов перед целевыми разреженными.
Важность: 3/5
Принята на COLM 2026; опровергает популярное допущение, лежащее в основе нескольких методов эффективного дообучения