«Супервеса» в LLM и провал избирательного обучения
Amazon Web Services
Статья оспаривает гипотезу о том, что «супервеса» — небольшое множество параметров, удаление которых катастрофически деградирует производительность модели, — можно избирательно обучать для изменения поведения модели. Целенаправленное обновление даже 100–8 192 таких параметров в изоляции обрушивает точность до случайного угадывания на OLMo-1B и OLMo-7B, тогда как обучение равного числа случайных параметров в тех же слоях фактически улучшает производительность. Принята на COLM 2026.
Почему это важно
Структурная значимость не равнозначна обучаемости, а значит, методы редактирования моделей и целевого «разобучения» (unlearning), опирающиеся на идентификацию супервесов, могут быть фундаментально ограничены.
Важность: 2/5
Оспаривает ключевое допущение в редактировании/разобучении моделей; принята на COLM 2026