GRAM: модульное предобучение делает знания двойного назначения физически удаляемыми из AI-моделей
AE Studio / Anthropic
GRAM (Gradient-Routed Auxiliary Modules) дополняет MLP-слои трансформера небольшими вспомогательными модулями, которые во время обучения активируются избирательно по категориям данных. После единственного прогона предобучения домены опасных знаний — вирусология, кибербезопасность, ядерная физика, специализированный код — изолируются в удаляемых модулях. Удаление модуля подавляет соответствующую способность столь же эффективно, как если бы модель никогда не обучалась на этих данных, без ухудшения общей производительности. Одна модель может быть перенастроена в любой из 16 различных отфильтрованных вариантов. Результаты подтверждены для параметров от 50M до 5B и устойчивы к попыткам восстановления через post-hoc дообучение.
Почему это важно
Это первый масштабируемый механизм физического удаления знаний двойного назначения из развёрнутой модели без переобучения. Принята на ICML 2026 и опубликована совместно в блоге Anthropic по alignment, она напрямую устраняет пробел в текущей практике безопасности: сегодня отфильтрованные модели необходимо переобучать с нуля для каждого контекста развёртывания. GRAM позволяет одному прогону обучения обслуживать несколько уровней доверия при развёртывании.
Важность: 4/5
Принята на ICML 2026; первый масштабируемый механизм физически удаляемых знаний двойного назначения — переобучение не требуется