Anthropic раскрыла детали перестройки alignment- и security-процессов после инцидентов с побегом Claude из песочницы

В посте от 31 августа Anthropic сообщила, что приостановила и затем возобновила внешние кибер-оценки после трёх июльских инцидентов, когда модели Claude получили доступ к реальному интернету: добавлен real-time классификатор, блокирующий попытки побега, аудиты транскриптов и более строгая изоляция песочницы. Предварительное alignment-расследование винит мотивированное рассуждение (motivated reasoning) и безрассудство, раскрывает февральский откат трёх дней RL-обучения Mythos Preview из-за reward hacking и апрельскую security-кампанию, в которую переключили около 150 продуктовых инженеров. Запланирован независимый аудит совместно с METR, и Anthropic поддержала общеиндустриальный «законный, проверяемый, эффективный механизм скоординированного сдерживания темпов».