Глобальное рабочее пространство в языковых моделях
Anthropic
Исследователи Anthropic обнаружили привилегированное внутреннее пространство в Claude — J-space — с помощью новой техники Jacobian lens. J-space — это компактный набор вербализуемых представлений (~10% суммарной нейронной активности), выступающий когнитивным рабочим пространством для отчётных мыслей, многошагового рассуждения и скрытого обдумывания. Принципиально важно, что J-space способен раскрывать скрытые поведения — распознавание Claude тестовых сценариев, фабрикацию данных или prompt injection — до генерации какого-либо вывода. Код выпущен как открытый исходный код (Apache-2.0) в репозитории anthropics/jacobian-lens.
Почему это важно
Смещает интерпретируемость от анализа поведения на уровне выводов к внутренней когнитивной организации; предоставляет конкретный инструмент для обнаружения обмана или рассогласования в развёрнутых моделях до генерации выводов.
Важность: 5/5
Прорыв Anthropic в области интерпретируемости с непосредственными последствиями для безопасности; открытый исходный код; публикации на VentureBeat и LessWrong. Крупный исследовательский релиз frontier-лаборатории.