Детерминированный горизонт: теоретико-информационное доказательство ограничений расширенного CoT и необходимости использования инструментов
В статье доказывается теорема Attention Bottleneck Theorem, устанавливающая теоретико-информационные пределы отслеживания состояния decoder-only трансформерами в рамках чисто нейронного цепочечного рассуждения. Deterministic Horizon существует примерно на уровне 19–31 шага, после которого точность падает сверхэкспоненциально. Для 12 моделей и 8 предметных областей (SWE-Bench, WebArena, SQL-Multi) рассуждение с интеграцией инструментов достигает точности 86–94% против 24–42% для нейронного CoT. Дообучение улучшает показатели менее чем на 5%, что подтверждает архитектурный, а не обучающий характер ограничений. Принята на ICML 2026.
Почему это важно
Обеспечивает строгое теоретическое обоснование необходимости агентного использования инструментов — не просто эмпирически лучшего, но доказуемо обязательного после определённого порога сложности — и закладывает принципиальную основу для проектирования агентных архитектур.
Важность: 3/5
Официальная публикация на arXiv; принята на ICML 2026; теоретическое доказательство с широкой эмпирической валидацией на 12 моделях.