6 июня 2026

В статье доказывается теорема Attention Bottleneck Theorem, устанавливающая теоретико-информационные пределы отслеживания состояния decoder-only трансформерами в рамках чисто нейронного цепочечного рассуждения. Deterministic Horizon существует примерно на уровне 19–31 шага, после которого точность падает сверхэкспоненциально. Для 12 моделей и 8 предметных областей (SWE-Bench, WebArena, SQL-Multi) рассуждение с интеграцией инструментов достигает точности 86–94% против 24–42% для нейронного CoT. Дообучение улучшает показатели менее чем на 5%, что подтверждает архитектурный, а не обучающий характер ограничений. Принята на ICML 2026.

LLM охотно исправляют ошибки, представленные как внешний ввод, но не справляются с коррекцией идентичных ошибок, оформленных как собственный предыдущий вывод. Статья изолирует причину: ролевые метки шаблона чата (сообщение пользователя, внутренняя мысль, вывод инструмента, системная память), а не само содержимое. Переметка ошибочного внутреннего утверждения как внешнего источника увеличивает частоту явных исправлений на 23–93 процентных пункта для 7 семейств моделей и 3 предметных областей (p < 0,001 в 10/13 тестовых ячейках). Вмешательство на уровне структуры промпта, не требующее дообучения, обеспечивает значительные улучшения.

Исследователи из Национального университета Сингапура опубликовали Audio Interaction Model (AIM) — унифицированный стриминговый аудиофреймворк, объединяющий офлайн-выполнение задач (транскрипция, перевод, генерация музыки) и реальновременное следование аудиоинструкциям через сквозную архитектуру. AIM обеспечивает одновременно низкую задержку при стриминге и высокое качество офлайн-обработки аудио без отдельных моделей для каждого режима работы и набрал 101 голос на HuggingFace Daily Papers.