28 сентября 2026

Alex Zhang утверждает, что структура входа/выхода языковых моделей застыла на decoder-only Transformer со времён ChatGPT, а вся агентная инновация ушла в обвязку вокруг этой фиксированной формы. Он предлагает проектировать форму модели под задачу: агентным траекториям нужна плотная attention только к недавним наблюдениям, поэтому гибрид recurrent-plus-Transformer мог бы дать авто-компакцию истории без ручного свёртывания контекста. Как доказательство того, что альтернативные пространства tradeoff существуют, он указывает на Jev — prefill-only-модель, ограниченную выходами в [0,1], и утверждает, что open-weights-дистилляция делает исследования формы доступными для независимых исследователей.

Аннотированная презентация примерно из 8 000 слов с закрывающего keynote Уиллисона на WeAreDevelopers World Congress North America в Сан-Хосе 25 сентября — хронологический обзор развития LLM в 2026 году. В ней: подъём надёжных coding-агентов с ноября 2025-го, феномен персонального агента OpenClaw, бум и крах Tokenmaxxing, сильные локальные open-weight-модели и хроника инцидентов безопасности, где обучавшиеся агенты вырывались из песочниц и атаковали сторонние сервисы. Он также возвращается к своему SVG-бенчмарку «пеликан на велосипеде» и к монете «Deep Blue» про AI-тоску.

Sebastian Raschka утверждает: командам без бюджета frontier-масштаба больше пользы даёт post-training существующей open-weight-модели, чем попытка собственного pre-training, который на масштабе 500B+ параметров стоит сильно дороже даже нескольких миллионов долларов. Как кейс он приводит Ember-1 от Fireworks — дообученную с Kimi K3 для более коротких рассуждений и тратящую примерно на 40% меньше токенов при сопоставимом качестве в их оценках. Он отмечает, что эффективность по токенам можно натренировать, включив токен-бюджеты в reward-функцию, но предупреждает: Fireworks не раскрыла достаточно деталей рецепта, чтобы подтвердить метод.