«Форма» языковых моделей: проектирование архитектур под агентные воркфлоу

Alex Zhang утверждает, что структура входа/выхода языковых моделей застыла на decoder-only Transformer со времён ChatGPT, а вся агентная инновация ушла в обвязку вокруг этой фиксированной формы. Он предлагает проектировать форму модели под задачу: агентным траекториям нужна плотная attention только к недавним наблюдениям, поэтому гибрид recurrent-plus-Transformer мог бы дать авто-компакцию истории без ручного свёртывания контекста. Как доказательство того, что альтернативные пространства tradeoff существуют, он указывает на Jev — prefill-only-модель, ограниченную выходами в [0,1], и утверждает, что open-weights-дистилляция делает исследования формы доступными для независимых исследователей.