Hidden Decoding at Scale: новая ось масштабирования LLM без роста основного блока

исследования официальный 1 ист. ~1 мин

Hidden Decoding (arXiv 2607.08186) расширяет каждый токен до нескольких независимых вычислительных потоков с раздельными эмбеддингами, масштабируя ёмкость модели без увеличения трансформерного блока. Stream-Factorized Attention сохраняет управляемость затрат, ограничивая большую часть внимания внутри потоков. Подход валидирован на 617B параметрах с MoE — это первый путь масштабирования с фиксированным блоком, продемонстрированный на фронтирном масштабе.

Почему это важно

Открывает новую практическую ось масштабирования LLM помимо простого добавления слоёв или параметров к основному блоку.

Важность: 3/5

Первый путь масштабирования с фиксированным блоком, валидированный на фронтирном масштабе 617B; новый архитектурный вклад

scaling architecture language-models llm-systems training

Источники

официальный Hidden Decoding at Scale