Recurrent Looped Transformer: вирусный технический отчёт заявляет «бесконечную временную глубину» для латентного ризонинга
Princeton University
Recurrent Looped Transformer (RLT) исследователя из Принстона Ифань Чжан (Yifan Zhang) проносит финальное hidden state декодера и послойный sliding-window attention cache через каждый токен промпта и ответа без сброса на границе промпт–ответ, так что глубина латентных вычислений растёт с длиной последовательности (48 энкодерных + 48 декодерных слоёв в референсной конфигурации). Работа также предлагает точный RL-replay по текущей политике, пересобирающий зависящие от параметров кэши под текущими весами. Отчёт стал вирусным 12–13 сентября (111 upvotes, ~16k просмотров на alphaXiv), но собственный README автора признаёт, что улучшения ризонинга, ускорения и RL-масштабирование — «исследовательские цели, а не измеренные результаты», без опубликованного кода и весов.
Почему это важно
Если схема рекуррентности через токены выдержит обучение, она открывает путь к неограниченной глубине латентного ризонинга без более глубоких физических стеков — но разрыв между формулировкой «бесконечной глубины ризонинга» и отсутствием хоть каких-то измеренных результатов сам по себе и есть история, за которой стоит следить.
Важность: 3/5
Вирусный технический отчёт (111 upvotes на alphaXiv), продолжающий линию recurrent-depth трансформеров; утверждения не верифицированы