architecture — AI Digest

18 авг MegaParts: масштабирование 3D-генерации объектов с учётом частей до 300 частей через токен-эффективное авторегрессионное моделирование Shanghai AI Lab research
11 мая Mean Mode Screaming: исправление патологии обучения открывает путь к 1000-слойным Diffusion Transformer research
20 мая Lance: 3B Unified Multimodal Model for Understanding, Generation, and Editing (314 HF upvotes) ByteDance Research research
4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
31 июл Metis: базовая модель памяти MemTensor research
14 сен Recurrent Looped Transformer: вирусный технический отчёт заявляет «бесконечную временную глубину» для латентного ризонинга Princeton University research
12 сен NCP-ArchPreview: латентные языковые модели на 8,9B параметров через Next Concept Prediction Shanghai AI Lab research
4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research
11 июл Hidden Decoding at Scale: новая ось масштабирования LLM без роста основного блока research
2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research
1 сен Команда Qwen раскрыла архитектуру Qwen3.8-Next: гибридное внимание, n-gram эмбеддинги, Muon Qwen (Alibaba) research
3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research
25 июн Wan-Streamer v0.1: сквозная интерактивная фундаментальная модель реального времени с задержкой менее 550 мс Wan-AI research
13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research
17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research
2 сен SMELT: зацикленные MoE-трансформеры догоняют базовое масштабирование при равных вычислениях ByteDance Seed research
18 сен LLM с бесконечными параметрами: статья на arXiv предлагает генерацию весов из живых данных Independent researchers research
28 сен «Форма» языковых моделей: проектирование архитектур под агентные воркфлоу Alex Zhang (independent) research
8 мая Структурное происхождение attention sink: расхождение дисперсий, суперн ейроны и исправление research
9 мая Cola DLM: непрерывная латентная диффузионная языковая модель с конкурентным масштабированием research
3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
20 июл xHC: Expanded Hyper-Connections масштабируют параллелизм residual-потока за прежние пределы Shanghai Jiao Tong University / Xiaohongshu / USTC / Peking University / CUHK research
11 авг Motif 3: технический отчёт Motif Technologies research