architecture — AI Digest

18 авг MegaParts: масштабирование 3D-генерации объектов с учётом частей до 300 частей через токен-эффективное авторегрессионное моделирование Shanghai AI Lab research
11 мая Mean Mode Screaming: исправление патологии обучения открывает путь к 1000-слойным Diffusion Transformer research
20 мая Lance: 3B Unified Multimodal Model for Understanding, Generation, and Editing (314 HF upvotes) ByteDance Research research
4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
31 июл Metis: базовая модель памяти MemTensor research
4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research
11 июл Hidden Decoding at Scale: новая ось масштабирования LLM без роста основного блока research
2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research
3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research
25 июн Wan-Streamer v0.1: сквозная интерактивная фундаментальная модель реального времени с задержкой менее 550 мс Wan-AI research
13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research
17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research
8 мая Структурное происхождение attention sink: расхождение дисперсий, суперн ейроны и исправление research
9 мая Cola DLM: непрерывная латентная диффузионная языковая модель с конкурентным масштабированием research
3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
20 июл xHC: Expanded Hyper-Connections масштабируют параллелизм residual-потока за прежние пределы Shanghai Jiao Tong University / Xiaohongshu / USTC / Peking University / CUHK research
11 авг Motif 3: технический отчёт Motif Technologies research