long-context — AI Digest

30 апр DeepSeek V4: официальный open-source релиз с Day-0 адаптацией под Huawei Ascend DeepSeek models-llm
2 мая xAI завершила выкатку Grok 4.3 в API: контекст 1M, нативное видео и снижение цены ~40% xAI models-llm
2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm
8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm
10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm
17 июн Zhipu AI открывает GLM-5.2 под лицензией MIT с контекстом 1M токенов Zhipu AI models-llm
19 июн Zhipu AI выпускает открытые веса GLM-5.2: 753B MoE с контекстом 1M токенов под лицензией MIT Zhipu AI / Z.ai models-llm
17 июл Moonshot AI выпустила Kimi K3 — модель с открытыми весами на 2,8 трлн параметров Moonshot AI models-llm
15 мая SU-01: рассуждения на уровне золотой медали олимпиады через curriculum SFT и двухэтапный RL SU-01 Team research
4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
18 мая RoPE доказуемо не справляется с длинными контекстами: locality bias и согласованность токенов нарушаются research
14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm
14 июн MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research
29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research
16 мая MemLens: бенчмарк мультимодальной долгосрочной памяти для моделей визуального языка NVIDIA research
4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research
8 июн GitHub Copilot получает контекстное окно в 1M токенов и настраиваемые уровни рассуждений GitHub / Microsoft tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
7 июл CompactionRL: обучение с подкреплением с компакцией контекста для long-horizon-агентов Zhipu AI / Tsinghua University research
2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research
3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research
14 июн Zhipu AI выпускает GLM-5.2: MoE с 744B параметрами, контекстом 1M токенов и фокусом на программирование Zhipu AI models-llm
6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research
13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research
8 июн SubtleMemory: бенчмарк выявляет систематические провалы агентов в тонком реляционном запоминании research
10 июн SearchSwarm: обучаемое делегирование для LLM-агентов в долгосрочных исследовательских задачах research
3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
18 июл LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете Mind Lab research
23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools