long-context — AI Digest

30 апр DeepSeek V4: официальный open-source релиз с Day-0 адаптацией под Huawei Ascend DeepSeek models-llm
2 мая xAI завершила выкатку Grok 4.3 в API: контекст 1M, нативное видео и снижение цены ~40% xAI models-llm
2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm
8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm
10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm
17 июн Zhipu AI открывает GLM-5.2 под лицензией MIT с контекстом 1M токенов Zhipu AI models-llm
19 июн Zhipu AI выпускает открытые веса GLM-5.2: 753B MoE с контекстом 1M токенов под лицензией MIT Zhipu AI / Z.ai models-llm
17 июл Moonshot AI выпустила Kimi K3 — модель с открытыми весами на 2,8 трлн параметров Moonshot AI models-llm
25 авг Apodex 1.1: масштабирование агентного интеллекта для сложных задач Apodex research
11 сен DeepSeek V4.1 Flash выходит в GA с открытыми весами по MIT и выводом V4 Pro из эксплуатации DeepSeek models-llm
28 авг Tencent открывает исходники Hy4 preview: 770B / 49B-active MoE с Gated DSA + iHC, контекст 1M, Apache 2.0 Tencent models-llm
15 мая SU-01: рассуждения на уровне золотой медали олимпиады через curriculum SFT и двухэтапный RL SU-01 Team research
4 июл Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
14 авг DeepSeek-V4-Pro reaches general availability, prices jump up to 1,100% from Aug 16 DeepSeek models-llm
15 сен Tencent Hunyuan открывает SAS — маршрутизаторы разреженного внимания, обученные end-to-end на Qwen3 Tencent Hunyuan research
18 мая RoPE доказуемо не справляется с длинными контекстами: locality bias и согласованность токенов нарушаются research
14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm
14 июн MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research
29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research
27 авг IBM выпускает reasoning-LLM Granite 4.2 (3B/8B/30B, Apache 2.0, контекст 512K), обученные на ~15T токенов с GRPO RL на GB200 NVL72 IBM models-llm
16 мая MemLens: бенчмарк мультимодальной долгосрочной памяти для моделей визуального языка NVIDIA research
4 июн Echo-Infinity: генерация бесконечного видео в реальном времени через обучаемый Memory Query research
8 июн GitHub Copilot получает контекстное окно в 1M токенов и настраиваемые уровни рассуждений GitHub / Microsoft tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
7 июл CompactionRL: обучение с подкреплением с компакцией контекста для long-horizon-агентов Zhipu AI / Tsinghua University research
2 авг Metis: базовая модель памяти MemTensor, Renmin University, NUS, Shanghai Jiao Tong University, Tongji University research
20 авг Demystifying Agent Skills: почему они работают — пока не перестают UC San Diego (Zhiyuan Jiang, Mengdi Wang, Yijiang Li et al.) research
27 авг Zhipu выпускает GLM-5.3-Flash — первую нативно мультимодальную модель линейки GLM-5 Zhipu AI / Z.ai models-llm
27 авг Qwen3.8-Flash-Next выпущена как экспериментальный превью архитектуры Qwen4 Alibaba (Qwen Team) models-llm
1 сен Команда Qwen раскрыла архитектуру Qwen3.8-Next: гибридное внимание, n-gram эмбеддинги, Muon Qwen (Alibaba) research
7 сен LatentPress: сжатие контекста в непрерывные memory-токены, которые замороженная LLM читает напрямую research
12 сен Ant Group открыла Ling-3.0-flash-Fin — свою первую модель с усилением под финансы Ant Group models-llm
18 сен DeepSeek-V4.1-Flash: пределы сжатия KV-кэша DeepSeek research
3 июн Do Language Models Need Sleep? Offline Recurrence as Memory Consolidation for Improved Inference Google / CMU research
14 июн Zhipu AI выпускает GLM-5.2: MoE с 744B параметрами, контекстом 1M токенов и фокусом на программирование Zhipu AI models-llm
6 июл AgenticSTS: тестовый стенд с ограниченной памятью для LLM-агентов с длинным горизонтом Alaya Studio research
13 июл Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE MIT / NVIDIA research
17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research
25 авг Prime Agent: самоулучшающийся RLM-харнесс Prime Intellect research
25 авг ReWorld: интерактивная модель мира с долгосрочной памятью TongyiLab (Alibaba) research
8 июн SubtleMemory: бенчмарк выявляет систематические провалы агентов в тонком реляционном запоминании research
10 июн SearchSwarm: обучаемое делегирование для LLM-агентов в долгосрочных исследовательских задачах research
3 июл FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
18 июл LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете Mind Lab research
23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools
11 авг Motif 3: технический отчёт Motif Technologies research
2 сен Волна llama.cpp за 1–2 сентября: +4,9% к генерации от фикса n-gram-поиска, слитый CUDA-редукшн для MoE ggml tools
8 сен Language Models Can Control Their Own Attention research