moe — AI Digest

30 апр DeepSeek V4: официальный open-source релиз с Day-0 адаптацией под Huawei Ascend DeepSeek models-llm
7 июл Tencent официально выпускает Hunyuan Hy3: 295B MoE-модель с агентными и рассуждательными возможностями Tencent models-llm
28 июл Moonshot Kimi K3: релиз открытых весов модели MoE на 2,8 трлн параметров Moonshot AI models-llm
2 июн MiniMax выпускает M3: открытая фронтирная модель с контекстом 1M токенов и архитектурой MSA MiniMax models-llm
8 июн NVIDIA Nemotron 3 Ultra: открытая модель 550B MoE теперь доступна для агентных задач NVIDIA models-llm
10 июн MiniMax M3 с открытыми весами: контекст 1M, MoE и кодирование на уровне лучших моделей MiniMax models-llm
17 июн Zhipu AI открывает GLM-5.2 под лицензией MIT с контекстом 1M токенов Zhipu AI models-llm
19 июн Zhipu AI выпускает открытые веса GLM-5.2: 753B MoE с контекстом 1M токенов под лицензией MIT Zhipu AI / Z.ai models-llm
26 июн ByteDance представляет флагманскую LLM Doubao-Seed-2.1 Pro на конференции FORCE ByteDance / Doubao models-llm
7 июл Сбер выпускает GigaChat 3.5 Ultra: флагманская open-source MoE-модель на 432B Sber models-llm
9 июл Tencent выпускает Hunyuan Hy3: открытая MoE-модель на 295B параметров под лицензией Apache 2.0 Tencent models-llm
16 июл Thinking Machines Lab выпустила Inkling: мультимодальную MoE-модель на 975 млрд параметров с открытыми весами Thinking Machines Lab models-llm
17 июл Moonshot AI выпустила Kimi K3 — модель с открытыми весами на 2,8 трлн параметров Moonshot AI models-llm
29 авг Zhipu публикует открытые веса GLM-5.3 (753B MoE), заявляя об открытом фронтире в кодинге Zhipu models-llm
30 авг Tencent open-sources Hy4 preview, a 770B MoE flagship with 1M context Tencent Hunyuan models-llm
11 сен DeepSeek V4.1 Flash выходит в GA с открытыми весами по MIT и выводом V4 Pro из эксплуатации DeepSeek models-llm
28 авг Tencent открывает исходники Hy4 preview: 770B / 49B-active MoE с Gated DSA + iHC, контекст 1M, Apache 2.0 Tencent models-llm
9 мая Zyphra выпускает ZAYA1-8B: открытая рассуждающая MoE-модель, обученная на оборудовании AMD Zyphra models-llm
20 мая Lance: 3B Unified Multimodal Model for Understanding, Generation, and Editing (314 HF upvotes) ByteDance Research research
4 июн JetBrains публикует исходный код Mellum2: 12B MoE-модель для кодирования в мульти-модельных пайплайнах JetBrains models-llm
10 июн Cohere North Mini Code: 30B MoE-модель под Apache 2.0 для агентных рабочих процессов Cohere models-llm
16 июн Kimi K2.7-Code HighSpeed: рост производительности в 6× для продакшн-пайплайнов агентов по коду Moonshot AI models-llm
24 июн Prime Intellect выпускает prime-rl v0.6.0 для агентного RL на триллионно-параметрических MoE-моделях Prime Intellect research
26 июн DeepReinforce выпускает Ornith-1.0: открытые модели для программирования, самостоятельно обучающие свои RL-каркасы DeepReinforce tools
30 июн Стабильный релиз DeepSeek V4 запланирован на середину июля с первым почасовым API-ценообразованием DeepSeek models-llm
3 июл DeepSeek подтверждает официальный выпуск V4 в середине июля и вводит пиковое ценообразование API DeepSeek models-llm
9 июл NVIDIA выпускает Nemotron-Labs-Audex-30B-A3B: единая MoE-модель для аудио и текста NVIDIA audio
16 июл DeepSeek V4 перешла из превью в общий доступ с тарификацией API по часам пиковой нагрузки DeepSeek models-llm
20 июл Alibaba представила превью Qwen3.8-Max — мультимодального флагмана с 2,4 трлн параметров Alibaba / Qwen models-llm
13 авг DeepSeek V4 Pro вышел из превью как V4-Pro-0813 с крупным приростом в бенчмарках по коду DeepSeek models-llm
6 сен Саудовская HUMAIN представила humain-m3 — арабскую фронттирную модель на 428B параметров, созданную MiniMax MiniMax models-llm
18 сен PrismML выпускает Bonsai 2 27B: тернарные веса с потерями, близкими к нулевым, относительно учителя PrismML models-llm
11 июн Kwai Keye-VL-2.0: открытая мультимодальная MoE-модель 30B с контекстом 256K для длинного видео Kwai research
14 июн Moonshot AI выпускает Kimi K2.7-Code: открытая модель с 1T параметрами для программирования и поддержкой зрения Moonshot AI models-llm
16 июл Ring-Zero: масштабирование Zero RL до триллиона параметров с возникающими паттернами рассуждения Ant Group research
28 июл SLAI T-Rex: полнопараметрический post-training семейства DeepSeek-V4 на Ascend SuperPOD SLAI research
29 июл Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE Moonshot AI research
5 авг SwanTale: унифицированная генерация многоголосой речи и аудио для instruct и zero-shot задач ByteDance research
1 сен DeepSeek открыла веса V4-Flash-Vision-Exp — первой мультимодальной модели линейки V4 — под MIT DeepSeek models-llm
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
8 июл Kimi K2.7 Code (1T параметров, 32B активных) расширяется на GitHub Copilot Business и Enterprise Moonshot AI tools
23 июл SLAI T-Rex: полнопараметрическое пост-обучение семейства DeepSeek-V4 на Ascend SuperPOD SLAI research
27 авг Zhipu выпускает GLM-5.3-Flash — первую нативно мультимодальную модель линейки GLM-5 Zhipu AI / Z.ai models-llm
27 авг Qwen3.8-Flash-Next выпущена как экспериментальный превью архитектуры Qwen4 Alibaba (Qwen Team) models-llm
1 сен Команда Qwen раскрыла архитектуру Qwen3.8-Next: гибридное внимание, n-gram эмбеддинги, Muon Qwen (Alibaba) research
6 сен Яндекс объединил VLM и LLM в единую омни-модель, на которой работает Alice AI Yandex models-llm
12 сен Ant Group открыла Ling-3.0-flash-Fin — свою первую модель с усилением под финансы Ant Group models-llm
18 сен DeepSeek-V4.1-Flash: пределы сжатия KV-кэша DeepSeek research
14 июн Zhipu AI выпускает GLM-5.2: MoE с 744B параметрами, контекстом 1M токенов и фокусом на программирование Zhipu AI models-llm
26 июн GLM-5.2: MoE-модель для программирования от Zhipu AI на 744B параметров под лицензией MIT вызывает опасения в сфере кибербезопасности Zhipu AI / Z.ai models-llm
3 авг Alibaba открывает широкий доступ к Qwen3.8-Max через API, запускает публичную бету QwenWork Alibaba / Qwen models-llm
17 авг Intern-S2-Mobius: фундаментальная модель с разделёнными знаниями и рассуждением Shanghai AI Lab research
2 сен SMELT: зацикленные MoE-трансформеры догоняют базовое масштабирование при равных вычислениях ByteDance Seed research
18 сен LLM с бесконечными параметрами: статья на arXiv предлагает генерацию весов из живых данных Independent researchers research
29 апр Сбер представил Kandinsky 6.0 Image — флагманскую модель генерации изображений Sber image
3 июл ELDR: маршрутизация с учётом локальности экспертов снижает задержку при обслуживании MoE-моделей на 14% Microsoft Research research
14 июл llama.cpp: поддержка Tencent Hunyuan 3, спекулятивное декодирование Minimax2 Eagle3 и SYCL Fused MoE tools
20 июл xHC: Expanded Hyper-Connections масштабируют параллелизм residual-потока за прежние пределы Shanghai Jiao Tong University / Xiaohongshu / USTC / Peking University / CUHK research
28 авг llama.cpp b10660 добавляет архитектуру Qwen3.8-Flash-Next (qwen4exp): hyper-connections, gated delta net, MoE, PLE n-gram embedding llama.cpp tools