Технический отчёт Kimi K3: подробности об архитектуре Kimi Delta Attention и Stable LatentMoE
Moonshot AI
Moonshot AI опубликовала на arXiv технический отчёт по Kimi K3, раскрывающий архитектуру модели MoE с 2,8T параметров (104B активных), веса которой были выложены в открытый доступ днём ранее: Kimi Delta Attention с Attention Residuals, Stable LatentMoE с маршрутизацией 16 из 896 экспертов, а также постобучение с RL по общим, агентным и кодинговым доменам на нескольких уровнях reasoning-усилия. В отчёте заявлено примерно 2,5-кратное повышение эффективности масштабирования по сравнению с Kimi K2.
Почему это важно
Статья заняла первое место по голосам дня на Hugging Face Daily Papers со 182 апвоутами и является техническим отчётом к вчерашнему релизу открытых весов Kimi K3, объясняя архитектурные решения, позволившие Moonshot заявить о крупнейшей на сегодня открытой модели.
Важность: 4/5
Технический отчёт к крупному релизу открытых весов; топ по голосам в HF Daily Papers (182 апвоута).