Tencent открывает исходники Hy4 preview: 770B / 49B-active MoE с Gated DSA + iHC, контекст 1M, Apache 2.0
Tencent
Команда Hy компании Tencent 27–28 августа 2026 года открыла исходники Hy4 preview и его FP8-варианта на Hugging Face, ModelScope, GitCode и CNB. Это MoE на 770B-total / 49B-active (78 слоёв, 1 dense + 77 MoE с 256 routed + 1 shared expert, top-8 routed), с нативным слоем MTP (10B/0.7B-active) для спекулятивного декодирования, Gated DeepSeek Sparse Attention с IndexCache для повторного использования разреженных индексов между слоями и identity Hyper-Connections (iHC) на остаточном пути. Нативный контекст — 1M токенов, словарь 120 832, веса под Apache 2.0. Внутренняя слепая оценка Tencent (163 эксперта, 203 инженерные задачи) ставит Hy4 preview немного впереди GLM-5.3 (2.99 против 2.92; 46.8% побед / 12.8% ничьих / 40.4% поражений) и Kimi K3 (2.99 против 2.94; 51.2% побед / 7.9% ничьих / 40.9% поражений).
Почему это важно
Первый флагманский MoE от Tencent с Gated DSA + iHC + нативным спекулятивным слоем MTP на 770B/49B-active; лицензия Apache 2.0 делает его крупнейшим полностью открытым китайским frontier-MoE-релизом окна, и он попадает в тренды Hugging Face в тот же день.
Важность: 5/5
flagship release; official confirmation; 4 sources