llama.cpp: поддержка Tencent Hunyuan 3, спекулятивное декодирование Minimax2 Eagle3 и SYCL Fused MoE

инструменты официальный 1 ист. ~1 мин

Кластер сборок, выпущенных 13–14 июля, расширяет поддержку моделей и производительность бэкендов в llama.cpp. Сборка b9993 добавляет Tencent Hunyuan 3 — архитектуру MoE с Q/K RMSNorm на уровне каждой головы; b9990 добавляет поддержку спекулятивного декодирования Minimax2 Eagle3; b9985 поставляет слитые ядра top-k MoE для бэкенда SYCL (актуально для пользователей GPU Intel); b9986 исправляет утечку reasoning в шаблонах чатов с принудительно открытыми bare-шаблонами; b9994 (14 июля) добавляет поддержку квантизации Metal Q2_0.

Почему это важно

Появление Hunyuan 3 в llama.cpp означает, что последняя MoE-модель Tencent теперь доступна для локального запуска, расширяя экосистему локального инференса за пределы семейства DeepSeek/Qwen.

Важность: 2/5

Кластер сборок с поддержкой новой архитектуры модели (Hunyuan 3), спекулятивного декодирования и улучшений ядер бэкенда

llama-cpp inference local-ai open-source moe speculative-decoding release

Источники

официальный ggml-org/llama.cpp GitHub Releases — builds b9985–b9994