speculative-decoding — AI Digest

26 июн JetSpec: преодоление потолка масштабирования спекулятивного декодирования с помощью параллельного построения деревьев черновиков Hao AI Lab, UC San Diego research
29 июн DeepSeek открыл исходный код DSpark: ускорение инференса V4 на 57–85% в продакшне DeepSeek tools
29 июн JetSpec: параллельная генерация деревьев черновиков даёт ускорение speculative decoding в 9,64× Hao AI Lab, UCSD research
6 мая SGLang v0.5.11: Speculative Decoding V2 по умолчанию и поддержка восьми новых архитектур tools
16 мая Orthrus: 7,8-кратное ускорение инференса для Qwen3 за счёт совместного использования KV-кеша AR и диффузии research
18 мая vLLM v0.21.0: MLA-бэкенд для Blackwell, KV-выгрузка через HMA, speculative decoding для reasoning-моделей vLLM Project tools
2 июл BlockPilot: адаптивный размер блока для диффузионного спекулятивного декодирования research
6 мая Ollama v0.23.1: MTP-спекулятивное декодирование Gemma 4 даёт ускорение в 2× на Apple Silicon tools
17 июн llama.cpp, сборки от 16 июня: спекулятивное декодирование Eagle3, память Vulkan UMA, исправления NVFP4 tools
29 июн llama.cpp b9830–b9837: DFlash v2, парсер MiniCPM5, флаг --reasoning-preserve ggml-org tools
14 июл llama.cpp: поддержка Tencent Hunyuan 3, спекулятивное декодирование Minimax2 Eagle3 и SYCL Fused MoE tools