vllm — AI Digest

13 июл vLLM v0.25.0: Model Runner V2 по умолчанию, PagedAttention выведен, паритет с Transformers backend tools
26 июн JetSpec: преодоление потолка масштабирования спекулятивного декодирования с помощью параллельного построения деревьев черновиков Hao AI Lab, UC San Diego research
28 авг vLLM v0.28.0: перф-улучшения Kimi-K3, полная поддержка sparse-MLA DeepSeek-V4, зрелость Model Runner V2 и многоуровневая выгрузка KV-кэша vLLM Project tools
10 мая vLLM v0.20.2: TurboQuant 2-bit KV Cache и FlashAttention 4 по умолчанию для MoE-инференса tools
18 мая vLLM v0.21.0: MLA-бэкенд для Blackwell, KV-выгрузка через HMA, speculative decoding для reasoning-моделей vLLM Project tools
2 июн vLLM v0.22.0: производственное укрепление DeepSeek V4, Rust-фронтенд, снижение задержки на 28,9% tools
9 июн vLLM Semantic Router v0.3 Themis: производственная маршрутизация с сохранением состояния и Session-Aware Agentic Routing tools
14 июн vLLM добавляет поддержку MiniMax M3 с открытыми весами в день выхода: разреженное внимание с контекстом 1M токенов MiniMax tools
17 июн vLLM v0.23.0: Model Runner V2 по умолчанию для Llama и Mistral, Transformers v5, многоуровневый KV-кэш tools
2 июл vLLM v0.24.0: Model Runner V2 по умолчанию, Rust-фронтенд, ускорение SM90 FP8 vLLM tools
11 авг vLLM v0.27.0 добавляет поддержку Kimi K3 и оптимизации для DeepSeek-V4 vLLM Project tools
29 апр vLLM v0.20.0 — третий релиз за две недели vLLM tools
2 июн BadHost (CVE-2026-48710): обход аутентификации через Host-заголовок в Starlette затрагивает vLLM, LiteLLM и MCP-серверы tools
6 мая vLLM v0.20.1: стабилизация DeepSeek V4 на CUDA 13 и PyTorch 2.11 tools
12 мая vLLM v0.21.0rc1: поддержка Python 3.14, CUDA 13.0 и Transformers v5 tools
13 мая vLLM v0.21.0rc1: поддержка PyTorch 2.11, HuggingFace Transformers v5 и Python 3.14 tools
23 июл vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов vLLM / Moonshot AI tools
27 авг TRL v1.11.0 переписывает trl vllm-serve (~в10 раз меньше кода) и выпускает AsyncDistillationTrainer Hugging Face tools
10 сен vLLM v0.29.0 делает Model Runner V2 дефолтной и добавляет prefix caching для Mamba vLLM tools