←

vLLM 0.32.0 расширяет низкоточный KV-кэш и отказывается от Python 3.10

vLLM

инструменты официальный 1 ист. ~1 мин

vLLM 0.32.0 (18 октября 2026 года, 814 коммитов от 363 контрибьюторов) добавляет конечную точку POST /v1/systemone для структурированных запросов choice и score, распространяет NVFP4 KV-кэш на GPU SM8x, SM90, SM12x и SM100 с FP8 KV-кэшем по умолчанию для GLM-5.x на SM100 и делает Model Runner V2 вариантом по умолчанию на ROCm. Ломающие изменения отказываются от Python 3.10, ограничивают стандартные источники CORS и удаляют cascade attention.

Почему это важно

Низкоточный KV-кэш на старых поколениях GPU снижает затраты памяти для самостоятельного обслуживания без нового железа.

Важность: 2/5

заметное обновление (минорная версия с реальными изменениями)

Источники

официальный Release v0.32.0 - vllm-project/vllm