vLLM 0.32.0 расширяет низкоточный KV-кэш и отказывается от Python 3.10
vLLM
vLLM 0.32.0 (18 октября 2026 года, 814 коммитов от 363 контрибьюторов) добавляет конечную точку POST /v1/systemone для структурированных запросов choice и score, распространяет NVFP4 KV-кэш на GPU SM8x, SM90, SM12x и SM100 с FP8 KV-кэшем по умолчанию для GLM-5.x на SM100 и делает Model Runner V2 вариантом по умолчанию на ROCm. Ломающие изменения отказываются от Python 3.10, ограничивают стандартные источники CORS и удаляют cascade attention.
Почему это важно
Низкоточный KV-кэш на старых поколениях GPU снижает затраты памяти для самостоятельного обслуживания без нового железа.
Важность: 2/5
заметное обновление (минорная версия с реальными изменениями)
Источники
официальный
Release v0.32.0 - vllm-project/vllm