vLLM представляет предварительную поддержку промышленного масштаба для Kimi K3 от Moonshot AI перед релизом весов
vLLM / Moonshot AI
Проект vLLM опубликовал 22 июля 2026 года пост в блоге с предварительным анонсом поддержки промышленного масштаба для Kimi K3 — модели Moonshot AI на 2,8 трлн параметров с нативным зрением и окном контекста в 1 миллион токенов — в преддверии запланированного релиза весов 27 июля. Работа включает разделение размера физического блока состояния KDA и гранулярности сопоставления префиксов для более эффективного переиспользования кэша, а также оптимизации ядер, мультимодальности и оборудования (NVIDIA и AMD).
Почему это важно
Показывает, как инференс-движки соревнуются за готовность поддержки в день релиза крупной открытой модели, и представляет новые техники кэширования для вариантов внимания в стиле KDA.
Важность: 2/5
Заметное обновление инференс-движка перед крупным релизом модели с открытыми весами.