←

Нативные TPU-движки PyTorch выходят для vLLM и SGLang

Google

инструменты официальный 3 ист. ~1 мин

20 октября 2026 года Google, RadixArk и Meta выпустили нативные TPU-бэкенды PyTorch для SGLang (включается через SGLANG_PLATFORM=tpu_oot) и vLLM через TorchTPU, с ядрами Pallas paged-attention и MoE и передачей KV через TPU Sync. Meta сообщает, что SGLang-TorchTPU работает в production, а запуск GRPO на Qwen3-4B на четырёх чипах TPU v7x сравнялся с конфигурацией на шести H200.

Почему это важно

TPU становятся полноценной целью обслуживания для двух доминирующих открытых стеков инференса, ломая предположение NVIDIA по умолчанию.

Важность: 3/5

заметный инфраструктурный релиз, приносящий TPU в оба крупных открытых стека инференса

Источники