Нативные TPU-движки PyTorch выходят для vLLM и SGLang
20 октября 2026 года Google, RadixArk и Meta выпустили нативные TPU-бэкенды PyTorch для SGLang (включается через SGLANG_PLATFORM=tpu_oot) и vLLM через TorchTPU, с ядрами Pallas paged-attention и MoE и передачей KV через TPU Sync. Meta сообщает, что SGLang-TorchTPU работает в production, а запуск GRPO на Qwen3-4B на четырёх чипах TPU v7x сравнялся с конфигурацией на шести H200.
Почему это важно
TPU становятся полноценной целью обслуживания для двух доминирующих открытых стеков инференса, ломая предположение NVIDIA по умолчанию.
Важность: 3/5
заметный инфраструктурный релиз, приносящий TPU в оба крупных открытых стека инференса
Источники
официальный
Hugging Face blog: TorchTPU, TPUs Natively