←

Модуль ядра gpu-unlock удваивает скорость выдачи FP/BF16 на картах RTX 3000

инструменты официальный 2 ист. ~1 мин

Linux-модуль ядра под GPL-2.0-only, загружаемый до того, как драйвер NVIDIA привяжет карту, записывает селекторы скорости SS0/SS1 и выполняет сброс FLR для восстановления полной скорости выдачи FP/BF16 FMA на GeForce-картах GA102, GA103, GA104 и GA106; он включается опционально через аргумент ядра gpu_unlock.targets= и не требует патча под каждый драйвер. Отчёты на 3090 Ti при 450 Вт показывают рост BF16 плотного GEMM 8192³ с 87,5 до 157,4 TFLOPS и TF32 с 42,6 до 82,6, при этом матрично-тяжёлый prefill и FlashAttention улучшаются, а decode и INT8 остаются примерно на прежнем уровне. Репозиторий набрал около 3000 звёзд с момента создания 18 октября и 24 октября попал на главную Hacker News.

Почему это важно

Дешёвая пропускная способность prefill на потребительских картах 30-й серии ценой хака прошивки при загрузке.

Важность: 2/5

Инструмент сообщества с измеренной пропускной способностью BF16 в 1,8 раза, а не релиз вендора.

Источники

официальный Zagitta/gpu-unlock