llama.cpp b9967–b9969: ускорение на GPU Adreno и null-сэмплинг, совместимый с OpenAI
12 июля вышли три сборки llama.cpp: b9968 добавляет OpenCL int8 dp4 dense-matmul и MoE prefill-ядра для GPU Qualcomm Adreno, повышая пропускную способность инференса на устройствах Android и Windows ARM на базе Snapdragon; b9969 исправляет путь Vulkan, который на Adreno направлял большие matmul-операции в неправильный размер тайла, вызывая сбои при длинных промптах на квантованных моделях; b9967 разрешает null-значения в параметрах сэмплинга, чтобы клиенты могли явно запрашивать серверные defaults, приводя поведение в соответствие со спецификацией сэмплинга OpenAI.
Почему это важно
Adreno — доминирующий GPU в SoC Snapdragon, на котором работает большинство флагманских Android-смартфонов и Copilot+ PC, поэтому эти исправления существенно расширяют возможности on-device инференса LLM.
Важность: 2/5
Улучшение on-device инференса для доминирующего GPU-семейства Android/Snapdragon