Ollama v0.31.2: ядро small-batch matmul для MLX, llama.cpp сборка 9840, обновления CUDA

инструменты официальный 1 ист. ~1 мин

Ollama v0.31.2 вышла 7 июля после двух релиз-кандидатов 6 июля. Ключевые изменения: обновление MLX с новым ядром small-batch matmul, обеспечивающим ~90% прироста пропускной способности Gemma 4 на Apple Silicon; обновление llama.cpp до сборки 9840; улучшения совместимости CUDA и GPU; исправления обработки файлов в кодировке UTF-8; удалены записи неподдерживаемых устройств ROCm.

Почему это важно

Улучшение ядра matmul для MLX обеспечивает измеримое ускорение инференса для пользователей Apple Silicon, работающих с популярными моделями, — это крупнейший сегмент пользовательской базы Ollama.

Важность: 2/5

Значимый прирост пропускной способности MLX на Apple Silicon; плановый технический релиз.

ollama inference release local-llm mlx llama-cpp apple-silicon cuda

Источники

официальный Release v0.31.2 · ollama/ollama — GitHub