PrismML выпустила Bonsai 27B: первую модель класса 27B, работающую на iPhone
PrismML
PrismML 14 июля анонсировала Bonsai 27B — сильно квантованный вариант Qwen3.6 27B, рассчитанный на работу на потребительском «железе», включая iPhone 17 Pro. Тернарный вариант: 5,9 ГБ, сохранение 95% показателей бенчмарков, до 134 ток/с на RTX 5090 / 58 ток/с на M5 Max. 1-битный вариант: 3,9 ГБ, сохранение 90% показателей, 163 ток/с на RTX 5090. Модель мультимодальна, поддерживает вызов инструментов и агентные сценарии, работает нативно через MLX на Apple Silicon и CUDA на NVIDIA. Веса опубликованы под Apache 2.0 на HuggingFace.
Почему это важно
Размещение модели класса 27B с вызовом инструментов и рассуждением в 3,9 ГБ меняет экономику локального инференса для мобильных и edge-развёртываний. Разработчики теперь могут запускать базовую модель уровня флагмана без обращений в облако и без затрат за вызов.
Важность: 3/5
Первая модель класса 27B, помещающаяся на iPhone; вызов инструментов и агентные сценарии on-device; Apache 2.0; подтверждено официальным prismml.com + 9to5Mac