MinT: управляемая инфраструктура для обучения и обслуживания миллионов LLM
Mind Lab
MinT — производственная инфраструктурная система для управления миллионами вариантов LoRA-политик поверх общих базовых моделей размером до 1T+ параметров. Система масштабируется в трёх направлениях: вверх — до моделей фронтирного масштаба; вниз — через передачу только LoRA-адаптеров (<1% размера базовой модели); вширь — поддерживая параллельное обучение множества политик и cold-loading для каталогов масштаба миллиона моделей. Прирост эффективности: 18.3x на dense-моделях, 2.85x на MoE-моделях.
Почему это важно
По мере того как персонализация и доменная адаптация формируют спрос на миллионы fine-tuned вариантов моделей, MinT предоставляет конкретный системный план для эффективной работы в таком масштабе. 147 upvotes на HF Daily (14 мая).
Важность: 4/5
147 upvotes на HF Daily (+1 доп.); закрывает критический инфраструктурный пробел для обслуживания LoRA в масштабе миллиона моделей