Рашка: фокус на post-training открытых весов, а не на pre-training

Sebastian Raschka утверждает: командам без бюджета frontier-масштаба больше пользы даёт post-training существующей open-weight-модели, чем попытка собственного pre-training, который на масштабе 500B+ параметров стоит сильно дороже даже нескольких миллионов долларов. Как кейс он приводит Ember-1 от Fireworks — дообученную с Kimi K3 для более коротких рассуждений и тратящую примерно на 40% меньше токенов при сопоставимом качестве в их оценках. Он отмечает, что эффективность по токенам можно натренировать, включив токен-бюджеты в reward-функцию, но предупреждает: Fireworks не раскрыла достаточно деталей рецепта, чтобы подтвердить метод.