Molt: масштабируемый PyTorch-native фреймворк для обучения агентного reinforcement learning

NVIDIA открывает исходный код Molt — асинхронной RL-системы обучения на базе PyTorch, спроектированной так, чтобы оставаться достаточно компактной и понятной для одного исследователя, при этом сохраняя пропускную способность на уровне стеков на основе Megatron. Система поддерживает мультимодальные политики и политики на основе mixture-of-experts, а также обеспечивает on-policy обучение, никогда не обучаясь на токене, который текущая политика не сгенерировала. Используется Ray для размещения/асинхронных очередей, vLLM для rollout и NVIDIA AutoModel + FSDP2 для обучения.