LongStraw: RL с длинным контекстом свыше 2М токенов при фиксированном GPU-бюджете
Mind Lab
LongStraw — фреймворк для исполнения RL-посттренинга на промптах и rollout'ах длиной в миллионы токенов при фиксированной памяти GPU. Он использует Group Relative Policy Optimization, пропускает отслеживание градиентов для общих префиксов промптов и последовательно воспроизводит ветви ответов, демонстрируя обработку 2,1М позиций токенов на GPU H20.
Почему это важно
Устраняет растущий разрыв между тем, насколько далеко модели уже умеют рассуждать/извлекать информацию во время инференса, и тем, насколько далеко реально могут обучать RL-пайплайны — это было практическим узким местом при масштабировании агентного RL на длинных горизонтах.
Важность: 2/5
Значимая исследовательская работа