Recursive Synthetic Terminal Tasks генерирует более 37 000 проверяемых долгосрочных агентных задач
Представляет Recursive Synthetic Terminal Tasks (RST) — рекурсивный фреймворк проверяемого синтеза, автоматически генерирующий более 37 000 проверяемых долгосрочных задач для терминальных агентов, сохраняя согласованность инструкций, окружений, решений и верификаторов при стоимости примерно $0,05 за задачу. Сложность задач нарастает от раунда к раунду: медианная длина эталонного решения растёт с 67 до 374 строк, а pass@4 модели DeepSeek-V4-Pro падает с 90% до 2,5% за 15 раундов.
Почему это важно
Опубликовано с высоким числом отметок «нравится» в HuggingFace Daily Papers; предлагает масштабируемый и дешёвый способ генерации сложных данных для обучения/оценки агентов по мере насыщения бенчмарков для терминальных агентов.
Важность: 3/5
Применён бонус за высокое число отметок «нравится» в HF Daily Papers.