SWE-Together: многоходовой бенчмарк для оценки агентов программирования
Togetherbench выпустила SWE-Together (arXiv:2606.29957) — бенчмарк из 109 задач, воспроизводящий реальные пользовательско-агентные сессии программирования с помощью реактивного симулятора пользователя, оценивая агентов по корректности и числу необходимых пользовательских корректировок. Оценка Claude Code, Codex, OpenCode и mini-swe-agent показала, что Claude Opus 4.8 достигает лучшего pass@1 с наименьшим числом корректирующих вмешательств. Датасет и код оценки открыты на github.com/Togetherbench/SWE-Together.
Почему это важно
Стандартные однопромптовые бенчмарки программирования упускают многоходовую динамику реальных агентных рабочих процессов; SWE-Together оценивает как итоговую корректность, так и качество промежуточного поведения агента при управлении.
Важность: 2/5
Устраняет реальный пробел в методологии оценки агентов программирования; открытый бенчмарк, охватывающий основных агентов программирования.