Long-Horizon-Terminal-Bench: тестирование пределов агентов на длинных терминальных задачах
Tencent Hunyuan
Представлен бенчмарк из 46 задач для оценки AI-агентов на терминальных задачах, требующих сотен шагов и от минут до часов выполнения. В отличие от предыдущих бенчмарков с редкими бинарными наградами, используется плотное промежуточное оценивание для отслеживания частичного прогресса. Тестирование 15 frontier-моделей показало, что лучшая достигает лишь 15,2% pass rate, обнажая большой разрыв в способности агентов к устойчивому многошаговому поведению.
Почему это важно
Существующие бенчмарки агентов недооценивают реальную сложность, сосредотачиваясь на коротких задачах с бинарными сигналами успеха. Даже лучшие доступные модели терпят неудачу в 85% случаев на устойчивых терминальных задачах, задавая конкретное направление для исследований агентных возможностей.
Важность: 3/5
Новый бенчмарк агентов от Tencent Hunyuan, выявивший 85% процент неудач у лучших frontier-моделей на устойчивых терминальных задачах — плотное оценивание показывает, где именно ломаются текущие агенты