ClawProBench: trace-aware оценка AI-агентов с покрытием в рантайме

исследования официальный 3 ист. ~1 мин

ClawProBench — trace-aware бенчмарк для AI-агентов со stateful-рантаймом, инстанцированный на OpenClaw. Сочетает полный профиль из 102 сценариев с замороженным холдаутом из 68 и использует safety-gated формулу скоринга, выведенную из трейсов исполнения; оценено 68 конфигураций на полном профиле и 37 на холдауте.

Почему это важно

HF Daily Papers 25 авг. с 822 голосами — один из самых залайканных релизов бенчмарков в окне. Подчёркивает, что ранжирования только по корректности расходятся с ранжированиями по процессу (Spearman 0.13 full против holdout), аргументируя в пользу оценки агентов на уровне трейсов.

Важность: 4/5

HF Daily 822 голоса

benchmark agents evaluation paper

Источники

официальный ClawProBench (arXiv 2608.22510)

официальный HF Daily Papers: ClawProBench

официальный ClawProBench reference harness