UniClawBench: бенчмарк для проактивных AI-агентов на реальных задачах
University of Hong Kong
UniClawBench (arXiv 2607.08768) оценивает проактивных агентов по пяти измерениям возможностей — Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding и Cross-Platform Coordination — с 400 двуязычными задачами, выполняемыми внутри живых Docker-контейнеров. Замкнутая оценка использует несколько ролей агентов для имитации реалистичной обратной связи от людей без утечки критериев оценки тестируемой системе.
Почему это важно
Восполняет реальный пробел в оценке агентов, требуя от них проактивных действий в динамических средах, а не реакции на заранее заданные описания задач.
Важность: 2/5
Новый бенчмарк проактивных агентов с реалистичной методологией оценки; закрывает пробел, оставленный существующими статическими бенчмарками