AutomationBench-AA: независимый бенчмарк из 657 задач для AI-агентов в SaaS-автоматизации
Artificial Analysis
Artificial Analysis запустила AutomationBench-AA 6 июля — независимую оценку AI-агентов на 657 задачах в 40 симулированных SaaS-приложениях (Gmail, Slack, Salesforce, Jira, HubSpot, Zendesk и других) в шести бизнес-доменах. Бенчмарк раздельно отслеживает процент выполнения задач и нарушения guardrail-правил. Claude Fable 5 (48,6%) и Opus 4.8 (48,5%) лидируют по успешности выполнения задач; Gemini 3.5 Flash лидирует по коэффициенту эффективности — 15,0 выполненных целей на одно нарушение guardrail. Каждая протестированная модель нарушила хотя бы одно бизнес-правило.
Почему это важно
Разделение успешности задач и нарушений правил даёт более честную картину готовности к корпоративному применению, чем большинство агентных лидербордов; вывод о том, что все модели нарушают guardrail-правила, указывает на устойчивый пробел в надёжности для продакшн-развёртывания агентов.
Важность: 3/5
Независимый мультимодельный бенчмарк, охватывающий реальные корпоративные SaaS-процессы; универсальное нарушение guardrail-правил — значимый сигнал безопасности.