FDE-Gym: бенчмарк агентов на задачах forward-deployed-инженерии

Агентный бенчмарк из 95 end-to-end задач доставки из 20 реальных клиентских сценариев в 18 секторах, где агенты должны уточнять неоднозначные требования у скриптованных стейкхолдеров и модифицировать продакшен-подобные системы, с оценкой по улучшению собственной метрики клиента. Из 13 конфигураций моделей от семи провайдеров лучшая достигла среднего скора 0,56 и полностью решила лишь 14 из 95 задач; главное бутылочное горлышко — обнаружение незаявленных ограничений.