ByteDance EdgeBench: скорость обучения агентов удваивается каждые три месяца
ByteDance
ByteDance Seed опубликовала EdgeBench (arXiv 2607.05155) — бенчмарк из 134 реальных задач, каждая из которых требует не менее 12 часов непрерывной работы агента в области научных открытий, разработки ПО и формальной математики. Анализ ~38 000 часов взаимодействия агентов показывает, что производительность в ходе изучения среды следует лог-сигмоидному закону масштабирования (R²=0,998), при этом скорость обучения агентов примерно удваивается каждые три месяца в разрезе поколений моделей. 51 задача и полный фреймворк оценки открыты в открытый доступ.
Почему это важно
Устанавливает первый задокументированный постдеплойментный закон масштабирования для AI-агентов, предполагая, что рост возможностей агентов из реального взаимодействия столь же предсказуем, как масштабирование предобучения.
Важность: 3/5
Первый эмпирический закон масштабирования для скорости обучения агентов; открытый бенчмарк с сильным статистическим обоснованием