Deep Search in Real-World Web Environments
Представляет задачу OpenDS и OpenDS-World — проверенный людьми бенчмарк из 200 задач, требующих от агентов искать, просматривать и согласовывать свидетельства из нескольких независимых источников в живом открытом вебе. Двенадцать фронтирных моделей в рамках одного протокола инструментов достигли максимума в 39,0% точности, тогда как попытки людей более чем за 1000 прогонов дали 21,1%; анализ ошибок указывает на оркестрацию инструментов и поведение остановки длинного поиска как основные режимы отказа.
Почему это важно
Со 147 голосами это оценка на живом вебе, а не на кэшированном корпусе, а фронтирный потолок ниже 40% — резкий противовес заявлениям deep research, измеренным на статичных снимках.
Важность: 4/5
147 голосов в Hugging Face Daily и фронтирный бенчмарк на живом вебе