UrbanGround: от локального восприятия к пространственной агентуре в городе реального масштаба

Песочница, построенная на 3D-геопространственных данных Гонконга, поддерживающая навигацию от первого лица для оценки MLLM-агентов. Три исследовательских вопроса исследуют привязку к сцене, навигацию на длинные дистанции и устойчивость к изменениям среды. MLLM-агенты хорошо справляются с базовым визуальным распознаванием, но испытывают трудности с ориентацией, учётом пешеходов и устойчивым целенаправленным поведением при длительном исследовании.