Модели генерации видео как универсальные инструменты компьютерного зрения
Google DeepMind
GenCeption — feed-forward модель восприятия, построенная на предобученном backbone видеодиффузии. В статье показано, что text-to-video генеративная модель уже кодирует пространственно-временные priors, достаточные для разнообразных задач dense vision — оценки глубины, предсказания нормалей поверхности, сегментации и детекции 3D-ключевых точек, — требуя при этом в 7–500 раз меньше task-specific обучающих данных, чем сопоставимые специализированные системы.
Почему это важно
Ставит под сомнение предположение о том, что генеративные и дискриминативные возможности зрения требуют отдельных архитектур — если модели генерации видео переносятся столь широко, это может изменить подход к построению общего визуального интеллекта на основе меньшего числа более мощных генеративных backbone.
Важность: 3/5
Заметная исследовательская статья DeepMind, показывающая, что backbone видеодиффузии переносятся на задачи dense vision при 7–500-кратном улучшении эффективности по данным — значимое архитектурное утверждение от ведущей лаборатории