VideoChat3: полностью открытая видео-MLLM для эффективного и универсального понимания видео
MCG-NJU
Полностью открытая (веса, данные и рецепт обучения) видео-мультимодальная LLM на 4 млрд параметров, использующая надутый (Inflated) 3D Vision Transformer с адаптивным разрешением кадров в паре с масштабируемым конвейером синтеза видеоданных, производящим общие, длинные и потоковые видеодатасеты. Заявляется превосходство над предыдущими open-source моделями с равным или большим числом параметров по нескольким видеобенчмаркам.
Почему это важно
24 голоса на Hugging Face Daily Papers; примечательна полной открытостью (данные и рецепт, а не только веса) при небольшом числе параметров, превосходящих более крупные открытые модели.
Важность: 3/5
HF Daily Paper (24 голоса); полностью открытая небольшая видео-MLLM, превосходящая более крупные открытые модели.