←

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

Tencent WeChat Vision

исследования офиц. + СМИ 3 ист. ~1 мин

Модель vision-language, объединяющая восприятие на уровне объектов и на уровне пикселей через структурированное предсказание следующего токена: она выдаёт точки, боксы, маски или alpha mattes с заданной пользователем гранулярностью через лёгкий пиксельный декодер. Трёхступенчатый учебный план из supervised fine-tuning и последующего смешанного reinforcement learning даёт ведущие результаты более чем на 30 бенчмарках с надёжным отказом при отсутствии объектов; Tencent опубликовала веса 2B и 4B под Apache 2.0.

Почему это важно

Она возглавляет чарт Hugging Face Daily с 214 голосами и сводит детекцию, OCR, сегментацию и матирование в одну модель — направление, к которому сходятся большинство открытых мультимодальных стеков.

Важность: 4/5

214 голосов в Hugging Face Daily и релиз открытых весов

Источники

официальный tencent/WeVisOne-VL-2B - Hugging Face