Масштабируемое визуальное предобучение для языкового интеллекта
В статье утверждается, что стандартное text-only предобучение LLM отбрасывает визуальную информацию, заложенную в разметке документов, математическом наборе и рисунках. Представлено систематическое исследование методов неконтролируемого визуального предобучения, обрабатывающих визуальные документы напрямую вместо конвертации в простой текст. Показано, что визуальное предобучение на тех же исходных корпусах устойчиво превосходит text-only предобучение на бенчмарках языкового интеллекта.
Почему это важно
Если это подтвердится в масштабе, результат переосмыслит оптимальный рецепт предобучения LLM: даже для задач, ориентированных только на текст, обучение на визуальном представлении текстовых документов может быть принципиально лучше, чем приведение их к простому тексту.
Важность: 2/5
Исследовательская статья, утверждающая, что визуальное предобучение на документах устойчиво превосходит text-only предобучение в языковых задачах — ставит под сомнение стандартные допущения пайплайна данных LLM