AURORA-LM: автокодирующее унифицированное представление для языкового моделирования на непрерывной латентной диффузии
Nanjing University
Предлагает языковую модель на основе непрерывной латентной диффузии, которая сохраняет ёмкое, декодируемое текстовое представление вместо схлопывания в дискретные токены, используя энкодер-декодер на основе запросов плюс блочно-каузальный диффузионный трансформер, обученный с помощью flow matching.
Почему это важно
74 голоса на HuggingFace Daily Papers; часть растущей волны диффузионных (не авторегрессивных) архитектур LLM, конкурирующих со стандартным декодированием трансформеров.
Важность: 3/5
Представляет новую архитектуру LLM на основе непрерывной латентной диффузии — заметное направление за пределами стандартного авторегрессивного декодирования.
Источники
официальный
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
официальный
Paper page - AURORA-LM