#attention
- Систематический анализ гибридного линейного внимания: исследование 72 моделей ByteDance Seed research
- Маска — не модель: аудит prefix-инвариантности в attention, state-space и гибридных sequence-моделях research
- MiniMax Sparse Attention: сокращение вычислений в 28 раз при контексте 1M токенов без потери качества MiniMax research
- FlashMorph: управляемое данными размещение слоёв гибридного внимания через обучаемые гейты ByteDance Seed research
- Language Models Can Control Their Own Attention research