Jet-Long: эффективное расширение контекстного окна с динамическим Bifocal RoPE
MIT / NVIDIA
Jet-Long — метод расширения контекстных окон LLM за пределы pretraining-ограничений без дополнительного обучения, использующий двойное окно RoPE: локальное, верное исходному RoPE, и дальнодействующее с масштабирующим фактором, адаптирующимся динамически к текущей длине последовательности. Достигает улучшения пропускной способности до 1,39× по сравнению с базовыми методами длинного контекста, сильных результатов на бенчмарках RULER и HELMET-RAG и обобщается на гибридные архитектуры attention без переобучения. Экстраполирует до 128K токенов.
Почему это важно
Расширение длинного контекста обычно ведёт к компромиссу между пропускной способностью и точностью на коротком контексте. Динамический bifocal-подход Jet-Long избегает обоих недостатков без fine-tuning, что делает его немедленно применимым поверх существующих моделей для задач RAG и работы с документами.
Важность: 2/5
Метод расширения контекста до 128K без дополнительного обучения от MIT/NVIDIA с улучшением пропускной способности на 1,39× без регрессии на коротком контексте