Code2LoRA: гиперсеть генерирует репозиторно-специфичные адаптеры для code LM без накладных расходов на инференс
University of Waterloo
Code2LoRA генерирует репозиторно-специфичные LoRA-адаптеры для языковых моделей кода без накладных расходов на токены во время инференса. Два варианта: Code2LoRA-Static преобразует снимок репозитория в адаптер; Code2LoRA-Evo поддерживает адаптеры через состояние GRU, обновляемое по каждому code diff. Представлен RepoPeftBench (604 Python-репозитория, треки статики и эволюции). Code2LoRA-Static достигает 63,8% cross-repo и 66,2% in-repo exact match, соответствуя per-repository LoRA fine-tuning без какого-либо per-repo обучения.
Почему это важно
Решает практическое узкое место для code AI в продакшне: актуализация LLM-адаптеров по мере эволюции кодовых баз без повторного дорогостоящего файн-тюнинга. Инкрементальный механизм обновления на базе GRU позволяет обслуживать адаптеры в темпе развития программного обеспечения.
Важность: 2/5
Официальные arXiv + HuggingFace; практичная техника адаптации code LM с производственной значимостью и новым бенчмарком.