xHC: Expanded Hyper-Connections масштабируют параллелизм residual-потока за прежние пределы

Shanghai Jiao Tong University / Xiaohongshu / USTC / Peking University / CUHK

исследования официальный 2 ист. ~1 мин

xHC расширяет Hyper-Connections за пределы N=4 параллельных residual-потоков, сочетая аугментацию обратной записи через каузальную свёртку с разреженными residual-обновлениями (активны только 4 из 16 потоков) при сохранении плотного доступа на чтение, устраняя кубическую стоимость и информационные узкие места, которые ранее блокировали масштабирование. На MoE-моделях 18B и 28B она улучшает показатели downstream-задач на 4,0 и 3,1 балла по сравнению с прежней mHC.

Важность: 2/5

Инкрементальное исследование по масштабированию архитектуры, развивающее прежнюю работу по Hyper-Connections, с измеримым, но скромным приростом на downstream-задачах.

architecture residual-stream moe scaling

Источники

официальный xHC on HF Daily Papers

официальный xHC arXiv preprint