Низкобитные n-граммные эмбеддинги для языковых моделей

исследования официальный 1 ист. ~1 мин

В статье квантуются n-граммные таблицы эмбеддингов в стиле Engram, которые теперь используют модели с открытыми весами; отмечается, что DeepSeek-V4.1-Flash тратит 196B параметров на свою память Engram. На моделях семейств nanochat, Llama и GPT-2, обученных с нуля, четырёхбитные таблицы сокращают примерно 75% памяти таблиц, сохраняя более 99% выигрыша по validation-loss, а реинвестирование сэкономленной памяти в таблицы большего размера превосходит исходные полнопрецизионные таблицы.

Почему это важно

Превращает фронтирную таблицу памяти на 196B параметров в примерно 50B без потери качества.

Важность: 3/5

Напрямую применимый рецепт для компонента, доминирующего по числу параметров в текущих MoE-моделях.

efficiency quantization moe architecture paper

Источники

официальный Low-Bit N-Gram Embeddings for Language Models — arXiv