Ваш Transformer может держать две мысли одновременно: свидетельства линейной суперпозиции в LLM

исследования офиц. + СМИ 2 ист. ~1 мин

Предлагается гипотеза линейности суперпозиции: смешение двух текстовых потоков на входе даёт распределение на выходе, приблизительно равное смеси отдельных предсказаний каждого потока. Свойство ослабевает в ходе предобучения, но восстанавливается лёгким файнтюнингом; авторы демонстрируют двухпотоковое управляемое декодирование за один forward pass.

Почему это важно

Второй по числу голосов HF-документ за 25 сентября (55 голосов); проверяемое эмпирическое описание суперпозиции прямо в активациях, а не в SAE-признаках.

Важность: 3/5

Высокооценённый HF Daily документ с новым проверяемым тезисом интерпретируемости

interpretability mech-interp superposition transformers

Источники

официальный Your Transformer Can Hold Two Thoughts at Once (arXiv)

вторичный Hugging Face Daily Papers entry