你的 Transformer 能同时装下两个想法：LLM 中线性叠加的实证证据

作者：Pavel Tikhonov、Anton Korznikov、Matvey Mikhalchuk、Nikita Dragunov、Temurbek Rahmatullaev 等 发布：2026-09-24

一句话总结

这项机制可解释性研究给出了实证证据：Transformer 的隐藏状态可以通过线性叠加同时编码多个不同的语义概念。

什么是线性叠加

神经网络的隐藏层维度有限，但要表达的概念远多于维度。线性叠加指的是：多个语义特征以不同系数的形式叠加在同一个方向上共享表示，而不是各自占用独立维度。

类比：同一根琴弦可以同时被拨动出基音和泛音，听起来是两个音，但物理上只有一根弦在振动。

论文发现

论文为"Transformer 隐藏状态能同时编码多个不同语义概念"提供了实证支持，揭示了 LLM 在单次前向传播中如何表示与管理相互竞争或共现的概念。

为什么重要

• 解释了为什么模型能在有限参数下表达海量概念
• 为"特征叠加导致的概念干扰"（interference）提供了机制解释
• 对可解释性、特征编辑、模型压缩都有直接指导意义
• 展示了内部激活的几何结构——这是"读懂"模型的关键一步

论文：Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs