Appendix D QK-Clip 不会损害模型质量

本文为论文《Kimi K2：面向智能体能力的开源大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

QK-Clip 的设计遵循最小干预原则：它仅在必要时激活，并在训练稳定后停用。经验证据和分析一致表明，它对模型质量的影响可以忽略不计。

小规模消融实验

图 12：在小规模设置下，对 Muon 应用 QK-Clip（采用激进阈值 $\tau$ = 30）对损失的影响可忽略不计，表明它是一种约束注意力 logit 的安全且有效的方法。

我们训练两个小规模 MoE 模型（90 亿激活参数、30 亿总参数），一个使用原始 Muon，另一个使用低裁剪阈值（$\tau=30$）的 MuonClip。 如图 12 所示，应用 MuonClip 对损失曲线的影响可忽略不计，这表明即使激进的裁剪也不会损害 MuonClip 的收敛性或训练动态。这证明 MuonClip 是一种安全且有效的方法，能够在不降低模型性能的情况下限制注意力 logit。此外，在下游任务上的评估未显示出统计显著的性能下降。这些结果共同表明，MuonClip 是一种安全且有效的方法，能够在不损害模型质量的前提下约束注意力 logit。

自我停用

在 Kimi K2 中，QK-Clip 仅在短时间内处于活跃状态：

• •

前 70000 步：$12.7\%$ 的注意力头至少触发过一次 QK-Clip，将 $S_{\max}$ 限制在 $100$。

• •

70000 步之后：所有头在某个时刻都将其 $S_{\max}$ 降低到 $100$ 以下，从而使 QK-Clip 停用。

当 QK-Clip 处于活跃状态时，它按逐头（而非逐层）方式应用，以尽量减少对其他头的潜在过度正则化。 训练稳定后，QK-Clip 被停用，完全不再产生影响。