附录 C 16B 基于辅助损失与无辅助损失模型的专家专门化模式

本文为论文《DeepSeek-V3：强大高效的开源混合专家大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

我们记录了 16B 基于辅助损失基线和无辅助损失模型在 Pile 测试集上的专家负载。无辅助损失模型在所有层上都倾向于具有更强的专家专门化，如图 11 所示。

(a) 第 1-7 层

(b) 第 7-13 层

(c) 第 13-19 层

(d) 第 19-25 层

(e) 第 25-27 层

图 11： 无辅助损失模型和基于辅助损失模型在 Pile 测试集上三个领域上的专家负载。 无辅助损失模型比基于辅助损失的模型展现出更强的专家专门化模式。