2 架构

本文为论文《Qwen3：兼顾思考与非思考模式的开源模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

Qwen3 系列包含 6 个稠密模型，即 Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B 与 Qwen3-32B，以及 2 个 MoE 模型，即 Qwen3-30B-A3B 与 Qwen3-235B-A22B。旗舰模型 Qwen3-235B-A22B 总参数量为 235B，激活参数为 22B。下面我们详细阐述 Qwen3 模型的架构。

Qwen3 稠密模型的架构与 Qwen2.5（Yang 等，2024b）相似，包括使用分组查询注意力（GQA，Ainslie 等，2023）、SwiGLU（Dauphin 等，2017）、旋转位置嵌入（RoPE，Su 等，2024），以及带预归一化的 RMSNorm（Jiang 等，2023）。此外，我们移除了 Qwen2（Yang 等，2024a）中使用的 QKV-bias，并在注意力机制中引入了 QK-Norm（Dehghani 等，2023）以确保 Qwen3 的稳定训练。模型架构的关键信息在表 1 中给出。

Qwen3 MoE 模型与 Qwen3 稠密模型共享相同的基础架构。模型架构的关键信息在表 2 中给出。我们遵循 Qwen2.5-MoE（Yang 等，2024b）并实现了细粒度专家分割（Dai 等，2024）。Qwen3 MoE 模型共有 128 个专家，每个 token 激活 8 个专家。与 Qwen2.5-MoE 不同，Qwen3-MoE 的设计不包含共享专家。此外，我们采用了全局批次负载均衡损失（Qiu 等，2025）以鼓励专家专门化。这些架构与训练上的创新为模型在下游任务上的性能带来了显著提升。

Qwen3 模型使用了 Qwen 的分词器（Bai 等，2023），该分词器实现了字节级字节对编码（BBPE，Brown 等，2020；Wang 等，2020；Sennrich 等，2016），词表大小为 151,669。

表 1：Qwen3 稠密模型的模型架构。

表 2：Qwen3 MoE 模型的模型架构。