3 预训练

3 预训练

本文为论文《Qwen3：兼顾思考与非思考模式的开源模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们描述预训练数据的构建、预训练方法的细节，并呈现基础模型在标准基准测试上的评估结果。

3.1 预训练数据

与 Qwen2.5（Yang 等，2024b）相比，我们显著扩充了训练数据的规模与多样性。具体而言，我们收集的预训练 token 数量翻了一番——所覆盖的语言数量增至三倍。所有 Qwen3 模型均在包含 119 种语言及方言、总计 36 万亿 token 的大规模多样化数据集上训练。该数据集包含编程、STEM（科学、技术、工程与数学）、推理任务、书籍、多语言文本以及合成数据等多个领域的高质量内容。

为进一步扩充预训练数据语料，我们首先采用 Qwen2.5-VL 模型（Bai 等，2025）对大量类 PDF 文档进行文本识别。随后利用 Qwen2.5 模型（Yang 等，2024b）对识别出的文本进行精炼，以提升其质量。通过这一两步流程，我们能够获得额外的、总计达数万亿的高质量文本 token。

此外，我们采用 Qwen2.5（Yang 等，2024b）、Qwen2.5-Math（Yang 等，2024c）与 Qwen2.5-Coder（Hui 等，2024）模型，合成了数万亿、涵盖数十个领域、包含多种格式（包括教科书、问答、指令与代码片段）的文本 token。

最后，我们通过纳入额外的多语言数据并引入更多语言，进一步扩充了预训练语料。与 Qwen2.5 中使用的预训练数据相比，支持的语言数量从 29 种显著增加到 119 种，增强了模型的语言覆盖度与跨语言能力。

我们开发了一套多语言数据标注系统，旨在提升训练数据的质量与多样性。该系统已应用于我们的大规模预训练数据集，从教育价值、领域、学科与安全等多个维度对数超过 30 万亿的 token 进行了标注。这些细粒度标注支撑了更有效的数据过滤与组合。与以往在数据源或领域层面优化数据混合的研究（Xie 等，2023；Fan 等，2023；Liu 等，2024b）不同，我们的方法借助精细的数据标签，在小型代理模型上通过大量消融实验，在实例层面优化数据混合。

3.2 预训练阶段

Qwen3 模型通过三阶段流程进行预训练：

通用阶段（S1）：在第一个预训练阶段，所有 Qwen3 模型在超过 30 万亿 token 上以 4,096 token 的序列长度进行训练。在此阶段，模型已完成对语言能力与世界通用知识的充分预训练，训练数据覆盖 119 种语言及方言。

推理阶段（S2）：为进一步提升推理能力，我们优化了本阶段的预训练语料，提高了 STEM、编程、推理与合成数据的占比。模型以 4,096 token 的序列长度在约 5T 更高质量的 token 上进行了进一步预训练。我们同时在本阶段加速了学习率衰减。

长上下文阶段：在最后一个预训练阶段，我们收集高质量的长上下文语料以扩展 Qwen3 模型的上下文长度。所有模型在数百亿 token 上以 32,768 token 的序列长度进行预训练。长上下文语料包含 75% 长度介于 16,384 到 32,768 token 之间的文本，以及 25% 长度介于 4,096 到 16,384 之间的文本。遵循 Qwen2.5（Yang 等，2024b），我们使用 ABF 技术（Xiong 等，2023）将 RoPE 的基频从 10,000 提升到 1,000,000。同时，我们引入了 YARN（Peng 等，2023）与双块注意力（DCA，An 等，2024），以在推理时实现序列长度容量的四倍提升。

与 Qwen2.5（Yang 等，2024b）类似，我们基于上述三个预训练阶段开发了用于最优超参数（例如学习率调度器与批次大小）预测的缩放定律。通过大量实验，我们系统地研究了模型架构、训练数据、训练阶段与最优训练超参数之间的关系。最终，我们为每一个稠密或 MoE 模型设定了预测出的最优学习率与批次大小策略。

3.3 预训练评估

我们对 Qwen3 系列的基础语言模型进行了全面评估。基础模型的评估主要关注其在通用知识、推理、数学、科学知识、编程与多语言能力上的表现。用于预训练基础模型的评估数据集包含 15 个基准：

通用任务：MMLU（Hendrycks 等，2021a）（5-shot）、MMLU-Pro（Wang 等，2024）（5-shot，CoT）、MMLU-redux（Gema 等，2024）（5-shot）、BBH（Suzgun 等，2023）（3-shot，CoT）、SuperGPQA（Du 等，2025）（5-shot，CoT）。

数学与 STEM 任务：GPQA（Rein 等，2023）（5-shot，CoT）、GSM8K（Cobbe 等，2021）（4-shot，CoT）、MATH（Hendrycks 等，2021b）（4-shot，CoT）。

编程任务：EvalPlus（Liu 等，2023a）（0-shot）（HumanEval（Chen 等，2021）、MBPP（Austin 等，2021）、Humaneval+、MBPP+ 的平均值）（Liu 等，2023a）、MultiPL-E（Cassano 等，2023）（0-shot）（Python、C++、JAVA、PHP、TypeScript、C#、Bash、JavaScript）、MBPP-3shot（Austin 等，2021）、CRUXEval 的 CRUX-O（1-shot）（Gu 等，2024）。

多语言任务：MGSM（Shi 等，2023）（8-shot，CoT）、MMMLU（OpenAI，2024）（5-shot）、INCLUDE（Romanou 等，2024）（5-shot）。

作为基础模型的基线，我们将 Qwen3 系列基础模型与 Qwen2.5 基础模型（Yang 等，2024b）以及其他领先的开源基础模型进行比较，包括 DeepSeek-V3 Base（Liu 等，2024a）、Gemma-3（Team 等，2025）、Llama-3（Dubey 等，2024）以及 Llama-4（Meta-AI，2025）系列基础模型，比较维度为参数规模。所有模型均使用相同的评估流程与广泛使用的评估设置，以确保公平比较。

评估结果总结

基于整体评估结果，我们重点指出 Qwen3 基础模型的若干关键结论。

与先前开源的 SOTA 稠密及 MoE 基础模型（如 DeepSeek-V3 Base、Llama-4-Maverick Base 与 Qwen2.5-72B-Base）相比，Qwen3-235B-A22B-Base 以显著更少的总参数量或激活参数量在大多数任务上超越了这些模型。

对于 Qwen3 MoE 基础模型，我们的实验结果表明：（a）在使用相同预训练数据的情况下，Qwen3 MoE 基础模型仅凭 1/5 的激活参数即可达到与 Qwen3 稠密基础模型相近的性能。（b）得益于 Qwen3 MoE 架构的改进、训练 token 规模的扩大以及更先进的训练策略，Qwen3 MoE 基础模型能够以不到 1/2 的激活参数与更少的总参数量超越 Qwen2.5 MoE 基础模型。（c）即便仅使用 Qwen2.5 稠密基础模型 1/10 的激活参数，Qwen3 MoE 基础模型也能达到可媲美的性能，这为我们在推理与训练成本上带来了显著优势。

Qwen3 稠密基础模型的总体性能与参数规模更高的 Qwen2.5 基础模型相当。例如，Qwen3-1.7B/4B/8B/14B/32B-Base 分别达到了与 Qwen2.5-3B/7B/14B/32B/72B-Base 相当的性能。尤其在 STEM、编程与推理基准上，Qwen3 稠密基础模型的性能甚至超越了参数规模更高的 Qwen2.5 基础模型。

详细结果如下。

表 3：Qwen3-235B-A22B-Base 与其他具有代表性的强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

Qwen3-235B-A22B-Base

我们将 Qwen3-235B-A22B-Base 与我们此前同等规模的 MoE 模型 Qwen2.5-Plus-Base（Yang 等，2024b）以及其他领先的开源基础模型 Llama-4-Maverick（Meta-AI，2025）、Qwen2.5-72B-Base（Yang 等，2024b）、DeepSeek-V3 Base（Liu 等，2024a）进行比较。从表 3 的结果来看，Qwen3-235B-A22B-Base 在大多数受评估的基准上取得了最高的性能得分。我们进一步将 Qwen3-235B-A22B-Base 与其他基线分别进行比较以作详细分析。

与近期开源、参数量约为其两倍的模型 Llama-4-Maverick-Base 相比，Qwen3-235B-A22B-Base 在大多数基准上仍表现更优。

与先前最先进的开源模型 DeepSeek-V3-Base 相比，Qwen3-235B-A22B-Base 在 15 个评估基准中的 14 个上超越了 DeepSeek-V3-Base，而总参数量仅约为其 1/3、激活参数约为其 2/3，展现出我们模型强大的性价比。

与我们此前规模相近的 MoE 模型 Qwen2.5-Plus 相比，Qwen3-235B-A22B-Base 以更少的参数与激活参数显著超越它，这体现出 Qwen3 在预训练数据、训练策略与模型架构上的显著优势。

与我们此前的旗舰开源稠密模型 Qwen2.5-72B-Base 相比，Qwen3-235B-A22B-Base 在所有基准上均超越了后者，且使用的激活参数不到其 1/3。同时，得益于模型架构的优势，Qwen3-235B-A22B-Base 在每万亿 token 上的推理成本与训练成本都远低于 Qwen2.5-72B-Base。

表 4：Qwen3-32B-Base 与其他强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

表 5：Qwen3-14B-Base、Qwen3-30B-A3B-Base 与其他强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

表 6：Qwen3-8B-Base 与其他强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

表 7：Qwen3-4B-Base 与其他强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

表 8：Qwen3-1.7B-Base、Qwen3-0.6B-Base 与其他强开源基线模型的对比。最高分与次高分分别以加粗和下划线标出。

Qwen3-32B-Base

Qwen3-32B-Base 是 Qwen3 系列中我们最大的稠密模型。我们将其与规模相近的基线进行比较，包括 Gemma-3-27B（Team 等，2025）与 Qwen2.5-32B（Yang 等，2024b）。此外，我们引入两个强基线：近期开源的 MoE 模型 Llama-4-Scout，其参数量是 Qwen3-32B-Base 的三倍但激活参数仅为其一半；以及我们此前的旗舰开源稠密模型 Qwen2.5-72B-Base，其参数量超过 Qwen3-32B-Base 的两倍。结果如表 4 所示，支撑了三个关键结论：

与规模相近的模型相比，Qwen3-32B-Base 在大多数基准上超越了 Qwen2.5-32B-Base 与 Gemma-3-27B Base。值得注意的是，Qwen3-32B-Base 在 MMLU-Pro 上取得 65.54、在 SuperGPQA 上取得 39.78，显著优于其前代 Qwen2.5-32B-Base。此外，Qwen3-32B-Base 在编程基准上取得了远高于所有基线模型的分数。

出人意料地，我们发现 Qwen3-32B-Base 取得了与 Qwen2.5-72B-Base 相竞争的结果。尽管 Qwen3-32B-Base 的参数量不到 Qwen2.5-72B-Base 的一半，它在 15 个评估基准中的 10 个上超越了 Qwen2.5-72B-Base。在编程、数学与推理基准上，Qwen3-32B-Base 具有显著优势。

与 Llama-4-Scout-Base 相比，Qwen3-32B-Base 在所有 15 个基准上均显著超越它，而参数量仅为 Llama-4-Scout-Base 的三分之一，但激活参数为其两倍。

Qwen3-14B-Base 与 Qwen3-30B-A3B-Base

对 Qwen3-14B-Base 与 Qwen3-30B-A3B-Base 的评估与规模相近的基线进行比较，包括 Gemma-3-12B Base、Qwen2.5-14B Base。类似地，我们还引入两个强基线：（1）Qwen2.5-Turbo（Yang 等，2024b），其具有 42B 参数与 6B 激活参数。注意其激活参数是 Qwen3-30B-A3B-Base 的两倍。（2）Qwen2.5-32B-Base，其激活参数是 Qwen3-30B-A3B 的 11 倍，是 Qwen3-14B 的两倍以上。结果如表 5 所示，我们可以从中得出以下结论。

与规模相近的模型相比，Qwen3-14B-Base 在所有 15 个基准上均显著优于 Qwen2.5-14B-Base 与 Gemma-3-12B-Base。

同样地，Qwen3-14B-Base 以不到一半的参数，也取得了与 Qwen2.5-32B-Base 极具竞争力的结果。

凭借仅 1/5 的激活非嵌入参数，Qwen3-30B-A3B 在所有任务上均显著超越 Qwen2.5-14B-Base，并达到了与 Qwen3-14B-Base 及 Qwen2.5-32B-Base 相当的性能，这为我们在推理与训练成本上带来了显著优势。

Qwen3-8B / 4B / 1.7B / 0.6B-Base

对于端侧模型，我们采用规模相近的 Qwen2.5、Llama-3 与 Gemma-3 基础模型作为基线。结果可见表 6、表 7 与表 8。所有 Qwen3 8B / 4B / 1.7B / 0.6B-Base 模型在几乎所有基准上持续保持强劲性能。值得注意的是，Qwen3-8B / 4B / 1.7B-Base 模型甚至在超过半数的基准上优于规模更大的 Qwen2.5-14B / 7B / 3B Base 模型，尤其是在 STEM 相关与编程基准上，反映出 Qwen3 模型的显著提升。