1 引言

1 引言

本文为论文《Qwen3：兼顾思考与非思考模式的开源模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

追求通用人工智能（AGI）或超级人工智能（ASI）长久以来都是人类的目标。近期大型基础模型的发展，例如 GPT-4o（OpenAI，2024）、Claude 3.7（Anthropic，2025）、Gemini 2.5（DeepMind，2025）、DeepSeek-V3（Liu 等，2024a）、Llama-4（Meta-AI，2025）以及 Qwen2.5（Yang 等，2024b），已在这一目标上展现出显著进展。这些模型在跨越众多领域与任务、包含数万亿 token 的海量数据集上训练，将人类的知识与能力有效地蒸馏进了它们的参数之中。此外，近期基于强化学习优化的推理模型的发展，凸显了基础模型增强推理时扩展（inference-time scaling）能力并达到更高智能水平的潜力，例如 o3（OpenAI，2025）、DeepSeek-R1（Guo 等，2025）。尽管大多数最先进模型仍然是专有的，开源社区的快速成长已大幅缩小了开放权重模型与闭源模型之间的性能差距。值得注意的是，越来越多的一流模型（Meta-AI，2025；Liu 等，2024a；Guo 等，2025；Yang 等，2024b）正以开源形式发布，推动了人工智能领域更广泛的研究与创新。

在本工作中，我们介绍 Qwen3，即我们基础模型系列 Qwen 的最新系列。Qwen3 是一系列开放权重的大型语言模型（LLMs），在广泛的任务与领域上取得了最先进的性能。我们发布了稠密模型与混合专家（MoE）模型，参数量从 0.6B 到 235B 不等，以满足不同下游应用的需求。值得一提的是，旗舰模型 Qwen3-235B-A22B 是一个 MoE 模型，总参数量为 235B，每个 token 激活 22B 参数。这一设计兼顾了高性能与高效推理。

Qwen3 引入了若干关键改进以增强其功能性与易用性。首先，它将两种截然不同的运行模式——思考模式与非思考模式——整合进单一模型中。这使得用户无需在不同模型之间切换即可在这两种模式间转换，例如从 Qwen2.5 切换到 QwQ（Qwen Team，2024）。这种灵活性确保开发者与用户能够高效地使模型行为适应特定任务。此外，Qwen3 引入了思考预算（thinking budget），让用户可以精细地控制模型在执行任务时所施加的推理努力程度。这一能力对于计算资源与性能的优化至关重要，使模型的思考行为能够适配现实应用中多变的复杂度。再者，Qwen3 在覆盖多达 119 种语言及方言、共计 36 万亿 token 的数据上进行了预训练，有效增强了其多语言能力。这种更为广泛的语言支持扩大了其在全球用例与国际应用中的部署潜力。这些进步共同使 Qwen3 成为一个前沿的开源大型语言模型家族，能够有效应对跨领域、跨语言的复杂任务。

Qwen3 的预训练过程使用了由约 36 万亿 token 组成的大规模数据集，并经过精心筛选以确保语言与领域的多样性。为高效地扩充训练数据，我们采用了多模态方法：对 Qwen2.5-VL（Bai 等，2025）进行微调以从大量 PDF 文档中抽取文本；我们还使用领域专用模型生成合成数据：使用 Qwen2.5-Math（Yang 等，2024c）生成数学内容，使用 Qwen2.5-Coder（Hui 等，2024）生成代码相关数据。预训练过程遵循三阶段策略。在第一阶段，模型在约 30 万亿 token 上训练，以构建通用知识的坚实基础。在第二阶段，模型进一步在知识密集型数据上训练，以增强科学、技术、工程与数学（STEM）及编程等领域的推理能力。最后，在第三阶段，模型在长上下文数据上训练，将其最大上下文长度从 4,096 提升到 32,768 token。

为使基础模型更好地对齐人类偏好与下游应用，我们采用了多阶段后训练方法，以同时赋能思考（推理）与非思考两种模式。在前两个阶段，我们专注于通过长链思维（CoT）冷启动微调以及聚焦于数学与代码任务的强化学习来发展强大的推理能力。在最后两个阶段，我们将带推理路径与不带推理路径的数据合并为一个统一数据集进行进一步微调，使模型能够有效处理这两类输入；随后我们应用通用领域强化学习，以在广泛的下游任务上提升性能。对于较小的模型，我们采用强到弱蒸馏（strong-to-weak distillation），利用来自更大模型的离策略（off-policy）与在策略（on-policy）知识迁移来增强其能力。来自先进教师模型的蒸馏在性能与训练效率上均显著优于强化学习。

我们在涵盖多个任务与领域的全面基准测试集上，对模型的预训练版本与后训练版本进行了评估。实验结果表明，我们的基础预训练模型取得了最先进的性能。后训练模型无论是在思考模式还是非思考模式下，都与领先的专有模型以及大型混合专家（MoE）模型（如 o1、o3-mini 与 DeepSeek-V3）具有竞争力。值得注意的是，我们的模型在编程、数学与智能体相关任务上表现尤为出色。例如，旗舰模型 Qwen3-235B-A22B 在 AIME’24 上取得 85.7、在 AIME’25（AIME，2025）上取得 81.5，在 LiveCodeBench v5（Jain 等，2024）上取得 70.7，在 CodeForces 上取得 2,056，在 BFCL v3（Yan 等，2024）上取得 70.8。此外，Qwen3 系列中的其他模型相对于其规模也展现出强劲的性能。我们还观察到，增加思考 token 的思考预算会带来模型在各任务上性能的持续提升。

在后续章节中，我们将描述模型架构的设计，详述其训练流程，呈现预训练与后训练模型的实验结果，并在最后通过总结关键发现、勾勒未来研究的潜在方向来结束本技术报告。