4 后训练

4 后训练

本文为论文《Qwen3：兼顾思考与非思考模式的开源模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

图 1：Qwen3 系列模型的后训练流程。

Qwen3 的后训练流程在战略上围绕两个核心目标设计：

思考控制：这涉及将两种不同模式——即“非思考”与“思考”模式——整合在一起，为用户提供灵活性，使其可以选择模型是否进行推理，并通过为思考过程指定 token 预算来控制思考的深度。

强到弱蒸馏：这旨在精简并优化轻量级模型的后训练流程。通过利用大规模模型的知识，我们大幅降低了构建小规模模型所需的计算成本与开发投入。

如图 1 所示，Qwen3 系列的旗舰模型遵循一套精细的四阶段训练流程。前两个阶段专注于发展模型的“思考”能力。后两个阶段旨在将强大的“非思考”功能整合进模型。

初步实验表明，直接将教师模型的输出 logits 蒸馏进轻量级学生模型，能够有效提升学生模型的性能，同时保持对其推理过程的细粒度控制。这种方法避免了对每个小规模模型单独执行繁琐的四阶段训练流程的必要性。它带来了更好的即时性能（以更高的 Pass@1 分数体现），同时也提升了模型的探索能力（反映在改善的 Pass@64 结果上）。此外，它以高得多的训练效率实现了这些收益，相比四阶段训练方法仅需 1/10 的 GPU 小时。

在接下来的小节中，我们将介绍四阶段训练流程，并详细阐释强到弱蒸馏方法。

4.1 长链思维冷启动

我们首先策划了一个涵盖广泛类别的全面数据集，包括数学、代码、逻辑推理与通用 STEM 问题。数据集中的每个问题都配有经过验证的参考答案或基于代码的测试用例。该数据集作为长链思维（long-CoT）训练“冷启动”阶段的基础。

数据集构建涉及严格的双阶段过滤流程：查询过滤与响应过滤。在查询过滤阶段，我们使用 Qwen2.5-72B-Instruct 来识别并移除不易验证的查询，这包括包含多个子问题或要求通用文本生成的查询。此外，我们排除那些 Qwen2.5-72B-Instruct 无需使用 CoT 推理即可正确作答的查询。这有助于防止模型依赖表面猜测，并确保仅纳入需要更深层次推理的复杂问题。同时，我们使用 Qwen2.5-72B-Instruct 为每个查询标注领域，以维持数据集中领域的均衡表征。

在预留一组验证查询后，我们使用 QwQ-32B（Qwen Team，2025）为每个剩余查询生成 $N$ 个候选响应。当 QwQ-32B 持续无法生成正确解时，由人工标注者手动评估响应的准确性。对于 Pass@$N$ 为正的查询，进一步施加严格的过滤标准以移除出现以下情况的响应：（1）得出错误的最终答案，（2）包含大量重复，（3）在缺乏充分推理的情况下明显表现出猜测，（4）思考内容与总结内容之间存在不一致，（5）出现不恰当的语码混合或风格转换，或（6）被怀疑与潜在的验证集条目过于相似。随后，一个经过精心筛选的精炼数据集子集被用于推理模式的初始冷启动训练。此阶段的目标是在不过度强调即时推理性能的前提下，向模型灌输基础的推理模式。这种方法确保模型的潜力不被限制，从而在后续的强化学习（RL）阶段留有更大的灵活性与提升空间。为有效实现这一目标，在此准备阶段宜尽量缩减训练样本数量与训练步数。

4.2 推理强化学习

推理 RL 阶段所使用的查询-验证器对必须满足以下四条标准：（1）未在冷启动阶段使用过。（2）对冷启动模型而言是可学习的。（3）尽可能具有挑战性。（4）覆盖广泛的子领域。我们最终共收集了 3,995 个查询-验证器对，并采用 GRPO（Shao 等，2024）来更新模型参数。我们观察到，使用较大的批次大小与较高的每查询 rollout 数量，并辅以离策略训练以提升采样效率，对训练过程是有益的。我们还探讨了如何通过控制模型熵使其稳步上升或保持稳定来平衡探索与利用，这对维持训练稳定至关重要。由此，在单次 RL 运行过程中，我们在训练奖励与验证性能上均取得了持续的提升，而无需对超参数进行任何人工干预。例如，Qwen3-235B-A22B 模型的 AIME’24 分数在总计 170 个 RL 训练步内从 70.1 提升至 85.1。

4.3 思考模式融合

思考模式融合阶段的目标是，将“非思考”能力整合进先前已开发的“思考”模型中。这种方法使开发者能够管理与控制推理行为，同时降低为思考与非思考任务分别部署独立模型的成本与复杂度。为此，我们在推理 RL 模型上进行了持续的监督微调（SFT），并设计了一个聊天模板来融合两种模式。此外，我们发现能够熟练处理两种模式的模型在不同思考预算下表现始终稳定。

SFT 数据的构建。

SFT 数据集同时结合了“思考”与“非思考”数据。为确保第二阶段模型的性能不被额外的 SFT 所损害，“思考”数据是通过在第二阶段模型自身上对第一阶段查询进行拒绝采样而生成的。“非思考”数据则经过精心策划，以覆盖多样化的任务，包括编程、数学、指令遵循、多语言任务、创意写作、问答与角色扮演。此外，我们采用自动生成的检查清单来评估“非思考”数据的响应质量。为提升在低资源语言任务上的表现，我们特别增加了翻译任务的比例。

聊天模板设计。

为更好地整合两种模式并让用户能够动态切换模型的思考过程，我们为 Qwen3 设计了聊天模板，如表 9 所示。具体地，对于思考模式与非思考模式的样本，我们分别在用户查询或系统消息中引入了 /think 与 /no_think 标志。这使得模型能够遵循用户输入并相应地选择合适的思考模式。对于非思考模式的样本，我们在助手的响应中保留一个空的思考块。这种设计确保了模型内部格式的一致性，并允许开发者通过在聊天模板中拼接一个空的思考块来阻止模型进入思考行为。默认情况下，模型以思考模式运行；因此，我们加入了一些用户查询不包含 /think 标志的思考模式训练样本。对于更复杂的多轮对话，我们在用户查询中随机插入多个 /think 与 /no_think 标志，模型响应遵循所遇到的最后一个标志。

思考预算。

思考模式融合的另一项优势在于，一旦模型学会以非思考与思考两种模式进行响应，它便自然具备了处理中间情况的能力——即基于不完整的思考生成响应。这一能力为对模型的思考过程实施预算控制奠定了基础。具体而言，当模型的思考长度达到用户定义的阈值时，我们手动中止思考过程并插入停止思考指令：“Considering the limited time by the user, I have to give the solution based on the thinking directly now.\n</think>.\n\n”。插入该指令后，模型基于其截至该时刻累积的推理生成最终响应。值得注意的是，这一能力并非经过显式训练，而是思考模式融合自然涌现的结果。

表 9：思考模式融合阶段用于思考与非思考模式的 SFT 数据示例。对于思考模式，可以省略 /think 标志，因为它代表默认行为。此特性已在 Hugging Face 的分词器中实现22 2 https://huggingface.co/Qwen/Qwen3-32B/blob/main/tokenizer_config.json，可通过额外参数 enable_thinking=False 来禁用思考模式。

4.4 通用强化学习

通用 RL 阶段旨在广泛增强模型在多样化场景下的能力与稳定性。为此，我们建立了一套覆盖超过 20 个不同任务的精细奖励系统，每个任务都配有定制化的评分标准。这些任务专门针对以下核心能力的提升：

指令遵循：该能力确保模型准确理解并遵循用户指令，包括与内容、格式、长度以及结构化输出使用相关的要求，给出符合用户预期的响应。

格式遵循：除显式指令外，我们期望模型遵循特定的格式约定。例如，它应当通过对 /think 与 /no_think 标志作出响应来在思考与非思考模式间切换，并在最终输出中一致地使用指定 token（如 <think> 与 </think>）来分隔思考部分与响应部分。

偏好对齐：对于开放式查询，偏好对齐聚焦于提升模型的有用性、参与度与风格，最终带来更自然、更令人满意的用户体验。

智能体能力：这涉及训练模型通过指定接口正确调用工具。在 RL rollout 过程中，允许模型与真实环境执行反馈进行完整的多轮交互循环，从而提升其在长程决策任务上的性能与稳定性。

专用场景能力：在更为专门的场景中，我们设计了贴合具体上下文的任务。例如，在检索增强生成（RAG）任务中，我们引入奖励信号来引导模型生成准确且符合上下文的响应，从而将产生幻觉的风险降至最低。

为上述任务提供反馈，我们使用了三种不同类型的奖励：

基于规则的奖励：基于规则的奖励在推理 RL 阶段已被广泛使用，对于指令遵循（Lambert 等，2024）与格式遵守等通用任务同样有效。设计良好的基于规则的奖励能够高精度地评估模型输出的正确性，防范奖励作弊（reward hacking）等问题。

带参考答案的基于模型的奖励：在此方法中，我们为每个查询提供一个参考答案，并提示 Qwen2.5-72B-Instruct 依据该参考对模型的响应打分。这种方法能够更灵活地处理多样化任务，而无需严格的格式要求，避免了纯基于规则的奖励可能产生的误判（false negatives）。

不带参考答案的基于模型的奖励：利用人类偏好数据，我们训练了一个奖励模型，对模型响应赋予标量分数。这种不依赖参考答案的方法能够处理更广泛的查询，同时有效增强模型的参与度与有用性。

4.5 强到弱蒸馏

强到弱蒸馏流程专为优化轻量级模型而设计，涵盖 5 个稠密模型（Qwen3-0.6B、1.7B、4B、8B 与 14B）与 1 个 MoE 模型（Qwen3-30B-A3B）。该方法在提升模型性能的同时，有效地赋予了其稳健的模式切换能力。蒸馏过程分为两个主要阶段：

离策略蒸馏：在初始阶段，我们将教师模型以 /think 与 /no_think 两种模式生成的输出结合起来进行响应蒸馏。这有助于轻量级学生模型培养基础的推理技能以及在不同思考模式间切换的能力，为下一阶段的在策略训练奠定坚实基础。

在策略蒸馏：在此阶段，学生模型生成在策略序列用于微调。具体而言，对提示进行采样，由学生模型以 /think 或 /no_think 模式产生响应。随后，通过将学生模型的 logits 与教师模型（Qwen3-32B 或 Qwen3-235B-A22B）的 logits 对齐以最小化 KL 散度，对学生模型进行微调。

4.6 后训练评估

为全面评估指令微调模型的质量，我们采用自动化基准，在思考模式与非思考模式下评估模型性能。这些基准被归为以下几个维度：

通用任务：我们使用的基准包括 MMLU-Redux（Gema 等，2024）、GPQA-Diamond（Rein 等，2023）、C-Eval（Huang 等，2023）以及 LiveBench（2024-11-25）（White 等，2024）。对于 GPQA-Diamond，我们对每个查询采样 10 次并报告平均准确率。

对齐任务：为评估模型与人类偏好对齐的程度，我们采用了一套专门的基准。对于指令遵循性能，我们报告 IFEval（Zhou 等，2023）的严格提示准确率。为评估通用主题上的人类偏好对齐，我们使用 Arena-Hard（Li 等，2024）与 AlignBench v1.1（Liu 等，2023b）。对于写作任务，我们依赖 Creative Writing V3（Paech，2024）与 WritingBench（Wu 等，2025）来评估模型的熟练度与创造力。

数学与文本推理：为评估数学与逻辑推理技能，我们采用高水平的数学基准，包括 MATH-500（Lightman 等，2023）、AIME’24 与 AIME’25（AIME，2025），以及文本推理任务 ZebraLogic（Lin 等，2025）与 AutoLogi（Zhu 等，2025）。对于 AIME 题目，每年的题目包含第一部分与第二部法，共 30 道题。对于每道题，我们采样 64 次并将平均准确率作为最终分数。

智能体与编程：为测试模型在编程与智能体任务上的熟练度，我们使用 BFCL v3（Yan 等，2024）、LiveCodeBench（v5，2024.10-2025.02）（Jain 等，2024）以及来自 CodeElo（Quan 等，2025）的 Codeforces 评分。对于 BFCL，所有 Qwen3 模型均使用 FC 格式评估，并且使用 yarn 将模型部署到 64k 上下文长度以进行多轮评估。部分基线取自 BFCL 排行榜，取 FC 与 Prompt 两种格式中的较高分数。对于排行榜上未报告的模型，则评估其 Prompt 格式。对于 LiveCodeBench，在非思考模式下，我们使用官方推荐的提示；而在思考模式下，我们调整提示模板以允许模型更自由地思考，方法是移除“You will not return anything except for the program”这一限制。为评估模型与竞赛编程专家之间的性能差距，我们使用 CodeForces 来计算 Elo 评分。在我们的基准中，每道题通过生成最多八次独立的推理尝试来求解。

多语言任务：对于多语言能力，我们评估四类任务：指令遵循、知识、数学与逻辑推理。指令遵循使用 Multi-IF（He 等，2024）评估，该基准聚焦于 8 种关键语言。知识评估包含两类：通过 INCLUDE（Romanou 等，2024）评估的区域性知识，覆盖 44 种语言；以及通过 MMMLU（OpenAI，2024）在 14 种语言（排除未经优化的 Yoruba 语）上评估的通用知识；对于这两个基准，我们仅采样原始数据的 10% 以提升评估效率。数学任务采用 MT-AIME2024（Son 等，2025），涵盖 55 种语言，以及 PolyMath（Wang 等，2025），包含 18 种语言。逻辑推理使用 MlogiQA 评估，覆盖 10 种语言，数据来源于 Zhang 等（2024）。

表 10：多语言基准及其所包含的语言。语言以 IETF 语言标签标识。

表 11：Qwen3-235B-A22B（思考）与其他推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 12：Qwen3-235B-A22B（非思考）与其他非推理基线的对比。最高分与次高分分别以加粗和下划线标出。

对于所有处于思考模式的 Qwen3 模型，我们使用采样温度 0.6、top-p 值 0.95 与 top-k 值 20。此外，对于 Creative Writing v3 与 WritingBench，我们施加 1.5 的 presence penalty 以鼓励生成更具多样性的内容。对于处于非思考模式的 Qwen3 模型，我们将采样超参数配置为 temperature = 0.7、top-p = 0.8、top-k = 20 以及 presence penalty = 1.5。对于思考与非思考两种模式，我们均将最大输出长度设为 32,768 token，但 AIME’24 与 AIME’25 除外——我们将该长度扩展到 38,912 token 以提供充足的思考空间。

评估结果总结

从评估结果中，我们总结出最终版 Qwen3 模型的若干关键结论如下：

我们的旗舰模型 Qwen3-235B-A22B 在思考与非思考两种模式下，均展现出开源模型中最优的整体性能，超越了 DeepSeek-R1 与 DeepSeek-V3 等强基线。Qwen3-235B-A22B 与 OpenAI-o1、Gemini2.5-Pro 与 GPT-4o 等闭源领先模型也极具竞争力，展现出其深厚的推理能力与全面的通用能力。

我们的旗舰稠密模型 Qwen3-32B，在大多数基准上超越了我们此前最强的推理模型 QwQ-32B，并与闭源的 OpenAI-o3-mini 表现相当，体现出其出色的推理能力。Qwen3-32B 在非思考模式下同样表现卓越，超越了我们此前的旗舰非推理稠密模型 Qwen2.5-72B-Instruct。

我们的轻量级模型，包括 Qwen3-30B-A3B、Qwen3-14B 以及其他更小的稠密模型，其性能持续优于参数量相近或更大的开源模型，证明了我们强到弱蒸馏方法的成功。

详细结果如下。

Qwen3-235B-A22B

对于我们的旗舰模型 Qwen3-235B-A22B，我们将其与领先的推理与非推理模型进行比较。在思考模式下，我们选取 OpenAI-o1（OpenAI，2024）、DeepSeek-R1（Guo 等，2025）、Grok-3-Beta（Think）（xAI，2025）与 Gemini2.5-Pro（DeepMind，2025）作为推理基线。在非思考模式下，我们选取 GPT-4o-2024-11-20（OpenAI，2024）、DeepSeek-V3（Liu 等，2024a）、Qwen2.5-72B-Instruct（Yang 等，2024b）与 LLaMA-4-Maverick（Meta-AI，2025）作为非推理基线。我们在表 11 与表 12 中呈现评估结果。

从表 11 可见，仅以 60% 的激活参数与 35% 的总参数，Qwen3-235B-A22B（思考）在 23 个基准中的 17 个上超越了 DeepSeek-R1，尤其是在推理需求高的任务（如数学、智能体与编程）上，展现出 Qwen3-235B-A22B 在开源模型中最先进的推理能力。此外，Qwen3-235B-A22B（思考）与闭源的 OpenAI-o1、Grok-3-Beta（Think）和 Gemini2.5-Pro 也极具竞争力，大幅缩小了开源与闭源模型在推理能力上的差距。

从表 12 可见，Qwen3-235B-A22B（非思考）超越了其他领先的开源模型，包括 DeepSeek-V3、LLaMA-4-Maverick 以及我们此前的旗舰模型 Qwen2.5-72B-Instruct，并且在 23 个基准中的 18 个上超越了闭源的 GPT-4o-2024-11-20，表明即便未借助有意的思考过程，其本身也已具备强大的能力。

Qwen3-32B

对于我们的旗舰稠密模型 Qwen3-32B，在思考模式下，我们选取 DeepSeek-R1-Distill-Llama-70B、OpenAI-o3-mini（medium）以及我们此前最强的推理模型 QwQ-32B（Qwen Team，2025）作为基线。在非思考模式下，我们选取 GPT-4o-mini-2024-07-18、LLaMA-4-Scout 以及我们此前的旗舰模型 Qwen2.5-72B-Instruct 作为基线。我们在表 13 与表 14 中呈现评估结果。

从表 13 可见，Qwen3-32B（思考）在 23 个基准中的 17 个上超越了 QwQ-32B，使其成为 32B 这一理想规模上的最新最先进推理模型。此外，Qwen3-32B（思考）还与闭源的 OpenAI-o3-mini（medium）相竞争，并具有更好的对齐性能与多语言性能。

从表 14 可见，Qwen3-32B（非思考）在几乎所有基准上都展现出优于所有基线的性能。特别是，Qwen3-32B（非思考）在通用任务上与 Qwen2.5-72B-Instruct 表现相当，而在对齐、多语言与推理相关任务上具有显著优势，再次证明了 Qwen3 相对于我们此前的 Qwen2.5 系列模型的根本性改进。

表 13：Qwen3-32B（思考）与其他推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 14：Qwen3-32B（非思考）与其他非推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 15：Qwen3-30B-A3B / Qwen3-14B（思考）与其他推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 16：Qwen3-30B-A3B / Qwen3-14B（非思考）与其他非推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 17：Qwen3-8B / Qwen3-4B（思考）与其他推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 18：Qwen3-8B / Qwen3-4B（非思考）与其他非推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 19：Qwen3-1.7B / Qwen3-0.6B（思考）与其他推理基线的对比。最高分与次高分分别以加粗和下划线标出。

表 20：Qwen3-1.7B / Qwen3-0.6B（非思考）与其他非推理基线的对比。最高分与次高分分别以加粗和下划线标出。

Qwen3-30B-A3B 与 Qwen3-14B

对于 Qwen3-30B-A3B 与 Qwen3-14B，我们在思考模式下将其与 DeepSeek-R1-Distill-Qwen-32B 和 QwQ-32B 比较，在非思考模式下分别与 Phi-4（Abdin 等，2024）、Gemma-3-27B-IT（Team 等，2025）和 Qwen2.5-32B-Instruct 比较。我们在表 15 与表 16 中呈现评估结果。

从表 15 可见，Qwen3-30B-A3B 与 Qwen3-14B（思考）都与 QwQ-32B 极具竞争力，尤其是在推理相关基准上。值得注意的是，Qwen3-30B-A3B 以更小的模型规模与不到 1/10 的激活参数，达到了与 QwQ-32B 相当的性能，证明了我们的强到弱蒸馏方法在赋予轻量级模型深厚推理能力上的有效性。

从表 16 可见，Qwen3-30B-A3B 与 Qwen3-14B（非思考）在大多数基准上超越了非推理基线。它们以显著更少的激活参数与总参数超越了我们此前的 Qwen2.5-32B-Instruct 模型，从而实现更高效、更具性价比的性能。

Qwen3-8B / 4B / 1.7B / 0.6B

对于 Qwen3-8B 与 Qwen3-4B，我们在思考模式下将其与 DeepSeek-R1-Distill-Qwen-14B 和 DeepSeek-R1-Distill-Qwen-32B 比较，在非思考模式下分别与 LLaMA-3.1-8B-Instruct（Dubey 等，2024）、Gemma-3-12B-IT（Team 等，2025）、Qwen2.5-7B-Instruct 和 Qwen2.5-14B-Instruct 比较。对于 Qwen3-1.7B 与 Qwen3-0.6B，我们在思考模式下将其与 DeepSeek-R1-Distill-Qwen-1.5B 和 DeepSeek-R1-Distill-Llama-8B 比较，在非思考模式下分别与 Gemma-3-1B-IT、Phi-4-mini、Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct 比较。我们在表 17 与表 18 中呈现 Qwen3-8B 与 Qwen3-4B 的评估结果，在表 19 与表 20 中分别呈现 Qwen3-1.7B 与 Qwen3-0.6B 的评估结果。总体而言，这些端侧模型展现出了令人印象深刻的性能，即便面对参数更多的基线（包括我们此前的 Qwen2.5 模型），在思考或非思考模式下均能胜出。这些结果再次证明了我们强到弱蒸馏方法的有效性，使我们能够以显著降低的成本与投入构建轻量级的 Qwen3 模型。

4.7 讨论

思考预算的有效性

为验证 Qwen3 能够通过增大思考预算来提升其智能水平，我们在数学、编程与 STEM 领域的四个基准上调整所分配的思考预算。由此得到的扩展曲线如图 2 所示，Qwen3 展现出与所分配思考预算相关的、可扩展且平滑的性能提升。此外，我们观察到，若进一步将输出长度扩展到 32K 以上，模型的性能预计在未来还会进一步提升。我们将这一探索留作未来工作。

图 2：Qwen3-235B-A22B 相对于思考预算的性能。

在策略蒸馏的有效性与效率

我们通过比较经历蒸馏与直接强化学习（两者均从相同的离策略蒸馏 8B 检查点出发）后的性能与计算成本（以 GPU 小时计），来评估在策略蒸馏的有效性与效率。为简洁起见，我们在该比较中仅聚焦于数学与代码相关的查询。结果总结于表 21，表明蒸馏以约仅 $1/10$ 的 GPU 小时取得了显著优于强化学习的性能。此外，来自教师 logits 的蒸馏使学生模型能够扩展其探索空间并增强其推理潜力，这一点可以从蒸馏后 AIME’24 与 AIME’25 基准上改善的 pass@64 分数（相较于初始检查点）中得到印证。相比之下，强化学习并未带来 pass@64 分数的任何提升。这些观察凸显了利用更强的教师模型来引导学生学习学生的优势。

表 21：Qwen3-8B 上强化学习与在策略蒸馏的对比。括号内的数字表示 pass@64 分数。

思考模式融合与通用强化学习的效果

为评估后训练中思考模式融合与通用强化学习（RL）的有效性，我们对 Qwen-32B 模型的不同阶段进行了评估。除前述数据集外，我们还引入了若干内部基准来监测其他能力。这些基准包括：

CounterFactQA：包含反事实问题，模型需要识别出这些问题并非事实，并避免生成幻觉性答案。

LengthCtrl：包含带有长度要求的创意写作任务；最终分数基于生成内容长度与目标长度之间的差值。

ThinkFollow：涉及随机插入 /think 与 /no_think 标志的多轮对话，以测试模型能否根据用户查询正确切换思考模式。

ToolUse：评估模型在单轮、多轮与多步工具调用过程中的稳定性。分数包含在工具调用过程中的意图识别准确率、格式准确率与参数准确率。

表 22：Qwen3-32B 在推理 RL（阶段 2）、思考模式融合（阶段 3）与通用 RL（阶段 4）之后的性能。带有 * 的基准为内部数据集。

结果如表 22 所示，我们可以从中得出以下结论：

阶段 3 将非思考模式整合进模型，而该模型在经过前两个阶段训练后已具备思考能力。88.7 的 ThinkFollow 基准分数表明，模型已发展出初步的模式切换能力，尽管仍偶尔会出错。阶段 3 还增强了模型在思考模式下的通用与指令遵循能力，CounterFactQA 提升了 10.9 分，LengthCtrl 提升了 8.0 分。

阶段 4 进一步强化了模型在思考与非思考两种模式下的通用、指令遵循与智能体能力。值得注意的是，ThinkFollow 分数提升至 98.9，确保了准确的模式切换。

对于知识、STEM、数学与编程任务，思考模式融合与通用 RL 并未带来显著改善。相反，对于 AIME’24 与 LiveCodeBench 等挑战性任务，经过这两个训练阶段后，思考模式下的性能实际上出现了下降。我们推测，这种退化是由于模型在更广泛的一般任务上进行了训练，可能损害了其处理复杂问题的专门能力。在 Qwen3 的开发过程中，我们选择接受这一性能权衡，以提升模型的整体多功能性。