1 引言

1 引言

本文为论文《DeepSeek-V3：强大高效的开源混合专家大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

近年来，大语言模型（LLM）经历了快速的迭代与演进（OpenAI, 2024a; Anthropic, 2024; Google, 2024），逐步缩小了与通用人工智能（AGI）之间的差距。除闭源模型外，包括 DeepSeek 系列（DeepSeek-AI, 2024b; DeepSeek-AI, 2024c; Guo et al., 2024; DeepSeek-AI, 2024a）、LLaMA 系列（Touvron et al., 2023a; Touvron et al., 2023b; AI@Meta, 2024a; AI@Meta, 2024b）、Qwen 系列（Qwen, 2023; Qwen, 2024a; Qwen, 2024b）和 Mistral 系列（Jiang et al., 2023; Mistral, 2024）在内的开源模型也在取得显著进展，努力缩小其与闭源同类模型之间的差距。为了进一步突破开源模型能力的边界，我们扩展了模型规模并推出了 DeepSeek-V3，一个拥有 671B 参数、其中每个词元激活 37B 参数的大型混合专家（MoE）模型。

秉持前瞻性的视角，我们始终致力于追求强大的模型性能与经济实惠的成本。因此，在架构方面，DeepSeek-V3 仍然采用多头潜在注意力（MLA）（DeepSeek-AI, 2024c）以实现高效推理，并采用 DeepSeekMoE（Dai et al., 2024）以实现经济高效的训练。这两种架构已在 DeepSeek-V2（DeepSeek-AI, 2024c）中得到验证，证明了其能够在保持稳健模型性能的同时实现高效的训练与推理。除了基础架构外，我们还实施了两项额外策略以进一步增强模型能力。首先，DeepSeek-V3 首创了无辅助损失的负载均衡策略（Wang et al., 2024a），旨在最小化因鼓励负载均衡而对模型性能产生的不利影响。其次，DeepSeek-V3 采用了多词元预测训练目标，我们观察到该目标能够提升在评估基准上的整体性能。

为了实现高效训练，我们支持了 FP8 混合精度训练，并对训练框架进行了全面的优化。低精度训练已成为实现高效训练的一种有前景的解决方案（Kalamkar et al., 2019; Narang et al., 2017; Peng et al., 2023b; Dettmers et al., 2022），其演进与硬件能力的进步密切相关（Micikevicius et al., 2022; Luo et al., 2024; Rouhani et al., 2023a）。在这项工作中，我们引入了 FP8 混合精度训练框架，并首次在极大规模模型上验证了它的有效性。通过对 FP8 计算和存储的支持，我们同时实现了训练加速和 GPU 内存占用的降低。在训练框架方面，我们设计了 DualPipe 算法以实现高效的流水线并行，该算法具有更少的流水线气泡，并通过计算-通信重叠隐藏了训练过程中的大部分通信。这种重叠确保了随着模型的进一步扩展，只要我们保持恒定的计算-通信比，就可以跨节点采用细粒度专家，同时实现近乎零的全互联通信开销。此外，我们还开发了高效的跨节点全互联通信内核，以充分利用 InfiniBand（IB）和 NVLink 的带宽。进一步，我们精细地优化了内存占用，使得无需使用高昂的张量并行即可训练 DeepSeek-V3。结合这些努力，我们实现了极高的训练效率。

在预训练阶段，我们在 14.8T 高质量且多样的词元上训练了 DeepSeek-V3。预训练过程异常稳定。在整个训练过程中，我们未遇到任何不可恢复的损失突增，也无需回滚。接下来，我们对 DeepSeek-V3 进行了两阶段上下文长度扩展。在第一阶段，最大上下文长度扩展至 32K；在第二阶段，进一步扩展至 128K。此后，我们对 DeepSeek-V3 的基础模型进行后训练，包括监督微调（SFT）和强化学习（RL），以使其符合人类偏好并进一步释放其潜力。在后训练阶段，我们从 DeepSeek-R1 系列模型中蒸馏推理能力，同时谨慎地保持模型准确率与生成长度之间的平衡。

我们在一系列全面的基准上对 DeepSeek-V3 进行了评估。尽管其训练成本经济实惠，但全面评估表明，DeepSeek-V3-Base 已成为当前可用的最强开源基础模型，尤其在代码和数学方面。其对话版本也优于其他开源模型，并在一系列标准和开放式基准上取得了与领先闭源模型（包括 GPT-4o 和 Claude-3.5-Sonnet）相当的性能。

表 1：DeepSeek-V3 的训练成本，假设 H800 的租赁价格为每 GPU 小时 2 美元。

最后，我们再次强调 DeepSeek-V3 经济实惠的训练成本，如表 1 所示，这得益于我们在算法、框架和硬件上的优化协同设计。在预训练阶段，在每万亿词元上训练 DeepSeek-V3 仅需 18 万 H800 GPU 小时，即在由 2048 块 H800 GPU 组成的集群上耗时 3.7 天。因此，我们的预训练阶段在不到两个月的时间内完成，耗费 266.4 万 GPU 小时。加上上下文长度扩展所需的 11.9 万 GPU 小时和后训练所需的 0.5 万 GPU 小时，DeepSeek-V3 的完整训练仅需 278.8 万 GPU 小时。假设 H800 GPU 的租赁价格为每 GPU 小时 2 美元，我们的总训练成本仅为 557.6 万美元。需注意，上述成本仅包含 DeepSeek-V3 的正式训练，不包括与先前在架构、算法或数据方面的研究和消融实验相关的成本。

我们的主要贡献包括：

架构：创新的负载均衡策略与训练目标

在 DeepSeek-V2 的高效架构之上，我们首创了无辅助损失的负载均衡策略，将因鼓励负载均衡而产生的性能下降降至最低。

我们研究了一种多词元预测（MTP）目标，并证明它有益于模型性能。它还可用于推测解码以加速推理。

预训练：迈向极致的训练效率

我们设计了 FP8 混合精度训练框架，并首次在极大规模模型上验证了 FP8 训练的可行性与有效性。

通过算法、框架和硬件的协同设计，我们克服了跨节点 MoE 训练中的通信瓶颈，实现了近乎完全的计算-通信重叠。这显著提升了我们的训练效率并降低了训练成本，使我们能够在不产生额外开销的情况下进一步扩展模型规模。

仅以 266.4 万 H800 GPU 小时的经济成本，我们完成了在 14.8T 词元上对 DeepSeek-V3 的预训练，产出了当前最强的开源基础模型。预训练之后的后续训练阶段仅需 10 万 GPU 小时。

后训练：从 DeepSeek-R1 进行知识蒸馏

我们引入了一种创新的方法，将长思维链（CoT）模型的推理能力——具体而言，来自 DeepSeek R1 系列模型之一——蒸馏到标准 LLM 中，特别是 DeepSeek-V3。我们的流程优雅地将 R1 的验证与反思模式融入 DeepSeek-V3，并显著提升了其推理性能。与此同时，我们还对 DeepSeek-V3 的输出风格和长度保持了控制。

核心评估结果摘要

知识： (1) 在教育类基准如 MMLU、MMLU-Pro 和 GPQA 上，DeepSeek-V3 优于所有其他开源模型，在 MMLU 上取得 88.5，在 MMLU-Pro 上取得 75.9，在 GPQA 上取得 59.1。其性能与 GPT-4o 和 Claude-Sonnet-3.5 等领先闭源模型相当，缩小了该领域开源与闭源模型之间的差距。 (2) 在事实性基准上，DeepSeek-V3 在 SimpleQA 和中文 SimpleQA 上均展现出优于开源模型的性能。尽管在英语事实性知识（SimpleQA）上落后于 GPT-4o 和 Claude-Sonnet-3.5，但它在中文事实性知识（中文 SimpleQA）上超越了这些模型，突显了其在中文事实性知识方面的优势。

代码、数学与推理： (1) 在所有非长-CoT 的开源和闭源模型中，DeepSeek-V3 在数学相关基准上取得了最先进的性能。值得注意的是，它在 MATH-500 等特定基准上甚至超越了 o1-preview，展示了其强大的数学推理能力。 (2) 在编码相关任务中，DeepSeek-V3 成为编码竞赛基准（如 LiveCodeBench）上表现最佳的模型，巩固了其在该领域领先模型的地位。对于工程相关任务，尽管 DeepSeek-V3 的表现略低于 Claude-Sonnet-3.5，但它仍以显著优势超越所有其他模型，展示了其在多样化技术基准上的竞争力。

在本文的其余部分，我们首先详细阐述我们的 DeepSeek-V3 模型架构（第 2 节）。随后，我们介绍我们的基础设施，涵盖计算集群、训练框架、对 FP8 训练的支持、推理部署策略以及我们对未来硬件设计的建议。接下来，我们描述我们的预训练过程，包括训练数据的构建、超参数设置、长上下文扩展技术、相关评估以及一些讨论（第 4 节）。此后，我们讨论我们在后训练方面的工作，包括监督微调（SFT）、强化学习（RL）、相应的评估与讨论（第 5 节）。最后，我们总结本工作，讨论 DeepSeek-V3 现有的局限性，并提出未来研究的潜在方向（第 6 节）。