论文信息与摘要（译文）

原文标题：DeepSeek-V3 Technical Report 中文译名：DeepSeek-V3：强大高效的开源混合专家大模型 arXiv：2412.19437（v1）

本板块为论文全文的中文翻译，章节结构与「论文原文」板块一一对应。

\reportnumber 001

DeepSeek-AI

research@deepseek.com

摘要

我们提出 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 671B，每个词元激活 37B 参数。为了实现高效的推理和经济实惠的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构已在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 首创了无辅助损失的负载均衡策略，并设定了多词元预测训练目标以提升性能。我们在 14.8 万亿多样且高质量的词元上预训练了 DeepSeek-V3，随后进行监督微调与强化学习阶段，以充分释放其能力。全面的评估表明，DeepSeek-V3 优于其他开源模型，并取得了与领先的闭源模型相当的性能。尽管表现出色，DeepSeek-V3 的完整训练仅需 2.788M H800 GPU 小时。此外，其训练过程异常稳定。在整个训练过程中，我们未遇到任何不可恢复的损失突增，也未执行任何回滚操作。模型检查点可在 https://github.com/deepseek-ai/DeepSeek-V3 获取。

图

图 1：DeepSeek-V3 及其同类模型的基准性能。

目录

  • 1 引言

  • 2 架构

  • 2.1 基础架构

  • 2.1.1 多头潜在注意力

  • 2.1.2 采用无辅助损失负载均衡的 DeepSeekMoE

  • 2.2 多词元预测

  • 3 基础设施

  • 3.1 计算集群

  • 3.2 训练框架

  • 3.2.1 DualPipe 与计算-通信重叠

  • 3.2.2 跨节点全互联通信的高效实现

  • 3.2.3 极小的开销实现极致的内存节省

  • 3.3 FP8 训练

  • 3.3.1 混合精度框架

  • 3.3.2 通过量化与乘法提升精度

  • 3.3.3 低精度存储与通信

  • 3.4 推理与部署

  • 3.4.1 预填充

  • 3.4.2 解码

  • 3.5 关于硬件设计的建议

  • 3.5.1 通信硬件

  • 3.5.2 计算硬件

  • 4 预训练

  • 4.1 数据构建

  • 4.2 超参数

  • 4.3 长上下文扩展

  • 4.4 评估

  • 4.4.1 评估基准

  • 4.4.2 评估结果

  • 4.5 讨论

  • 4.5.1 多词元预测的消融实验

  • 4.5.2 无辅助损失均衡策略的消融实验

  • 4.5.3 批次级负载均衡与序列级负载均衡

  • 5 后训练

  • 5.1 监督微调

  • 5.2 强化学习

  • 5.2.1 奖励模型

  • 5.2.2 组相对策略优化

  • 5.3 评估

  • 5.3.1 评估设置

  • 5.3.2 标准评估

  • 5.3.3 开放式评估

  • 5.3.4 作为生成式奖励模型的 DeepSeek-V3

  • 5.4 讨论

  • 5.4.1 从 DeepSeek-R1 蒸馏

  • 5.4.2 自奖励

  • 5.4.3 多词元预测评估

  • 6 结论、局限性与未来方向

  • 参考文献

  • A 贡献与致谢

  • B 低精度训练消融实验

  • B.1 FP8 与 BF16 训练对比

  • B.2 关于块级量化的讨论

  • C 16B 基于辅助损失与无辅助损失模型的专家专门化模式