6 结论、局限性与未来方向

本文为论文《DeepSeek-V3：强大高效的开源混合专家大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本文中，我们介绍了 DeepSeek-V3，一个拥有 671B 总参数和 37B 激活参数的大型 MoE 语言模型，在 14.8T 词元上训练而成。除了 MLA 和 DeepSeekMoE 架构外，它还首创了无辅助损失的负载均衡策略，并设定了多词元预测训练目标以获得更强的性能。由于 FP8 训练的支持和精细的工程优化，DeepSeek-V3 的训练具有成本效益。后训练也成功从 DeepSeek-R1 系列模型中蒸馏了推理能力。全面的评估表明，DeepSeek-V3 已成为当前可用的最强开源模型，并取得了与 GPT-4o 和 Claude-3.5-Sonnet 等领先闭源模型相当的性能。尽管性能强劲，它也保持了经济实惠的训练成本。其完整训练（包括预训练、上下文长度扩展和后训练）仅需 278.8 万 H800 GPU 小时。

在承认其强大性能和成本效益的同时，我们也认识到 DeepSeek-V3 存在一些局限性，尤其是在部署方面。首先，为了确保高效推理，DeepSeek-V3 推荐的部署单元相对较大，这可能对小型团队造成负担。其次，尽管我们针对 DeepSeek-V3 的部署策略已经实现了超过 DeepSeek-V2 两倍的端到端生成速度，但仍有进一步提升的潜力。幸运的是，这些局限性预计将随着更先进硬件的发展而自然得到解决。

DeepSeek 始终坚持具有长期主义精神的开源模型路线，旨在稳步接近 AGI（通用人工智能）的终极目标。未来，我们计划在以下方向进行战略性研究投入。

• •

我们将持续研究和改进我们的模型架构，旨在进一步提升训练和推理效率，努力实现对无限上下文长度的高效支持。此外，我们将尝试突破 Transformer 的架构限制，从而拓展其建模能力的边界。

• •

我们将持续迭代训练数据的数量和质量，并探索融入额外的训练信号来源，旨在通过一个更全面的维度范围推动数据规模化。

• •

我们将持续探索和迭代我们模型的深度思考能力，旨在通过扩展其推理长度和深度来提升其智能和问题解决能力。

• •

我们将探索更全面、多维度的模型评估方法，以防止在研究过程中倾向于优化一组固定的基准，这可能会给模型能力造成误导性的印象，并影响我们的基础评估。