1 引言

本文为论文《Kimi K2:面向智能体能力的开源大模型》「中文全文翻译」板块的对应章节,与「论文原文」板块同一章节一一对应,层级保持一致。

大语言模型(LLM)的发展正在经历一场向智能体智能(Agentic Intelligence)的深刻范式转变——即模型在复杂动态环境中自主感知、规划、推理和行动的能力。这一转变标志着从静态模仿学习向主动交互学习的转型:模型通过交互主动学习,获得超出训练分布的新技能,并通过经验调整行为 [63]。人们相信,这种方法使 AI 智能体能够突破静态人类生成数据的限制,并通过自身的探索与利用获得超人能力。因此,智能体智能正迅速成为下一代基础模型的决定性能力,对工具使用、软件开发和现实世界自主性具有广泛影响。

实现智能体智能在预训练和后训练两个阶段都带来了挑战。预训练必须在高质量数据有限的约束下赋予模型广泛的通用先验知识,从而使 token 效率——每个 token 所承载的学习信号——成为关键的扩展系数。后训练必须将这些先验知识转化为可执行的行为,然而诸如多步推理、长期规划和工具使用等智能体能力在自然数据中十分稀少且扩展成本高昂。可扩展地合成结构化、高质量的智能体轨迹,并结合融合偏好与自我批判的通用强化学习(RL)技术,对于弥合这一差距至关重要。

在本工作中,我们推出 Kimi K2,这是一个拥有 1.04 万亿参数、320 亿激活参数的混合专家(MoE)大语言模型,专门为应对核心挑战并推动智能体能力边界而设计。我们的贡献涵盖预训练和后训练两大前沿:

  • •

我们提出了 MuonClip,这是一种新颖的优化器,它将 token 高效的 Muon 算法与名为 QK-Clip 的稳定性增强机制相结合。使用 MuonClip,我们成功地在 15.5 万亿 token 上对 Kimi K2 进行了预训练,且未出现任何损失尖峰。

  • •

我们引入了一个大规模智能体数据合成流水线,通过模拟和真实世界环境系统性地生成工具使用演示。该系统构建多样化的工具、智能体、任务和轨迹,以大规模创建高保真、可验证正确的智能体交互。

  • •

我们设计了一个通用强化学习框架,将可验证奖励(RLVR)与自我批判评分奖励机制相结合。模型不仅从外部定义的任务中学习,还通过评估自身输出来学习,从而将对齐从静态领域扩展到开放式领域。

Kimi K2 在广泛的智能体和前沿基准测试中展现出强劲性能。它在 Tau2-bench 上取得 66.1 分,在 ACEBench(en)上取得 76.5 分,在 SWE-bench Verified 上取得 65.8 分,在 SWE-bench Multilingual 上取得 47.3 分,在非思考评估设置下超越了大多数开源和闭源权重基线模型,缩小了与 Claude 4 Opus 和 Sonnet 的差距。在编码、数学和更广泛的 STEM 领域,Kimi K2 在 LiveCodeBench v6 上取得 53.7 分,在 OJBench 上取得 27.1 分,在 AIME 2025 上取得 49.5 分,在 GPQA-Diamond 上取得 75.1 分,进一步凸显了其在通用任务上的能力。在 LMSYS Arena 排行榜(2025 年 7 月 17 日)44 4

https://lmarena.ai/leaderboard/text 上,基于超过 3,000 次用户投票,Kimi K2 在开源模型中排名第 1,总排名第 5。

为了推动智能体智能的进一步发展,我们开源了基础模型和后训练模型的检查点,使社区能够大规模探索、改进和部署智能体智能。