Appendix C 评估细节

Appendix C 评估细节

本文为论文《Kimi K2：面向智能体能力的开源大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

编码任务。

我们在竞赛级编码基准 LiveCodeBench 和 OJBench 上评估 Kimi-K2-Instruct 的能力，Kimi-K2-Instruct 分别取得了 53.7% 和 27.1% 的优异成绩。这种优势跨越中等级别的编码挑战（如 LeetCode 和 AtCoder）以及高难度的竞赛（如 NOI 和 ICPC），超越了领先的开源和专有模型。在多语言编程能力方面，我们采用 MultiPL-E，覆盖 C++、C#、Java、JavaScript、PHP、Go 等语言，Kimi-K2-Instruct 以 85.7% 的准确率超越顶级开源模型，相比之下 DeepSeek-V3-0324 为 83.1%，Qwen3-235B-A22B 为 78.2%。在软件工程任务中，Kimi-K2-Instruct 在 SWE-bench Verified（Python）、SWE-lancer（Python）、SWE-bench Multilingual 和 Multi-SWE-bench 数据集上展现出稳健的性能。它在解决真实世界代码仓库问题方面显著优于开源同行，并明显缩小了与专有模型的性能差距。例如：

SWE-bench Verified（多次尝试）：71.6%（Kimi-K2-Instruct）vs. 80.2%（Claude 4 Sonnet）

SWE-bench Multilingual：47.3%（Kimi-K2-Instruct）vs. 51.0%（Claude 4 Sonnet）

SWE-lancer：39.1%（Kimi-K2-Instruct）vs. 40.8%（Claude 4 Sonnet）

在 PaperBench 上，Kimi-K2-Instruct 取得了 27.8% 的准确率，与 GPT-4.1 接近，并大幅领先于 DeepSeek-V3-0324（12.2%）和 Qwen3-235B-A22B（8.2%）。在 TerminalBench 衡量的终端交互任务中，Kimi-K2-Instruct 使用默认 Terminus 框架达到 25.0%，在 Moonshot 内部智能体框架下提升至 30%，凸显了其在真实世界智能体编程场景中的能力。此外，在 Aider-Polyglot 基准上，Kimi-K2-Instruct 在采用严格去污染程序的情况下取得了 60.0% 的准确率，进一步说明了其在多样化编码环境中的实力与可靠性。

工具使用任务。

我们使用两套互补的套件评估多轮工具使用：$\tau^{2}$-Bench 和 ACEBench。$\tau^{2}$-Bench 将原始的 $\tau$-bench 单控制设置扩展为双控制环境，其中智能体和 LLM 模拟的用户都对共享状态拥有受约束的工具操作权限，在既有 Airline/Retail TAU 任务之外新增了真实的电信故障排查领域，从而能够分析协调性与纯粹推理能力。ACEBench 是一个大型双语（En/Zh）API 锚定基准（涵盖 8 个领域的 4.5K 个 API；2K 个标注评估项），划分为普通（基础/个性化/原子）、特殊（不完美或超出范围的输入）和智能体（场景驱动的多轮、多步沙箱）赛道，并对调用和结果进行自动评分。所有模型均在非思考模式下运行；我们将 temperature 设为 0.0，使用确定性工具适配器，在 Avg@4 种子下以 Pass@1/4 对 $\tau^{2}$ Airline/Retail/Telecom 评分，并报告 ACEBench 英文的整体结果。Kimi-K2-Instruct 在 $\tau^{2}$ 上平均取得 66.1 的 micro Pass@1，对比 DeepSeek-V3-0324 的 48.8 / Qwen3-235B-A22B 的 37.3。在 ACEBench 整体结果上，Kimi-K2-Instruct 得分为 76.5，对比 DeepSeek 的 72.7 / Qwen 的 70.5，并与 GPT-4.1（80.1）保持竞争力。

数学 & STEM & 逻辑任务。

在数学任务上，Kimi-K2-Instruct 持续保持强劲表现，平均超越 Gemini-2.5-Flash 5.3 个百分点、超越 DeepSeek-V3-0324 5.5 个百分点、超越 GPT-4.1 15.8 个百分点。例如，在 AIME 2024 上，Kimi-K2-Instruct 取得 69.6% 的分数，大幅领先另外两个顶级开源模型，分别超出 DeepSeek-V3-0324 10.2 个百分点、超出 Qwen3-235B-A22B 29.5 个百分点。在 STEM 评估中，Kimi-K2-Instruct 在 GPQA-Diamond 上取得 75.1%，超越 DeepSeek-V3-0324（68.4%），并且比所有非思考基线至少高出 5 个百分点。在 SuperGPQA 上，它也超出此前最佳开源模型 DeepSeek-V3-0324 3.5 个百分点。Kimi-K2-Instruct 在逻辑推理方面同样超越了另外两个领先模型。它在 ZebraLogic 上达到 89.0%，在 AutoLogi 上达到 89.5%，分别超过 DeepSeek-V3-0324（84.0%、88.9%），并大幅领先于 Qwen3-235B-A22B（37.7%、83.3%）。

通用任务。

Kimi-K2-Instruct 在 MMLU 和 MMLU-Pro 上与 DeepSeek-V3-0324 持平，并在 MMLU-Redux 上以 92.7 的 EM 分数领先——略高于 GPT-4.1（92.4），仅落后 Claude-Opus-4 1.5 个百分点。除多项选择任务外，该模型在短答案 SimpleQA 上取得了 31.0% 的准确率——比 DeepSeek-V3-0324 高出 3.3 个百分点，是 Qwen3-235B-A22B 的两倍多——尽管仍低于 GPT-4.1（42.3%）。在对抗性自由响应基准 LiveBench（2024-11-25 快照）上，它达到 76.4%，超过 Claude-Sonnet 4（74.8%），并领先 Gemini 2.5 Flash Preview 8.6 个百分点。在衡量世界知识的广度、深度和稳健性的这一挑战性三元组上，Kimi-K2-Instruct 在开源模型中占据了顶级地位。我们使用 IFEval 和 Multi-Challenge 评估指令遵循能力。在 IFEval 上，Kimi-K2-Instruct 取得 89.8%，高于 DeepSeek-V3-0324（81.1%）和 GPT-4.1（88.0%）。在涉及带有冲突指令的多轮对话的 Multi-Challenge 上，它取得 54.1%，优于 DeepSeek-V3-0324（31.4%）、GPT-4.1（36.4%）和 Claude-Opus-4（49.0%）。这些结果表明，Kimi-K2-Instruct 在单轮和多轮设置下，都将扎实的事实性知识与一致的指令遵循相结合，能够支持稳健可靠的真实世界部署。

长上下文与事实性任务。

为了评估 Kimi-K2-Instruct 的事实性，我们采用三个基准：FACTS Grounding，使用专有模型 GPT-4o、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 衡量对提供文档的遵循程度；HHEM，通过开源的 HHEM-2.1-Open 评判器评估摘要质量；以及 FaithJudge，使用 o3-mini 作为评判器分析 RAG 任务中的忠实性。Kimi-K2-Instruct 在 FACTS Grounding 上取得 88.5 分，大幅超越所有开源竞争对手，甚至超过闭源的 Gemini 2.5 Flash。使用 HHEM-2.1-Open 时，其幻觉率为 1.1%，在表中以 1 减去该比率表示，即 98.9。在 FaithJudge 的 RAG 任务上，其幻觉率为 7.4%，同样以 92.6 表示以保持表格一致性。在长上下文能力方面，Kimi-K2-Instruct 在 DROP（93.5%）上超越了所有开源和专有模型，并在检索任务 MRCR 上超过 DeepSeek-V3-0324（55.0% vs 50.8%）。在长上下文推理任务 FRAMES 和 LongBench v2 上，Kimi-K2-Instruct（77.1%、49.1%）略落后于 DeepSeek-V3-0324 约 2%。

开放式评估

除静态、封闭式基准之外，我们还评估模型在更贴近真实世界使用场景的开放式、细致任务上的表现。

在英文场景中，我们利用 Arena-Hard-Auto v2.0 基准，该基准使用 LLM-as-a-judge 协议在多样化、开放式提示上评估生成质量 [42]。这些评估涵盖了广泛的难度较高的提示，在研究界广受认可。在 Arena-Hard-Auto v2.0 上，Kimi-K2-Instruct 在困难提示（54.5%）和创意写作任务（85.0%）上均取得了最先进的胜率，超越了所有开源模型，并与 GPT-4.1 和 Claude Sonnet 等顶级专有系统相媲美。这些结果凸显了模型在多样化、无约束设置下处理复杂推理和细致生成的能力。

然而，Arena-Hard-Auto 对中国特有任务的覆盖有限。为弥补这一不足，我们开发了一个基于真实用户查询的内部留存的基准。为保障评估的完整性，该基准数据设有访问限制，从而消除了过拟合的风险。

如图 11 所示，Kimi-K2-Instruct 在中文内部基准的所有对比中均展现出强劲性能。它以 65.4% 的胜率超过 ChatGPT-4o-latest，以 64.6% 超过 Claude Sonnet 4，以 59.6% 超过 DeepSeek-V3-0324。在所有情况下，其失败率都保持在较低水平（约 17%），表明 Kimi-K2-Instruct 很少落后。高胜率和稳定的优势差距证明了其在开放式中文任务上的强大能力。

除了受控评估外，我们还通过公开的真实人类评估来考虑真实世界的用户偏好。截至 2025 年 7 月 17 日，基于超过 3,000 次来自真实用户的匿名投票，Kimi-K2-Instruct 在 LMSYS Arena 排行榜上位列开源模型第一、总排名第五88 8

https://lmarena.ai/leaderboard/text。与 LLM-as-a-judge 协议不同，该排行榜反映了真实用户对多样化、用户提交提示的直接偏好，为实际模型性能提供了互补视角。

Arena-Hard-Auto、我们的内部基准和 LMSYS Arena 的投票结果共同提供了对 Kimi-K2-Instruct 开放式能力的全面视角，表明它是在英中双语真实世界用户体验中均备受青睐的模型。

图 11：中文内部基准评估。