4 评估

4 评估

本文为论文《Kimi K2：面向智能体能力的开源大模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

本节首先介绍 Kimi-K2-Instruct 的后训练评估，然后简要概述 Kimi-K2-Base 的能力。最后，我们给出全面的安全性评估。

4.1 后训练评估

4.1.1 评估设置

基准测试

我们从不同领域评估 Kimi-K2-Instruct。在编码方面，我们采用 LiveCodeBench v6 [31]（2024 年 8 月至 2025 年 5 月的问题）、OJBench [77]、MultiPL-E [5]、SWE-bench Verified [32, 84]、TerminalBench [71]、Multi-SWE-bench [86]、SWE-Lancer [50]、PaperBench [65] 和 Aider-Polyglot [16]。在工具使用任务方面，我们在 $\tau^{2}$-Bench [3] 和 AceBench [6] 上评估性能，这两者强调多轮工具调用能力。在推理方面，我们涵盖了广泛的数学、科学和逻辑任务：AIME 2024/2025、MATH-500、HMMT 2025、CNMO 2024、PolyMath-en、ZebraLogic [43]、AutoLogi [91]、GPQA-Diamond [61]、SuperGPQA [13] 和 Humanity’s Last Exam（仅文本）[56]。我们在以下基准上评估长上下文能力：MRCR55 5

https://huggingface.co/datasets/openai/mrcr 用于长上下文检索，以及 DROP [14]、FRAMES [37] 和 LongBench v2 [2] 用于长上下文推理。在事实性方面，我们评估 FACTS Grounding [30]、Vectara Hallucination Leaderboard [73] 和 FaithJudge [68]。最后，通用能力通过 MMLU [23]、MMLU-Redux [17]、MMLU-Pro [76]、IFEval [90]、Multi-Challenge [64]、SimpleQA [78] 和 LiveBench [80]（截至 2024-11-25）进行评估。

基线模型

我们同时与开源和专有前沿模型进行对比，确保每个候选模型都在其非思考配置下进行评估，以消除测试时计算带来的额外增益。开源基线：DeepSeek-V3-0324 和 Qwen3-235B-A22B，其中后者在厂商推荐的无思考模式下运行。专有基线：Claude Sonnet 4、Claude Opus 4、GPT-4.1 和 Gemini 2.5 Flash Preview（2025-05-20）。每个模型均通过官方 API 在其各自的非思考模式下调用，并在统一的 temperature 和 top-p 设置下运行。

评估配置所有运行均在模型的非思考模式下进行查询。除 SWE-bench Verified（Agentless）将输出 token 长度上限提高到 16384 外，其余基准的输出 token 长度上限均为 8192。对于每题方差较大的基准，我们采用重复采样 $k$ 次并对结果取平均，以获得稳定分数，记为 Avg@k。对于长上下文任务，我们在评估时将上下文窗口大小设置为 128K token，并将超出该限制的输入截断以适配窗口。 SWE-bench Verified 在两种模式下进行评估：通过单补丁且无测试的无智能体编码（Acc），以及在 bash/editor 工具下的智能体编码，包括单次尝试（Acc）和使用内部验证器进行 best-of-N 选择的多次尝试（Acc）；SWE-bench Multilingual 仅在单次尝试的智能体设置下进行测试。部分数据点因评估成本过高而被省略。

表 3：Kimi-K2-Instruct 与领先开源和专有模型在多种任务上的性能比较。粗体表示全球 SOTA；带下划线的粗体表示最佳开源结果。标有 * 的数据点直接取自模型的技术报告或博客。

4.1.2 评估结果

Kimi-K2-Instruct 的综合评估结果如表 3 所示，详细说明见附录 C。下面，我们重点介绍四个核心领域的关键结果：

智能体与竞赛编程

Kimi-K2-Instruct 在真实世界 SWE 任务上展现了最先进的开源性能。它在 SWE-bench Verified（65.8%，多次尝试为 71.6%）、SWE-bench Multilingual（47.3%）和 SWE-lancer（39.1%）上超越了大多数基线，显著缩小了与 Claude 4 Opus 和 Sonnet 的差距。在竞赛编程基准测试（例如 LiveCodeBench v6 53.7%、OJBench 27.1%）上，它同样在所有模型中领先，凸显了其在不同难度层级上的实用编程能力。

智能体工具使用

在多轮工具使用基准测试中，Kimi-K2-Instruct 树立了新的标杆。它在 $\tau^{2}$-Bench 上达到 66.1 Pass@1，在 ACEBench 上达到 76.5，显著优于所有基线。这些结果证实了其在跨领域、有依据、受控且由智能体驱动的工具编排方面的实力。

通用能力

Kimi-K2-Instruct 在通用知识、数学、指令遵循和长上下文任务上表现出强劲且均衡的性能。它在 SimpleQA（31.0%）、MMLU（89.5%）和 MMLU-Redux（92.7%）上超越开源同类模型，并在指令基准测试（IFEval：89.8%，Multi-Challenge：54.1%）上领先所有模型。在数学和 STEM 方面，它取得了顶尖分数（AIME 2024：69.6%，GPQA-Diamond：75.1%），并在长上下文事实性和检索任务上保持竞争力（DROP：93.5%，MRCR：55.0%）。这些结果使 Kimi-K2-Instruct 在短上下文和长上下文设置下都成为一款全面且能力出众的通用模型。

开放式评估

在 LMSYS Arena 排行榜（2025 年 7 月 17 日）上，基于超过 3,000 次用户投票，Kimi-K2-Instruct 在开源模型中排名第 1，总排名第 5。这一来自真实世界的偏好信号——跨越多样且匿名的提示——凸显了 Kimi-K2 在开放式任务中生成高质量响应的优势。

4.2 预训练评估

4.2.1 评估设置

基准测试

我们在多种能力领域评估 Kimi-K2-Base。在通用能力方面，我们在 MMLU [23]、MMLU-Pro [76]、MMLU-Redux [17]、BBH [67]、TriviaQA [34]、SuperGPQA [13]、SimpleQA [78]、HellaSwag [88]、AGIEval [89]、GPQA-Diamond [61]、ARC-Challenge [8] 和 WinoGrande [62] 上进行评估。在编码能力方面，我们采用 EvalPlus [45]（对 HumanEval [7]、MBPP [1]、HumanEval+ 和 MBPP+ 取平均）、LiveCodeBench v6 [31] 和 CRUXEval [18]。在数学推理方面，我们使用 GSM8K [9]、GSM8K-Platinum [74]、MATH [24] 和 CMATH [79]。在中文语言能力方面，我们在 C-Eval [29]、CMMLU [40] 和 CSimpleQA [22] 上进行评估。

基线模型

我们与领先的开源基础模型进行对比：DeepSeek-V3-Base [10]、Qwen2.5-72B-Base [59]（注意 Qwen3-235B-A22B-Base 未开源，Qwen 系列中最大的开源基础模型是 Qwen2.5-72B-Base）以及 Llama 4-Maverick [70]（Llama 4-Behemoth 同样未开源）。所有模型均在相同配置下进行评估，以确保公平比较。

评估配置

我们对 MMLU、MMLU-Redux、GPQA-Diamond、HellaSwag、ARC-Challenge、C-Eval 和 CMMLU 采用基于困惑度的评估。对 MMLU-Pro、SuperGPQA、TriviaQA、BBH、CSimpleQA、MATH、CMATH、GSM8K、GSM8K-Platinum、CRUXEval、LiveCodeBench 和 EvalPlus 采用基于生成的评估。为了减轻 GPQA-Diamond 固有的高方差，我们报告八次独立运行的平均分。所有评估均使用我们基于 LM-Harness-Evaluation [4] 洐生的内部框架进行，以确保所有模型的设置一致。

4.2.2 评估结果

表 4 展示了 Kimi-K2-Base 与领先开源基础模型在多种评估基准上的全面比较。结果表明，Kimi-K2-Base 在大多数评估任务中取得了最先进的性能，确立了其作为开源领域领先基础模型的地位。

通用语言理解

Kimi-K2-Base 在 12 个英文语言基准中的 10 个上取得了最先进的性能。值得注意的结果包括 MMLU（87.79%）、MMLU-Pro（69.17%）、MMLU-Redux（90.17%）、SuperGPQA（44.67%）和 SimpleQA（35.25%），显著优于所有基线模型。

编码能力

在编码基准上，Kimi-K2-Base 在所有指标上均树立了新标杆。它在 CRUXEval-I-cot 上达到 74.00%，在 CRUXEval-O-cot 上达到 83.50%，在 LiveCodeBench v6 上达到 26.29%，在 EvalPlus 上达到 80.33%，展现出卓越的代码生成和理解能力，尤其是在需要逐步推理的场景中。

数学推理

Kimi-K2-Base 展现出卓越的数学能力，在四个基准中的三个上领先：MATH（70.22%）、GSM8K（92.12%）和 GSM8K-Platinum（94.21%）。它在 CMATH（90.26%）上保持了具有竞争力的表现，仅略微落后于 DeepSeek-V3-Base（90.53%）。这些结果凸显了该模型在不同难度级别上的稳健数学问题求解能力。

中文语言理解

该模型展现出卓越的多语言能力，在所有中文语言基准上均取得了最先进的结果：C-Eval（92.50%）、CMMLU（90.90%）和 CSimpleQA（77.57%）。这些结果确立了 Kimi-K2-Base 作为中文语言理解领先模型的地位，同时在其他语言上也保持了强劲表现。

表 4：Kimi-K2-Base 与领先开源模型在多种任务上的性能比较。

4.3 安全性评估

4.3.1 实验设置

我们对 Kimi K2 进行了红队评估，并与其他开源 LLM 进行了比较。评估涵盖了一系列攻击场景——包括有害内容、隐私内容和安全内容，以及不同的攻击策略，如提示注入和迭代越狱。

我们选择 Promptfoo66 6

https://github.com/promptfoo/promptfoo 来生成对抗性提示并分析响应。通过这种方式，我们可以以可扩展的方式评估模型。

模型选择我们将 Kimi K2 与另外三个开源 LLM 进行比较：DeepSeek-V3、DeepSeek-R1 和 Qwen3。

Promptfoo 设置表 5 列出了所评估的插件和策略，每个插件都与所有策略配对，以评估其表现。

表 5：启用的插件和策略

测试用例数量鉴于大语言模型推理固有的非确定性，单次输出可能存在变异性。为此，我们为每种策略的每个插件生成了 3 个攻击提示。

提示语言设置我们对每种插件-策略组合的语言兼容性进行了预先测试。部分插件同时支持英文和中文，而其他插件仅支持英文。对于同时支持两种语言的组合，我们分别用每种语言生成 3 个提示，因此每个组合共 6 个提示。

人工审核我们在评估过程中加入了人工审核。为了尽量减少主观性问题，我们进行了多轮审核，并指派同一名审核人员评估给定测试集中的所有案例，以确保一致性并减少判断差异。

4.3.2 安全性评估结果

表 6 展示了不同模型在各种插件-策略组合下的通过率。

表 6：安全性评估结果

在未针对特定评估场景进行定向优化的情况下，某些复杂案例（例如 Harmful–Iterative Jailbreak）的通过率相对其他模型更高。

在不同攻击策略下，模型表现出不同趋势。在 Base64 策略下，通过率普遍接近或达到 100%，表明编码转换对模型的基本鲁棒性影响较小。相比之下，Crescendo 策略导致通过率普遍下降，说明其对抗效果更强。

此外，复杂攻击策略并不总是优于基本提示。某些原本具有对抗性的提示在经过多轮转换后可能失去其原意，导致生成的模型输出缺乏实际意义。

自动化红队测试的局限性由于涉及人工审核，评估结果不可避免地包含一定程度的主观性。此外，某些插件类型涉及 API 滥用或外部工具调用，更适合用于评估具有工具调用能力的智能体模型。在基础 LLM 的语境下，此类测试的相关性可能有限。