4 实验结果

4 实验结果
- 4.1 实验设置
- 4.2 性能表现
  - 测试时扩展
  - 样本效率

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

4.1 实验设置

训练

我们使用 s1K 对 Qwen2.5-32B-Instruct 进行监督微调，采用 §C 中概述的基础超参数，得到我们的模型 s1-32B。微调在 16 块 NVIDIA H100 GPU 上使用 PyTorch FSDP 进行了 26 分钟。

评估

我们选择了该领域广泛使用的三个代表性推理基准：AIME24 (of America, 2024) 包含 30 道问题，出自 2024 年 1 月 31 日（周三）至 2 月 1 日（周四）举行的 2024 年美国数学邀请赛（AIME）。AIME 考察算术、代数、计数、几何、数论、概率及其他中学数学主题的 mathematical 问题求解。在测试中取得高分的高中生被邀请参加美国数学奥林匹克（USAMO）。所有 AIME 答案均为介于 $000$ 到 $999$（含）之间的整数。部分 AIME 问题依赖图形，我们由于模型无法接收图像输入，使用矢量图形语言 Asymptote 将这些图形提供给模型。MATH500 (Hendrycks et al., 2021) 是一个包含不同难度竞赛数学问题的基准。我们在与先前工作 (Lightman et al., 2023) 相同的 500 个样本上进行评估。GPQA Diamond (Rein et al., 2023) 包含 198 道来自生物、化学和物理的博士级别科学问题。相应领域的博士专家在 GPQA Diamond 上也仅取得 69.7% (OpenAI, 2024)。当我们在本工作中于评估语境下写“GPQA”时，始终指其 Diamond 子集。我们的工作建立在“lm-evaluation-harness”框架之上 (Gao et al., 2021; Biderman et al., 2024)。

其他模型

我们将 s1-32B 与以下模型进行基准对比：OpenAI o1 系列 (OpenAI, 2024)，即普及了测试时扩展思想的闭源模型；DeepSeek r1 系列 (Team, 2024a)，即具有最高达 o1 级别性能、与我们的工作同期发布的开放权重复理模型；Qwen 的 QwQ-32B-preview (Team, 2024b)，一个未公开方法学的 320 亿参数开放权重复理模型；Sky-T1-32B-Preview，一个从 QwQ-32B-preview 蒸馏而来的开放权重且开放推理数据的模型；Google Gemini 2.0 Flash Thinking Experimental，即我们所蒸馏来源的 API。由于没有官方评估分数，我们使用 Gemini API 自行对其进行基准测试。然而，与 Gemini API 相关的“复述错误”（recitation error）使得评估颇具挑战。22 2

https://github.com/google/generative-ai-docs/issues/257 我们通过在其网页界面中手动输入全部 30 道 AIME24 问题来规避此问题，因为该错误不会在此处出现。然而，我们略去了 MATH500（500 题）与 GPQA Diamond（198 题），因此它们在表 1 中为 N.A.。我们的模型 s1-32B 是完全开放的，包含权重、推理数据和代码。

表 1：s1-32B 是一个开放且样本高效的推理模型。我们对 s1-32B、Qwen 和 Gemini 进行了评估（部分条目未知（N.A.），见 §4）。其他结果来自各自的报告（Qwen et al., 2024; Team, 2024b; OpenAI, 2024; DeepSeek-AI et al., 2025; Labs, 2025; Team, 2025）。# ex. = 用于推理微调的样本数量；BF = 预算强制。

4.2 性能表现

测试时扩展

图 1 显示，配备预算强制的 s1-32B 的性能随测试时计算量的增加而扩展。在图 4（左）中，我们展开了图 1（中）的曲线，表明虽然我们可以使用预算强制技术（§3）和更多测试时计算来提升 AIME24 性能，但它最终在六倍处趋于平缓。过于频繁地抑制思考结束符分隔符，可能导致模型陷入重复循环而非继续推理。在图 4（右）中，我们展示了在将 Qwen2.5-32B-Instruct 在我们的 1,000 个样本上训练为 s1-32B 并为其配备简单的预算强制技术后，它运行于一种不同的扩展范式之中。在基模型上通过多数投票扩展测试时计算，无法追赶上 s1-32B 的性能，这验证了我们在 §3 中的直觉——顺序式扩展比并行式更为有效。我们在图 5 中提供了 s1-32B 的生成示例。

样本效率

在图 2（右）与表 1 中，我们将 s1-32B 与其他模型进行了比较。我们发现 s1-32B 是样本效率最高的开放数据推理模型。尽管仅在额外的 1,000 个样本上进行了训练，它的表现仍显著优于我们的基模型（Qwen2.5-32B-Instruct）。同期发布的 r1-32B 展现出比 s1-32B 更强的性能，同时同样仅使用了 SFT (DeepSeek-AI et al., 2025)。然而，它是在多 800 $\times$ 的推理样本上训练的。能否仅用 1,000 个样本达到它们的性能，仍是一个开放问题。最后，我们的模型在 AIME24 上几乎追平 Gemini 2.0 Thinking，由于 s1-32B 是从 Gemini 2.0 蒸馏而来，这表明我们的蒸馏过程很可能是有效的。

图 5：模型输出示例。我们从 AIME24（左）、MATH（中）和 GPQA（右）中各选取了一道问题，我们的模型生成了正确答案。黑色文本是提示词，浅蓝色文本是推理轨迹，蓝色文本是 s1-32B 的答案。灰色省略号 […] 表示文本为适配本页而被截断，但实际生成的文本更长。