1 引言

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

图 1：使用 s1-32B 进行测试时扩展。我们在推理密集型任务上对 s1-32B 进行基准测试，并改变测试时计算量。

过去几年中，语言模型（LMs）的性能提升在很大程度上依赖于通过大规模自监督预训练来扩展训练时计算 (Kaplan et al., 2020; Hoffmann et al., 2022)。这些强大模型的诞生，为建立在这一基础之上的全新缩放范式——测试时扩展——铺平了道路。该方法的目标是在测试时增加计算量以获得更好的结果。已有大量工作对这一思想进行了探索 (Snell et al., 2024; Wu et al., 2024b; Welleck et al., 2024)，而 OpenAI o1 (OpenAI, 2024) 近期验证了这一范式的可行性。o1 展示了强大的推理性能，并随着测试时计算的扩展而获得持续收益。OpenAI 将其方法描述为使用了大规模强化学习（RL），这意味着其使用了相当数量的数据 (OpenAI, 2024)。这引发了各种复现其模型的尝试，所依赖的技术包括蒙特卡洛树搜索 (Gao et al., 2024b; Zhang et al., 2024a)、多智能体方法 (Huang et al., 2024b) 以及其他方法 (Huang et al., 2024b; Gao et al., 2024b; Zhang et al., 2024a; Wang et al., 2024a)。在这些方法中，DeepSeek R1 (DeepSeek-AI et al., 2025) 成功复现了 o1 级别的性能，同样采用了强化学习，通过数百万个样本和多个训练阶段实现。然而，尽管有大量 o1 复现尝试，却没有任何一个公开复现出清晰的测试时扩展行为。因此，我们提出疑问：要实现测试时扩展与强大推理性能，最简单的方法是什么？

我们表明，仅使用 1,000 个样本进行下一词元预测训练，并通过我们称之为预算强制的简单测试时技术来控制思考时长，就能得到一个随着测试时计算增加而性能扩展的强大推理模型。具体而言，我们构建了 s1K，它由 1,000 道精心整理的问题组成，这些问题配有从 Gemini Thinking Experimental (Google, 2024) 蒸馏得到的推理轨迹与答案。我们在这一小型数据集上对现成的预训练模型进行监督微调（SFT），仅需在 16 块 H100 GPU 上训练 26 分钟。训练完成后，我们使用预算强制来控制模型所花费的测试时计算量：（I）若模型生成的思考词元超过了期望上限，我们通过追加思考结束符分隔符来强制结束思考过程。以此方式结束思考，会使模型转而生成其答案。（II）若我们希望模型在某个问题上花费更多测试时计算，我们会抑制思考结束符分隔符的生成，转而向模型当前的推理轨迹追加“Wait”，以鼓励其进行更多探索。借助这一简单方案——在 1,000 个样本上进行 SFT 并施加测试时预算强制——我们的模型 s1-32B 展现出了测试时扩展特性（图 1）。此外，s1-32B 是样本效率最高的推理模型，并且优于 OpenAI 的 o1-preview 等闭源模型（图 2）。

我们开展了大量消融实验，针对（a）我们对 1,000（1K）个推理样本的选择，以及（b）我们的测试时扩展。对于（a），我们发现将难度、多样性和质量度量共同纳入我们的选择算法至关重要。随机选择、选择具有最长推理轨迹的样本，或仅选择具有最大多样性的样本，都会导致明显更差的性能（在 AIME24 上平均约为 $-$30%）。在我们完整的 59K 示例数据池（s1K 的超集）上训练，相较我们的 1K 选择并未带来实质性提升。这突显了精心选择数据的重要性，并与指令微调方面的既有发现相呼应 (Zhou et al., 2023)。对于（b），我们为测试时扩展方法定义了若干期望属性，以比较不同方法。预算强制带来了最佳的扩展效果，因为它具有完美的可控性，并呈现出清晰的正斜率，从而获得强大的性能。

总而言之，我们的贡献如下：我们开发了用于创建样本高效推理数据集（§2）和测试时扩展（§3）的简单方法；基于这些方法，我们构建了与 o1-preview 具有竞争力的 s1-32B（§4）；我们对数据（§5.1）与测试时扩展（§5.2）的细微之处进行了消融。最后，我们以一段讨论作结，以推动未来在简单推理方面的工作（§6）。我们的代码、模型与数据将开源。

图 2：s1K 与 s1-32B。（左）s1K 是一个包含 1,000 道高质量、多样且困难的问题及其推理轨迹的数据集。（右）在 s1K 上微调得到的 320 亿参数模型 s1-32B 处于样本效率的前沿。关于其他模型的细节请参见表 1。