6 讨论与相关工作

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

6.1 样本高效的推理

模型

已有大量同期工作致力于构建能够复现 o1 (OpenAI, 2024) 性能的模型。例如，DeepSeek-r1 与 k1.5 (DeepSeek-AI et al., 2025; Team et al., 2025) 是通过强化学习方法构建的，而另一些则依赖使用数万个蒸馏示例的 SFT (Team, 2025; Xu et al., 2025; Labs, 2025)。我们表明，仅在 1,000 个示例上进行 SFT 就足以构建一个具有竞争力、能与 o1-preview 匹敌的推理模型，并产生一个位于帕累托前沿的模型（图 2）。此外，我们引入了预算强制，它与我们的推理模型相结合，首次复现了 OpenAI 的测试时扩展曲线 (OpenAI, 2024)。为何仅在 1,000 个样本上的监督微调就能带来如此大的性能提升？我们假设，模型在预训练阶段（横跨数万亿词元）已经接触了大量推理数据。因此，执行推理的能力已经存在于我们的模型之中。我们样本高效的微调阶段只是将其激活，并在测试时通过预算强制进一步对其进行扩展。这与 LIMA (Zhou et al., 2023) 中提出的“浅层对齐假说”（Superficial Alignment Hypothesis）相似，其作者发现 1,000 个示例足以将一个模型对齐到遵循用户偏好。

基准与方法

为了评估并推动这些模型的极限，人们引入了日益具有挑战性的基准，例如奥林匹克级别的科学竞赛 (He et al., 2024a; Jain et al., 2024a; Zhong et al., 2023) 以及其他 (Srivastava et al., 2023; Glazer et al., 2024; Su et al., 2024; Kim et al., 2024; Phan et al., 2025)。为了提升模型在推理相关任务上的性能，研究者们 pursued 多种策略：先前的工作探索了在数学与科学相关专门语料上继续训练语言模型 (Azerbayev et al., 2023; Yang et al., 2024)，有时甚至是合成生成的数据 (Yu et al., 2024)。另一些则开发了专门针对推理性能的训练方法学 (Zelikman et al., 2022; Zelikman et al., 2024; Luo et al., 2025; Yuan et al., 2025)。另一条重要的工作线聚焦于基于提示的方法来引发并改进推理能力，包括思维链提示（Chain-of-Thought prompting）等方法 (Wei et al., 2023; Yao et al., 2023a; Yao et al., 2023b; Bi et al., 2023; Fu et al., 2023; Zhang et al., 2024b; Hu et al., 2024)。这些共同努力旨在推进语言模型的推理能力，使其能够更有效地处理更复杂和抽象的任务。

6.2 测试时扩展

方法

正如我们在 §3 中介绍的，我们将扩展测试时计算的两种方法进行区分：并行式与顺序式。前者依赖并行生成的多个解答尝试，并通过特定标准选出最佳结果。这些标准包括为多数投票选择最频繁出现的回复，或基于外部奖励为 Best-of-N 选择最佳回复 (Brown et al., 2024; Irvine et al., 2023; Snell et al., 2024)。与重复采样不同，先前的顺序式扩展方法让模型基于先前的尝试顺序生成解答尝试，使其能够依据先前结果对每次尝试进行精炼 (Snell et al., 2024; Hou et al., 2025; Lee et al., 2025)。基于树的搜索方法 (Gandhi et al., 2024; Wu et al., 2024a) 提供了介于顺序与并行扩展之间的混合方法，例如蒙特卡洛树搜索（MCTS） (Liu et al., 2024; Zhang et al., 2023; Zhou et al., 2024; Choi et al., 2023) 以及引导式集束搜索（Xie et al., 2023）。REBASE (Wu et al., 2024a) 采用一个过程奖励模型，在树搜索过程中平衡利用与剪枝。在经验上，REBASE 已被证明优于基于采样的方法和 MCTS (Wu et al., 2024a)。奖励模型 (Lightman et al., 2023; Wang et al., 2024b; Wang et al., 2024c) 在这些方法中扮演着关键角色。它们有两种变体：结果奖励模型与过程奖励模型。结果奖励模型 (Xin et al., 2024; Ankner et al., 2024) 为完整解答打分，在 Best-of-N 选择中尤为有用；而过程奖励模型 (Lightman et al., 2023; Wang et al., 2024b; Wu et al., 2024a) 评估单个推理步骤，在引导基于树的搜索方法中十分有效。

进一步测试时扩展的局限

我们已在 §4 中表明，预算强制允许外推测试时计算，例如将 AIME24 性能从 50% 提升到 57%。然而，在进一步扩展时它有两个关键局限：它最终会趋于平缓（图 4），并且受到底层语言模型上下文窗口的约束。尽管存在这些约束，我们的工作展示了在较宽准确率范围内的测试时扩展（图 1），这部分是因为缩减测试时计算的行为是可预测的，且不受这些约束的影响。

继续测试时扩展将需要能够进一步外推测试时计算的方法。我们如何获得这样的外推？或许可以对预算强制进行改进，例如轮换使用不同的字符串（而不仅仅是“Wait”），或将其与频率惩罚或更高温度相结合，以避免重复循环。未来工作中一个令人振奋的方向，是研究将对预算强制应用于通过强化学习训练的推理模型是否能带来更好的外推；或者强化学习是否能带来超越预算强制的、全新的测试时扩展方式。我们的工作定义了正确的指标（§3.2）——控制性、扩展性与性能——以推动未来在外推测试时计算方面的研究与进展。

图 7：使用并行扩展方法进一步扩展。所有指标均取 AIME24 中 30 道问题的平均值。REBASE 的平均思考词元数未计入来自奖励模型的额外计算。对于顺序式扩展，我们提示模型最多使用（从左到右）32、64、256 和 512 个步骤。对于 REBASE 与多数投票，我们生成 16 条并行轨迹进行聚合。

以并行扩展作为解决方案

并行扩展为顺序式扩展的局限提供了一种解决方案，因此我们为顺序式扩展的模型补充了两种方法：（I）多数投票：在生成 $k$ 个解答后，最终解答为各次生成中出现最频繁的那个；（II）通过 REBASE 进行树搜索：我们使用 REBASE 过程奖励模型，它从 LLaMA-34B 初始化，并在一个合成的过程奖励建模数据集上进一步微调 (Wu et al., 2024a)。然后我们通过多数投票聚合由 REBASE 生成的解答。如图 7 所示，用 REBASE 增强我们的模型比多数投票扩展得更好，在此场景下甚至优于顺序式扩展。然而，REBASE 需要在每一步额外进行一次奖励模型的前向传播，增加了一定的计算开销。对于顺序式扩展，当提示最多使用 512 个步骤时，在 30 道评估问题中有 12 道模型生成的回复超出了上下文窗口，导致性能大幅下降。总体而言，我们发现这些并行扩展方法补充了顺序式扩展，因此为超越固定上下文窗口进一步扩展测试时计算提供了一条途径。