5 消融实验

5 消融实验
- 5.1 数据数量、多样性与难度
- 5.2 测试时扩展方法
  - 预算强制
  - 拒绝采样

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

5.1 数据数量、多样性与难度

表 2：s1K 数据消融。在本表的分数中，我们对预算强制（BF）设定了最多 32,000 个思考词元的上限。这比不使用 BF 时的分数（表 1）略好，因为它使模型在陷入无限循环时以一个最佳猜测结束。我们以 ± 报告 95% Wilson 置信区间。

在 §2 中，我们概述了整理 s1K 的三条指导原则：质量、难度和多样性。在此我们检验将它们结合使用的重要性，以及我们整体选择的有效性。仅质量（1K-random）：在从 Gemini 获得高质量推理链后，我们随机选取 1,000 个样本；完全不依赖我们的难度和多样性过滤。表 2 显示，这种方法在所有基准上的表现都远逊于 s1K。仅多样性（1K-diverse）：对于该数据集，我们跨领域均匀采样以最大化多样性，而忽略任何难度的概念。这种方法也导致了与 1K-random 类似的糟糕表现。仅难度（1K-longest）：这里我们依赖我们在 §2 中引入的难度指标之一，选取推理轨迹最长的 1,000 个样本。这种方法显著提升了 GPQA 性能，但总体上仍不及使用 s1K。最大化数量：最后，我们与直接在全部 59K 样本（所有 1K 版本样本的超集）上训练进行了比较。这产生了一个强大的模型，但消耗了更多的资源。为了在 59K 样本上微调，我们使用了 394 H100 GPU 小时，而 s1-32B 仅需要 7 H100 GPU 小时。此外，如 §2 所示，仅依赖 s1K 就极具竞争力。总体而言，通过我们在 §2 中的方法将全部三条准则——质量、难度、多样性——结合起来，是样本高效推理训练的关键。

5.2 测试时扩展方法

表 3：在 AIME24 上扩展测试时计算的方法消融。$|\mathcal{A}|$ 指用于估计这些属性的评估运行次数；因此更高的值表示更强的鲁棒性。粗体表示我们选择的方法及最佳值。BF = 预算强制，TCC/SCC/CCC = 令牌/步骤/类别条件控制，RS = 拒绝采样。

预算强制

在表 3 中，我们比较了我们在 §3 中介绍的测试时扩展方法。总体而言，我们发现预算强制提供了完美的控制、良好的扩展，并带来了我们最好的 AIME24 分数。因此，这是我们在图 1 和 §4 中用于 s1-32B 的方法。在表 4 中，我们比较了用于外推性能的不同字符串。我们发现“Wait”通常能给出最佳性能。

类别条件控制我们在 §D.1 中提供了该方法的基准分数，并在此总结三点发现：（1）令牌条件控制在没有预算强制的情况下会失败，因为我们的模型无法可靠地计数词元——即便经过相关训练。（2）在步骤条件控制下，当给定不同的步骤目标时，模型生成的总词元数相近，因为模型从“少量步骤、每步多个词元”转变为“大量步骤、每步少量词元”。因此，模型学会了绕过计算约束的取巧之道，使得该方法的可控性平平。（3）类别条件控制可以奏效——告诉模型简单地“多思考一会儿”可以增加其测试时计算与性能，这在表 3 中带来了良好的扩展。

表 4：预算强制外推消融。我们比较了忽略思考结束符分隔符两次并追加无字符串或各种字符串的情况。

图 6：在 AIME24 上使用 s1-32B 进行拒绝采样。我们以温度 1 进行采样，直到所有生成结果的思考词元数少于（从左到右）3500、4000、5000、8000 和 16000，每个样本平均需要 655、97、8、3、2 和 1 次尝试。

拒绝采样

令人惊讶的是，我们发现简单地采样直到生成结果符合特定长度，会带来一种逆向的扩展趋势，如图 6 所示。在 §D.2 中，我们考察了一道问题，模型在针对 $\leq 4000$ 进行拒绝采样时作答正确，但在 $\leq 8000$ 词元的设置下却不正确。在 $\leq 4000$ 的设置下，模型直接跳到了正确的方法，而在 $\leq 8000$ 的设置下它进行了大量回溯。我们推测存在一种相关性：较短的生成往往属于模型从一开始就走在正确轨道上的情况，而较长的生成往往属于模型犯错、从而进行回溯或自我质疑的情况。这导致在拒绝采样时较长的样本常常是错误的，从而呈现出逆向的扩展趋势。