附录 D 测试时扩展细节

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

D.1 顺序扩展消融

图 10：用于控制测试时计算的令牌与步骤指令数据格式。我们仅在推理轨迹与答案上训练我们的模型。

表 11：通过令牌条件控制扩展思考时间。所有指标均取 AIME24 中 30 道问题的平均值。

表 12：通过步骤条件控制扩展思考时间。所有指标均取 AIME24 中 30 个样本的平均值。词元数忽略思考与步骤分隔符。

表 13：通过类别条件控制扩展思考时间。我们报告“准确率 / 每个样本平均思考词元数”；准确率越高、思考词元越少（推理成本越低）越好。

基于令牌的条件控制

一种通用的做法是直接在提示词中精确地告诉模型它应生成多少个词元。理想情况下，模型能够追踪其词元计数，并调整其生成以在期望的限制内结束。我们通过使用图 10（左）中的格式、以令牌指令训练一个模型来实验这种方法。我们将来自 1,000 个训练样本的推理轨迹长度分桶为 2 的幂（向上取整），并向用户提示词中添加相应的指令。例如，如果指令说“思考最多 2048 个词元”，那么推理轨迹的长度在 1024 到 2048 个词元之间。在表 11 中，我们显示训练后模型几乎不遵循令牌指令。当给定更高的上限时它有时确实生成更多词元，但常常超出上限。这可能并非我们模型所独有，因为先前的工作表明 OpenAI o1-mini 同样无法遵循令牌指令 (Zhang & Chen, 2024)。为了防止超出上限，我们测试了在达到上限时强制结束思考的预算强制。这带来了完美的控制（表 11 下半部分）。有了预算强制，扩展趋势也更为清晰，因为模型在给定较小思考预算时无法再超出上限。这为表 3 中“令牌提示 + 预算强制”带来了更好的测试时扩展值。为了计算表 3 中令牌条件控制变体的控制性，我们将表 11 中思考词元数小于上限的次数除以总评估次数（无干预为 2/5；有干预为 5/5）。

基于步骤的条件控制

令牌指令之所以失败，是因为当前模型无法计数词元。为了适应这一能力的缺失，我们尝试让计数变得更为粗粒度。我们将推理轨迹按双换行符划分为步骤，根据对样本的手动检查，我们发现双换行符作为直观的分隔符。我们根据步骤数量将训练样本分桶为 2 的幂，并依照图 10（右）中的格式添加相应的步骤指令。这一格式基于早期实验，我们发现当模型“倒数”（“还剩 3 步……还剩 2 步”）而非“正数”（“第 2 步……第 3 步……”）时更可能遵守步骤限制。这很可能是因为若倒数，最后一步始终为 1，这将作为模型结束其生成的强先验。若正数，答案前的最后一步是变化的，因此若模型不记得最初的步骤指令，它可能无法停止。我们从表 12 的结果中得出以下结论：（1）模型仍然难以遵守步骤限制。模型有时只是继续倒数进入负步骤，例如“-1 步剩余”。为解决此问题，一旦到达 0 步，我们自动停止思考过程，然后通过追加答案词元分隔符（§3）强制模型转入作答模式。这带来了完美的步骤遵守度（表 12 下半部分），但问题依然存在。（2）模型通过让每步更长来补偿更少的步骤。例如，当被强制使用最多 16 步与 256 步时，模型平均每步生成 96 个词元对比 56 个。尽管存在这一问题，更多的步骤在表 12 中仍然清晰地与更多的总思考词元以及更好的性能正相关，从而呈现出正斜率。（3）步骤指令比其他方法成本更高。步骤分隔符需要大约 … [截断]

基于类别的条件控制

OpenAI 通过“reasoning_effort”API 参数向用户暴露测试时计算控制，该参数有三种可能的设置：低、中、高。33 3

https://github.com/openai/openai-python/blob/44d6210f101abedeb2dd68507fcffcb329df70ea/src/openai/types/chat/completion_create_params.py#L172 OpenAI 文档还指出“降低推理努力可能导致更快的回复，并在回复中用于推理的词元更少”，这表明它们无法在保证的前提下控制测试时计算。因此，也许 OpenAI 只是根据所需的推理努力来调整提示词或系统指令。在表 13 中，我们表明，针对短思考和长思考的单独提示词让我们在某种程度上能够控制思考时间：提示模型思考更久会带来更长的思考。然而，它并不能可靠地提升性能，且控制并不精确。当前对控制的遵守在我们仅有三个类别时或许足够，但它可能无法扩展到更细粒度的类别。为了计算表 3 中该方法的控制性，我们假设在表 13 中提示模型进行短时间思考应当产生比 AIME24 默认值更少的词元，而长提示应当产生更多。由于 $8033>6109$ 且 $9651>6109$，两者中有一者符合我们预期的控制，因此控制性为 50%。

D.2 拒绝采样消融示例

表 14：s1-32B 早期版本在 AIME24 上拒绝采样时生成的答案。黑色文本是问题，黄色文本是解答。我们仅依据问题，以温度 1 使用 s1-32B 生成浅蓝色的推理轨迹与蓝色的回复。我们生成直到第一个样本的推理轨迹少于 4000 个词元、第二个样本少于 8000 个词元。平均每个样本需要 199（1）次尝试，直到思考词元数 $\leq 4000$（$\leq 8000$ 词元）。