论文信息与摘要（译文）

原文标题：s1: Simple test-time scaling 中文译名：s1：用简单方法实现测试时计算扩展 arXiv：2501.19393（v1）

本板块为论文全文的中文翻译，章节结构与「论文原文」板块一一对应。

Niklas Muennighoff

所属机构： Stanford University

所属机构： Allen Institute for AI

所属机构： Contextual AI

Zitong Yang

所属机构： Stanford University

Weijia Shi

所属机构： University of Washington, Seattle

Xiang Lisa Li

所属机构： Stanford University

Li Fei-Fei

所属机构： Stanford University

Hannaneh Hajishirzi

所属机构： University of Washington, Seattle

所属机构： Allen Institute for AI

Luke Zettlemoyer

所属机构： University of Washington, Seattle

Percy Liang

所属机构： Stanford University

Emmanuel Candès

所属机构： Stanford University

Tatsunori Hashimoto

所属机构： Stanford University

摘要

测试时扩展是一种前景广阔的语言建模新方法，它利用额外的测试时计算来提升性能。最近，OpenAI 的 o1 模型展示了这一能力，但并未公开其方法，由此引发了众多复现尝试。我们致力于以最简单的方法实现测试时扩展与强大的推理性能。首先，我们精心整理了一个包含 1,000 道问题及其推理轨迹的小型数据集 s1K，其依据是我们通过消融实验验证过的三条准则：难度、多样性和质量。其次，我们提出了预算强制（budget forcing）方法，通过强制终止模型的思考过程，或在模型试图结束时多次追加“Wait”来延长其生成，从而控制测试时计算。这可以使模型重新检查其答案，往往能修正错误的推理步骤。我们在 s1K 上对 Qwen2.5-32B-Instruct 语言模型进行监督微调，并为其配备预算强制；我们的模型 s1-32B 在竞赛数学题上超过了 o1-preview，最高领先 27%（MATH 与 AIME24）。此外，使用预算强制对 s1-32B 进行扩展，能够在没有测试时干预的情况下实现超越其原有性能的外推：在 AIME24 上从 50% 提升至 57%。我们的模型、数据与代码已在 https://github.com/simplescaling/s1 开源。

关键词： 机器学习、ICML、大语言模型、测试时扩展、测试时计算

††affiliationnotice: Equal contribution