这篇论文能给我带来什么

s1 证明了一个很“反直觉”的结论:测试时计算扩展(让模型多想一会儿)不一定需要海量数据和复杂 RL,用极少量高质量推理样本 + 一个简单的推理长度控制技巧,也能做出很强的推理模型。

核心思想: 1. 极简数据策展(s1K):从大量候选中按难度、多样性、质量筛出仅 1,000 条“问题 + 推理轨迹 + 答案”样本(s1K),证明数据选择比盲目堆量更关键。 2. 监督微调即可起效:在 Qwen2.5-32B-Instruct 上做 SFT,论文报告 16 块 H100 约 26 分钟即可完成训练。 3. Budget Forcing(预算强制):在测试时控制“想多久”——若思考超预算则强制结束并给出答案;若想让它多想,则抑制结束并追加 “Wait” 促使继续推理/自检,从而实现可控的 test-time scaling。

实验结果:在竞赛数学等基准上,s1-32B 展现出随测试时计算增加而提升的趋势;论文报告在 AIME24 上可从 50% 提升到 57%,并在竞赛数学题上相对 o1-preview 有最高可达 27% 的优势表现(具体因基准而异)。

可迁移认知:推理能力的提升可以拆成“学会怎么想”(少量高质 CoT 数据)和“给多少时间想”(推理时预算控制)两件事;样本效率与可控性是工程落地的重要维度。