2 构建 s1K 的推理数据整理

2 构建 s1K 的推理数据整理
- 2.1 初步收集 59K 样本
  - 现有数据集的整理
  - 定量推理中的新数据集
- 2.2 最终筛选 1K 样本
  - 质量
  - 难度
  - 多样性

本文为论文《s1：用简单方法实现测试时计算扩展》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们首先在 §2.1 描述构建大型数据集的过程，然后在 §2.2 将其筛选至 s1K。

2.1 初步收集 59K 样本

我们遵循三条指导原则，从 16 个多样化来源收集了最初的 59,029 道问题。质量：数据集应当具有高质量；我们始终检查样本，并忽略存在诸如格式糟糕等问题的数据集；难度：数据集应当具有挑战性，并需要大量的推理投入；多样性：数据集应当源自不同领域，以覆盖不同的推理任务。我们收集了两类数据集：

现有数据集的整理

我们最大的来源是 NuminaMATH（LI et al., 2024），包含来自在线网站的 30,660 道数学问题。我们还纳入了历年 AIME 试题（1983—2021）。为增强多样性，我们加入了 OlympicArena（Huang et al., 2024a），包含来自各类奥林匹克竞赛、涵盖天文、生物、化学、计算机科学、地理、数学和物理的 4,250 道问题。OmniMath（Gao et al., 2024a）增加了 4,238 道竞赛级别的数学问题。我们还纳入了来自 AGIEval（Zhong et al., 2023）的 2,385 道问题，这些题目选自 SAT、LSAT 等标准化考试，涵盖英语、法律和逻辑。我们其他来源请参见 §B 中的表 6。

定量推理中的新数据集

为了补充这些现有数据集，我们创建了两个原创数据集。s1-prob 包含 182 道来自斯坦福大学统计系博士资格考题中概率部分的题目（https://statistics.stanford.edu），并配有涵盖高难度证明的手写解答。概率资格考试每年举行一次，需要专业级别的数学解题能力。s1-teasers 包含 23 道具有挑战性的脑筋急转弯，常用于量化交易岗位的面试问题。每个样本由一道题目和取自 PuzzledQuant（https://www.puzzledquant.com/）的解答组成。我们仅选取难度等级最高（“Hard”）的示例。

对于每道问题，我们使用 Google Gemini Flash Thinking API (Google, 2024) 生成推理轨迹与解答，并提取其推理轨迹与回复。由此得到 59K 个由问题、生成的推理轨迹和生成的答案组成的三元组。我们数据集中的示例见 §C.2。我们使用 8-gram 对所有样本针对我们的评估问题（MATH500、GPQA Diamond、AIME24；§B.5）进行去污染，并对数据进行去重。

2.2 最终筛选 1K 样本

我们本可以直接在我们的 59K 问题池上训练，然而我们的目标是找到资源消耗最少的最简单方法。因此，我们经过三个阶段的筛选，依据我们的三条数据指导原则——质量、难度和多样性——得到了一个最小的 1,000 样本集合。

质量

我们首先移除任何曾遇到 API 错误的样本，将数据集缩减至 54,116 个。接下来，我们通过检查是否包含存在格式问题的字符串模式（例如 ASCII 艺术图、不存在的图片引用或不一致的题目编号）来过滤低质量示例，将数据集缩减至 51,581 个示例。从这个池中，我们为最终的 1,000 个样本确定了 384 个来自我们认为高质量、无需进一步过滤的数据集的样本（详见 §B.4）。

难度

对于难度，我们使用两个指标：模型性能与推理轨迹长度。我们在每道问题上评估两个模型：Qwen2.5-7B-Instruct 和 Qwen2.5-32B-Instruct (Qwen et al., 2024)，由 Claude 3.5 Sonnet 将每次尝试与参考答案进行比对来评判正确性（评分协议见 §B.3）。我们使用 Qwen2.5 分词器测量每条推理轨迹的词元长度，以此作为问题难度的指示。这依赖于“更难的问题需要更多思考词元”的假设。根据评分结果，我们移除 Qwen2.5-7B-Instruct 或 Qwen2.5-32B-Instruct 能够正确解答、因而可能过于简单的问题。通过使用两个模型，我们降低了由于某一个模型在简单问题上偶发失误而导致简单样本漏过过滤的可能性。这将我们的样本总数降至 24,496 个，为下一轮基于多样性的子采样奠定了基础。尽管使用这两个模型进行过滤可能为我们的设置做了优化（因为我们也使用 Qwen2.5-32B-Instruct 作为微调模型），但基于模型的过滤这一思路可推广到其他设置。

多样性

为了量化多样性，我们使用 Claude 3.5 Sonnet，依据美国数学会的数学主题分类（MSC）体系（例如几何、动力系统、实分析等），将每个问题归类到特定领域。11 1

https://mathscinet.ams.org/mathscinet/msc/msc2020.html 该分类体系侧重于数学主题，但也包含生物、物理和经济学等其他科学。为了从 24,496 个问题的样本池中选出我们的最终示例，我们首先均匀地随机选择一个领域。然后，根据该领域中的一个分布抽取一个问题，该分布倾向于更长的推理轨迹（详见 §B.4），这正如“难度”部分所论证的。我们重复这一过程，直到获得 1,000 个样本。

这一三阶段过程产生了一个横跨 50 个不同领域的数据集（见附表 5）。在 §5.1 中，我们将表明，将这三条准则结合起来使用十分重要，因为仅依赖质量、多样性或难度中的任何一项都会导致更差的数据集。我们数据集中的示例见 §C.2。