附录 C FineMath

附录 C FineMath

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

C.1 公开数据集比较

图 5 显示了在 OWM 和 InfiMM-WebMath 上训练的消融模型在 GSM8k 和 MATH 上的表现。

图 5：OWM 与 InfiMM-WebMath 文本组件的退火消融结果。InfiMM-WebMath 在 GSM8K 上始终优于 OWM，而 OWM 在 MATH 上略占优势。尽管在 600 亿个数学 token 上训练（相当于 OWM 5 个时代和 InfiMM-WebMath 1.5 个时代），性能仍远低于最先进的 LLM，凸显了开发新数学数据集的必要性。

C.2 注释提示词（3 级）

我们使用以下提示词模板，利用 Llama3 模型为 FineMath 生成银色 3 级标注：

评估以下文本摘录对高中和早期本科水平数学学习的潜在有用性。使用以下所述的 3 点评分系统。根据每个标准的满足情况累积得分：

如果摘录包含一些数学内容（即使它对学习并不非常有用，或者是一篇过于高深的学术论文），加 1 分。
如果摘录在数学语境下展示出逻辑推理（即使它缺乏逐步解释或过于高深），再加 1 分。
如果摘录处于适当水平（高中和早期本科水平），并包含清晰的数学推导和数学问题的逐步解答，授予第三个分数。

问答格式（例如，来自教育网站或论坛）如果符合标准是可接受的。忽略任何格式错误或缺失的方程，根据整体内容做出假设。

文本摘录：

检查摘录后：

简要证明你的总分，最多 100 个字。
使用以下格式给出得分：“最终得分：<总分>”。

C.3 注释提示词（5 级）

我们在第二阶段过滤中，使用以下提示词模板，利用 Llama3 模型为 FineMath 生成 5 级标注：

评估以下文本摘录对高中和早期本科水平数学学习的潜在有用性。使用以下所述的 5 点评分系统。根据每个标准的满足情况累积得分：

如果摘录包含一些数学内容（即使它对学习并不非常有用，或者包含非学术内容，如广告和用于重量与货币转换的生成页面），加 1 分。
如果摘录涉及数学主题（即使写得不好，或者过于复杂，如过于高深的学术论文），再加 1 分。
如果摘录在数学语境下展示出问题求解或逻辑推理（即使它缺乏逐步解释），授予第三个分数。
如果摘录处于适当水平（高中和早期本科水平），并包含清晰的数学推导和数学问题的逐步解答，授予第四个分数。它应该类似于教科书的一章或教程。
如果摘录在中学和高中数学教学与学习方面的教育价值卓越，授予第五个分数。它应包含非常详细且易于跟随的解释。

问答格式（例如，来自教育网站或论坛）如果符合标准是可接受的。

文本摘录：

检查摘录后：

简要证明你的总分，最多 100 个字。
使用以下格式给出得分：最终得分：<总分>。