附录 F 后训练

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

表 9 显示了 SmolTalk 数据集的最终组成。

表 9：SmolTalk 数据集组成。总数据集包含来自不同数据来源的 110 万条指令-响应对。

表 10 显示了在我们考虑的 SmolTalk 不同组件上训练后的表现。顶部章节比较了在不同指令数据集上微调 SmolLM2 基础模型的结果，底部章节评估了在 80% MagPie-Ultra$\overset{+}{}$ 的基础混合物中添加 20% 专用数学数据的影响。最后一行 SmolLM2-SFT 表示 SmolLM2 在 DPO 之前的最终 SFT 检查点，在完整的 SmolTalk 数据集上训练了 2 个时代。

表 10：指令微调数据集上的表现。MagPie-Ultra$\overset{+}{}$ 指 MagPie-Ultra 与 Smol-Constraints、Smol-Rewrite 和 Smol-Summarization 的组合。MagPie-Pro-MT 是多轮版本，而 MagPie-Pro 是单轮版本。所有比较均通过在每个数据集上微调 SmolLM2 基础模型 1 个时代完成。SmolLM2-SFT†，即 SmolLM2 的最终监督微调版本，在 SmolTalk 上训练了 2 个时代。