6 SmolLM2 135M 和 360M

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

除了 SmolLM2-1.7B 之外，我们还训练了两个更小的模型：SmolLM2-360M（3600 万参数，在 4T 个 token 上训练）和 SmolLM2-135M（1350 万参数，在 2T 个 token 上训练），它们在各自规模类别中同样处于最先进水平。鉴于其较小容量和降低的训练成本，我们在目标训练长度下重新运行数据消融，以确定最有效的数据混合物。我们发现，使用 FineWeb-Edu 分类器过滤 DCLM、移除分数为 0 的样本，并对分数 1 和 2 的样本进行下采样，效果最好。与采用多阶段训练策略的 SmolLM2-1.7B 不同，这些小型模型受益于一致高质量数据的单阶段训练方法。我们从一开始就纳入 Stack-Edu，以及 InfiMM-WebMath、FineMath 和 Cosmopedia。这些模型与 SmolLM2-1.7B 共享相同架构，但使用分组查询注意力（GQA），并采用带 20% 衰减、学习率 $3.0\times 10^{-3}$ 的 WSD 调度器进行训练。对于后训练，我们使用过滤版的 SmolTalk 3 3

https://huggingface.co/datasets/HuggingFaceTB/smol-smoltalk 进行 SFT，移除复杂的指令跟随任务（如函数调用）和 MagPie-Ultra 中的难样本，以更好地匹配模型容量。最后，我们使用 UltraFeedback 进行 DPO 训练，优化模型的指令跟随能力，同时保持连贯性和有用性。关于 SmolLM2-360M 和 135M 的更多细节可在其各自的模型卡中找到 4 4

SmolLM2-360M 模型卡 5 5