附录 A 训练设置

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

表 6 显示了 SmolLM2 1.7B 的架构细节。

表 6：SmolLM2 架构概览。† 这是在将上下文扩展至 8k 个 token 之前的状态。

图 3 显示了使用 WSD 调度器进行训练时的学习率进展。

图 3：SmolLM2 训练期间的学习率。我们使用了 2000 步预热、学习率 $5.0\times 10^{-4}$ 和 10% 衰减的 WSD 调度器。