附录 E 详细预训练结果

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

E.1 各训练阶段后的评估

表 8 显示了 SmolLM2 在各训练阶段结束时的评估结果。除了消融中使用的基准之外，我们还添加了四个生成任务：CoQA（Reddy et al., 2019）、DROP（Dua et al., 2019）、Jeopardy（MosaicML, 2024）和 SQuAD v2（Rajpurkar et al., 2018）。

表 8：各训练阶段模型的每基准表现。阶段 1-3 处于稳定阶段（无学习率衰减）。

E.2 MMLU 进展

图 6 显示了稳定阶段期间 MMLU 分数的进展。

图 6：训练期间 MMLU MCF 和 MLU CF 的进展。我们观察到在 6T 个 token 的训练后，MMLU MCF 的准确率高于随机水平（>25%），而 MMLU CF 似乎趋于平台期。