7 结论

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

SmolLM2 通过精心的数据集管理与多阶段训练的结合，推动了开源小型 LM 的最先进水平。我们的方法凸显了高质量专用数据集在使小型模型在各种基准上取得强劲表现方面的关键作用。FineMath、Stack-Edu 和 SmolTalk 的开发解决了现有公开数据集的局限性，提升了推理、数学和指令跟随任务的能力。为支持未来的研究与开发，我们连同训练中使用的数据集和代码一同发布 SmolLM2。这些资源为训练高性能小型语言模型提供了全面的基础，使更广泛的研究人员和应用能够使用它们。