论文信息与摘要（译文）

原文标题：SmolLM2: When Smol Goes Big — Data-Centric Training of a Small Language Model 中文译名：SmolLM2：紧凑高效的小语言模型家族 arXiv：2502.02737（v1）

本板块为论文全文的中文翻译，章节结构与「论文原文」板块一一对应。

Loubna Ben Allal

Correspondence to: loubna@hf.co

Anton Lozhkov

Elie Bakouch

Gabriel Martín Blázquez

Guilherme Penedo

Lewis Tunstall

Andrés Marafioti

Hynek Kydlíček

Agustín Piqueres Lajarín

Vaibhav Srivastav

Joshua Lochner

Caleb Fahlgren

Xuan-Son Nguyen

Clémentine Fourrier

Ben Burtenshaw

Hugo Larcher

Haojun Zhao

Cyril Zakka

Mathieu Morlon

Colin Raffel

Leandro von Werra

Correspondence to: leandro@hf.co

Thomas Wolf

Correspondence to: thomas@hf.co

摘要

虽然大型语言模型在人工智能的众多应用中带来了突破，但其固有的庞大体量使其在计算上代价高昂，难以部署于资源受限环境。在本文中，我们记录了 SmolLM2 的开发过程，这是一款最先进的“小型”（17 亿参数）语言模型（LM）。为取得强劲性能，我们对 SmolLM2 进行了约 11 万亿个 token 的过度训练，采用多阶段训练过程，将网络文本与专用数学、代码及指令跟随数据相混合。我们还在现有数据集规模过小或质量过低的阶段，引入了新的专用数据集（FineMath、Stack-Edu 和 SmolTalk）。为辅助我们的设计决策，我们既进行了小规模消融实验，也进行了手动优化过程，根据前一阶段的性能更新每个阶段的数据混合比率。最终，我们证明 SmolLM2 在性能上超越了其他最近的小型 LM，包括 Qwen2.5-1.5B 和 Llama3.2-1B。为促进语言模型开发的未来研究以及小型 LM 的应用，我们发布了 SmolLM2 以及项目过程中准备的所有数据集。

关键词：机器学习，ICML

††affiliationnotice: 同等贡献

Hugging Face

https://hf.co/collections/HuggingFaceTB/smollm2-6723884218bcda64b34d7db9