2 背景

本文为论文《SmolLM2：紧凑高效的小语言模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

训练现代 LM 通常从“预训练”开始，使用大量（例如万亿级 token）非结构化文本。预训练帮助模型拟合语言结构（Clark, 2019）并存储事实知识（Petroni et al., 2019; Roberts et al., 2020），因此已被证明是 LM 训练的重要组成部分，使得预训练数据集的构成成为关键考量。预训练的贪婪数据特性导致使用了大规模网络爬取（com, ; ope, ; ant, ），其原始形式可能导致表现不佳的 LM（Penedo et al., 2024b）。因此，现代 LM 预训练数据集的主要管理手段，涉及设计旨在自动过滤和重新格式化网络文本的复杂管线（Penedo et al., 2024a; Penedo et al., 2024b; Soldaini et al., 2024; Soboleva et al., 2023; Li et al., 2024c），这些管线旨在保留足够数据以避免有害的重复（Muennighoff et al., 2023），同时丢弃任何不是“高质量”的数据。

除了网络文本，将代码（Kocetkov et al., 2022; Li et al., 2023a）和数学（Paster et al., 2023; Han et al., 2024; Wang et al., ; Azerbayev et al., 2023）等特定领域的“专用”数据纳入其中，可提升模型在涉及推理和世界知识的任务上的表现（Muennighoff et al., 2023; Aryabumi et al., 2024; Lewkowycz et al., 2022; Shao et al., 2024）。小型专用数据集的贡献可能被远大于其的基于网络的预训练数据来源所淹没，这导致了多阶段预训练的设计，即专用或高质量数据集在训练后期被纳入（Abdin et al., 2024b; Ai2, 2024; Blakeney et al., 2024; Singer et al., 2024）。

预训练后，语言模型通常在部署前经历两个额外的训练阶段：指令微调和偏好学习。在指令微调中，模型在反映语言模型应回答查询方式的指令/响应对上进行监督训练（Wei et al., 2021; Mishra et al., 2021; Sanh et al., 2021; Wang et al., 2022）。这一过程为将 LM 定制为提供有用响应（而非单纯尝试延续输入，如预训练所教授）提供了宝贵途径。在偏好学习中，语言模型通过被训练区分有用与无用响应，进一步“对齐”至其预期用途（Ouyang et al., 2022; Bai et al., 2022）。此最终阶段通常涉及一种强化学习（Bai et al., 2022; Lee et al., ; Rafailov et al., 2024），在标注有人类或合成生成偏好的数据上进行。