3 指令微调

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

预训练模型通过与我们先前方案相比有所改进的后训练方法被转化为指令微调模型（见表 6）。

技术。 我们的后训练方法依赖于来自大型 IT 教师模型的改进版知识蒸馏（Hinton et al., 2015; Anil et al., 2018; Agarwal et al., 2024），以及基于改进版 BOND（Sessa et al., 2024）、WARM（Ramé et al., 2024b）和 WARP（Ramé et al., 2024a）的强化学习微调阶段。

强化学习目标。我们使用多种奖励函数来提升有用性、数学、代码、推理、指令遵循和多语言能力，同时最小化模型的有害性。这包括从使用人类反馈数据训练的权重平均奖励模型（Ramé et al., 2024b）中学习、代码执行反馈（Gehring et al., 2024），以及求解数学问题的真实值（ground-truth）奖励（Lambert et al., 2024; DeepSeek-AI, 2025）。

数据过滤。我们仔细优化后训练中使用的数据，以最大化模型性能。我们过滤掉包含某些个人信息、不安全或有毒模型输出、错误自我身份数据以及重复样本的示例。纳入鼓励更好的上下文内归因、对冲（hedging）和拒答的数据子集以最小化幻觉，也能提升事实性指标上的性能，而不会降低模型在其他指标上的性能。

[BOS] token。对于 PT 和 IT 模型，文本均以 [BOS] token 开头，由于文本"[BOS]"并不映射到 [BOS] token，因此需要显式添加该 token。 例如，Flax 提供了一个选项 add_bos=True，可在分词时自动添加该 token。 IT 模型格式的一个示例见表 4，

PT 与 IT 格式对比。 所有模型共享同一个分词器，其中一些控制 token 专用于 IT 格式。 一个关键区别是，PT 模型在生成结束时输出 <eos> token，而 IT 模型在生成结束时输出 <end_of_turn>，如表 4 中 IT 所示。 因此，对任一类型模型进行微调同样需要添加它们各自的结束 token。