5 消融实验

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们聚焦于架构改动的影响，以及该模型新引入的部分视觉能力。

5.1 预训练能力探测

图 2：Gemma 2 和 Gemma 3 不同预训练模型在通用能力上的性能总结。这些图旨在给出简化的总结，细节见附录。

我们在预训练期间使用多个标准基准作为探测（probe），以确保模型捕获通用能力；在图 2 中，我们比较了 Gemma 2 和 Gemma 3 预训练模型在这些通用能力上的质量，即科学、代码、事实性、多语言、推理和视觉。 这些图中使用的不同公开基准的性能细节总结在附录中。 总体而言，我们看到新版本在大多数类别上都有所改进，尽管增加了视觉。 我们在此版本中尤其关注多语言，这直接影响我们模型的质量。 然而，尽管使用了去污染技术，这些探测始终存在被污染的风险（Mirzadeh et al., 2024），使得更明确的结论难以评估。

图 3：局部:全局比例对验证集困惑度（perplexity）的影响。影响极小，即使局部与全局之比为 7 比 1。该消融使用纯文本模型运行。

5.2 局部:全局注意力层

我们测量对局部和全局自注意力层的改动对推理期间性能和内存消耗的影响。

局部:全局比例。 在图 3 中，我们比较了局部与全局注意力层的不同比例。 Gemma 2 模型使用 1:1，Gemma 3 使用 5:1。 我们观察到改变该比例对困惑度的影响极小。

滑动窗口大小。在图 4 中，我们比较了在不同全局:局部比例配置下局部注意力层的不同滑动窗口大小。 滑动窗口可以显著减小而不影响困惑度。

图 4：滑动窗口大小对在验证集上测得的困惑度的影响。我们考虑 2 个 2B 模型，其局部与全局层比例分别为 1:1 和 1:3。该消融使用纯文本模型运行。

对 KV 缓存内存的影响。 在图 5 中，我们展示了在 32k token 上下文的推理过程中模型所用内存与 KV 缓存之间的平衡。 "仅全局"（global only）配置是大多数稠密模型所使用的标准配置。 "1:1, sw=4096"用于 Gemma 2。 我们观察到"仅全局"配置会导致 60% 的内存开销，而在 1:3 和 1024 的滑动窗口（"sw=1024"）下，这一开销降至不足 15%。 在图 6 中，我们计算了 KV 缓存所用内存作为上下文长度的函数，对比我们的 2B 架构（L:G=5:1, sw=1024）与"仅全局"的 2B 模型。

图 5：在预填充（pre-fill）KV 缓存大小为 32k 的推理过程中，模型内存与 KV 缓存内存的对比。我们考虑一个 2B 模型，具有不同的局部与全局比例和滑动窗口大小（sw）。我们与"仅全局"进行比较，后者是 Gemma 1 和 Llama 中使用的标准配置。该消融使用纯文本模型运行。

图 6：KV 缓存内存与上下文长度的关系。我们展示了我们的架构（L:G=5:1, sw=1024）与仅使用全局注意力的 Transformer（如 LLaMa 或 Gemma 1 中所用）的 KV 缓存内存使用情况。

5.3 启用长上下文

我们不从头使用 128K 序列进行训练，而是先用 32K 序列预训练模型，然后在预训练结束时将 4B、12B 和 27B 模型扩展到 128K token，同时重新缩放 RoPE（Chen et al., 2023）。我们发现缩放因子取 8 在实践中效果良好。请注意，与 Gemma 2 相比，我们还将全局自注意力层的 RoPE 基频从 10k 提高到 1M，而局部自注意力层保持 10k。 在图 7 中，我们展示了不同上下文长度对困惑度的影响。我们的模型可泛化到 128K，但若继续扩展则会迅速退化。

图 7：预训练模型在 RoPE 重新缩放前后的长上下文性能。

5.4 小教师与大教师

图 8：小教师与大教师。使用小教师和大教师时困惑度的相对差异，作为训练 token 规模的函数。数值越小表示从更大的教师蒸馏更好。

一个常见发现是，训练小模型时，从更小的教师蒸馏更为可取。 我们怀疑这是因为这些研究通常在如下设置中进行：使用较差教师带来的正则化效应超过了使用更好教师的收益。 我们用两个不同规模的教师（一个大、一个小）训练一个学生，训练时长各不相同。在图 8 中，我们观察到对于较短的训练时长，较小的教师更好，但对于较长的训练，这一趋势发生逆转。

5.5 视觉编码器

表 7：图像编码器输入分辨率的影响。我们使用短训练周期的 2B Gemma 模型在几个评估基准上测量性能，以观察输入图像分辨率对视觉编码器预训练的影响。

图像分辨率的影响。 我们使用基于 SigLIP（Zhai et al., 2023）的视觉编码器。 视觉编码器被冻结，只训练语言模型。 此多模态数据中的每张图像由相应视觉编码器的 256 个图像 token 表示。 因此，较高分辨率的编码器使用平均池化将其输出缩减为 256 个 token。 例如，896 分辨率的编码器在其输出上进行 4x4 的平均池化。 如表 7 所示，较高分辨率的编码器表现优于较小者。

表 8：P&S 的影响。在预训练检查点上、带 P&S 与不带 P&S 时，在验证集上的 4-shot 评估结果。提升出现在与不同长宽比图像相关的任务上，或涉及阅读图像中文本的任务上。

平移与扫描。 P&S 能够以接近原生长宽比和图像分辨率捕获图像。在表 8 中，我们比较了带 P&S 与不带 P&S 时我们的 27B IT 模型。 正如预期，以接近原生分辨率处理图像的能力极大地帮助了那些需要某种形式阅读图像中文本的任务，这对视觉语言模型尤为重要。