1 引言

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

我们呈现 Gemma 开放语言模型的最新版本（Gemma Team, 2024a），它与 Gemini 前沿模型家族（Gemini Team, 2023）协同设计。 这一新版本的规模与 Gemma 2（Gemma Team, 2024b）相当，并新增了一个 1B 模型。 这些模型被设计为可在标准消费级硬件上运行，例如手机、笔记本电脑和高端 GPU。这一版本为 Gemma 家族带来了若干新能力，即多模态、长上下文和多语言，同时保持或超越了先前版本的性能。

在多模态方面，大多数 Gemma 3 模型与一个定制版本的 SigLIP 视觉编码器（Zhai et al., 2023）兼容。 语言模型将图像视为由 SigLIP 编码的软 token（soft token）序列。我们通过将视觉嵌入压缩为固定大小的 256 个向量，降低了图像处理的推理成本。 该编码器在固定分辨率下工作，我们借鉴 LLaVA（Liu et al., 2024）的思路，通过一种平移与扫描（Pan and Scan，P&S）方法实现灵活的分辨率。

第二个主要架构改进是将上下文大小提升到 128K 个 token，且不损失性能。 长上下文带来的一个挑战是推理过程中 KV 缓存的内存爆炸。 为了缓解这一问题，我们在每个全局层之间交错插入多个局部层，并为局部层分配仅 1024 个 token 的较小跨度。 因此，只有全局层会关注长上下文，我们每 5 个局部层对应 1 个全局层。

预训练优化方案与 Gemma 2 类似，仅在架构设计上做了一些修改。 我们使用与 Gemini 2.0 相同的分词器（tokenizer），并且重新调整了数据配比，以提升模型的多语言能力，同时引入图像理解。 所有 Gemma 3 模型均采用知识蒸馏（knowledge distillation）进行训练（Hinton et al., 2015）。

在后训练阶段，我们致力于提升数学、推理和对话能力，并整合 Gemma 3 的新能力，即长上下文和图像输入。 我们采用一种新颖的后训练方法，在所有能力上均带来提升，包括数学、代码、对话、指令遵循和多语言。由此得到的 Gemma 3 指令微调模型既强大又多能，以巨大优势超越其前辈。

在接下来的章节中，我们将简要概述我们的模型，包括架构以及预训练和后训练方案。 我们还在大量定量和定性基准上提供详细评估。我们讨论安全与负责任部署的方法，并概述 Gemma 3 更广泛的影响、局限性和优势。

图 1：与 Gemma 3 27B IT 模型进行视觉交互的示例。