论文信息与摘要（译文）

原文标题：Gemma 3 Technical Report 中文译名：Gemma 3：轻量开放的多模态模型家族 arXiv：2503.19786（v1）

本板块为论文全文的中文翻译，章节结构与「论文原文」板块一一对应。

\authfootnotetext 1完整的作者列表请参见"贡献与致谢"部分。如有通信事宜，请联系 gemma-3-report@google.com。

Gemma Team

Google DeepMind\authfootnotemark1

摘要

我们推出 Gemma 3，它是 Gemma 轻量级开放模型家族的多模态新成员，参数规模从 10 亿到 270 亿不等。 这一版本引入了视觉理解能力、更广泛的语言覆盖以及更长的上下文——至少 128K 个 token。 我们还改变了模型的架构，以减少在长上下文中容易急剧膨胀的 KV 缓存（KV-cache）内存。 这是通过提高局部注意力层与全局注意力层的比例，并保持局部注意力的跨度较短来实现的。 Gemma 3 模型采用蒸馏方式进行训练，其预训练版本和指令微调版本的性能均优于 Gemma 2。 特别地，我们新颖的后训练（post-training）方案显著提升了数学、对话、指令遵循和多语言能力，使得 Gemma3-4B-IT 在各项基准测试中可与 Gemma2-27B-IT 相媲美，而 Gemma3-27B-IT 则可与 Gemini-1.5-Pro 相当。 我们向社区发布了所有模型。