4 最终模型的评估

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们在一系列自动化基准和人工评估上，跨多个领域评估 IT 模型，以及诸如 MMLU 之类的静态基准。

4.1 LMSYS Chatbot Arena

在本节中，我们报告 IT 27B 模型在 LMSys Chatbot Arena（Chiang et al., 2024）上由人类评分者进行盲测并排评估、与其他最先进模型对比的性能。 我们在表 5 中报告 Elo 分数。 Gemma 3 27B IT（1338）位列最佳模型前 10 名，其分数高于其他非思考型开放模型，例如 DeepSeek-V3（1318）、LLaMA 3 405B（1257）和 Qwen2.5-70B（1257），而这些模型要大得多。 最后，Gemma 3 的 Elo 显著高于 Gemma 2 的 1220。 请注意，Elo 分数并未考虑视觉能力，而上述模型均不具备视觉能力。

表 6：指令微调（IT）模型与 Gemini 1.5、Gemini 2.0 和 Gemma 2 在不同能力上的零样本（zero-shot）基准性能对比。

4.2 标准基准

在表 6 中，我们展示了最终模型在多种基准上、与我们先前的模型版本以及 Gemini 1.5 相比的性能。 我们不与那些经常报告自身评估设置的外部模型直接比较，因为在我们的设置中运行它们并不能保证公平比较。 我们鼓励读者关注第三方静态排行榜，以获得跨模型更公平的比较。 我们在附录中提供了模型在其他基准上的额外评估。