7 责任、安全与安全

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

责任、安全与安全在 Gemma 模型的开发中至关重要。为降低 Gemma 3 用户的风险，我们继续整合增强的内部安全流程，贯穿开发工作流，与近期 Google AI 模型（Gemini Team, 2024）保持一致。这着重于训练时的安全缓解，以及对我们引入的新图像到文本能力进行强健且透明的模型评估。

7.1 治理与评估

我们评估 Gemma 的收益与风险的方法，反映了 Gemma 1（Gemma Team, 2024a）所概述的方法，同时考虑到支持模态的变化。我们继续相信，AI 的开放性可以将这些技术的收益传播到整个社会，但必须与可能对个人和机构层面造成伤害的恶意使用的风险进行权衡（Weidinger et al., 2021）。自首次 Gemma 发布以来，我们看到这些模型推动了多项社会有益的应用，例如我们自己的 ShieldGemma 2，一个基于 Gemma 3 构建的 4B 图像安全分类器，它为图像安全提供现成解决方案，在危险内容、性露和暴力类别中输出安全标签。

发布 Gemma 3 模型需要特别关注模型能力的变化，并密切监控现有多模态 LLM（Lin et al., 2024）不断演变的风险，以及了解模型在野外的使用方式。尽管我们尚未收到任何 Gemma 恶意使用的报告，但我们仍致力于调查任何此类报告，并与学术界和开发者社区合作，并自行开展监控，以标记此类情况。

尽管能力有所提升，但我们认为，鉴于可用的更多强大开源模型数量，此次发布对整体风险格局的影响将微乎其微。

7.2 安全策略与训练时缓解

Gemma 安全方法的关键支柱之一，是将微调模型与 Google 的安全政策对齐，与 Gemini 模型（Gemini Team, 2023）保持一致。它们旨在帮助防止我们的模型生成有害内容，即：

• •

儿童性虐待和剥削

• •

泄露可能导致伤害的个人身份信息（例如，社会安全号码）

• •

仇恨言论与骚扰

• •

危险或恶意内容（包括宣传自残或指导有害活动）

• •

性露内容

• •

与科学或医学共识相悖的医疗建议

我们对预训练数据进行了大量安全过滤，以降低我们的预训练和微调检查点产生有害内容的可能性。对于微调模型，我们还同时使用 SFT 和 RLHF 将模型引导远离不良行为。

7.3 保证评估

我们还对 IT 模型运行一套基准保证评估，以了解我们的模型可能造成的潜在危害。随着我们倡导开放模型，我们也认识到权重发布的不可逆性质需要严格的风险评估。我们的内部安全流程相应设计，对于之前的 Gemma 模型，我们还开展了与极端风险相关的能力评估（Shevlane et al., 2023; Phuong et al., 2024）。随着我们继续开发和共享开放模型，我们将遵循这样一种启发式：彻底评估更强大的模型通常能为能力较弱的模型提供足够的保证。因此，我们为 Gemma 3 优先制定了一套精简的评估，将深入的危险能力评估保留给特定模型可能呈现潜在更高风险的情况（如下文 CBRN 评估所述）。我们在开发速度与有针对性的安全测试之间取得平衡，确保我们的评估集中且高效，同时坚持我们前沿安全框架中提出的承诺。

基准评估

基准保证捕获安全策略的模型违规率，使用大量合成对抗用户查询，以及人类评分员将答案标记为违反政策或不违反。总体而言，Gemma 3 在这些安全策略上的违规率显著较低。

化学、生物、放射和核（CBRN）知识

鉴于在 STEM 相关任务上的性能增强，我们使用内部数据集的封闭式知识型选择题，评估与生物、放射和核风险相关的知识。对于化学知识的评估，我们使用 Macknight et al. () 开发的化学危害的封闭式知识型方法。我们的评估表明，Gemma 3 模型在这些领域的知识水平较低。

7.4 我们对负责任开放模型的方法

设计安全、可靠且负责任的应用需要系统层面的方法，致力于减轻与每个特定用例和环境相关的风险。我们将继续采取与潜在风险相称的评估和安全缓解措施，并且只有在我们确信收益显著超过可预见的风险时，才会将这些内容与社区共享。