6 记忆与隐私

本文为论文《Gemma 3：轻量开放的多模态模型家族》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

大型语言模型可能会产生训练中所用某些文本的近似副本（Carlini et al., 2021; Carlini et al., 2022; Ippolito et al., 2022; Biderman et al., 2023; Nasr et al., 2023）。多份先前的报告发布了审计，通过测量记忆率（memorization rate）来量化这一风险（Gemini Team, 2023; Gemini Team, 2024; Gemma Team, 2024a; Gemma Team, 2024b; Anil et al., 2023; Chowdhery et al., 2022; LLaMa Team, 2024）。这个“记忆率”11 1

”我们在此并不声明或暗示模型“包含”其训练数据，在该意义上模型中存在该数据的副本。相反，模型记忆其训练数据的属性，使得在某些情况下，当遵循规则并使用它确实包含的关于其训练数据特征的信息时，它能够在统计意义上生成此类训练数据。”被定义为模型生成与其训练数据匹配的部分相对于所有模型生成（使用以下设置）之比。我们遵循 Gemma Team (2024b) 描述的方法来测量它。具体地，我们对分布在不同语料库中的大部分训练数据进行均匀子采样，并使用长度为 50 的前缀和长度为 50 的后缀测试此内容的可发现抽取（discoverable extraction）（Nasr et al., 2023）。如果续写中的所有 token 都与源后缀匹配，我们将文本标记为“完全记忆”；如果它们在 10% 的编辑距离内匹配，则标记为“近似记忆”。

图 9 比较了各 Gemma 和 Gemini 模型的记忆率；这些模型按逆时间顺序排列，最新的 Gemma 3 模型在左侧。我们发现 Gemma 3 模型记忆长文本的比率远低于先前的模型（注意 y 轴为对数轴）。我们观察到 4B、12B 和 27B 模型之间的记忆率仅有边际差异，而 1B 的记忆量低于这些更大的模型。此外，我们发现更大比例的文本被表征为近似记忆，近似记忆相对于完全记忆的相对增加平均约为 24 倍。

图 9：完全记忆与近似记忆的总记忆率。Gemma 3 模型的记忆量显著低于所有先前模型。*这些模型没有近似记忆的结果。

我们还研究了生成内容可能包含个人信息的比率。为识别潜在个人信息，我们使用 Google Cloud 敏感数据保护（Sensitive Data Protection，SDP）服务。22 2

https://cloud.google.com/sensitive-data-protection SDP 使用宽泛的检测规则来识别可能包含个人信息的文本。SDP 设计为具有高召回率，且不考虑信息可能出现的上下文，这导致了许多误报。因此，相对于被归类为记忆的输出中实际包含的潜在个人信息量，我们很可能高估了。SDP 还提供宽泛的严重程度级别：低、中、高。如果 SDP 在任何严重程度级别上将文本归类为个人信息，我们就将其归类为个人信息。我们观察到在所有 Gemma 3 模型被表征为记忆的输出中都没有个人信息。这表明在被归类为记忆的输出中，个人数据比率很低，低于我们的检测阈值。