OpenAI 介绍对抗蒸馏防御方法,GPT-6.2 Astra 推理提取攻击成功率降至 0.2%
Combatting adversarial distillation
OpenAI 发布文章介绍其检测和阻断对抗蒸馏的做法,包括对抗测试、模型训练、分类器和 API 层防护,并称在 GPT-6.2 Astra 和 GPT-6.2 Sol 上加强了对受保护推理(chain-of-thought)的防护。
OpenAI 公开了对抗蒸馏的检测与防御体系,并给出推理轨迹提取攻击成功率从 54.0% 降至 0.2% 的内部评测数据。
随着前沿人工智能模型的能力不断增强,安全措施在确保其被负责任地使用方面发挥着越来越重要的作用。对抗性蒸馏为恶意行为者提供了一条在不具备适当安全保护的情况下复制这些能力的途径。某一方可能未经授权利用前沿模型的输出来训练另一个具有相似能力的模型,然后部署该模型而不配备相当的保护措施。例如,对手可能会蒸馏出模型的网络安全能力,并利用生成的模型来协助实施网络攻击,而原始模型原本会拒绝协助此类攻击,或其安全机制本应予以阻止。
我们分享了 OpenAI 如何检测和破坏对抗性蒸馏、我们如何加强了对模型受保护推理过程的保护,以及我们从中学到的有助于加强整个行业防御的经验。
我们应对对抗性蒸馏的方法结合了对抗性测试、模型训练、分类器以及 API 层面的保护措施,并对协调一致的提取模型能力的尝试进行了调查。这些更新后的安全措施与我们用于生物安全和网络安全的安全措施更加一致。
我们特别强调防止攻击者提取我们模型的受保护推理过程:即模型在得出答案过程中内部生成的中间步骤,也就是所谓的思维链(chain-of-thought)。这些推理痕迹可能包含最终答案所遗漏的信息,因此对另一个模型而言是极具价值的训练数据。
我们已加强了对 GPT‑6.2 Astra 和 GPT‑6.2 Sol 中受保护推理过程提取的防御。在一次内部自适应评估中,我们使用了强大的自动化红队测试,测试攻击者是否能够恢复模型在回答先前提示时生成的受保护推理过程。平均攻击成功率从使用原始安全措施的 GPT‑6 Astra 的 54.0% 下降到使用更新后安全措施的 GPT‑6.2 Astra 的 0.2%。
为什么蒸馏是一个安全问题
蒸馏是一种常见机器学习技术,其中一个模型从另一个模型产生的数据进行学习。例如,一个模型可以从另一个模型的答案、推理过程,或其对哪些答案更好及原因的判断中学习。除了知识产权问题外,未经授权的蒸馏还带来严重的安全风险。通过对抗性蒸馏,第二个模型可以学习到先进的前沿能力,却未继承约束原始模型如何使用这些能力的安全措施。
在网络安全和生物等双重用途领域,这种担忧尤为明显。一个能帮助防御者发现软件漏洞的模型,也可能帮助攻击者利用这些漏洞;一个能辅助生物学研究的模型,也可能帮助某人开发有害病原体。如果此类能力被转移到安全保护较弱的模型中,它可能会提供原始模型原本会拒绝的帮助,或原始安全措施原本会阻止的帮助。
保护精确推理痕迹对网络安全的重要性
我们的模型可帮助用户完成编码和防御性网络安全任务。在大量此类良性输出上训练的第二个模型,可能学会同样适用于进攻性网络安全任务的技能。为更好地理解这一点,我们研究蒸馏(尤其是涉及推理轨迹的情况)如何转移高风险的网络能力。
在此设定中,生成训练数据的模型称为教师模型,从中学习的模型称为学生模型。在一项关于网络能力转移的内部研究中,我们以用户通常可见的内容——最终回复、推理摘要和工具交互——作为蒸馏基线,并测试当学生模型能够访问教师模型的精确推理轨迹时,会额外转移多少网络能力。
每次训练运行均从同一个预训练的学生模型开始。我们构建了一个监督微调数据集,主要包含来自 Astra 级教师模型在处理编码和防御性网络安全任务时的轨迹。每条轨迹包含模型完成任务所采取的所有步骤,包括任何工具交互及其最终回复。我们在微调后对每个学生模型进行评估,并在网络安全和编码环境中进行一轮轻量级强化学习后再次评估。
经过监督微调后,使用精确推理轨迹训练的学生模型通常优于使用推理摘要训练的学生模型。经过强化学习后,在使用所示两个基准测试的最大推理预算下,精确轨迹学生的得分仍然更高;而在较低预算下,摘要训练学生的得分更高。1
基于精确推理轨迹或推理摘要训练后的网络基准性能。每个面板比较同一预训练学生模型的两次运行,随着评估时推理预算的增加而变化。蓝色线条显示用户可见的基线,其中包含推理摘要。黄色线条显示使用精确推理轨迹训练的运行结果。虚线表示监督微调后的性能,实线表示进一步强化学习后的性能。
我们的网络蒸馏结果表明,即使底层任务符合我们的使用政策,保护推理轨迹也能限制网络能力的转移。在多次此类交互中,精确推理轨迹可以教会学生超越教师最初执行任务的泛化技能。我们将继续研究在不同学生模型和蒸馏训练配方下,会有多少额外能力发生转移。
相互强化的防御措施
我们在安全栈的两个互补层级上防御对抗性蒸馏。在请求层面,模型行为、分类器检查和 API 控制限制了推理轨迹的提取。在活动层面,我们寻找请求层面和账户层面信号中的模式,以揭示协调一致的提取尝试。反过来,调查中发现的攻击案例成为我们训练和测试安全措施的示例。
我们针对对抗性蒸馏的防御措施将单个请求的安全防护与活动检测和执法相结合。调查发现和自动化红队测试有助于加强这些安全防护。
保护单个请求和响应
Defensive training for model behavior
对抗性训练教导模型识别推理提取尝试,并拒绝披露受保护的推理过程,同时保留对合法解释和协助请求的回复。对抗性训练示例来自通过内部自动化红队测试、调查以及外部研究人员或 industry 合作伙伴发现的潜在安全弱点负责任披露所确定的成功攻击。
分类器防护
我们使用输入分类器来检测试图提取受保护推理的行为,并使用输出分类器来检测助手消息和工具调用参数中受保护推理的泄露。这些防护措施适用于流式和非流式响应。
工具调用覆盖范围很重要,因为模型可以在工具的参数中暴露受保护的推理,而不将其包含在最终答案中。输出分类器可以在该内容到达调用者之前阻止可疑泄露。
API 级防护
API 级防护限制了受保护推理如何在交互和模型之间被重用。Our September disclosure 描述了将加密推理从一个对话移动到另一个对话并要求模型以用户可读形式揭示推理的攻击。我们加强了跨用户、工作区、组织和模型家族边界的防护,包括关闭可能暴露其他用户加密推理的路径。
对于 GPT‑6.2 Astra 和 GPT‑6.2 Sol,我们将模型的受保护推理与其产生的对话历史绑定。随着新消息的添加,模型可以基于其早期的推理进行构建。如果早期消息被重写,我们的 API drops the reasoning that followed it(opens in a new window)。我们还防止具有较弱防护措施的旧模型家族读取 GPT‑6.2 Astra 和 Sol 的受保护推理。
调查和破坏协调行动
当我们的系统检测到未经授权的对抗性蒸馏行动(通常包括协调一致的尝试以提取我们模型的推理)时,我们会调查相关账户。当我们确定违规行为时,我们会根据我们的政策和服务条款对该账户网络执行处罚。通过对每次行动的调查,我们生成见解,使我们能够升级防御措施,以便更好地检测类似活动。我们还将妥协指标与其他模型提供商共享,以便他们能够在自己的服务上调查相关的滥用行为。
这项工作超出了我们自己的平台范围。Our consistent-standards policy 为提供我们模型的提供商建立了共享的防护标准和协调执法标准。我们在适当的情况下与合作伙伴密切合作,以维护这些标准并加强部署中的保护措施。
Sharing relevant findings across industry and government where appropriate can help disrupt campaigns and enable model developers and providers to better identify and defend against attempts to distill frontier models.
衡量进展
对推理提取的抵抗
为了衡量我们的请求级安全措施协同工作的效果,我们测试在紧密模拟模型和 safeguard 生产部署的环境中,攻击者是否仍能提取受保护的推理。在静态评估中,我们重放一组先前成功的攻击,以观察哪些攻击仍能暴露受保护的推理。在自适应评估中,自动化 AI 红队会根据系统的响应调整其方法,从而可能发现静态测试所遗漏的弱点。
我们还变化了测试人员可见的信息范围。黑盒测试给予他们与外部用户相同的视图,而白盒测试则提供有关系统的额外信息,以帮助他们开发更强的攻击。在我们的自适应黑盒评估中,我们测试了攻击者是否能够恢复模型在回答早期请求或当前请求时生成的受保护推理。在配备更新后 safeguard 的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两个比率均显著低于配备原始 safeguard 的 GPT‑6 Astra。我们现在也将选定的 safeguard 改进措施应用于 GPT‑6 Astra。
攻击类型 | GPT‑6 Astra 防御者(原始 safeguard) 自适应提取 ASR (%) | GPT‑6.2 Astra 防御者(更新后的 safeguard) 自适应提取 ASR (%) |
|---|---|---|
从早期请求中提取受保护的推理 | 54.0 | 0.2 |
从当前请求中提取受保护的推理 | 22.9 | 0.9 |
针对 GPT‑6 Astra 和 GPT‑6.2 Astra 的自适应黑盒红队测试中的攻击成功率 (ASR),汇总自六种攻击者模型。ASR 越低越好。
活动检测与执行
今年我们在平台上发现了多次未经授权的对抗性蒸馏活动,并在我们的九月 报告 中分享了初步发现。我们针对这些活动的每周执法行动规模从数千个账户到数万个账户不等,且去年夏季以来该速率显著增加。
为了衡量我们工作的有效性,we 还跟踪蒸馏滥用行为的普遍程度,以及检测与执行之间的时间间隔。我们的目标是限制蒸馏者能够获取的数据量和价值,提高蒸馏活动的成本,并缩短对新攻击做出响应所需的时间。我们通过对抗性测试和调查持续改进这些防御措施。
对抗性蒸馏的国家安全影响
对抗性蒸馏也构成国家安全风险。外国行为体若复制美国模型的先进能力,可在无需其开发者设置的保护的情况下部署这些能力。今年二月,我们就表明 DeepSeek 试图蒸馏美国前沿模型的活动向国会进行了 简报(在新窗口中打开)。今年九月,我们 报道 了中断一项提取我们模型受保护推理的活动,并将该活动的核心部分归因于与 Kimi 开发者 Moonshot AI 相关的个人。我们计划很快分享更多关于我们最近中断的活动的相关信息。
我们支持立法,赋予美国政府更多工具来识别并对非法从美国 AI 模型中提取能力的行为者实施制裁。我们还向国会表示,我们支持《芯片安全法案》、《AI OVERWATCH 法案》和《MATCH 法案》。更严格的出口管制可以限制对手获取训练前沿模型所需硬件的途径。蒸馏防御措施使得从已训练的模型中获取部分相同能力变得更加困难。这两项努力有助于维持美国在前沿 AI 领域的领先地位,使开发人员在需要时间测试安全措施时能够有更多空间放缓发布节奏。
其他人如何在此基础上开展工作
支持前沿能力的安全扩散是我们反蒸馏工作的重要目标。我们目前的经验表明,其他模型开发者和平台可以采取几个有用的步骤:
在整个交互过程中保护私有推理过程。检查助手消息和工具调用参数是否存在泄露,并限制加密推理在不同对话和模型之间的复用方式。
将通过红队测试、生产监控或负责任披露发现的成功提取攻击日志作为回归测试用例。在适当情况下,并 符合 适用隐私政策的前提下,利用这些示例改进模型训练和分类器。在评估更新的防御措施时,重放原始攻击,并测试适应性红队是否仍能找到绕过这些防御的方法。
将请求级别的缓解措施与活动级别的调查和执法相结合。
与部署合作伙伴协调安全要求及执法工作,并与其他 AI 模型开发者分享专业知识,以确保整个行业具备高水平的蒸馏安全防护底线。
我们此前还通过 前沿模型论坛(在新窗口中打开)以及适当的政府信息共享渠道分享了相关发现,以帮助其他开发者加强其防御能力,同时保持攻击者可利用细节的私密性。我们将继续与研究人员、开发者和伙伴合作,分享我们在新兴攻击和有效防御方面学到的知识。
随着我们将前沿 AI 广泛提供给公众,我们针对对抗性蒸馏的防御措施旨在降低其能力在缺乏充分安全保障的情况下被复制的风险,从而支持我们的使命,确保通用人工智能得到安全部署并造福全人类。
来源:OpenAI News · openai.com