跳到正文
meng shao· @shao__meng · X·· 7 小时前同事件AI 评分75
AI 导读

OpenAI 发布「Combatting adversarial distillation」,介绍如何阻止未经授权的模型能力提取,重点保护不向用户公开的内部推理过程。

同一件事,精选收录的是《OpenAI 介绍对抗蒸馏防御方法,GPT-6.2 Astra 推理提取攻击成功率降至 0.2%》

正文 · 原文

OpenAI 公布对抗性蒸馏防护:保护内部推理,GPT-6.2 测试中一类提取成功率从 54% 降至 0.2%

OpenAI 发布「Combatting adversarial distillation」,介绍如何阻止未经授权的模型能力提取。核心担忧是:其他模型可以通过学习输出获得能力,却未必同时学到原模型的安全约束。

蒸馏本身是常见训练方法。这里的“对抗性蒸馏”,指 OpenAI 所界定的违反条款、规避反滥用措施、系统性收集输出用于训练的行为,尤其针对模型不向用户公开的内部推理过程。

https://openai.com/index/combatting-adversarial-distillation/

为什么重点保护内部推理?

最终答案往往只呈现结论,完整推理痕迹还可能包含尝试、检查和中间步骤,能提供更丰富的训练信号。

OpenAI 的内部实验发现,即使教师模型执行的是编码和防御性网络安全任务,用完整推理痕迹训练学生模型,也可能比使用最终答案、推理摘要和工具交互记录,迁移出更强的相关能力。不过,优势会随训练方法和推理预算变化,并非所有条件下都成立。

防护覆盖单次请求和跨账号活动

请求层首先通过对抗训练,让模型抵抗内部推理提取,同时保留正常解释能力。输入、输出分类器进一步检查请求、回复及工具调用参数,流式输出必要时会暂缓发送。

API 还将受保护的推理绑定到原始对话历史:若修改前面的消息,后续推理会被丢弃;防护较弱的旧模型家族也不能读取 GPT-6.2 的内部推理。这是在限制利用历史改写、跨模型传递等方式绕过防护。

活动层则识别跨账号协同提取,处置相关账号网络,并与其他提供方共享线索。文中涉及 DeepSeek、月之暗面相关活动的判断,来自 OpenAI 的调查与归因。

54.0% 到 0.2%,具体测了什么?

在 OpenAI 使用六个攻击模型进行的自适应黑盒测试中,提取此前请求内部推理的平均成功率,从 GPT-6 Astra 配合原防护的 54.0%,降至 GPT-6.2 Astra 配合新防护的 0.2%;提取当前请求推理,则从 22.9% 降至 0.9%。

这是特定推理提取测试的结果,不能理解为“所有蒸馏成功率降到 0.2%”。模型与防护同时更新,也无法把全部提升单独归功于某项措施。

来源:meng shao · x.com