OpenAI启动模型嵌入式安全评估试点
先了解这件事
OpenAI 已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,启动模型内嵌评估第一阶段,由这些机构独立评估模型对齐、防护措施和监控系统。 Apollo Research 将派出六名评估员在 OpenAI 内部工作四个月,考察模型是否会试图破坏自身或后继版本的对齐与控制机制。试点聚焦四个方面:训练是否激励破坏行为、评估能否诱发此类行为、内部部署中是否出现相关行为,以及相应推理是否可被检测。 据 The Decoder 报道,OpenAI 首次允许这四家外部审计机构进入公司现场,直接访问其内部 AI 系统以调查安全风险和模型行为。
AI 根据报道生成 · 3 天前更新
事件进展
4 个进展
- 11月19日 09:00 · 1 篇报道奥尔特曼谈AI安全与发展平衡及上市计划IT之家:奥尔特曼称 OpenAI 无法让所有人满意,需在 AI 安全与发展间平衡
- 11月17日 01:08 · 1 篇报道Apollo Research 发布嵌入式评估指南Andrew Curran:Apollo Research 发布嵌入式评估指南
- 11月17日 00:03 · 2 篇报道OpenAI与GoodfireAI合作嵌入可解释性研究人员OpenAI (X):OpenAI 与四家机构开展嵌入式评估,向外部专家开放内部模型
- 11月16日 16:00 · 6 篇报道OpenAI signs agreements with independent assessors for embedThe Decoder:OpenAI 首次向四家独立机构开放内部 AI 系统现场审计
报道时间线
沿着报道,了解事件的不同侧面。
- IT之家奥尔特曼称 OpenAI 无法让所有人满意,需在 AI 安全与发展间平衡
OpenAI CEO 萨姆·奥尔特曼在 DealBook 峰会上表示,公司必须在保障安全和持续创新之间做出取舍,无法让所有人都满意。OpenAI 采取迭代部署策略,并引入 METR、Apollo Research 等机构进行独立安全评估。奥尔特曼警告激烈竞争不利于安全,呼吁建立共同标准,同时透露公司仍计划上市。
- The Decoder精选OpenAI 首次向四家独立机构开放内部 AI 系统现场审计
OpenAI 首次允许 Apollo Research、METR、Transluce 和 Goodfire 四家外部审计机构进入公司现场,直接访问其内部 AI 系统以调查安全风险和模型行为。
- 新智元精选OpenAI 请四家外部机构进驻审查,GPT-6.2 Astra 延期背后曝出 RL 训练问题
OpenAI 首次启动嵌入式外部评估,请 METR、Apollo Research、Transluce 和 Goodfire 四家机构进入内部,开放部分模型、源代码、训练数据和未发布模型检查点。
- IT之家OpenAI 与 Goodfire 等四家机构启动嵌入式评估合作,此前曾探讨超 50 亿美元收购 Goodfire
OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 合作启动首阶段嵌入式评估项目,共同开展模型可解释性与安全评估。
- Andrew CurranApollo Research 发布嵌入式评估指南
博客链接: https://www.apolloresearch.ai/blog/pilot-towards-embedded-evaluations
- TechCrunch · AIOpenAI 将嵌入 Apollo Research 安全评估员开展试点
Apollo 表示,OpenAI 将在其组织内嵌入六名 Apollo Research 安全评估员开展试点,Apollo 未透露试点启动时间。试点将调查模型是否试图破坏自身或后继版本的对齐与控制机制,包括训练是否激励破坏行为、评估能否引出此类行为、内部部署中是否出现以及相关推理是否可被检测。
- TechmemeOpenAI 与 Apollo Research、METR、Transluce、Goodfire 签署模型内嵌评估协议
OpenAI 表示已与独立评估机构 Apollo Research、METR、Transluce 和 Goodfire 签署协议,用于其 AI 模型内嵌评估的第一阶段。Techmeme 收录的这条摘要未披露评估范围、时间表或具体模型。
- Andrew CurranApollo Research 与 OpenAI 启动嵌入式评估试点
Apollo Research 宣布与 OpenAI 启动嵌入式评估试点,将派出六名评估员在 OpenAI 内部工作四个月,考察模型是否会试图破坏自身或后继模型的对齐与控制机制。试点聚焦四个方面:训练是否会激励破坏行为、评估能否诱发破坏行为、内部部署中是否出现破坏行为,以及相关推理是否可被检测。
- OpenAI (X)OpenAI 将嵌入可解释性研究人员
@GoodfireAI 将嵌入可解释性研究人员,使用其平台分析我们模型的内部结构。 他们的工作专注于训练过程监控、调试和对齐,帮助我们的研究人员识别并做出安全改进。
- OpenAI (X)OpenAI 委托评估模型隐蔽对抗行为
@ApolloResearch 将评估我们的模型是否会暗中违背开发者的意图,以及我们的安全措施能否检测到这种行为。 它将审查来自训练、安全测试和内部使用的证据,以检测此类行为并检验我们发现它的能力。
- OpenAI (X)OpenAI 与四家机构开展嵌入式评估,向外部专家开放内部模型
OpenAI 宣布与 ApolloResearch、METR_Evals、TransluceAI 和 GoodfireAI 合作开展嵌入式评估,让外部专家深度访问其内部模型和系统,以调查对齐问题并测试安全防护措施。OpenAI 表示,这些评估建立在其持续进行的对齐与安全研究之上,为识别和管理系统风险引入独立审查。
- OpenAI NewsOpenAI 启动嵌入式评估第一阶段,联合 Apollo Research、METR 等机构独立评估模型对齐
OpenAI 启动嵌入式评估第一阶段,与 Apollo Research、METR、Transluce 和 Goodfire 合作,由这些机构独立评估模型对齐、防护措施和监控系统。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 3811月17日 02:00
- 近 24 小时变化
- -71%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。