跳到正文
热点事件历史事件

OpenAI启动模型嵌入式安全评估试点

12 篇报道8 个报道来源3 天前更新

先了解这件事

AI 综述

OpenAI 已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,启动模型内嵌评估第一阶段,由这些机构独立评估模型对齐、防护措施和监控系统。 Apollo Research 将派出六名评估员在 OpenAI 内部工作四个月,考察模型是否会试图破坏自身或后继版本的对齐与控制机制。试点聚焦四个方面:训练是否激励破坏行为、评估能否诱发此类行为、内部部署中是否出现相关行为,以及相应推理是否可被检测。 据 The Decoder 报道,OpenAI 首次允许这四家外部审计机构进入公司现场,直接访问其内部 AI 系统以调查安全风险和模型行为。

AI 根据报道生成 · 3 天前更新

事件进展

4 个进展

  1. 11月19日 09:00 · 1 篇报道
    奥尔特曼谈AI安全与发展平衡及上市计划
    IT之家:奥尔特曼称 OpenAI 无法让所有人满意,需在 AI 安全与发展间平衡
  2. 11月17日 01:08 · 1 篇报道
    Apollo Research 发布嵌入式评估指南
    Andrew Curran:Apollo Research 发布嵌入式评估指南
  3. 11月17日 00:03 · 2 篇报道
    OpenAI与GoodfireAI合作嵌入可解释性研究人员
    OpenAI (X):OpenAI 与四家机构开展嵌入式评估,向外部专家开放内部模型
  4. 11月16日 16:00 · 6 篇报道
    OpenAI signs agreements with independent assessors for embed
    The Decoder:OpenAI 首次向四家独立机构开放内部 AI 系统现场审计

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. IT之家
    奥尔特曼称 OpenAI 无法让所有人满意,需在 AI 安全与发展间平衡

    OpenAI CEO 萨姆·奥尔特曼在 DealBook 峰会上表示,公司必须在保障安全和持续创新之间做出取舍,无法让所有人都满意。OpenAI 采取迭代部署策略,并引入 METR、Apollo Research 等机构进行独立安全评估。奥尔特曼警告激烈竞争不利于安全,呼吁建立共同标准,同时透露公司仍计划上市。

11月18日
  1. The Decoder精选
    OpenAI 首次向四家独立机构开放内部 AI 系统现场审计

    OpenAI 首次允许 Apollo Research、METR、Transluce 和 Goodfire 四家外部审计机构进入公司现场,直接访问其内部 AI 系统以调查安全风险和模型行为。

11月17日
  1. 新智元精选
    OpenAI 请四家外部机构进驻审查,GPT-6.2 Astra 延期背后曝出 RL 训练问题

    OpenAI 首次启动嵌入式外部评估,请 METR、Apollo Research、Transluce 和 Goodfire 四家机构进入内部,开放部分模型、源代码、训练数据和未发布模型检查点。

  2. IT之家
    OpenAI 与 Goodfire 等四家机构启动嵌入式评估合作,此前曾探讨超 50 亿美元收购 Goodfire

    OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 合作启动首阶段嵌入式评估项目,共同开展模型可解释性与安全评估。

  3. Andrew Curran
    Apollo Research 发布嵌入式评估指南

    博客链接: https://www.apolloresearch.ai/blog/pilot-towards-embedded-evaluations

  4. TechCrunch · AI
    OpenAI 将嵌入 Apollo Research 安全评估员开展试点

    Apollo 表示,OpenAI 将在其组织内嵌入六名 Apollo Research 安全评估员开展试点,Apollo 未透露试点启动时间。试点将调查模型是否试图破坏自身或后继版本的对齐与控制机制,包括训练是否激励破坏行为、评估能否引出此类行为、内部部署中是否出现以及相关推理是否可被检测。

  5. Techmeme
    OpenAI 与 Apollo Research、METR、Transluce、Goodfire 签署模型内嵌评估协议

    OpenAI 表示已与独立评估机构 Apollo Research、METR、Transluce 和 Goodfire 签署协议,用于其 AI 模型内嵌评估的第一阶段。Techmeme 收录的这条摘要未披露评估范围、时间表或具体模型。

  6. Andrew Curran
    Apollo Research 与 OpenAI 启动嵌入式评估试点

    Apollo Research 宣布与 OpenAI 启动嵌入式评估试点,将派出六名评估员在 OpenAI 内部工作四个月,考察模型是否会试图破坏自身或后继模型的对齐与控制机制。试点聚焦四个方面:训练是否会激励破坏行为、评估能否诱发破坏行为、内部部署中是否出现破坏行为,以及相关推理是否可被检测。

  7. OpenAI (X)
    OpenAI 将嵌入可解释性研究人员

    @GoodfireAI 将嵌入可解释性研究人员,使用其平台分析我们模型的内部结构。 他们的工作专注于训练过程监控、调试和对齐,帮助我们的研究人员识别并做出安全改进。

  8. OpenAI (X)
    OpenAI 委托评估模型隐蔽对抗行为

    @ApolloResearch 将评估我们的模型是否会暗中违背开发者的意图,以及我们的安全措施能否检测到这种行为。 它将审查来自训练、安全测试和内部使用的证据,以检测此类行为并检验我们发现它的能力。

  9. OpenAI (X)
    OpenAI 与四家机构开展嵌入式评估,向外部专家开放内部模型

    OpenAI 宣布与 ApolloResearch、METR_Evals、TransluceAI 和 GoodfireAI 合作开展嵌入式评估,让外部专家深度访问其内部模型和系统,以调查对齐问题并测试安全防护措施。OpenAI 表示,这些评估建立在其持续进行的对齐与安全研究之上,为识别和管理系统风险引入独立审查。

11月16日
  1. OpenAI News
    OpenAI 启动嵌入式评估第一阶段,联合 Apollo Research、METR 等机构独立评估模型对齐

    OpenAI 启动嵌入式评估第一阶段,与 Apollo Research、METR、Transluce 和 Goodfire 合作,由这些机构独立评估模型对齐、防护措施和监控系统。

本事件热度走势

可比范围当前
3
可比范围峰值
3811月17日 02:00
近 24 小时变化
-71%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。