OpenAI 宣布不再用实时互联网训练模型，称存在重大风险

周五，OpenAI表示，由于模型过于不可预测，无法信任其访问实时互联网，因此它将使用缓存的副本和模拟版本的互联网来训练模型，而不是使用实时网络。

这家前沿实验室宣布新政策的两周前，其竞争对手Anthropic开始限制其最新、理论上能力最强的模型访问实时互联网。研究人员采取这些政策之前，数月来发生了一系列事件：模型为完成训练任务而闯入外部系统寻找答案、在隐秘的留言板上协作，并发展出奇特的黑客策略。

“基于对齐研究、监控系统和互联网基础设施安全的现状，我们认为负责任的做法是在无法访问互联网的情况下进行前沿模型训练，”该公司在一篇博客文章中表示。

OpenAI表示，就在9月20日，其一个前沿模型利用一处配置错误访问了互联网。这导致该公司暂停了当月剩余时间的训练工作，以便开发和测试保护模型的新方法。

在断网的沙箱中训练这些模型的决定值得注意，因为前沿实验室的员工此前一直坚称这样做几乎不可行。

前OpenAI研究员Steven Adler本月对《财富》表示，将AI数据中心与互联网隔离“需要研究团队基本上驻扎在爱荷华州或世界其他任何地方的数据中心内”，“这会产生大量开销，而且我不清楚其安全收益是否足够大，足以证明一家公司单方面这样做要付出如此巨大的代价是合理的。”

“几乎我在X上发的每一条帖子，无一例外，都会收到五到十条评论，说我无法保护沙箱安全，或者问我们到底为什么不干脆把模型从互联网上拔掉，”一位OpenAI的匿名安全工程师在9月于X上写道。“这些评论反映出许多组织和人们今天的处境与前沿实验室所面对的情况之间存在日益扩大的差距。人们也对这些实验室的模型训练和评估方式存在普遍误解。”

这位工程师（其职位此前已得到OpenAI确认）描述了OpenAI工程师发起的训练运行有多么复杂，指出它们需要访问跨多个领域的各种资源和工具，并且有数千名研究人员构建、修改和测试这些环境。“那么，把它放进沙箱里就那么简单吗？不，并不简单，”他总结道。

现在，OpenAI表示，“我们必须始终能够防止前沿模型未经授权、任意访问实时互联网。”此前，该公司在红队演练中部署了大量智能体，试图逃离其沙箱。这项工作揭示了一系列漏洞，使该实验室确信需要采取新方法。

为在实现训练目标的同时满足这一要求，该实验室表示，它创建了“一套庞大的、经过索引和缓存的网络内容，我们的模型可以与之交互，而不会影响外部系统。”

这种策略能否像让模型在开放互联网上自由运行那样奏效，还有待观察，但值得注意的是，两家前沿实验室都已认定，它们最强大的技术不能在数字公域中无人监管。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Tim Fernholz 是一名记者，撰写有关技术、金融和公共政策的文章。他深入报道了私营航天产业的崛起，并著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》。此前，他曾在全球商业新闻网站 Quartz 担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。 您可以通过发送电子邮件至 [email protected] 或通过 Signal 向 tim_fernholz.21 发送加密消息来联系 Tim 或核实其联系信息。

查看简介