跳到正文
热点事件持续更新

OpenAI提议以困惑度为通用指标并公开预训练数据

14 篇报道10 个报道来源1 小时前更新

先了解这件事

AI 综述

OpenAI发布文章,主张将困惑度(perplexity)确立为跨模型开发者可比较的指标,并首次公开其预训练进展数据。目前该数值已降至0.8以下。 Sam Altman转发文章,希望各方就共同上限达成一致;首席科学家Jakub Pachocki预判最早2027年可能出现预训练基础性突破潮,呼吁各实验室以共同限制控制节奏。

AI 根据报道生成 · 9 分钟前更新

事件进展

5 个进展

  1. 11月23日 03:19 · 1 篇报道
    OpenAI 提议以困惑度作为行业自我监管的通用指标
    swyx:OpenAI 提议以困惑度作为行业自我监管的通用指标
  2. 11月23日 01:32 · 2 篇报道
    https://openai.com/index/perplexity-and-intelligence/
    Andrew Curran:困惑度突破0.8引发AI涌现能力
  3. 11月23日 01:13 · 1 篇报道
    Sam Altman 呼吁建立前沿模型评估与安全规范
    Sam Altman (X):Sam Altman 呼吁建立前沿模型评估与安全规范
  4. 11月23日 01:12 · 2 篇报道
    Sam Altman 转发 OpenAI 预训练透明度文章,主张设定共同安全上限
    Sam Altman (X):Sam Altman 转发 OpenAI 预训练透明度文章,主张设定共同安全上限
  5. 11月22日 08:00 · 8 篇报道
    OpenAI发布Perplexity与智能进展报告
    OpenAI News:OpenAI 主张以 perplexity 作为跨实验室共享指标并公开内部数据

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. TechCrunch · AI
    OpenAI 首席科学家 Jakub Pachocki 提出以困惑度作为限制 AI 开发的衡量基准

    OpenAI 首席科学家 Jakub Pachocki 在博客中提出,可用困惑度(perplexity)作为衡量 AI 进展的共享基准,进而为 AI 开发设定共同上限。

  2. Andrew Curran
    Greg Brockman 提议 AI 安全共同限制

    Greg Brockman: 引用推文 @gdb(仅供理解上下文): 我帮助创立 OpenAI,是因为我希望 AGI 对人类安全且有益。这篇文章提供了透明度,可以作为行业共享安全基线的基石。 文章中最重要的概念或许是以下这句:“我认为 AI 也将显著促进对齐和监控方面的进展,但这种进展不太可能足够快,以允许预训练潜力的全面加速。” 为了确保安全能跟上预训练模型通用智能的进步(以“困惑度”衡量),文章提出了“基于困惑度和其他测量的共同限制,开发者承诺在我们的理解和监控 AI 行为的能力达到某个具体里程碑(例如开发出 CoT 监控器的继任者)之前,不跨越这些限制。” 总体思路是创建第一个共享限制,针对某些共享的关键指标,并附带具体的退出标准,从而允许超越该限制。这可以导致“设定连续限制并为进一步发展定节奏的共同框架”。 很高兴推进关于迈向根植于科学的共享标准的节奏的讨论!

  3. Turing Post (X)
    借香农实验探讨困惑度以设定AI安全红线

    OpenAI提出基于困惑度的透明度机制,旨在通过量化模型预测能力来确立共享的安全基准。该方案主张在无法充分理解AI行为前,限制超越特定困惑度阈值的训练进度,从而为前沿模型开发划定安全边界。

  4. elvis (X)
    OpenAI 发布 perplexity 透明度报告

    推荐阅读。我认为这是 OpenAI 的一项良好举措。如何衡量前沿 AI 以及对其形成共同、共享的理解至关重要。这使得评估进展、安全性等变得更加容易。 这不如完整的技术报告那么出色(令人遗憾行业在加速过程中迅速远离了这些报告),但它是迈向更多透明度的开端。随着我们向 RSI 迈进,这一点更为重要,因为测量将占据首要地位。

  5. swyx
    OpenAI 提议以困惑度作为行业自我监管的通用指标

    swyx 转述 OpenAI 的观点,OpenAI 提议用困惑度而非 FLOPS 作为行业自我监管与节奏把控的通用指标。引用内容称,新能力主要来自压缩方面的进展,基于困惑度的指标可为通用智能提供共享基准,并预计进入约 0.68-0.7 log-perplexity 区间时会出现更多变革性能力。

  6. Vaibhav Srivastav
    OpenAI 发布预训练透明度报告

    推荐阅读 🔖

  7. Nathan Lambert
    OpenAI 发布预训练进展透明度报告

    OpenAI makes the best, most lasting plots.

  8. Andrew Curran
    困惑度突破0.8引发AI涌现能力

    GPT-2至GPT-4的困惑度从4降至约0.91,伴随上下文学习、流畅对话及链式推理等能力的逐步显现。当前模型损失已低于0.8,在网络安全和数学领域展现出变革性能力。这些能力并非预先可知,而是该单一指标进步带来的涌现潜能。

  9. Andrew Curran
    https://openai.com/index/perplexity-and-intelligence/

    https://openai.com/index/perplexity-and-intelligence/

  10. Andrew Curran
    OpenAI 发布预训练进展透明度报告

    Ram Altman: 这是 OpenAI 近期发布的最重要的内容。 我们正在对预训练进展提供大量透明度,并希望我们能作为朋友达成共识限制。我认为这将非常明智,并有助于确保安全与控制。

  11. Sam Altman (X)
    Sam Altman 呼吁建立前沿模型评估与安全规范

    Sam Altman 提议前沿模型开发者共同制定模型评估及安全红队测试的行业标准,并设定基于困惑度等指标的初始发展上限。他主张在具备监控 AI 行为能力(如 CoT 监控器继任者)前,各实验室需遵守这些透明度与限制规范。

  12. Lisan al Gaib (X)
    OpenAI 公开预训练进展:基础模型 log-perplexity 走势与 2027 年预判

    OpenAI 公开了基础模型 log-perplexity(每 token 平均交叉熵损失)随版本迭代的下降曲线,从 GPT-3.5 一路延伸到 GPT-5.5、GPT-5.6 Sol 及一个内部模型。Jakub Pachocki 表示最早 2027 年可能出现类似数学领域那样的预训练基础性突破潮,但他认为对齐与监控能力的进展难以跟上预训练加速,并呼吁各 AI 实验室以共同限制来控制节奏。

  13. Sam Altman (X)
    Sam Altman 转发 OpenAI 预训练透明度文章,主张设定共同安全上限

    Sam Altman 转发并称这是 OpenAI 近期发布的最重要内容,OpenAI 正公开更多预训练进展,希望各方就共同上限达成一致。被引文章《Perplexity and Intelligence》主张以困惑度等测量设定共同限制,超出限制的进展需以理解 AI 行为为前提,链接为 openai.com/index/perplexity-and-intelligence。

11月22日
  1. OpenAI News精选
    OpenAI 主张以 perplexity 作为跨实验室共享指标并公开内部数据

    OpenAI 发文主张把 perplexity(交叉熵损失)确立为跨模型开发者可比较的指标,并首次公开自家预训练进展数据:GPT-3.5 的 log-perplexity 约 0.99,GPT-4 约 0.91,目前已降至 0.8 以下。

本事件热度走势

可比范围当前
88
可比范围峰值
8811月23日 06:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。