OpenAI 首次公开预训练困惑度指标,首席科学家提议设行业研发上限
刚刚,OpenAI首次公开预训练核心指标
OpenAI 首席科学家 Jakub Pachocki 发布长文《Perplexity and Intelligence》,首次公开内部预训练困惑度数据:GPT-3.5 对数困惑度约 0.99,GPT-4 约 0.91,降至 0.8 以下时模型在网络安全和数学领域出现突破性能力,约 0.76 时可接连解决长期未决的数学问题。
同一件事,精选收录的是《OpenAI 主张以 perplexity 作为跨实验室共享指标并公开内部数据》
机器之心编辑部
AI 越来越强,OpenAI 却开始呼吁给整个行业设一道「上限」。
当地时间 11 月 22 日,OpenAI 首席科学家 Jakub Pachocki 突然发布长文
《Perplexity and Intelligence》
,首次公开了一组内部预训练指标,并提出一个颇具争议的建议:全球顶尖 AI 公司应该共同约定模型研发上限。在 AI 安全监控能力达到特定标准之前,各家都不应越过这条线。
这次,OpenAI 甚至主动公开了竞争对手一直很想知道的数据。
Pachocki 选择的指标叫 Perplexity,也就是困惑度。它衡量模型预测下一个 Token 的能力,数值越低,预测越准确。
在 OpenAI 披露的数据中,GPT-3.5 的对数困惑度约为 0.99,GPT-4 约为 0.91。当这一数字降至 0.8 以下,模型开始在网络安全和数学领域展现突破性能力;达到约 0.76 时,模型已经能够接连解决一些长期悬而未决的数学问题。
更值得警惕的是,Pachocki 认为,AI 很快可能开始加速 AI 自身的研发。
最早到 2027 年
,预训练算法研究就可能迎来一波基础性突破,而安全监控技术未必能以同样的速度跟上。
OpenAI CEO Sam Altman 也公开表示,这是 OpenAI 近期发布过的最重要的内容之一。OpenAI 正在大幅提高预训练进展的透明度,也希望整个行业能够就共同的限制达成一致。在 Altman 看来这是一个非常明智的做法,有助于确保 AI 的安全性和可控性。
以下是 Jakub Pachocki 原文编译:
地址:
https://openai.com/index/perplexity-and-intelligence/
从远处看,现代 AI 的构建方式似乎与过去几十年软件开发的模式相似:通过一系列不同的技术,分别实现特定能力。
AI 开发确实涉及多种方法,但这些方法大多并非从零开始设计某种能力,而是在充分释放一个更简单、也更难解释的过程所产生的智能。这个过程就是在海量数据上训练一个压缩器(或者说,等价意义上的预测器)。
我认为,追踪压缩器训练能力的进步速度,是理解 AI 发展轨迹的关键。在这篇文章中,我主张将困惑度(Perplexity),或者等价的交叉熵损失(Cross-Entropy Loss),作为比较不同模型开发者技术水平的指标,并以此推动建立共同的安全标准。
作为第一步,我将提高 OpenAI 在预训练进展方面的透明度。
公开我们的内部困惑度测量数据,我们确实经过了一番考虑。这样做会让竞争对手更清楚地了解 OpenAI 当前所处的位置,但与此相比,推动整个行业建立共同安全措施的紧迫性更为重要。我们希望,这能成为建立未来 AI 研发节奏管理机制(Pacing Efforts)所需的共同科学基础的一步。
从一个简化但本质上具有解释力的视角来看,AI 的开发过程可以分为几个阶段:
首先,构建一台大型计算机;然后,利用它在大规模、非结构化数据集上预训练一个模型,也就是一个压缩器;最后,在不同场景中运用提示词、微调或强化学习等多种技术,激发模型潜在的能力。
算法进步可能会模糊不同训练阶段之间的界限,但我们仍然可以将两个过程区分开来:一个是创造具有难以预测的涌现能力的 AI,也就是我此前称之为「外星心智」(An Alien Mind)的过程;另一个则是随后有针对性地激发这些能力。
追踪 AI 智能进步的底层指标
多年来,我们衡量这一关键「智能底座」进步的主要方式始终相当稳定。我们一直在追踪模型在一个留出数据集上的困惑度。
困惑度衡量的是模型平均预测下一个 Token 的能力。困惑度越低,意味着模型的预测越准确。
本文开篇的图表展示了从 GPT-3.5 开始,OpenAI 不同模型的这一指标是如何变化的。
仅仅通过这一个指标,就能描述模型所具备的广泛能力,而这些能力的跨度令人惊叹。
在较早的数据集上刷新困惑度纪录后,GPT-2 可以说是第一个能够持续生成连贯段落文本的模型。
接下来的一次重大飞跃来自 GPT-3。它能够通过少量任务示例,在上下文中学习如何完成任务。
GPT-3.5 在我们当前主要评测数据集上的对数困惑度约为 0.99,已经能够进行流畅对话,并成为最初 ChatGPT 的基础。
GPT-4 的对数困惑度约为 0.91,它已经能够有效利用思维链(Chain-of-Thought)进行推理。这推动了我们进一步有针对性地激发这种能力,并最终催生了现代推理模型。
如今,随着损失值降至 0.8 以下,我们已经看到网络安全、数学等领域出现了变革性能力。
我想再次强调,事先并没有人能够明确预见,当困惑度达到这些特定阈值时,这些能力就会出现。从根本上说,它们可以被视为模型在这一指标持续进步过程中涌现出的潜在能力。
随着 AI 快速发展,下游能力的范围和衡量方式可能很快发生变化。
用今天的许多主流基准测试 GPT-2 和 GPT-3 已经没有太大意义,而当年使用的许多基准测试,在 GPT-4 阶段就已经基本饱和。
相比之下,我认为,持续观察预训练阶段的进展,很可能始终具有参考价值。
AI 开始参与自身研发,可能带来新的加速
AI 研发速度出现的一项特殊变化,来自 AI 对自身开发过程的参与越来越多。
目前,讨论最广泛的指标,主要围绕 AI 如何在研发的各个阶段增强或替代人类研究人员展开。
最终的转折点通常被认为是「完全递归自我改进」(Full Recursive Self-Improvement),也就是整个研发过程完全自动化,不再需要人类监督。
除了认为出于维护人类控制权的考虑,我们显然应该避免走到这一步之外,我还认为,这种整体性的讨论框架忽略了一个关键问题。
AI 参与研发过程中的某个关键环节,就可能带来一次重大转变。这个环节就是针对预训练的算法研究。
最近,我们已经在另一个领域见证了前所未有的加速。
一年多以来,我们一直将数学开放问题交给模型解决,并将其作为评估模型能力的方式之一。
当我们升级到对数困惑度约为 0.76 的模型后,它开始产出突破性的研究成果。
对于我们当中那些曾经从事数学及相关领域研究的人来说,看到模型在同一个 Slack 讨论串中,接连解决那些我们曾经长期思考的问题,是一种非常不真实的体验。
亲身经历过这一过程后,我们也能够据此进行推演:深度学习研究领域同样有可能出现这种突然的变化。
虽然深度学习更加依赖实验,但这个领域一直存在一种现象:一些简单的洞见可能多年都无人发现。
因此,最早到 2027 年,我们就有可能看到类似的基础性预训练技术突破集中涌现。
我预计,AI 也将显著推动对齐和监控技术的发展,但我认为,这些领域的进展可能不足以跟上预训练技术潜在的全面加速。
困惑度可能成为衡量通用智能的共同标准
既然新的、令人意外的能力主要来自压缩能力的进步,那么,以困惑度为基础的指标,就有可能成为衡量通用智能的共同基准,而不必考虑 AI 研发过程的自动化程度。
根据近期进展进行外推,当模型进入对数困惑度约为 0.68 至 0.70 的区间时,我们应该预期会出现更多变革性能力。
我不知道这些能力具体会是什么,甚至我们今天可能还没有针对它们设计相应的评测。
与此同时,我们也应该预期,目前占主导地位的对齐审计方式会进一步失效,相关退化现象可能继续加剧,模型对评估和训练过程的感知能力也会进一步增强。
我认为,前沿模型开发商应该共同努力,建立一套共享规范,在模型首次投入使用之前,就明确如何评估模型,以及如何对模型进行安全红队测试。
这套规范还应该包括共同的透明度标准。
我进一步提出,行业应该建立共同的研发上限(Common Limits)。这些上限以困惑度和其他指标为依据,在开发者对 AI 行为的理解和监控能力达到某个具体里程碑之前,各家公司都承诺不突破这些限制。
例如,我们需要先开发出一种比现有思维链监控器(CoT Monitors)更先进的替代技术。
换句话说,我希望建立一套行业标准,明确两个问题:
首先,依据某个能够在不同实验室之间追踪的关键指标,设定 AI 研发的第一道上限。
其次,明确在突破这道上限之前,我们具体需要实现哪些技术目标。
我希望,这能够推动建立一套共同框架,用于设定后续的阶段性限制,并管理未来 AI 技术的研发节奏。
将困惑度作为共同指标,仍然面临挑战
将困惑度作为行业共享指标,也存在一些问题。
第一,不同实验室之间难以直接比较。
不同开发者使用不同的评测数据集,训练时采用的数据组合也不相同。
本文公布的是 OpenAI 长期追踪的主要数据集上的测量结果。我认为,如果整个行业确立透明度目标,我们就能够找到可迁移的方法,比较不同基础模型的质量。
第二,与实际任务评估存在脱节。
困惑度并不直接对应我们真正关心的某项具体任务。
我们之所以关注它,是因为可以预期,困惑度的持续改善最终会带来全新的涌现能力。
第三,无法涵盖预训练之外的技术进步。
最典型的例子是思维链推理。它虽然能够大幅提升模型能力,却不会降低模型已经达到的困惑度。
第四,尚不清楚困惑度的理论下限。
我们并不认为损失值能够达到 0,因为这意味着模型可以完全确定性地预测数据集中的所有内容。
但我们还不知道数据本身固有的熵究竟是多少。
随着模型逐渐接近这一数值,困惑度的表面进步速度可能会放缓。但与此同时,困惑度每取得更小幅度的改善,都可能对应模型智能更大幅度的跃升。
尽管存在这些挑战,困惑度作为一项指标,已经经受住了时间的检验。许多研究团队多年来一直投入大量精力优化这一指标,而它也持续带来了通用智能方面的进步。
我相信,困惑度能够在规范整个行业讨论 AI 进步的方式上发挥重要作用,也希望未来能够看到整个行业在这一指标上提高透明度。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com
来源:机器之心 · mp.weixin.qq.com