跳到正文
OpenAI News·· 20 小时前精选AI 评分62

OpenAI 主张以 perplexity 作为跨实验室共享指标并公开内部数据

Perplexity and Intelligence

AI 导读

OpenAI 发文主张把 perplexity(交叉熵损失)确立为跨模型开发者可比较的指标,并首次公开自家预训练进展数据:GPT-3.5 的 log-perplexity 约 0.99,GPT-4 约 0.91,目前已降至 0.8 以下。

推荐理由

OpenAI 公开内部 perplexity 数据,并据此提出跨实验室共享指标与开发上限的设想,读者可了解其安全治理思路。

正文 · AI 翻译

从远处看,现代人工智能的构建方式似乎与过去几十年软件的开发方式类似:使用多种针对特定能力的技术。确实存在各种方法,但它们并非从零开始设计,而是主要利用来自一个更简单且更难解释的过程所产生的智能:在海量数据语料上训练一个压缩器(或,等价地⁠(在新窗口中打开)预测器)。1

我认为,追踪训练更优压缩器的进步速度是理解人工智能发展轨迹的关键。在这篇文章中,我主张将困惑度(或等价地,交叉熵损失)确立为模型开发者之间进行比较并告知共同安全标准的指标。作为第一步,我提高了 OpenAI 预训练进展的透明度。发布我们内部的困惑度测量结果经过了一番考量;这会让竞争对手更清楚地了解我们的现状,但这一担忧被在整个行业建立共同的⁠(在新窗口中打开)安全措施的紧迫性所超越。OpenAI 希望此举能成为未来推进工作建立共同科学基础的一步。

对人工智能开发的一种简化但根本具有启发性的看法是:首先,构建一台大型计算机,然后用它在一个大型非结构化数据集上预训练一个模型(压缩器),接着在不同情境下应用各种技术——如提示、微调或强化学习——以激发该模型的潜在能力。算法进步可能会模糊训练阶段之间的界限,但我们仍然可以将创造具有难以预测的涌现能力的人工智能(我之前称之为“外星心智⁠”)与随后的针对性激发区分开来。

多年来,我们衡量这一关键“智能基底”进步的主要方式一直出奇地稳定——我们一直在跟踪模型在保留数据集上的困惑度。2, 3困惑度衡量模型平均预测下一个标记的效果;困惑度越低,预测效果越好。本文开头的图表展示了从 GPT‑3.5 开始,我们的模型在该指标上的演变情况。

仅凭这一指标所描述的大多数模型的能力范围令人惊叹。在旧数据集上设定了新的困惑度(perplexity)最先进水平4,GPT‑2 可以说是第一个能够持续生成连贯段落文本的模型。下一次重大飞跃是 GPT‑3,它能够在给定少量任务示例的情况下进行上下文学习。在当前主要评估数据集上,GPT‑3.5 的对数困惑度约为 0.99,具备流畅对话能力,并成为原始 ChatGPT 的基础。GPT‑4 的对数困惑度约为 0.91,擅长有效利用思维链推理,这促使后续有针对性地激发这一能力并创建了现代推理模型。如今,随着损失值降至 0.8 以下,我们看到了网络安全和数学等领域变革性能力的出现。我想再次强调,事先完全无法明确这些能力会在达到这些精确的困惑度阈值后出现——它们可以被视为在这一单一指标进步过程中涌现出的潜在能力。

随着人工智能迅速进步,我们衡量下游能力的范围和方式可能会快速变化。对大多数现代基准测试而言,评估 GPT‑2 和 GPT‑3 已无多大意义;而当时使用的基准测试在 GPT‑4 时期已基本饱和。相比之下,我认为关注预训练方面的进展可能仍具有信息价值。

进步速度的一个特定变化源于人工智能对其自身发展贡献的增加。目前讨论最多的指标围绕人工智能在开发周期的各个阶段辅助和替代人类研究人员展开;最终的关键转折点被认为是“完全递归自我改进”,届时整个过程将完全自动化且无需人类监督。除了认为出于保持人类控制的目的,我们显然应避免这种状态外,我认为这种总体框架遗漏了一个至关重要的方面。人工智能参与开发过程中的一个关键环节——预训练的算法研究——可能会带来潜在的阶段性跃变。

我们最近见证了另一个领域的空前加速。一年多来,我们将数学中的开放性问题作为评估模型的方式之一提出给模型。一旦我们升级到对数困惑度约为 0.76 的模型,它便开始产生突破性的成果。对于许多此前曾在数学及相关领域工作的人来说,在一个 Slack 线程中接连看到模型解决了我们长期以来思考的问题,感觉极其超现实。经历过这一切让我们得以推断——这种突然的转变在深度学习研究中也是可能的。虽然该领域更依赖实验,但历史上长期存在因简单洞察而被忽视的情况;因此,到 2027 年,我们或许能看到类似的基础预训练进步浪潮5。虽然我预计人工智能也将显著促进对齐和监控方面的进展,但我认为这方面的进展不太可能足够快,以允许预训练实现全部潜力的加速。

鉴于新涌现的惊人能力主要通过压缩方面的进步而产生,一种根植于困惑度的度量或许能为通用智能提供一个共享基准,无论开发过程的自动化程度如何。根据近期的进展进行外推,当我们进入约0.68-0.7的对数困惑度区间时,我们应期待出现更多变革性的能力。我不知道这些能力具体是什么,我们今天可能也不会针对它们进行测试。与此同时,我们也应预期进一步退化在目前占主导地位的对齐审计形式中,以及评估和训练意识的进一步增加。我相信前沿模型开发者应共同努力,在模型首次使用前建立评估此类模型和对其安全案例进行红队测试的共享规范,包括共享透明度标准。我进一步提议基于困惑度和其他测量值设定共同限制,开发者承诺在理解与监控AI行为的能力达到某个具体里程碑(例如开发出CoT监视器的继任者)之前不跨越这些限制。也就是说,我希望有一个行业标准,规定由跨实验室可追踪的关键指标衡量的首个发展限制,以及超越该限制前我们需要实现的具体目标。我希望这能引领建立一个用于设定连续限制并控制进一步发展的共同框架。

作为共享指标的困惑度面临挑战:

  • 跨实验室比较困难。不同的开发者使用不同的评估数据集,并在不同的数据混合上进行训练。在此,我们报告了我们一直跟踪的主要数据集上的数值;我相信如果我们确立透明度的目标,就能找到可迁移的方法来比较不同基础模型的质量。

  • 与实际可操作的评估脱节。困惑度并不直接对应于我们关心的任务。我们关心它的原因是,我们期望在该指标上的进步会导致全新能力的涌现。

  • 未计入预训练之外的进展。最显著的是,思维链推理并不会降低模型达到的困惑度,尽管它导致了能力的急剧提升。

  • 未知的下限。我们不认为有可能达到损失为0的状态,那将意味着能够完全确定性地预测数据集。但我们不知道数据的固有熵是多少。当我们接近它时,困惑度上的表观进展会放缓,但困惑度上较小的增益将对应于模型智能的更大飞跃。

与此同时,困惑度经受住了时间的考验,作为一个许多研究团队投入大量精力优化的指标,它持续为通用智能带来一致的增益。我相信它在标准化我们谈论AI进步的方式方面可以发挥重要作用,并希望看到整个行业对此有更高的透明度。

来源:OpenAI News · openai.com