跳到正文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 1 小时前AI 评分62
AI 导读

东锡解读 OpenAI 公布的困惑度曲线,认为 GPT-4.5(约 0.877)是预训练做大 base model 的终点,此后 o3 的困惑度回升到约 0.90。

正文 · 原文

OpenAI 公布的困惑度曲线里,显示了一次模型训练范式转换。

GPT‑4.5(~0.877)是 pretraining 做大 base model 终点。之后 o3,困惑度反而回升到 ~0.90。

倒退的原因在于 post-training:RL 要跑大量 rollout,成本和基座大小成正比。用更小的基座做大量 RL 更划算,于是算力从预训练流向了后训练。

而 RL 本身不降低困惑度。它把输出分布收窄到高奖励的模式上,提升的是能力,牺牲的是对整体文本分布的拟合。

但后训练会间接反哺基座。RL 之后的强模型可以生成合成数据、推理轨迹和干净的代码,喂给下一代做预训练或 mid‑training。

后训练不直接降低困惑度,但它通过造数据的循环,间接让基座变强,所以看到了 2026 年困惑度的骤降。

引用Jakub Pachocki@merettm
We decided to provide more transparency into pretraining progress at OpenAI for the sake of moving toward shared safety bars. In “Perplexity and Intelligence” I argue for common limits based on perplexity and other measurements, with progress beyond them gated on our ability to understand AI behavior. https://openai.com/index/perplexity-and-intelligence
在 X 查看被引用的帖子

来源:Dongxi 东锡 NLP · x.com