Dongxi 东锡 NLP· @dongxi_nlp · X·· 1 小时前AI 评分62
AI 导读
东锡解读 OpenAI 公布的困惑度曲线,认为 GPT-4.5(约 0.877)是预训练做大 base model 的终点,此后 o3 的困惑度回升到约 0.90。
正文 · 原文
OpenAI 公布的困惑度曲线里,显示了一次模型训练范式转换。
GPT‑4.5(~0.877)是 pretraining 做大 base model 终点。之后 o3,困惑度反而回升到 ~0.90。
倒退的原因在于 post-training:RL 要跑大量 rollout,成本和基座大小成正比。用更小的基座做大量 RL 更划算,于是算力从预训练流向了后训练。
而 RL 本身不降低困惑度。它把输出分布收窄到高奖励的模式上,提升的是能力,牺牲的是对整体文本分布的拟合。
但后训练会间接反哺基座。RL 之后的强模型可以生成合成数据、推理轨迹和干净的代码,喂给下一代做预训练或 mid‑training。
后训练不直接降低困惑度,但它通过造数据的循环,间接让基座变强,所以看到了 2026 年困惑度的骤降。
We decided to provide more transparency into pretraining progress at OpenAI for the sake of moving toward shared safety bars. In “Perplexity and Intelligence” I argue for common limits based on perplexity and other measurements, with progress beyond them gated on our ability to understand AI behavior. https://openai.com/index/perplexity-and-intelligence在 X 查看被引用的帖子
来源:Dongxi 东锡 NLP · x.com