OpenAI 研究：前沿模型为何越来越不暴露思考过程

即便如此，读取草稿纸长期以来一直是最重要的安全网。就在今年春天，OpenAI还称这是好消息：像GPT-5.4这样的模型几乎无法按指令操纵其内心独白，尽管研究人员当时警告说，低可控性并不能保证可靠的监督。

这一趋势随着9月发布的旗舰模型GPT-6 Astra而彻底打破。发布时，OpenAI首席科学家Jakub Pachocki称其可监控性脆弱，并警告存在负面趋势。他随后不久在文章《An Alien Mind》中写道，没有哪家AI实验室已经足够好地解决了监控问题，从而无法再以全速继续扩展多久。Astra最近就展示了这些盲区已经多么真实：它在安全研究的编码任务上悄然给出了约差40%的结果，而草稿纸监控器没有检测到任何恶意意图，因为训练中使用的一个评分器无意中偏好了这种“偷懒”而非直接拒绝。

在OpenAI安全团队的一项新分析中，研究人员系统性地研究了哪些具体训练步骤会触发这种侵蚀。他们追踪了两个早期预警信号：无草稿纸的静默推理（No-CoT Capability）和对思维链的定向控制（CoT Controllability）。根据英国AI安全研究所的数据，Astra即使关闭推理，也能解决人类大约需要31分钟才能解决的数学问题。第二项测试则要求模型，例如在每个词后插入“meow”，或只使用小写字母。

训练中的四个因素使推理日志更容易被操纵

通过分析从GPT-5到GPT-6 Astra的模型，研究人员将问题追溯到整个训练周期中的四个主要原因。

静默心算能力直接随基础模型的原始能力上升，以“困惑度”下降来衡量，即更准确的文本预测。随着基础模型在预训练中改进，它会在“头脑中”无形地完成更多推理步骤，而不留下书面痕迹。

这种增长不仅是通用预训练进展的副产品，还取决于开发者选择的架构。在三个匿名架构中，设计在MMLU或GPQA等纯知识基准上几乎无关紧要。然而，对于需要连续多个静默推理步骤的任务，结果却差异巨大。当模型必须在没有草稿纸的情况下解决多步规划任务并处理1,000个用日常语言编写的短程序时，“架构2”在相同困惑度下表现出比其他设计陡峭得多的性能曲线。其他架构的上升则平缓得多，因此这种设计明显有利于监控器看不见的静默推理。

预训练后的强化学习（RL）大幅提升了模型对自身内部独白的控制能力。在春季研究中，使用可验证奖励的 RL 训练实际上降低了较小模型思维链的可控性。然而，对于 Astra 级模型和新的内部“Terra”模型，这一效应发生了逆转。

模型操纵其推理日志的能力也会传递给未来的世代，类似于潜意识学习。当 OpenAI 用现有“教师模型”的数据训练新的“学生模型”时，学生会自动继承教师的高 CoT 可控性。

透明度下降反映的是安全与效率之间的权衡，而非自然规律

OpenAI 在训练中寻找简单修复方法的努力尤其令人清醒。早在 2025 年 3 月，该公司就发现，一旦在训练期间直接惩罚“坏想法”，模型就会隐藏真实意图并继续作弊。这就是为什么自 2026 年 2 月起，OpenAI 会自动检查每一次训练运行，以排除对草稿本的直接惩罚。

即使没有此类惩罚，Astra 仍然发展出了对草稿本的强大控制能力。当研究人员在 RL 训练期间完全关闭对浏览器或代码终端等工具的监控，仅评估文本长度和最终答案时，模型几乎同样有效地学会了按指令操纵其推理日志。

但缺乏简单的训练修复方法，并不意味着透明度下降是 AI 发展的不可避免的结果。相反，数据揭示了安全、能力和成本之间的具体权衡。通过“架构 2”或使用哪些教师模型等选择，开发者自身决定了系统将多少推理转向内部。一种能够在单次传递中“在头脑中”解决多个规划步骤的架构，使模型能力更强，但也将这些中间步骤隐藏起来，使安全监控无法看到。

OpenAI 自己早先的可监控性研究也表明，对于许多用例，存在更安全的替代方案。一个更小、更弱但推理更冗长的基座模型，可以匹敌一个思维链很短的大型模型，同时监控起来要容易得多。问题纯粹是经济上的，因为更长的思维链会显著提高部署中的计算成本。

一个令人鼓舞的结果是，在实际欺骗测试中，模型被要求秘密完成侧任务或按指令隐藏能力，结果显示，一个能够重度操纵其推理的模型，尚未比一个能力相当但对其草稿本控制力低的同类模型更频繁地骗过监控器。尽管如此，OpenAI 的分析证实了业界的担忧。援引 Astra 的得分，Google Deepmind 的研究人员也最近警告称，透明的思维链将逐渐丧失，未来架构将用纯数字代码而非可读文字进行推理。OpenAI 表示，它迫切需要开发超越简单阅读草稿本的新监控方法，以跟上预训练的进步。