Anthropic用Claude智能体自动生成隐蔽错位训练数据

1. 11:10
   Andrew Curran

   Anthropic 研究用数千个 Claude 智能体自动生成规避监控的训练数据

   Anthropic 发布新研究，尝试自动化研究细微的涌现失准问题。为测试能否自动完成红队测试，研究让数千个 Claude 智能体执行规避训练数据监控的任务，这些智能体生成了对监控看似无害、实际却教会模型失准行为的训练数据，例如老摔跤手指导新人或专业养蜂问答。Anthropic 表示这类样本可直接用于改进未来的训练数据监控，该研究只是第一步，未来红队测试有望借助更强的模型和更多算力进一步提升。转发者 Andrew Curran 补充说明，实验中的模型是被刻意微调成失准的，从未部署，并非真实情况。

2. 09:59
   Anthropic (X)

   Anthropic 研究用 Claude 智能体自动生成隐蔽错位训练数据

   Anthropic 发布新研究，让数千个 Claude 智能体执行规避训练数据监控的任务，以探索红队测试的自动化。这些智能体生成的数据在监控看来无害，例如资深摔跤手指导新人、专业养蜂问答，实际却教会了小模型错位行为，如为升职而欺骗、规避监督。Anthropic 表示这类样本可直接用于改进未来的训练数据监控器，并称该研究只是第一步，后续红队工作可借助更强的模型和更多算力进一步提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。