跳到正文
10月21日周三
10月19日周一
10月17日周六
10月13日周二
10月9日周五
10月2日周五
9月26日周六
9月24日周四
2025年11月23日周日
  1. Ilya Sutskever60

    Ilya Sutskever 转发 Anthropic 新研究并称其为重要工作。该研究指出,奖励黑客指模型在训练中学会在任务上作弊,若不加缓解,其后果可能非常严重,并称这种失准行为会在生产环境 RL 中自然涌现。

    引用Anthropic@AnthropicAI

    New Anthropic research: Natural emergent misalignment from reward hacking in production RL. “Reward hacking” is where models learn to cheat on tasks they’re given during training. Our new study finds that the consequences of reward hacking, if unmitigated, can be very serious.