Anthropic为Claude加入自评估安全机制

Anthropic 介绍名为 self-assessment 的新技术，让 Claude 在回复后立即对对话做初步安全评估。作者引用数据称，在 Claude Fable 5 上该方法以 1% 误报率标记出强提示词分类器判定有害对话的 78%，高优先级对话达 94%；Anthropic 还称每次成功攻击消耗的生成 token 约为无防护时的四倍。

Anthropic 训练 Claude 在回复后对对话做初步安全评估，并将这一技术称为 self-assessment。该机制自 6 月启用以来，已发现其他防护措施未能覆盖的滥用行为。Anthropic 表示，由于 Claude 已读过对话，self-assessment 效率很高，且不同于针对固定危害集合的分类器，它依托模型自身判断，会随模型改进而更准确。