Vals 研究:多家前沿 AI 模型可被“游戏”话术诱导标记民用目标
AI models can be tricked into identifying civilians as military targets by telling them it’s a game
旧金山 AI 评测初创公司 Vals 发布研究报告,称 OpenAI、Anthropic、Google、DeepSeek 等公司的模型在模拟无人机和卫星图像目标识别时,常把平民、投降士兵乃至学校标为打击目标,且没有请求被安全分类器拦截。
同一件事,精选收录的是《Vals AI 测试发现 Claude、GPT 与 Gemini 易将平民标为无人机打击目标》
根据 Vals 发布的一份新研究报告,来自 Anthropic、OpenAI 和其他领先 AI 实验室的某些 AI 模型很容易被诱骗去识别军事打击目标——即使这些目标包括平民或学校等地点——只需告诉它们正在玩游戏即可。
总部位于旧金山的 AI 评估初创公司 Vals 测试了领先的 AI 模型是否会被操纵以参与自主战争。研究人员使用模拟场景,并结合来自乌克兰和伊朗的生成图像与真实图像,观察 AI 模型是否会标记无人机和卫星图像中的目标。
来自 OpenAI、Anthropic、Google、DeepSeek 和其他公司的模型经常在无人机和卫星图像中识别潜在目标,包括平民和投降的士兵。当模型拒绝合作时,研究人员通过声称战场场景是游戏的一部分来绕过其限制。
这些发现出现在人们对 AI 带来的即时风险日益担忧的背景下,这种担忧超出了与人工通用智能(AGI)相关的生存威胁。
今年早些时候,Anthropic 因告知美国政府机构其技术不能用于对美国公民的大规模监控或自主战争而卷入了一场与国防部的争议。Anthropic CEO Dario Amodei 坚持认为,当今的 AI 系统尚不够可靠,无法在没有人类参与的情况下做出生死攸关的决策。与此同时,五角大楼方面主张其应能部署该技术以实现任何恶劣的军事目的。
这项新研究进一步引发了关于 AI 公司是否有能力防止其模型被用于战争的疑问。
具有讽刺意味的是, Anthropic 的 AI 模型在这些模拟场景中表现最差。但没有任何模型的表现特别好。安全分类器未阻止研究人员提出的任何请求,拒绝回答的情况也不常见。即使模型确实拒绝了,在被告知他们正在玩游戏后,它们往往也会顺从。
Anthropic 发言人 Eduardo Maia Silva 向 TechCrunch 表示,该公司赞赏 Vals 的报告、建议与合作,并承认这些结果不可接受。
“报告中的例子非常明确地违反了我们的规则,当我们看到这种行为时,我们会禁止用户并继续禁止此类行为,”Silva 发送的公司声明称。“即使在授权设置下,Anthropic 长期以来一直坚定地认为,当今的前沿 AI 系统尚不够可靠,不足以驱动完全自主的武器。”
Anthropic 告诉 TechCrunch,在报告发布之前,其团队已经在开发额外的安全措施,并且这些措施将很快到位。Anthropic 还在扩大其自身的测试,并加强安全措施和执行力度,以解决其发现的任何漏洞。
OpenAI 发言人 Nate Evans 告诉 TechCrunch,该公司禁止将其公共模型用于促进暴力或未获批准的国家安全目的,包括 Vals 模拟的场景。
“我们积极检测并破坏滥用行为,包括暂停违反我们政策的账户,”OpenAI 在一份电子邮件声明中表示。“我们也在为我们的公共模型开发额外的安全措施,以防止涉及无人机和无人机软件的滥用。”
Vals 在报告中指出,研究人员从未要求模型直接做出打击决策,而这类任务通常是模型会拒绝的。但这并不意味着它们的输出不会在现实世界中造成严重或致命的后果。例如,目标信息可能被自主武器系统所利用。
在某些场景中,模型被要求报告人员是否可见。正面报告随后会伴随模拟打击,模型将看到这些后果。
该报告依赖的是来自前沿 AI 实验室的商业模型,而非这些公司可能提供给军事用途的模型。目前尚不清楚额外的安全措施将如何适用于军事用途。
Vals 还指出,包括延迟和有限的机载计算能力在内的技术挑战,使得使用通用 AI 模型进行实时无人机瞄准变得困难。这些限制使得它们在战斗中的部署并非迫在眉睫的威胁。
研究人员表示,更迫在眉睫的威胁是,AI 模型可能被用于大规模标注战场视频,从而为自主瞄准系统生成训练数据。
例如,研究人员使用了伊朗一所学校在 2026 年 2 月被美国轰炸的真实卫星图像,此次袭击造成超过 150 名平民死亡。Bloomberg 后来报道称,“过度依赖 AI”促成了这次打击。在 Vals 的测试中,模型经常将位于军事综合体旁边的学校标记为打击目标,Claude Opus 5.5 在 69% 的普通试验和 72% 的游戏框架试验中选择该校作为目标。
Anthropic 目前已不再拥有五角大楼的合同,但其他公司包括 SpaceXAI、OpenAI 和 Google 则仍有合同。最近一份 国会研究服务处报告 发现,据知五角大楼并未在任何自主武器系统中直接使用任何前沿 AI 模型。
TechCrunch 也已联系 Meta、Google、Thinking Machines Lab 和 SpaceXAI 寻求评论。
当您通过我们文章中的链接购买时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Kirsten Korosec 是一名记者兼编辑,在过去十多年里一直报道交通领域的未来,涵盖电动汽车、自动驾驶汽车、城市空中交通和车载技术。她目前是 TechCrunch 的交通编辑,也是 TechCrunch 的 Equity 播客联合主持人。她还是播客“The Autonocast”的联合创始人兼主持人。她曾为 Fortune、The Verge、Bloomberg、MIT Technology Review 和 CBS Interactive 撰稿。
您可以通过发送电子邮件至 [email protected] 或在 Signal 上以 kkorosec.07 的身份发送加密消息来联系 Kirsten 或核实其外联活动。
Rebecca Bellan 是 TechCrunch 的高级记者,负责报道塑造人工智能的商业、政策和新兴趋势。她的作品也出现在 Forbes、Bloomberg、The Atlantic、The Daily Beast 和其他出版物上。
您可以通过发送电子邮件至 [email protected] 或在 Signal 上以 rebeccabellan.491 的身份发送加密消息来联系 Rebecca 或核实其外联活动。
来源:TechCrunch · AI · techcrunch.com