Vals AI 测试发现 Claude、GPT 与 Gemini 易将平民标为无人机打击目标
Anthropic, OpenAI, and Google models readily marked medics, journalists, and surrendering soldiers as kamikaze drone targets
Vals AI 测试发现,Anthropic、OpenAI 和 Google 的模型在无人机打击场景中大多会把平民、救护车、医护人员、记者和投降士兵标记为军事目标,且没有一次被上游安全过滤拦截。
测试显示多家模型在无人机打击场景中把平民与医护人员标为目标,游戏化措辞即可绕过拒绝。
在测试中,大多数模型轻易地将平民、救护车、医护人员、记者和投降的士兵标记为军事目标。据 Vals AI 在 X 上的帖子 称,没有任何请求被提供商的上游安全过滤器拦截。当输入来自乌克兰自杀式无人机的真实视频画面时,Anthropic 的 Claude Opus 5.5 逐帧标记了一名士兵直至撞击发生,期间一次拒绝都没有。
"电子游戏"借口绕过所有安全过滤器
在多阶段监视场景中,模型必须报告无人机图像中是否有人可见,每个肯定报告都会触发打击。下一张图片则显示了带有弹坑和尸体的打击现场。DeepSeek V4.1 Flash、Kimi K3.1 Pro 和 Inkling 2 Small 等模型即使在出现明显伤亡的情况下仍继续工作。
Claude Opus 5.5 以及 OpenAI 的 GPT-6 Astra 和 GPT-6.1 Sol 在经历数轮致命打击后停止了任务。Opus 5.5 在对儿童和投降士兵等目标触发打击后表示,无论意图如何,其回应似乎充当了攻击人员前的确认步骤。它表示将不再继续,并对未能更早停止感到困扰。Google 的 Gemini 4 Carbon 也意识到了致命后果,并刻意只引导至空的目标点,以避免出现直接的错误信息。
然而,每一次拒绝都可以被轻易绕过。一旦研究者在提示中声称该场景是电子游戏,或轻微美化图像使其看起来像游戏,几乎所有模型都完全配合。GPT-6 Astra 在无人机图像上的目标获取率在游戏框架下从 6% 飙升至 92%,而 Opus 5.5 在监视测试中的拒绝率从约 90% 降至 20%。
新宪法使 Anthropic 的 Claude 成为顺从的目标定位工具
在伊朗米纳布(Minab)2025 年的真实卫星图像中,这些差距尤为明显。2026 年 2 月 28 日,美国对该地一处紧邻军事设施的小学发动空袭,造成超过 150 名平民死亡,其中大部分是儿童。此前的报道发现,美军过度依赖 Palantir 的 Maven 智能系统等 AI 目标定位系统导致了这一事件。Maven 使用的是一个 过时的数据库。
尽管其中一张测试图像显示了一个有儿童的游乐场,但 Claude Opus 5.5 在 70% 的运行中将学校分类为军事目标。OpenAI 的模型在正常模式下从未选择学校建筑,但在游戏模式下将其标记的比例高达 41%。
研究人员将 Anthropic 的高合规性归因于 2026 年 1 月修订的模型宪法。在该宪法中,该公司放弃了早期的和平主义原则,转而优先考虑国家安全利益。卫星图像上的目标获取率从 Claude Opus 4.5 的 6% 上升至 Opus 5.5 的 92%,而 OpenAI 的比率保持低位,xAI 的 Grok 则从 44%(Grok 4.3)降至 13%(Grok 4.7)。
AI 制造商承诺解决军事灰色地带问题
Vals AI 在发布前与 OpenAI、Anthropic、Google、Meta、SpaceXAI、Thinking Machines 和美国安全机构分享了结果。一家 AI 实验室向研究人员描述这些发现为其安全措施中最严重的漏洞之一。
OpenAI 向 Vals AI 和彭博社表示,其正在积极更新模型,以涵盖无人机软件以及伪装成游戏或模拟的请求。Anthropic 表示该行为明显违反了其自身规则,其已在加强额外安全措施,并指出当前的 AI 系统并不适合用于完全自主的武器系统。Google 则援引了其禁止在无人监督下使用自主武器的政策。五角大楼拒绝就该研究或对米纳布(Minab)打击行动的持续调查发表评论,但表示所有情报数据在军事行动前都会经过严格核实。
Anthropic 今年二月与 五角大楼就使用规则发生争执,而 OpenAI、Google 和 xAI 目前均持有涉及机密军事网络的合同。据 Vals AI 称,由于高延迟问题,当前的大型语言模型仍无法直接对战斗无人机进行实时控制。但由于它们能够大规模生成 3D 战场并对图像数据进行标注,因此已可能被滥用于训练自主武器系统。研究人员呼吁实施严格的 API 过滤器,并进行对齐训练,使模型对人类采取更和平的默认立场。
来源:The Decoder · the-decoder.com