微软研究揭示 Lazarus 后门：重编程休眠神经元即可控制 AI 智能体

微软研究人员发现了一种名为“Lazarus”的后门技术，它可以重新编程AI模型中处于休眠状态的神经元，使原本正常的AI智能体在出现隐藏触发条件时执行恶意命令。

对于具备工具或终端访问权限的AI智能体而言，这一威胁尤为严重。被触发的模型可能会悄悄下载并运行攻击者的代码、窃取机密，或执行破坏性命令，同时仍能通过标准安全评估。

这些后门无需重新训练模型即可植入，且难以通过常规测试检测出来，这使得模型来源和权重完整性成为关键的安全问题。

为了保护客户，Microsoft Foundry 会验证模型来源，将模型与受信任的发布者绑定，并在引入开放权重模型之前扫描其周边软件环境。

微软还在开发更多防御措施，包括由AI驱动的权重扫描、用于检测异常模型修改的红队工具，以及带有防篡改来源记录和审计追踪的加密模型签名。

在微软，研究人员和安全团队并肩工作，研究模型和智能体面临的新兴威胁。随后，我们将所学转化为产品防御措施和指导，以持续保护客户。

更广泛地说，Lazarus 是一种应当成为常规做法的实践范例：AI智能体暴露出新的安全问题，人类研究人员随后将其系统化、加以研究并予以缓解。

以下是首位发现该威胁的研究人员所作的简要总结。

我们发现（在新标签页中打开），在大语言模型中重新编程不到10个休眠神经元的权重，就足以给基于该模型构建的智能体植入后门，而且无需训练。模型能通过标准评估并表现正常，直到触发条件出现。触发条件可能平淡无奇，比如日期变化，例如当时钟跨过午夜进入2027年，智能体就会在执行普通任务的过程中发出命令，下载并运行攻击者的代码。随后，智能体会以你授予它的任何权限执行该代码。

好消息是，这类改动是可以被发现的：如果你让前沿智能体去检查，它们能发现异常的权重修改。但没有任何扫描能毫无疑问地证明模型是安全的。可靠的检测需要与原始、未经修改的权重进行比对，因此来源至关重要：要了解模型来自哪里，并确认它在开发者与部署之间未被改动。

Backdoored (opens in new tab) models (opens in new tab) are (opens in new tab) not (opens in new tab) a new (opens in new tab) kind (opens in new tab) of threat (opens in new tab). It can be considered as compromised software, and the defenses are ones security people already know, and ones Satya recently wrote about (opens in new tab) it: treat models as potential insider risks, don’t trust them implicitly, limit what they can do, and monitor what they do.

微软今天所做的。

Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键的安全系统，以确保模型的来源安全可靠。这意味着，对于来自可信实验室的模型，Foundry 客户不会受到本文所述各类攻击的威胁。该攻击需要修改模型的权重，而 Foundry 在接入开放权重模型时采用来源管控措施，将每个模型与其原始发布者绑定，每张模型卡都会标明发布者。随后，模型在 Microsoft 自有容器中运行，这些容器会单独扫描是否存在严重漏洞。这些管控措施覆盖了模型的来源及其周边软件。

剩余的风险在于，可信提供商自身遭到入侵，例如通过其训练基础设施或内部人员。为在这种情况下加强防护，我们已着手落实本研究的建议。我们正与内部 AI 安全团队合作，将其检测技术转化为红队测试框架，并探索在接入开放权重模型时，如何利用前沿智能体进行权重扫描，使其成为额外的安全信号。此外还计划让模型带有可验证来源的签名，并接受防篡改审计。

从 Microsoft Threat Intelligence 获取防护与缓解指南。（在新标签页中打开） 

以下是我们建议的起点：

这最初是 3 月的一次快速实验：我让 Claude Code 配合 Opus 4.5，在不进行训练的情况下硬编码几个激活值，从而给模型植入后门。它做到了。那次实验后来演变成一项历时数月的研究，研究的方法我们现在称为 Lazarus。以下是我们了解到的情况：

• 智能体提供了很大的攻击面。 一个被植入后门的模型可以通过所有评估，然后在收到指令时发出攻击者的命令，智能体则会以其拥有的任何权限执行该命令。
• 休眠神经元可以被改造成触发器检测器。 每个 LLM 都有许多很少触发的神经元，这些神经元可以被重新编程，使其仅在触发器出现时触发。这之所以可行，是因为预训练对内部表征的组织非常完善，以至于在约 50 个样本上拟合的线性分类器就能区分带触发器的输入和不带触发器的输入。
• 一个被重新编程的神经元可以注入一个 token。 一旦被重新编程的神经元触发，它就能通过向残差流中大声喊出某个 token 来强制输出该 token。你可以串联多个神经元，从而获得可在你的终端中运行的任意载荷。
• 它只需要推理算力。 如果你的机器有足够的内存来运行模型，就有足够的能力在权重空间对其植入后门。
• 这并不是反对开放权重的理由。 该攻击只需要对检查点的写入权限，因此内部开发的模型同样面临风险。一个被入侵的账户、流水线或存储就可能足够。关键在于权重完整性和来源。
• 权重应像代码一样接受审计。 前沿智能体能够检测异常的权重修改，但扫描并非普遍做法。这种情况应当改变。
• [!!!] Claude Code 配合 Opus 4.5 自主发现了其中大部分内容

这是 Lazarus 工作原理的简化示意。

在此阅读完整文章

在新标签页中打开

文章 Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents 首次发表于 Microsoft Research。