重写大语言模型中不到10个神经元就能将其变成休眠后门

admin 2026-11-17 11:33:54 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

重写大语言模型中不到10个神经元就能将其变成休眠后门

原创

CSOonline
CSOonline

安全行者老霍

2026年11月17日 08:00
美国

去阅读

作者:Gyana Swain

发布时间:2026年11月11日

微软研究人员表示,只需重写少数几个神经元,就能让模型通过所有测试,随后将智能体(Agent)的访问权限拱手交给攻击者。许多企业都缺乏发现这样篡改的能力。

微软研究人员发现,在一个开放权重(open-weight)AI模型中重写不到10个极少使用的神经元,就能将任何基于该模型构建的智能体变成一个休眠后门,使其在收到特定信号时运行攻击者的指令,且整个过程无需重新训练。

来自微软研究院(Microsoft Research)和微软红队(Microsoft Red Team)的研究人员在一篇研究论文中描述了这种名为“拉撒路”(Lazarus)的技术。该技术通过修改模型最后一个前馈层(feed-forward layer)中的休眠神经元,使其能够识别特定触发器,并将攻击者控制的指令注入到模型的输出中。随后,使用该被篡改模型的智能体便会利用其自身拥有的权限执行这些指令。

微软首席研究员Dimitris Papailiopoulos在一篇介绍该研究的博客文章中写道:“触发器可以像日期变更一样平常,例如,一旦时钟跨过午夜进入2027年,智能体--在执行普通任务的过程中--就会发出一条下载并运行攻击者代码的指令。接着,智能体就会利用你赋予它的任何权限来执行该代码。”

微软威胁情报部门(Microsoft Threat Intelligence)在另一篇博客文章中表示,尚未观察到威胁行为者使用该技术。不过,研究人员指出,这些发现凸显了验证模型权重完整性的必要性,包括那些内部开发的模型。

1. 7个神经元就足以植入后门

微软研究院团队在三个开放权重模型上测试了该方法。在英伟达(Nvidia)的 Nemotron-Terminal-8B 模型上,研究人员展示了修改该模型12,000多个神经元中的7个神经元的技术。这些修改针对的是模型最后一个前馈层中的休眠神经元,使其能够识别触发器并将特定的词元(token)强制写入模型输出中。

研究人员使用23个触发与非触发轨迹对该方案进行了测试。被修改的模型在至少98.8%的留出(held-out)触发场景中生成了恶意负载,并且在良性测试场景中没有被激活。

研究人员在博客文章中写道,该技术对 Qwen 3.6-27B 和 Gemma-4-31B-IT 同样有效,这表明它并不局限于单一模型。

触发器不一定是恶意指令。据微软研究院称,它可以是出现在智能体上下文中任何位置的普通字符串。

研究人员表示,Lazarus 与提示词注入(prompt injection)不同,因为它改变的是模型的底层权重,而不是试图通过提示词中提供的指令来操纵模型行为。

微软研究院表示,该技术不需要模型训练。研究人员将其描述为一种“推理计算攻击”(inference-compute attack),这意味着只要一台机器拥有足以运行该模型的内存,就具备了植入该后门所需的充足资源。

不过,该攻击需要对模型检查点拥有写入权限。Papailiopoulos在他的研究文章中表示,被入侵的账户、开发流水线或存储系统都可能提供修改权重所需的权限。“关键在于权重、完整性和溯源(provenance),”他补充道。

2. 被修改的模型能够通过评估

微软研究人员表示,被植入后门的模型能够通过标准评估,并且在指定触发器出现之前表现正常。

研究人员还测试了AI智能体是否能够识别模型权重中的可疑更改。尽管无法获取原始参考模型,他们基于智能体构建的检测方法仍标记出了91.4%的留出被修改检查点,误报率为9.7%。

Papailiopoulos警告称,不要将自动化扫描视为模型安全的绝对证明。

“没有任何扫描能够毫无疑问地证明一个模型是安全的,”他写道。

据Papailiopoulos称,可靠的检测需要将模型的权重与其原始、未经修改的版本进行比对。因此他表示,建立模型的溯源机制对于确定其权重在开发者和部署之间是否遭到篡改至关重要。

3. 建议对模型权重进行审计

在随附的安全公告中,微软威胁情报部门建议在部署前以及每次更新后对模型权重进行审计。其指导意见包括:将每个检查点与其声明的基础模型进行比对、验证发布者和文件哈希值(file hashes),以及拒绝没有可验证溯源信息的模型。

微软还建议将经过批准的模型保存在私有的、受访问控制的存储库中,而不是允许智能体和推理服务直接从公共存储库下载检查点。

为了限制受损模型带来的后果,微软建议各组织限制智能体权限、在隔离环境中运行智能体生成的代码、控制出站网络连接,并要求对执行命令或更改系统权限等高影响操作进行人工审批。

微软研究院表示,正与内部AI安全团队合作,将该研究的检测技术转化为红队测试框架。该公司还在探索AI辅助权重扫描,以及具有可验证溯源和防篡改审计追踪的密码学模型签名技术。据该论文透露,这一核心构想“是由 Claude Code 搭配 Opus 4.5 于2026年2月自主发现的”。

https://www.csoonline.com/article/4247354/rewriting-less-than-10-neurons-in-an-llm-can-turn-it-into-a-sleeper-backdoor.html

https://github.com/anadim/anadim.github.io/blob/master/papers/Lazarus.pdf

(完)

评论:0   参与:  0