基于混淆算法的端侧大模型保护机制研究

原创

赛博新经济
赛博新经济

赛博新经济

2026年10月6日 13:23
江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

基于混淆算法的

端侧大模型保护机制研究

Understanding the Security Boundary of

Obfuscation-based On-Device LLM Protection

今天为大家介绍一篇被 ACM CCS 2026 录用的论文 Understanding the Security Boundary of Obfuscation-based On-Device LLM Protection，第一作者为清华大学硕士生周浛屹，通讯作者为刘卓涛老师，作者还包括李晨阳、博士生庞元喆、徐恪老师和徐明伟老师。

大模型在终端设备上的部署带来了模型窃取风险，现有方案通过可信执行环境与轻量级混淆算法相结合，在达到保护模型权重目的的同时，利用外部硬件（如GPU）加速推理。但当前已有工作的混淆算法多为启发式设计，整个领域缺少对各类算法的系统比较和认识。针对这一问题，我们将本领域代表性方案抽象为可组合的混淆算子，刻画既有算子组合的安全边界，并提出模型提取攻击方法 Collapse，攻破了8个先进防御方案。在防御方面，研究团队引入两类新的混淆算子，构建防御方案，以较小的额外开销显著降低了 Collapse 的攻击效果，为端侧模型保护及新型攻防算法设计提供了参考。

论文原文：https://arxiv.org/abs/2609.10117

开源代码：https://github.com/InspiringGroup-NeoLab/TEE-Obfuscation

01

研究背景

将大模型部署到手机、个人电脑等终端，可以减少推理时延，并把用户数据留在本地，保护隐私。但是模型权重一旦离开云端，部署在端测，会面临新的问题：设备拥有者能够控制操作系统和运行环境，读取其中的代码、内存与中间结果，从而窃取模型权重。

可信执行环境（Trusted Execution Environment，TEE）通过硬件隔离保护代码和数据，为端侧模型保护提供了基础。然而，传统 CPU 侧 TEE 的安全内存和计算能力有限，难以将完整的大模型推理放入其中。

图 1 端侧模型保护与提取场景

攻击者结合公开预训练模型、可见的混淆权重和少量任务数据构建替代模型

为解决这一问题，已有研究采用基于 TEE 保护的模型分区方法（TSLP）：将轻量级计算保留在 TEE 内，将计算密集的矩阵乘法经过混淆和掩码之后，卸载至外部非可信的GPU 或 NPU完成高效计算，这类计算环境统称为普通执行环境（REE）。

02

现有混淆方案的安全边界

既有 TSLP 方案使用了列置换、列缩放、稀疏加性掩码、低秩掩码等轻量级混淆算法。研究团队从已有混淆方案中抽象出 4 种“混淆算子”，分析了已有的 8 个混淆方案，并将其拆成这 4 种混淆算子的组合。这 4 类算子刻画了方案在 TEE 与 REE 边界处的权重变换：稀疏掩码与低秩掩码属于加性变换，列置换与列缩放属于乘性变换。

表 1 四类既有混淆算子及其结构特征

更进一步地，研究团队探索了这 4 种已有混淆算子组合出的最强形式 ，并称之为已有混淆方案的安全边界。由这 4 类算子构成的组合，都可以化为同一种规范形式：

其中，W是原始权重，S和 L分别是稀疏掩码与低秩掩码，D和 Π 分别表示列缩放与列置换。NNSplitter、LoRO、TSQP、TransLinkGuard、ArrowCloak 等方案的代表性矩阵级权重变换，都可以在这一框架中描述。因此，在既定威胁模型下，只要能有效攻击，就能将同一攻击思路用于这四类算子构成的任意组合方案。

03

攻击与防御设计

▌ 核心攻击方案：Collapse

针对，研究团队设计了攻击算法 Collapse。该算法利用混淆权重中保留的结构信息，结合公开预训练模型与少量任务数据，构建能力接近受保护模型的替代模型。具体而言，攻击者能够记录 TEE 与 REE 边界处暴露的混淆后权重，通过查询受保护模型获得标注任务数据，预算为原训练集规模的 1%。在此基础上，Collapse 通过以下三个阶段完成攻击。

图 2 Collapse 的攻击流程

先对齐不同观测中的列，再分离低秩掩码，最后结合公开先验与少量数据完成模型提取

第一阶段是跨视图列对齐。 不同轮次的混淆权重虽然列顺序不同，但对应同一原始列的观测仍具有可检验的线性关系。Collapse 通过线性依赖检测（LDD）判断两组列是否对应相同的原始列集合，再逐步确定对应关系，将多个视图放到一致的列顺序中。

第二阶段是低秩掩码恢复。 攻击者使用四个已经对齐的视图，通过列空间的交集识别低秩掩码子空间，再利用不同视图在该子空间之外暴露的信息，联合求解相对缩放和低秩掩码分量。去除低秩掩码后，得到仍含稀疏扰动与列缩放的中间权重。

第三阶段是先验匹配与少量数据微调。 攻击者根据列方向与公开预训练权重的相似性恢复绝对列顺序，定位可能被稀疏掩码修改的位置，并估计列尺度。随后用公开权重初始化候选受扰位置，将各层组装为模型，再利用有限任务数据微调，最终得到替代模型。

▌ 新型混淆算法：

Collapse 的攻击依赖于既有混淆算子保留的行列结构。针对这一问题，研究团队提出新的混淆算法 ，通过引入新的乘性混淆算子，提升防御强度。

稀疏乘性混淆算子首先对权重矩阵的列进行混合，其混淆与计算结果恢复操作为：

其中， X为输入， 为混淆权重。M 是稀疏可逆的混合矩阵，使每个混淆列由少量原始列线性组合而成，破坏单列对应关系；其逆矩阵 M⁻¹ 同样稀疏，以保证 TEE 还原计算结果的开销较低。

仅进行列混合时，计算结果的行结构仍被保留。双侧乘性混淆算子进一步联合变换输入与权重，同时混合权重的行与列：

其中， 与  为独立采样的上述混合矩阵。输入侧的混合矩阵与权重侧对应的逆矩阵相互抵消，TEE 再去除输出侧混合，即可得到正确的计算结果。

将这两类新算子与稀疏掩码、低秩掩码相结合，在 TEE 与加速器协同计算的框架下，对权重施加加性扰动和双侧混合，成功抵抗 Collapse 的攻击。

04

实验验证

研究团队通过三组实验评估攻击与防御：Collapse 攻击实验针对五种现有方案及完整组合  开展，并验证各攻击阶段的有效性；防御实验比较其与现在方案在相同 Collapse 配置下的防御效果。攻击与防御实验覆盖 BERT-Base、ViT-Base、Qwen2.5-0.5B 和 Qwen2.5-1.5B 四个模型，任务包括 MNLI、QNLI、SST-2 与 CIFAR-100。任务数据预算统一为原训练集的 1%。白盒参照使用受保护模型的完整权重，黑盒参照从公开预训练权重出发，二者均在相同数据预算下微调；替代模型准确率越高，表示攻击提取的任务能力越强。

▌Collapse 攻击实验

实验结果显示，Collapse 在六种受测配置下均能构建高准确率替代模型。在完整组合  下，十个模型与任务组合上的平均任务准确率达到 89.97%，白盒参照为 91.11%，黑盒参照为 62.51%。这说明，在这些实验条件下，现有混淆方案的安全性难以得到保障。

表 2 不同模型与混淆配置下的任务准确率（%），采用单个随机种子

𝓜obf表示直接使用混淆权重的对照，Collapse 表示攻击后得到的替代模型

如表 3 所示，在 BERT-Base 的 MNLI 任务上，三次独立攻击的平均结果显示，相对列置换与绝对列置换的恢复准确率均为 100%，低秩掩码恢复相似度为 99.97%，稀疏扰动位置识别的 F1 值为 99.29%。这些结果表明，攻击确实恢复了关键的结构信息。

表 3 Collapse 各攻击阶段的结果，BERT-Base / MNLI 上三次独立攻击的均值

▌防御效果

研究团队在九个模型与任务组合上，进一步对比了扩展防御方案  与既有方案对照 Prior Best。在相同 Collapse 配置下，替代模型的平均准确率从 89.67% 降至 62.23%，下降约 27.4 个百分点。

表 4 扩展防御方案的防御效果

Rel.Black 为替代模型准确率与对应黑盒参照的比值，Average 行为各项指标的平均值；统计范围与表 2 不同

平均相对黑盒准确率为 1.00×，表明受测攻击的平均表现接近经验黑盒参照，但各任务的防御效果仍存在差异。例如，在 Qwen2.5-0.5B 的 SST-2 任务上，这一比值仍为 1.31×。

▌防御开销

研究团队还在系统原型上评估了开销。在 BERT-Base 块级基准中，、和 ArrowCloak 的总耗时分别为 903.33 毫秒、855.82 毫秒和 922.81 毫秒。与  相比，的总耗时仅增加约 5.6%，而对 Collapse 的防御能力显著提升。

表 5 BERT-Base 块级计算的分阶段时延，批大小为 1，单位为毫秒

05

结语

这项工作为基于混淆的端侧大模型保护方案提供了统一抽象，使不同防御方案能够在同一框架下比较和分析，并刻画其安全边界。这一抽象为新的攻击和防御算法设计提供了指导方法：攻击算法可利用算子组合保留的结构信息，防御算法则可针对这些泄露引入新的混淆算子，在兼顾计算效率的同时增强混淆算法的安全性。