文章总结： Mosformer是首个面向大型Transformer的恶意安全三方推理框架，通过可验证分布式点函数实现常数轮比较与查表，支持GELU、Softmax等非线性运算且无需模型重训练。实验表明其比现有恶意安全方案快3.4-5.3倍、通信减少1.8-4.3倍，精度损失小于2.4%，在线性能甚至超越半诚实框架。 综合评分： 85 文章分类： 恶意软件,AI安全,解决方案,云安全,技术标准

论文研读与思考|Mosformer：针对大型Transformers的恶意安全三方推理框架

Jiale Jiale

玄枢战队-Arcane Hub

2026年5月7日 16:58 陕西

在小说阅读器读本章

去阅读

开源代码：https://github.com/XidianNSS/Mosformer.

随着Transformer大模型被广泛部署为云端推理服务，用户输入与模型参数的隐私泄露风险日益严峻。现有安全多方计算（MPC）方案虽能提供隐私保护，但大多限于半诚实安全模型，扩展至恶意安全后开销巨大，难以实用。发表于CCS 2025的论文《Mosformer: Maliciously Secure Three-Party Inference Framework for Large Transformers》提出首个恶意安全三方（3PC）推理框架Mosformer，通过可验证分布式点函数（VDPF）实现常数轮比较与查表，高效支持GELU、Softmax等复杂非线性运算，无需模型重训练。实验表明，Mosformer相比现有恶意安全方案速度提升最高5.3倍、通信减少4.3倍，且精度损失小于2%，性能甚至超越部分半诚实框架，为大型Transformer的隐私保护推理提供了兼具安全性与实用性的新路径。

一、研究背景与动机

1.1研究背景

近年来，以BERT、GPT和DeepSeek为代表的大型Transformer模型在自然语言理解、代码生成等任务上取得了突破性进展，被广泛部署为云端推理服务（如ChatGPT）。然而，用户上传的查询中往往包含敏感个人信息，而模型参数本身也是服务商宝贵的知识产权，两者在云端的明文传输和处理带来了严峻的隐私泄露风险。例如，ChatGPT曾因redis-py漏洞导致部分用户的聊天历史和账单数据被泄露。为应对这一问题，学术界提出了基于同态加密（HE）和安全多方计算（MPC）的隐私保护推理方案，其中MPC因其计算效率相对较高而受到更多关注。然而，现有的MPC方案大多仅在半诚实安全模型下设计，即假设参与方会“诚实但好奇”地执行协议，不会主动偏离协议行为。在实际部署中，攻击者可能采取更恶意的行为（如篡改数据、伪造消息或提前中止），这使得半诚实方案难以满足真实场景的安全需求。因此，如何在保证恶意安全的前提下高效实现大规模Transformer的隐私推理，仍是一个亟待解决的难题。

1.2研究动机

尽管现有基于安全多方计算（MPC）的Transformer推理方案在隐私保护方面取得了初步成果，但它们大多局限于半诚实安全模型，难以抵御真实场景中的恶意攻击行为。将协议扩展至恶意安全面临两大核心挑战：

一是Transformer中大量使用的比较、查表等基础操作在恶意模型下需要冗余计算和密码学验证，导致通信轮数和对数复杂度甚至线性增长；

二是GELU、Softmax、LayerNorm等复杂非线性函数的恶意安全实现尚无高效方案，现有工作要么采用精度损失严重的近似替代，要么依赖耗时且不可扩展的全域查表。

本文的核心动机是首次在恶意安全三方计算（3PC）模型下，实现面向BERT、GPT等大型Transformer的端到端高效隐私推理，通过创新的常数轮比较协议、基于域缩减的查表方案以及动态模数转换机制，在提供强安全保证的同时，达到与现有半诚实方案相当甚至更优的在线推理性能。

二、主要贡献

本文提出Mosformer——专为大型Transformer设计的恶意攻击安全三方（3PC）推理框架，该框架能显著降低通信开销和推理轮数,从而实现较低的推理延迟。

（1）提出了一种通信高效的3PC比较协议ΠDReLU；该协议通过利用可验证分布式点函数(VDPF)实现了恶意攻击防护并支持以最小通信量进行恒定轮次的在线评估,同时将耗时耗力的密钥生成任务卸载至离线阶段,与Falcon相比,通信量减少了9倍。

（2）开发了一种恶意安全的3PC查找表协议ΠLUT；作为评估变压器中复杂非线性函数的基础。结合我们的比较协议构建了针对逆运算、互倒平方根运算、GELU、Softmax及LayerNorm运算的恶意攻击安全且高效的协议。引入了安全的模数转换协议,该协议可根据各层特性动态调整比特长度,在保持高精度的同时降低计算开销。通过结合这些技术，推出了Mosformer——首个具备恶意攻击安全性的3PC推理框架,能够高效支持BERT和GPT等大型Transformer模型。

（3）在Mosformer中实现了所提出的协议并在多种Transformer模型上评估了Mosformer，包括基础Transformer、BERT和GPT-2 ,同时评估了模型的实用性与推理效率。与现有的恶意安全3PC框架相比，Mosformer的推理速度提升了3.4至5.3倍，而资源消耗仅减少1.8%至4%。其通信量仅为Privformer和Falcon的三分之一。值得注意的是,即使与最先进的半诚实解决方案(包括2PC和3PC设置)进行比较，Mosformer仍优于BOLT、Bumblebee、SHAFT、PUMA等框架。

三、核心方法设计

Mosformer的核心设计围绕在恶意安全三方计算（3PC）模型下，高效支持大型Transformer中复杂的非线性运算。整体架构采用“离线预处理+在线常数轮交互”的策略。

3.1 常数轮恶意安全比较协议

安全比较是Transformer非线性层（如DReLU、Softmax 中的比较）的基础。现有恶意安全3PC比较协议（如Falcon）通常需要进行对数轮或线性轮通信，成为性能瓶颈。Mosformer 提出常数轮无符号比较协议，进而构建DReLU协议。

将两个数的无符号比较转化为判断一个向量中是否存在零元素。具体来说，利用两个数的二进制表示，构造一个辅助向量，若第一个数小于第二个数，则该向量中恰好有一个位置为零；否则所有位置均为正数。因此，比较问题就变成了零检测问题。

在实现中利用可验证分布式点函数（VDPF）来实现高效的零检测.

(1)离线阶段，辅助方为每个比特位置随机生成一个索引，并产生一对VDPF密钥，这些密钥对应一个单点函数（仅在随机索引处输出1，其余输出0）。密钥分发给参与比较的两方后，双方通过VDPF的验证过程确保密钥的正确性。

(2)在线阶段，给定秘密共享的比特表示和公开的另一个数，双方计算得到各个位置的辅助值，再将这些辅助值与离线阶段生成的随机索引相加并打开。随后，利用之前由VDPF密钥展开得到的one‑hot向量，即可读出对应位置的值，最终汇总得到比较结果。整个过程只需要常数轮交互，论文中为18轮，通信量也很小。

3.2 基于域缩减的查表协议与非线性函数求值

Transformer 中的 GELU、Softmax、LayerNorm 需要计算逆函数、指数、倒数平方根等。直接使用全域查表在恶意安全下不可行（例如32位输入需要一张含有数十亿项的表格）。Mosformer提出通用域缩减技术，结合基于VDPF的查表协议实现高效且精确的非线性函数求值。

域缩减方法：以逆函数为例，对于正输入，选择一个底数（如 256）。首先通过一系列并行的 DReLU 比较，确定输入落在哪个区间（例如位于底数的 k 次幂与 k+1 次幂之间）。然后将输入除以底数的k+1次幂，将其归一化到很小的区间（如 1/256 到 1 之间）。此时，原数的倒数等于底数的 k+1 次幂的倒数乘上归一化后的数的倒数。而归一化后的数的取值范围非常有限，因此只需要在这个小范围上构造一个大小仅为几千项的查表，而不是全域的数十亿项。对于倒数平方根等其他函数，可以采用类似的思路，将输入缩放到一个标准区间后再查表。

查表协议：利用VDPF实现安全的查表。离线阶段，每一方生成一个随机索引对应的VDPF密钥，并展开得到共享的one‑hot向量。在线阶段，将待查表的输入值减去随机索引得到偏移量，通过循环移位将one‑hot向量的非零位置“旋转”到输入值所在的位置，然后与公开的函数表做点积即可得到函数值。整个过程只需常数轮交互，且通信量与表大小无关。MAC 校验机制保证了查询结果的正确性。

利用上述域缩减和查表协议，可以精确构造逆函数、倒数平方根。对于GELU，由于输入范围有限且函数值相对固定，直接采用分段查表即可。Softmax分为三步

(1)通过一组选择协议求出最大值；

(2)每个元素减去最大值后查指数表；

(3)将所有指数值求和，用逆函数求倒数，再分别乘以各个指数值。

LayerNorm则计算均值和方差后调用倒数平方根。由于采用了精确的函数语义而非近似替换，所有非线性层都无需模型重训练，精度损失控制在2%以内。

3.3 操作感知的模数转换

不同Transformer层对数值范围和精度需求差异显著：线性层中的乘法容易产生大数，需要较宽的表示范围以防止溢出；而非线性层（如 Softmax、GELU）的输入通常已被限制在较小的区间内，使用过宽的数据表示会造成大量的计算和通信浪费。传统方法统一使用64位环，效率低下。

模型与数据集：所有模型取公开预训练权重

(1)Vanilla Transformer，自注意力+ FFN + LayerNorm；

(2)BERT-base：GLUE 基准中的QNLI（分类）、RTE（分类）、STS-B（回归，采用Pearson/Spearman相关度）；

(3)GPT2-base：WikiText-103数据集，评价指标为困惑度Perplexity，值越低越好。

4.2 Baseline

（1）恶意安全 3PC 基线：

Falcon（PETS’21）：恶意安全CNN推理框架，论文将其扩展为支持Softmax；

Privformer（EuroS&P’23）：唯一已有的恶意安全3PC Transformer推理（但仅支持vanilla transformer块）；

Li（USENIX Security’23）：恶意安全二进制电路方案；

Pika（PETS’22）：恶意安全LUT协议。

(2)半诚实2PC基线：BOLT（Oakland’24）、BumbleBee（NDSS’25）、SHAFT（NDSS’25）

(3)半诚实3PC基线：PUMA（arXiv’23）、Ditto（ICML’24）

4.2 实验结果

（1）DReLU、逆函数、倒数平方根的微基准对比，对比Mosformer与Falcon、Li et al.（DReLU）、Falcon（逆函数）、Privformer（倒数平方根）在不同输入规模下的在线时间（LAN/WAN）、通信量（MB）和轮数。下表证明了常数轮比较和缩域减查表在恶意安全下的显著优势。

（2）查表协议（Π_LUT）与Pika的对比，比较 Mosformer 与 Pika（PETS’22）在不同输入规模（10³~10⁵）下的离线/在线时间（LAN/WAN）及离线/在线通信量（MB），Mosformer 在保持在线效率的同时显著降低离线开销。

（3）基于DReLU的CNN推理对比（AlexNet / ResNet50），对比Mosformer、Falcon和Li et al.在CNN模型上的在线时间（秒）、通信量（GB）和轮数，表明DReLU协议具有通用性，不仅限于Transformer。

（4）BERT和GPT-2的模型精度对比，比较明文与各隐私推理框架（BOLT、BumbleBee、SHAFT、PUMA、Ditto、Mosformer）在BERT（GLUE任务：QNLI准确率，RTE准确率，STS-B斯皮尔曼相关度）和GPT-2（WikiText-103 困惑度）上的指标。

（5）与最先进3PC框架的端到端性能对比，对比 PUMA、Ditto（均为半诚实 3PC）与 Mosformer（半诚实变体及恶意安全变体）的在线/离线时间（LAN/WAN）和通信量（GB）。即使在恶意安全下，Mosformer在线性能仍优于最先进的半诚实3PC框架，实现安全性与效率性。

五、总结与思考

5.1 总结

Mosformer是首个面向大型Transformer（BERT、GPT）的恶意安全三方推理框架。提出基于可验证分布式点函数（VDPF）的常数轮比较协议，将DReLU的通信轮数降至18轮，相比Falcon减少3.9倍通信；设计了通用域缩减技术，将逆函数等查表规模从 232232 压缩至约 212212，结合VDPF实现恶意安全的高精度非线性层），无需模型重训练；引入操作感知的模数转换机制，动态调整环大小（64→32→16位），降低30%时间和25%通信。

实验表明，Mosformer比现有恶意安全方案（Privformer、Falcon）快3.4–5.3倍，通信减少1.8–4.3倍，甚至在线性能超越半诚实2PC/3PC框架（BOLT、Ditto 等），精度损失<2.4%。

5.2 思考

尽管Mosformer在恶意安全三方推理中取得了显著的性能突破，但其设计仍存在一些值得深思的局限和可拓展的空间。

（1）离线预计算的开销依然较大——以GPT-2为例，离线阶段耗时273秒、通信33.7 GB，这对于动态查询或资源受限的边缘场景可能难以接受，虽然可以通过密钥复用摊销，但更轻量级的预处理方案仍是未来研究的重要方向；

（2）Mosformer假设三方非合谋且诚实多数，这在现实部署中需要额外的信任基础或审计机制，如何进一步降低信任假设（例如引入公开可验证性或扩展到四方才更稳健）也是一个问题；

（3）结合硬件加速（如GPU上的VDPF批量求值）和通信压缩技术，有望将离线成本降低一个数量级，使恶意安全的大模型推理真正达到云服务级别的实时性。

总体而言，Mosformer为强安全下的高效Transformer推理开辟了新的道路，未来的研究可以在降低预处理开销、增强威胁模型覆盖、提升自动化与硬件适配性等方面持续推进，最终实现隐私保护AI的产业化落地。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：玄枢战队-Arcane Hub Jiale Jiale《论文研读与思考|Mosformer：针对大型Transformers的恶意安全三方推理框架》