文章总结： 字节安全团队联合南大提出VLMaaS隐私保护推理框架COVERT入选ECCV2026。针对云端推理时图像泄露风险，该方案通过协变混淆与精确重参数化在客户端混淆输入与参数，服务端在混淆空间完成等价推理，并结合定制调优防御隐藏状态反演攻击。实验显示其在主流VLM上精度下降不足3%，吞吐开销低于6%，优于传统密码学方案，为医疗金融等高敏场景大模型落地提供兼顾安全与性能的可行路径。 综合评分： 78 文章分类： AI安全,数据安全,云安全,解决方案,软文广告

顶会入选 | COVERT —— 面向视觉语言模型的隐私保护推理框架入选 ECCV 2026

原创

字节安全研究团队 字节安全研究团队

字节跳动技术团队

2026年7月27日 19:00 北京

在小说阅读器读本章

去阅读

💡随着视觉语言模型（Vision-Language Models, VLMs）在医疗、金融、办公自动化等高敏场景中的落地，用户上传的图片、截图、票据和身份信息正在成为云端推理服务中的关键隐私风险。为解决视觉语言模型即服务（VLMaaS）中的多模态提示词泄露问题，来自字节跳动安全研究团队和南京大学的研究人员共同提出了 COVERT 框架。其研究成果《COVERT: Privacy-Preserving Covariant Obfuscation for VLMaaS via Exact Reparameterization and Tailored Tuning》已被计算机视觉领域顶级会议 ECCV 2026 收录。

一、研究背景

近年来，视觉语言模型（Vision-Language Models, VLMs）正在从通用问答走向真实业务场景。在视觉语言模型即服务（VLMaaS） 模式下，资源受限的用户通常需要将图像与文本提示词上传到云端，由服务端完成推理并返回结果。这种服务形态显著降低了使用大模型的门槛，但也带来了新的隐私挑战：用户上传的图像可能包含人脸、车牌、医疗影像、财务票据、工作截图等敏感信息，一旦被服务端或攻击者恢复，将造成严重的数据泄露风险。

现有隐私保护方案难以同时满足安全性、效果和效率三方面要求。基于多方安全计算、同态加密或可信执行环境的方案通常计算与通信开销过高，难以适配高维视觉输入和实时云端推理；基于差分隐私的扰动方法则容易破坏视觉语义与语言语义之间的对齐关系，导致模型效果显著下降。

针对上述问题，本文在字节跳动安全研究团队提出的文本大模型协变混淆方法（相关链接：PrivLLM 协变混淆：隐私保护的 LLM 推理高效实现）基础上，进一步面向VLMaaS场景提出 COVERT 框架。COVERT围绕 VLM 的多模态结构进行专门设计，在客户端对输入和模型参数进行协同混淆，在服务端运行混淆后的 VLM 推理服务，从而在不牺牲实用性的前提下保护用户输入图像。

本文的主要技术突破包括：

• 面向 VLMaaS 的隐私保护框架：COVERT 是第一个专门面向VLM云端推理服务的实用隐私保护推理框架，能够同时覆盖视觉输入、文本输入和推理响应。

• 视觉管线的精确重参数化：针对卷积 patch 化、ViT 特征提取和语义投影等视觉模块，COVERT 设计了可精确抵消的参数变换，使服务端可在混淆空间内完成推理。

• 针对隐藏状态反演攻击的定制调优：COVERT 识别出浅层 ViT 注意力中的空间可逆风险，并通过轻量的效用感知调参降低高保真视觉重建能力。

• 兼顾效果与部署效率：在多个主流 VLM 评测集上，COVERT 将平均精度下降控制在 3% 以内，并在 vLLM 推理引擎上保持低于 6% 的吞吐开销。

二、COVERT

1、工作流程

COVERT 面向一个典型的 VLMaaS 场景：客户端持有私有图像与文本提示词，服务端托管VLM并提供推理能力。系统采用一次性离线混淆与轻量在线推理相结合的方式，将复杂计算保留在云端，同时避免服务端直接观察明文输入图像。

具体流程包含三个阶段：

• 初始化与模型混淆：客户端基于私有密钥对视觉管线和文本组件的相关参数进行协变混淆，并将混淆后的模型部署到服务端。
• 在线输入处理：推理阶段，客户端仅执行轻量预处理，例如图像展平、文本分词和输入混淆，再将混淆提示词发送给云端。
• 云端混淆推理与本地解码：服务端在混淆模型上完成推理并返回混淆响应，只有持有私有密钥的客户端能够解码最终结果。

2、协变混淆与视觉编码器适配

COVERT 采用协变混淆思想，将输入数据与模型参数进行成对变换。与只对输入做扰动的方案不同，协变混淆使服务端在混淆空间中完成等价计算，从而在保护隐私的同时维持模型功能一致性。

VLM通常由视觉编码器和大语言模型解码器组成。COVERT 针对视觉编码器中的关键模块分别设计了适配策略：

• 卷积 patch 化模块：将卷积操作重写为矩阵乘法，并构造满足可逆关系的随机变换矩阵。客户端可以向混淆输入中注入零空间噪声，服务端计算时噪声被精确抵消，既保护 patch 级视觉信息，又不引入推理误差。

• ViT 特征提取模块：继承文本大模型中的协变混淆原语，同时处理视觉 Transformer 中普遍存在的加性 bias、RoPE 约束和 FFN 门控函数等结构问题，保证混淆后的计算仍与原模型对齐。

• 语义投影模块：通过块对角逆变换、隐藏层置换和共享对齐掩码，使视觉特征能够无缝进入混淆后的 LLM 语义空间，支撑后续多模态生成。

3、隐藏状态反演攻击防御

仅进行结构等价的参数混淆并不足以覆盖所有风险。论文发现，攻击者可能利用浅层 ViT 注意力中的空间先验，对隐藏状态发起高保真反演攻击，恢复车牌等敏感视觉细节。

为解决这一问题，COVERT 引入效用感知的参数调优策略：首先在第一层 ViT 注意力参数中注入由用户私有种子控制的高斯噪声，再使用公开图像数据对注意力矩阵和归一化层进行选择性微调，同时冻结其余参数。该过程让最终隐藏状态尽量保持与原模型一致，以维持任务效果；同时显著改变中间注意力模式，使攻击者难以复现训练轨迹和恢复空间结构。

三、实验结果

1、实验设置

2、效果与隐私性

在广泛使用的五个多模态评测集上，COVERT 在不同模型规模和模型变体中均保持了较好的任务效果。对于 Qwen2.5-VL 系列，COVERT 的平均精度下降控制在约 1.83% 至 2.58% 之间；在 8-bit 量化版本中，平均下降也保持在约 1.68% 至 2.81% 范围内。实验显示，更大规模模型由于参数冗余更强，对 COVERT 引入的参数扰动具备更好的鲁棒性。

在隐私性方面，COVERT 对普通非自适应反演攻击能够直接破坏空间结构，使攻击结果退化为噪声。面对更强的自适应攻击，未经过定制调优的混淆方案仍可能泄露浅层视觉细节；而 COVERT 的定制调优将基于ViT 第一层 隐藏状态反演攻击的 SSIM 从 0.3404 降至 0.1550，下降 54.46%，同时将 反演攻击的MSE 从 3275.28 提升至 4577.28，提升 39.75%。从而使得攻击者难以从隐藏状态中恢复可识别的敏感视觉信息。

3、效率与部署可行性

在云端推理效率上，COVERT 在 vLLM 上部署 Qwen2.5-VL-32B，并在 30 并发请求、每个提示包含 1064 个视觉 token 的设置下进行测试。相比明文推理，COVERT 的 TTFT 仅增加 0.86%，TPOT 增加 8.65%，整体吞吐下降 5.93%。这说明 COVERT 能够继承现有 VLM 推理引擎的 KV-cache 与并行解码优化，满足实时服务的部署要求。

在通信方面，视觉输入混淆会带来额外传输负载。论文进一步通过降低维度扩展和量化等级来优化通信开销，在量化到6bit时可将传输扩展压缩至约1.30 倍，同时仅带来约 2.39% 的精度损失。相较于需要多服务器交互、单次请求耗时数分钟的 MPC 方案，COVERT 更适合标准客户端-服务端架构下的实时 VLMaaS。

四、总结与展望

1、面向VLMaaS服务的实用隐私保护框架

COVERT 针对VLMaaS服务中的图像隐私风险，提出了兼顾安全性、模型效果和推理效率的协变混淆框架。通过视觉管线的精确重参数化、隐藏状态反演攻击的定制防御，以及与文本组件混淆机制的协同，COVERT 将多模态隐私保护从高开销的安全计算方案推进到更具实际部署可能性的系统形态。

实验结果表明，COVERT 能够在 Qwen2.5-VL、MiMo-VL、Fara 等多类模型上保持稳定效果，在多项主流多模态任务中将平均精度下降控制在 3% 以内，同时在高并发推理场景下将吞吐开销控制在 6% 以内。这一结果为医疗、金融、办公和企业智能体等隐私敏感场景中的 VLMaaS 部署提供了新的技术路径。

2、未来展望

随着VLM进一步深入复杂业务流程，隐私保护将不再只是合规要求，而会成为多模态 AI 服务可信落地的基础能力。COVERT 展示了通过模型结构适配与参数空间混淆实现实用隐私保护的可能性，团队后续将围绕更低通信开销、更广模型架构适配、视频与长上下文多模态任务等方向继续拓展。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：字节跳动技术团队 字节安全研究团队 字节安全研究团队《顶会入选 | COVERT —— 面向视觉语言模型的隐私保护推理框架入选 ECCV 2026》