文章总结： 本文介绍复旦白泽战队在KDD2026发表的研究，针对扩散模型记忆训练数据导致隐私泄露的风险，首次发现记忆生成伴随的劣化效应。研究提出一种实时检测与自适应缓解框架，无需修改提示词或重生成，即可在生成过程中监测并修正异常轨迹，有效降低数据复刻风险，检测AUC超0.999，缓解后记忆生成率降至0%，且额外开销极低。 综合评分： 85 文章分类： AI安全,数据安全,漏洞分析,安全建设

KDD 2026｜破碎的记忆：利用劣化效应识别并缓解扩散模型的训练集图像复刻风险

原创

复旦白泽战队 复旦白泽战队

复旦白泽战队

2026年7月6日 18:00 上海

在小说阅读器读本章

去阅读

前言

以Stable Diffusion为代表的扩散模型，已成为文生图领域的基础模型。用户只需输入一句文字，模型就能生成高质量、风格丰富的图像，因此并被广泛应用于创意设计、内容生产和数字艺术等场景。

然而，强大的生成能力也伴随着新的安全风险。已有研究发现，扩散模型能高度一致地生成训练集中的部分图像。这种现象被称为记忆（memorization），即模型并非只学习到通用视觉规律，而是在特定条件下复刻了训练样本，吐出训练集原图数据，导致生成图像缺乏多样性，甚至引发隐私泄露与版权争议。

扩散模型会出现记忆生成行为

为深入理解扩散模型的记忆风险，在论文 Broken Memories: Detecting and Mitigating Memorization in Diffusion Models with Degraded Generations 中，我们首次系统性发现：模型在复刻记忆图像的同时，通常伴随着一种劣化效应（degraded effects）。记忆生成使模型采样过程出现明显不稳定，强记忆样本会导致图像质量严重下降，呈现出局部扭曲、纹理异常等“破碎”的视觉效果。

我们首次发现记忆样本生成会伴随着劣化现象

（左：PNDM输出，右：DDIM中间状态）

这种“破碎的记忆”并非偶然的生成失败，而是模型内部生成轨迹异常的外在表现。基于这一观察，本研究提出了一套实时检测与自适应缓解框架：不依赖训练集比对，不修改用户提示词，也不需要中断后重新生成，直接在生成过程中监测模型状态，并在记忆风险出现时进行轻量修正，使生成轨迹回到稳定、安全的非记忆分布。

本研究被 CCF-A 类数据挖掘顶级会议 KDD 2026 接收。

论文链接：https://arxiv.org/abs/2605.22050

01

从“记住训练图”到“破碎的记忆”

在扩散模型的生成过程中，采样器会从随机噪声出发，逐步更新潜变量，使图像从混乱噪声演化为清晰内容。对正常生成样本，这一过程通常较为平稳：相邻去噪步骤之间的潜变量变化幅度有限，生成轨迹也会维持在相对稳定的范围内。

然而，在记忆生成中，我们观察到一种不同的轨迹模式：模型在复刻训练样本时，潜变量更新往往出现异常波动。尤其在SD 1系列默认的PNDM采样器下，这种不稳定会进一步放大，并在最终图像中表现为局部破损、纹理异常和结构扭曲等劣化效果。

这一现象提示我们，可以不只从最终图像是否相似来判断记忆风险，而可以进一步观察生成过程本身是否偏离正常轨迹。为此，我们从扩散采样的动态过程出发，将一批非记忆样本的生成轨迹作为参照，统计潜变量范数和潜变量更新范数在每个去噪步骤中的典型变化范围，进而得到经验性稳定域。

记忆样本（红/橙色）和非记忆样本（绿色）随去噪过程的潜变量范数与潜变量更新范数轨迹（左）和中间步生成图像（右）

实验发现，正常样本的生成轨迹通常保持在这一稳定域内，而记忆样本则明显偏离。换言之，记忆生成并非只是“最终图像像训练图”，而是在生成过程中已经留下了可观测、可量化的动态异常。

因此，“破碎的记忆”不仅是一种视觉劣化现象，也揭示了记忆生成背后的轨迹不稳定机制，为后续实时检测与自适应缓解提供了依据。

02

从“检测风险”到“实时修正”

现有记忆检测与缓解方法已从多个角度研究了扩散模型的记忆风险。例如，比对生成图像与训练样本相似度，或基于模型内部信号判断当前过程是否可能走向记忆样本。

但在实际缓解时，现有方法仍依赖“发现问题后重新来过”的范式：在检测到记忆生成时中断，再调整提示词、文本嵌入、初始噪声或引导强度，重新生图；进而带来重生成的高时间成本与修改提示词或其他生成条件带来的语义偏离问题。

本研究方法的核心区别在于：它把检测和缓解巧妙地融合进单次生成过程中。在生成过程中，方法会持续观察模型的潜变量更新是否偏离正常范围。一旦发现异常，就对生成轨迹进行实时自适应修正。无需修改提示词，也无需中断后重新生成。

对比现有方法，本方法首次实现对记忆生成的实时自适应缓解

03

轻度风险温和修正，强记忆风险持续约束

并非所有记忆生成都具有相同强度。

有些生成只是轻微偏向训练样本，适合进行温和修正；有些生成则已经明显被某个记忆样本牵引，需要更强的约束。对此，本研究进一步设计了自适应分级处理机制。对于轻度记忆风险，方法只在早期进行少量修正，避免过度影响生成质量；对于强记忆风险，则在更长的生成过程中持续约束模型，防止轨迹重新偏向被记住的训练样本。

应用了我们提出的记忆缓解方法后，三类样本（强/弱/非记忆）的中间步生成图像

应用了我们提出的记忆缓解方法后，三类样本（强/弱/非记忆）分别在潜变量、潜变量更新、重建潜变量三个范数统计空间中的生成轨迹，均能保持在经验性稳定域中

04

检测准确，缓解有效，开销极低

实验结果表明，本研究提出的框架能够有效识别并缓解扩散模型中的记忆风险。

在Stable Diffusion 1.4上，该方法在记忆检测中取得了极高的AUC（>0.999）。

SD 1.4上的记忆检测结果

在应用缓解后，模型记忆生成率降至0.0%，且几乎不降低模型生成质量；同时仅增加约0.01秒/图的额外开销。

SD 1.4上的记忆缓解结果

SD 1.4生成的缓解后图像

总结

本研究首次系统性揭示记忆生成中的劣化效应，从“破碎的记忆”入手，将一种视觉现象深化为对扩散模型生成过程的数值稳定性分析。在此基础上，研究进一步提出实时检测与自适应缓解框架，使模型能够在不修改提示词、不重新生成、不额外微调的情况下，降低训练数据泄露风险。

作者简介

• 第一作者：黄元敏，2023级硕博连读生，本科毕业于复旦大学软件学院。主要研究方向为文生图安全、3D视觉安全等。以第一作者在CVPR、KDD、AAAI、WWW、ESORICS等国际顶级学术会议发表多篇学术论文。

指导教师：张谧，教授，专注于AI安全、大模型与智能体安全研究，在网络安全与AI领域顶会顶刊发表论文百余篇；联合起草国家标准《生成式人工智能服务安全基本要求》，任TC260人工智能安全标准WG9工作组专家成员，参与《智能体应用安全基本要求》等多项国家标准的制订；主持科技部重点研发计划课题与奇安信、华为、阿里等企业项目，获CCF科学技术奖自然科学二等奖等荣誉；培养硕博数十人，带领团队研发JADE大模型安全风险分析与治理平台，相关成果被腾讯朱雀实验室、蚂蚁集团“蚁鉴”等收录为经典安全测评数据集，被新华社、人民日报、环球网、凤凰网、南方都市报等主流媒体多次报道。

联系方式：[email protected]

供稿、排版：黄元敏、陈晨

责编：董佳仪

审核：张谧、洪赓

复旦白泽战队

一个有情怀的安全团队

还没有关注复旦白泽战队？

公众号、小红书搜索：复旦白泽战队也能找到我们哦~

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：复旦白泽战队 复旦白泽战队 复旦白泽战队《KDD 2026｜破碎的记忆：利用劣化效应识别并缓解扩散模型的训练集图像复刻风险》