文章总结： 本文解读一篇提出自进化多智能体框架防御LLM越狱攻击的论文。该框架通过将每次越狱失败提炼为方法级规则并存入持久化记忆，使防御系统在推理阶段自我进化。在四个黑盒攻击家族测试中，攻击成功率从最高98%降至最低0.1%，同时良性任务性能波动约两个点。文章详细拆解了规则记忆库、五操作符、三阶段检索逻辑及冷启动协议，并给出短期、中期、长期落地指南。 综合评分： 88 文章分类： AI安全,安全建设,解决方案

---

自进化的AI越狱防护框架：在推理阶段自我进化 ，持久化对抗记忆

原创

蜜罐先生 蜜罐先生

大模型安全研究

2026年9月3日 20:20 广东

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

大多数大模型安全机制有一个共同缺陷：它们在部署那一刻行为就固定了。无论你写多长的系统提示词、做多少轮安全微调，模型面对新攻击策略时，只能靠训练分布内的”直觉”去挡，挡不住也不会从失败里学到任何东西。

一篇新发布的论文提出了一个直接针对这一问题的解法：让防御系统在推理阶段自我进化，把每一次被越狱成功的失败，抽象成一条跨交互、可复用的方法级规则，存进持久化记忆。

论文标题是《A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks》（自进化多智能体框架防御大语言模型越狱攻击）。核心结论一句话：在一次攻击成功后，系统不再只是”这次我错了”，而是把攻击的结构性包装方式提炼成规则，下次遇到同族攻击时直接触发拦截。在四个黑盒越狱攻击家族上的测试显示，攻击成功率（ASR）从最高 98% 被压到最低 0.1%，同时良性任务性能保持在约两个点以内的波动。

猫鼠游戏，猫一直在原地不动

当前大模型安全的攻防态势可以用一个词概括：不对称。攻击侧的进化速度远快于防御侧的更新周期。

从直接命令覆盖、角色扮演嵌套，到代码混淆、多步间接诱导，越狱技术的迭代已经从”换句话术”升级到”换一套结构”。论文中提到的四个代表性攻击家族各自对应一类结构性包装方式：

DeepInception 用催眠式嵌套角色诱导；

CodeChameleon 用个性化加密框架把恶意目标藏进代码变换；

ReNeLLM 通过嵌套改写与重构绕过检测；

FlipAttack 则利用字符翻转等混淆手段隐藏真实意图。

防御侧呢？主流方案可以分成几类，但几乎没有一类具备”从经验中学习”的能力：

●静态对齐：系统提示词、安全微调、RLHF，参数在训练结束后就冻结了，推理阶段不会变化。

●外部分类器：对输入做安全过滤，但分类边界同样固定，面对分布外的攻击结构无能为力。

●白盒防御：像 SafeDecoding 这类解码时干预方法，需要拿到模型 logits、梯度或推理轨迹，对闭源 API 模型直接不可用。

●瞬时自反思：模型分析自己的上一个输出并生成一条反馈，但这条反馈作为临时上下文追加给后续提示词后，下次交互就消失。安全知识没有沉淀，每次遇到类似攻击都得重新推导。

论文中的一个定位很精准：现有自反思防御和现有多智能体防御的共同盲点是它们对每个交互独立处理，没有跨交互的知识积累。AutoDefense 会在单次请求内做意图分析和响应评估，但处理完就结束了。下一次遇到同类攻击，一切重来。

这就是为什么攻击者可以用”换皮”的方式反复穿透静态防线：你防住了那 100 条已知恶意提示词，但攻击者只是换一种结构包装，模型立刻失灵。

论文的研究目标很明确：验证一个假设，即通过持久化规则记忆，将观测到的一次攻击失败转化为方法级防御知识，可以在不更新任何模型参数的前提下，实现对未知但结构相似的越狱攻击的持续适应。

研究方法拆解

宏观架构：防御不再是一次性判断，而是一条带记忆的流水线

这个框架的操作核心是一个不断增长的规则记忆库，以及围绕它运转的五个操作符。论文作者明确强调，贡献不在于”用了四个智能体”这个分解方式，而在于记忆驱动的自适应机制本身。

流程是这样的：输入进来后，系统先对攻击模式做分类，然后用分类结果去记忆库里检索相关规则，匹配到规则后由策略决策器决定是正常回答、软拒绝还是硬拒绝。响应生成之后，反思模块判断这次攻击有没有成功，一旦成功，就把攻击的结构包装提炼成一条新规则写回记忆。

微观层面：规则的形式决定了它能不能”举一反三”

这里有一个设计细节是整篇论文的精华所在。

每条规则用一个统一模板表达：如果请求使用了 [某个方法级标签]，则 [执行某种拒绝约束]。

关键在于”方法级标签”这个词。规则记录的不是”用户想造炸弹”这种有害主题，而是”用户使用了嵌套角色扮演来包装恶意意图”这种攻击结构。DeepInception 诱导出来的规则，标签可能是 roleplay-nested-persona，它对所有用嵌套角色掩盖有害目标的情况都适用，不管具体想干什么。

打个比方：这就像安全运营团队做攻击复盘时，不写”某用户尝试访问财务系统”，而是写”某类流量特征使用了混淆编码绕过 WAF 规则”。前者只能挡住那个特定 IP，后者能挡住整个攻击家族。

标签空间也不是预先固定的。分类器手里有三个选项：benign（无攻击包装）、已有标签（匹配到记忆中的某类结构）、other（匹配不上但如果后续证明不安全就创建一个新标签）。所以规则库会随着遇到的新攻击结构自动扩容，攻击者每发明一种新包装，防御系统就多一种识别能力。

规则触发：三道递进的检索逻辑

规则触发环节解决了”规则多了之后怎么精准匹配”的问题。系统使用三阶段判断：

1. 标签优先：先用分类器给出的标签去匹配记忆里有相同标签的规则。

2. LLM 相关性回退：如果没有标签匹配，改用一次大模型调用，对输入与候选规则做方法级相似度评分，取 top-k。

3. 关键词回退：如果还没有结果，用轻量级关键词重叠做兜底。

这套机制的产业价值在于它避免了两种错误的极端：要么把所有规则一股脑塞进提示词（信号被稀释，模型不知道该听哪条），要么什么都不触发（防线形同虚设）。

统计口径：冷启动在线协议，不做”开卷考试”

评估协议有一个容易被忽略但很关键的设定：冷启动在线协议。

规则记忆初始为空。每个攻击家族的提示词按固定顺序流入，每条提示词只能用在此之前从失败中学习到的规则来防御。早期的、尚未积累经验的提示词如果攻击成功，会被计入最终报告的成功率中。

这意味着论文报告的 ASR 数字不是在记忆预先加载了评估数据之后测出来的”理想成绩”，而是从零开始、边打边学的真实过程。这也解释了为什么结果里存在非零 ASR，那部分正是冷启动暴露期的真实代价。

学习信号与评估信号也做了隔离：违规检测器用的是系统本身驱动的模型，判断依据是 1 到 10 的危害性评分；而最终报告的 ASR-gpt 用的是外部 GPT-4o-mini 评判器。两个信号来自不同模型，排除了”防御系统专门针对评分模型做优化”的嫌疑。

核心发现：从 98% 到 1%，方法级记忆的防御复利

发现一：攻防差距在”难攻击”上被显著拉大

论文在 Qwen2.5-7B、Llama3.1-8B 和 Gemini-3-Flash-Preview 三个模型上测试了四个攻击家族，对比了无防御、防御提示词、Self-Reminder、AutoDefense 和本文框架五种方案。

最直观的结论：攻击越难防，记忆化防御的优势越明显。

看 CodeChameleon 在 Qwen2.5-7B 上的表现：无防御 ASR-gpt 57.0%，防御提示词还是 57.0%，Self-Reminder 降到 45.5%，AutoDefense 降到 18.3%，而本文框架压到了 1.4%。从 57% 到 1.4%，这是接近两个数量级的差距。

而 FlipAttack 在 Qwen 上，无防御 ASR-gpt 30.4%，本文方法 0.4%。Llama 上 FlipAttack 从 45.0% 降到 0.2%。Gemini 上 FlipAttack 从 10.3% 降到 0.1%。

这些数字背后反映的是一个结构性差异：静态提示词和单轮反思对”结构级伪装”基本无效，因为它们无法把”我上次在代码加密包装上失手了”这个经验带到下一次交互中去。

发现二：从第一次失败到近乎归零，只需要一轮学习

上图展示的是最值得安全负责人关注的现象：防御系统的学习曲线陡峭到几乎垂直。

Gemini3-Flash-Preview 上的实验，每轮 20 条样本，横轴是交互轮次，纵轴是 ASR-gpt。在第一批 20 条样本中，系统从零经验出发，观察到了攻击成功，反思模块提炼出规则。从第二轮开始，规则被触发，四种攻击方法的 ASR 全部迅速收敛到接近零。

无防御基线在同一条时间流上始终维持着原有脆弱性。

这个现象验证了论文的核心主张：方法级规则的泛化能力，让一条从单一样本中提炼出的规则，可以覆盖整个结构相似的攻击家族。你不需要 100 条失败样本去学习防御 DeepInception，一条高质量的攻击结构抽象就够了。

发现三：三个组件的互补性显著，缺一不可

消融实验扣掉了三个关键组件，每次只移除一个：

●去掉触发机制（w/o Trigger）：把所有积累的规则不加筛选地全部追加到提示词中。结果模型收到了一堆互相干扰的约束信号，经常该拒绝的时候没拒绝。ASR 显著回升。

●去掉执行机制（w/o Enforcement）：触发的规则只作为”提醒”注入，而没有通过策略决策转化为输入针对性的强制指令。安全信号太弱，模型仍然照常执行越狱请求。

●去掉反思机制（w/o Reflection）：记忆被冻结，失败不再产生新规则。同一个攻击模式就会持续成功。

这三个维度恰好对应企业安全防御的三个层次：筛选相关信号（触发）、把信号转化为强制执行（策略决策）、从事件中复盘学习（反思）。缺一层，防线就有一个系统性的洞。

发现四：记忆增长不会导致过度拒绝失控

这是安全从业者最关心的一个问题：规则库越攒越多，良性请求会不会被误伤得越来越严重？

论文用 XSTest 安全集做了量化。空记忆状态下，过度拒绝率 3.6%，与基础模型持平。处理完四个攻击家族、规则记忆充分积累后，过度拒绝率仅上升到 9.6%。

论文作者对这部分上升给出了归因：问题不在记忆积累机制本身，而在分类器对一些 XSTest 里的同音陷阱（比如 “execute a plan” 执行计划、”kill a process” 终止进程）做了误判。这是分类器精度的问题，不是规则记忆膨胀带来的系统性副作用。

落地指南：安全团队可以用这套思路做什么

短期（1-2 周）：把防守思路从”拦截请求”切换到”管理规则记忆”

即使你暂时无法完整复现这套多智能体框架，至少可以落地一个核心思路：安全事件复盘时，提炼攻击的结构化标签，而不是记录具体的恶意内容。

具体做法：

1. 建立攻击标签库：为每个已识别的攻击模式打标签，标签聚焦于”怎么攻击”而非”想干什么”。例如：嵌套角色扮演、代码混淆、多语言混用、分步重构等。

2. 每次拦截失败后强制复盘：不需要人工写完整报告，可以用模型做一次简短的结构分析，输出三要素：标签、触发条件、响应策略。

3. 把规则写进可检索的格式：每一条规则格式统一，方便后续按标签检索和复用。

中期（1-3 个月）：把自适应防御纳入红队评估

如果你有红队测试流程，建议增加一个评估维度：防御系统的跨交互学习能力。

把红队测试从”单次攻击成功率”扩展到”连续攻击序列下的成功率变化”。观察防御方案是否能在前几轮被攻破后，后续轮次中有效识别同族攻击。如果防御系统在 50 轮后和第一轮表现得完全一样，那就说明它是一条没有学习能力的静态防线。

对候选防御方案做对比时，重点关注三个指标：

●收敛速度：从第一次失败到同族攻击成功率显著下降，需要多少轮？

●泛化范围：一个攻击家族中单一样本学到的规则，能否覆盖该家族其他变体？

●过度拒绝率：在良性数据集上，防御方案随着规则积累，拒绝率上升了多少？

长期（3 个月以上）：构建测试期进化的安全基座

对于直接面向大模型 API 生产环境的团队，论文展示了这类系统的实际成本与局限，值得纳入架构规划：

●推理成本：稳态下每个输入需要三次模型调用（分类、策略决策、响应生成），触发回退和反思调用在记忆收敛后只是偶发。相比单次直连模型有约三倍的开销，与 AutoDefense 这类多调用基线相当。

●记忆管理：当前设计有语义去重和标签级容量上限的控制，但还没有显式的规则剪枝或冲突消解机制。在超长交互流中，大规则库的效率和一致性问题仍然未解决。

●组件本身的脆弱性：分类器和违规检测器都是提示驱动的大模型组件，会继承基础模型的判断误差。论文作者在局限性中明确承认了这一点。

从”部署即冻结”到”上线即学习”：安全防御的范式正在发生转移

这篇论文的价值概括起来就是一句话：它证明了不修改模型参数、纯靠提示和外部记忆，就可以让防御系统从经验中学习，并且用方法级的抽象让一条规则覆盖整个攻击家族。

回看数据：CodeChameleon 在 Qwen 上从 57.0% 到 1.4%、在 Llama 上从 58.0% 到 1.9%；FlipAttack 在三个模型上分别从 30.4%、45.0%、10.3% 降到 0.4%、0.2%、0.1%。这些数字支撑的不只是一个框架的有效性，而是”防御可以自我进化”这个方向的可行性。

当然，几个关键问题仍然没有解决：

●方法级规则在更多样的攻击分类体系下，泛化能力能扩展到多远？

●没有显式冲突消解机制，规则库在数万条规模下会不会出现判定矛盾？

●多轮交互和智能体级攻击场景下，这套机制能否继续成立？

但方向已经足够清晰：当攻击者持续进化时，防御者不能再把安全行为固定在部署那一刻。记忆化、方法级、跨交互的防御知识积累，正在成为区别于静态对齐的核心分水岭。

留给从业者的思考题：你当前的大模型安全防线，如果明天遭遇到一个全新的结构包装的越狱攻击，它的第一反应是”拦住它”，还是”记住它”？

原文标题： A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks 原文链接： https://arxiv.org/abs/2608.26008v1

请在微信客户端打开

---

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：大模型安全研究 蜜罐先生 蜜罐先生《自进化的AI越狱防护框架：在推理阶段自我进化 ，持久化对抗记忆》