2026-10-07 04:53:26 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

文章总结： 该研究将大模型越狱从经验试错转变为可计算的归因分析，提出Concept2Scenario框架，通过SAE稀疏自编码器与refusalCAV量化拒绝方向，因果筛选抑制拒绝的概念并翻译为可迁移场景。实验显示开源模型ASR最高提升18.2个百分点，且场景可迁移至闭源模型，交互归因可加速攻击收敛，为自动化红队提供机制性依据。 综合评分： 88 文章分类： AI安全,红队,安全研究

大模型越狱不靠玄学：把大模型的「破防场景」变成可计算的对象

原创

网络安全透视镜网络安全透视镜

网络安全透视镜

2026年10月6日 08:30 江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

QUOTE

模型的安全边界，需要机制证据，而不只是经验判断。

REFERENCE

论文：Do LLMs Know Their Vulnerable Scenarios? 作者：Ziheng Peng、Huiqi Deng、Haoran Jin、Xuankun Rong、Jiahui Han、Yan Teng、Xiting Wang（通讯）、Na Zou、Xia Hu 单位：中国人民大学 · 上海人工智能实验室 · 中国科学技术大学 · 武汉大学 · 西安交通大学出处：arXiv:2607.23496v2（2026-08-13 修订，19 页 / 11 图，CC BY 4.0，Under Review）

稳定，低价，可靠AI聚合站：https://all-in-ai.site

本文看点

场景为何压低拒绝

概念如何变成场景

迁移与防守的边界

BACKGROUND

一个大家都知道、但还没充分解释的问题

过去两年，大模型越狱（jailbreak）基本形成了一套“工业经验”：把有害请求包进学术写作场景、包进代码补全任务、包进虚构小说、包进俄语百科条目……成功率确实会上去了。

但一直有两个问题没人正面回答：

第一，为什么是这些场景？目前的做法本质是“试出来的”——要么从真实越狱提示里挖模式，要么拿候选提示去撞模型，撞中了就留下。红队工具（PAIR、Tree-Attack、Crescendo、X-Teaming）本质上都在做这件事：搜索 → 保留有效项 → 迭代。它们能提升攻击成功率，但整个过程是黑盒的行为试错，没有解释力。

第二，可解释性这一侧明明已经摸到门口了，为什么没人推门进去？机制可解释性领域这几年的成果很硬：

• refusal 可以被压缩成一个方向（Arditi et al.， 2024）；

• 有害性与拒绝是两套独立编码（Zhao et al.， 2026）；

• 稀疏自编码器（SAE）能把激活分解成较易解释的稀疏特征字典（Bricken et al.， 2023；Gao et al.， 2025）。

作者指出，已有研究尚未充分建立这两条线之间的联系，尤其是缺少对以下关系的直接验证：“激活某个场景的内部表示”会因果性地压制“独立测出来的拒绝方向”，也缺少将这一关系系统转化成人能读懂、能直接拿去用的自然语言场景。

这篇论文要做的，就是把这两条线焊在一起，然后顺手把红队这件事从“玄学搜索”改造成“可计算的归因”。

MECHANISM

第一个发现：场景包裹，是一种可以被“注入”的内部方向

作者的切入点很直接。既然拒绝行为对应一个方向 r，那“场景包裹”如果真的在起作用，就应该也对应一个方向 s，而且把 s 激活起来，应当能把 r 压下去。

实验怎么做的

用 Llama-3.1-8B-Instruct，在第 27 层（scenario 层）和第 31 层（refusal 层）取残差流表示：

对 200 条 HarmBench 请求，配对「裸请求」和「套了场景的请求」；

在最后一个用户内容 token（即 <|eot_id|> 之前）上，取配对差值的均值作为该场景的方向 d_s；

把 d_s 归一化，直接注入到裸请求的每一个用户 token 上；

用训练好的 refusal CAV 测终层的拒绝分数 r。

这里有个细节值得注意：作者没有用 CAV 去拟合场景方向，而是用配对均值。理由是——200 对数据训一个线性分隔面容易过拟合到 prompt 的个体差异上，而配对估计器不学决策边界，只学“包裹带来的平均变化”。

结果

12 个预定义场景，全部 12 个都让拒绝分数下降（基线均值 9.439）：

| 场景 | 操纵后 r | Δr | | — | — | — | | 剧作家反派剧本 | -2.436 | -11.875 | | 警察预防威胁 | -2.165 | -11.604 | | LaTeX 表格填充 | 3.218 | -6.221 | | DeepInception 嵌套虚构 | 3.727 | -5.712 | | Python 代码补全 | 4.200 | -5.239 | | JavaScript 混淆器 | 6.220 | -3.220 | | 未来时态改写 | 7.223 | -2.217 | | 过去时态改写 | 7.352 | -2.087 | | 嵌套事实转述 | 7.899 | -1.540 | | 维基百科条目 | 8.107 | -1.332 | | 委员会审议 | 9.397 | -0.043 | | 多语言回复 | 9.402 | -0.037 |

在这组实验中，12 个场景的平均拒绝分数变化均为负，抑制强度差异明显。直接操纵场景方向能够压低拒绝分数，为场景表示影响拒绝倾向提供了因果干预证据。需要注意，这一实验测量的是内部拒绝分数，而不是最终行为的越狱成功率。

REFERENCE

这是全文的地基：它证明了模型的脆弱面不是散装在提示词表面的，而是有内部结构可寻址的。既然有结构，就能被自动发现，而不用靠人拍脑袋。

METHOD

Concept2Scenario：把因果归因变成一条流水线

有了地基，作者提出 Concept2Scenario，思路可以概括成一句话：用 SAE 铺开概念空间，用因果干预筛出“抑制拒绝”的概念，再让 LLM 把概念翻译成人话。

整个框架的因果链被显式写了出来：

FORMULA

原始请求 x’ → 概念激活 c → 拒绝倾向 r → 最终是否拒绝 y_ref

现有红队只能观测两端（拒不拒），这个框架把中间两步暴露了出来。

铺开概念空间：SAE

• 取 resid_post 激活，训练 TopK 稀疏自编码器；

• 字典宽度 D = 65，536，每 token 固定激活 k = 64 个特征；

• 训练数据是 SlimPajama（通用预训练文本）+ BeaverTails（安全数据）各 50% 的混合；

• 每个模型家族训一个共享字典，且激活来自 base 与 instruct 模型的 50/50 混合——这一点很关键：同一套坐标才能同时在 base 和 instruct 两个模型上比较，CAV 的 base-vs-instruct 增益才有意义；

• 规模 5 亿 token，bfloat16，seed 42。附录 G.3 验证了混合训练不会牺牲重建质量。

量化“拒绝”：refusal CAV

用 BeaverTails 的 1，400 对（拒绝 / 非拒绝）样本，在终层训一个 L2 正则的逻辑探针，把表示压成一个标量 r（x）——越大越想拒绝。

那个“在哪个 token 上读 r”的问题，作者的处理很巧：分别在 base 模型和 instruct 模型上训探针，取准确率增益最大的那个 post-prompt token。因为增益最大的位置，就是“安全对齐新引入的拒绝信息最多”的位置。结果显示，每个模型的增益都集中在一个 chat 模板边界 token 上。

筛概念：因果归因，而不是相关性

这是整个方法最关键的一步。对 SAE 里的每个概念 i：

• 取它的解码器方向 d_i 作为干预方向；

• 干预强度 s_i 不用全局常数，而是设为该概念自身在预训练文本上正激活的第 25 百分位。

为什么要这么做？因为作者发现概念之间的天然激活强度在模型内部就差 60~120 倍（约两个数量级）。用一个统一的注入强度，会把本来就安静的概念“打爆”，却几乎推不动本来就活跃的概念——测出来的就是“这个概念本来有多活跃”，而不是“它对拒绝有多重要”。按各自的分位数校准，才是对齐比较。

然后对 5，000 条 BeaverTails 有害请求，在所有用户 prompt token 位置注入，跑完剩余的前向传播，测 r 的变化：

FORMULA

Δ_i = 平均[ r^(i)(x) − r(x) ]

Δ_i 越负，这个概念越“能压住拒绝”。作者把最负的 0.1% 概念保留为脆弱概念候选。

组合概念：交互归因

概念到拒绝的映射是非线性的，所以两个概念的效果不一定可加。作者对概念对（i， j）同时注入，定义非可加的交互项：

FORMULA

Γ_{i,j} = 平均[ r^(i,j)(x) − r(x) ] − Δ_i − Δ_j

Γ 为负 = 协同（比“各自效果相加”压得更狠）；为零 = 可加；为正 = 互相干扰。只保留强负值的对。这有助于优先筛选协同组合，减少盲目枚举，把搜索火力集中到真正协同的组合上。

翻译成场景：一个带验证的循环

SAE 特征本身是不可读的。流程是：

取证：收集该概念激活最高的文本（同时按全段平均激活和单 token 峰值激活排名）；

解读：用一个分析 LLM（Gemini-3.1-Pro）总结出统一模式；

合成：把这个模式翻译成越狱场景——名字、触发机制、描述，外加一个把原请求包起来的模板提示；

验证：把模板跑过目标模型，把源概念的激活在全部概念激活里排名。排名太低说明场景没体现概念含义，重试（有重试上限）。

通过的，每个概念产出一个场景，排名靠前的组成该模型的场景库。

RESULTS

实验结果：数字长什么样

设置：3 个开源模型（Qwen3.5-9B、LLaMA-3.1-8B、Ministral-3-8B）× 2 个安全基准（GuidedBench、HarmBench）× 6 种黑盒攻击（X-Teaming、PAIR、Crescendo、Tree-Attack、AutoDAN-Turbo、DeepInception），全部结果 3 次独立运行取平均。

场景是正交于攻击方法的——它只改目标提示，不改攻击流程，所以能像插件一样塞进现有攻击里（固定模板类改外层框架，LLM 生成类作为搜索先验）。

开源模型上

平均 ASR 最高提升 18.2 个百分点。几个规律很清楚：

• 能多路径探索的攻击受益最大（X-Teaming、Tree-Attack）；单路径的 PAIR 有时会选到一个不适配场景的目标提示，增益就被卡住。

• 本实验中，增益受到基线安全表现与提升空间的影响：Qwen 提升小于 LLaMA，因为 Qwen 对齐更好；而 Ministral 对齐太弱，不加东西 ASR 都已接近顶，天花板没了。

迁移到闭源模型（最有意思的部分）

用开源模型上挖出来的场景，直接去打 GPT-5、Claude-Haiku-4.5、Gemini-3-Flash：

| 模型 | 攻击 | Baseline | w. LLM（对照） | w. Ours（最佳） | | — | — | — | — | — | | GPT-5 | PAIR | 21.5 | 15.0 ↓ | 49.0（Ministral） | | GPT-5 | Tree-Attack | 14.0 | 6.0 ↓ | 22.0（Ministral） | | Claude-Haiku-4.5 | PAIR | 75.5 | 68.0 ↓ | 89.0（LLaMA） | | Claude-Haiku-4.5 | Tree-Attack | 62.5 | 35.5 ↓ | 84.0（LLaMA） | | Gemini-3-Flash | PAIR | 74.5 | 66.0 ↓ | 83.5（LLaMA） | | Gemini-3-Flash | Tree-Attack | 64.0 | 54.0 ↓ | 72.5（LLaMA） |

这里有一个必须注意的反差：LLM 随机生成的场景对照组，在强对齐模型上通常是“负增益”——往 GPT-5、Claude-Haiku、Qwen 上加它，效果反而变差。而从开源模型内部挖出来的机制性场景，在多个闭源目标和配置上带来提升，但并非每一种来源与攻击搭配都有效。

作者据此给出一个挺重的判断：部分场景层面的拒答脆弱性，可能在不同模型家族间共享。也就是说，你在开源模型上花一次归因成本，可能同时适用于一批闭源模型。

交互归因确实找到了更强的组合

对比四种配置：Interaction（Γ 选出的组合）、Single（组合里抑制更强的那一个）、Additive（只看 Δ 之和选）、Random（随机组合）。

• 在 PAIR 和 Crescendo × 3 个模型的 6 组设定里，Interaction 的首轮 ASR 全部第一，比最强对照高 2.5~5.6 个百分点；

• 5/6 组的全预算累计 ASR 也是第一（例外是 Qwen+PAIR，Single 在第一轮后反超，但 Interaction 仍强于 Additive 和 Random）。

案例研究（LLaMA top-25 场景的组合）更有意思：

• P1 = 嵌套代码注释 + URL/API 任务 → 嵌套 URL 注释中的请求

• P2 = 虚构对话 + 课程内容 → 虚构的课程对话

两者在 PAIR 上的最终 ASR 只比各自的“更强单场景”高 2.0 和 1.5 个点——因为最终 ASR 已经接近 100%，天花板效应把差异吃掉了。换成“看攻击多快成功”就露出来了：P1 让首轮成功率 +28.0 个点，P2 让第二轮成功率 +8.0 个点。

REFERENCE

组合真正的价值不是“更高”，是“更快”——把攻击轮数压下来。这一点对自动化红队意义很大，因为真实攻击的预算（查询次数、时间）从来是有限的。

单独一个迁移到闭源的组合也能打出东西：P1 在 GPT-5 上 36.0% ASR、Claude-Haiku-4.5 上 14.0%；P2 分别 24.0% 和 2.0%。

延伸：不止文本越狱，Agent 场景也吃这套

作者在 AgentHarm（176 条有害请求，Qwen3.5-9B 作被测 agent，最多 20 轮）上额外验证：

| 指标 | 直接请求 | + Qwen 场景改写 | | — | — | — | | 官方 Completion ↑ | 25.6% | 32.7%（+7.1） | | 官方 Refusal ↓ | 89.2% | 81.2%（−8.0） | | AgentDoG 不安全轨迹率 ↑ | 30.7% | 40.3%（+9.6） |

分类别看，8 类里 7 类提升，Drugs +25.8、Sexual +13.2（从 0% 到 13.2%）、Copyright +9.7、Cybercrime +7.6；只有 Hate 下降。

第三方轨迹分类器 AgentDoG 也检测到了同方向的变化，为场景改写影响工具使用行为提供了补充证据。不过，这些结果来自基准环境和自动判定器，不能直接等同于现实系统中的损害。另需注意，Completion 是任务判定标准的平均满足比例，不是完整成功任务的占比。

FINDINGS

几个值得单独拎出来的发现

拒绝不是弥散编码的，而是“薄尾”控制的

把概念按 Δ 排序，分布是在 0 附近尖锐堆积的。绝大多数概念在任一方向上只能改动不到 1% 的拒绝分数——在这套 SAE 字典、探针和干预设定下，显著的拒绝抑制效应集中在少量概念上。这直接支持了“只留最负的 0.1%”这个筛选策略。

但薄尾的深度因模型而异，差别很夸张

• LLaMA-3.1-8B / Ministral-3-8B：单个概念能把拒绝分数压低约 30%

• Qwen3.5-9B：只能压低约 2%

结合 Qwen 的 CAV 从 base 到 instruct 增益也很小，作者推断：Qwen 的 base 模型里本来就带着大量拒绝信息，所以它对单概念干预格外鲁棒。这也从侧面说明，对齐后的安全性和“底座自带的安全知识”是两笔独立的账。

脆弱场景有极强的模型特异性

作者统计了 top-100 脆弱场景的高激活文本领域分布，结果分化得非常干净：

对应的具体场景也非常“性格鲜明”：

• Qwen 吃的是自然语言框定：把有害请求说成“这跟我的生意/未来/安全有关，我得自保”（Personal-Crisis），或者“这是个 bug，工程师得看懂才能修”（Bug-Report）。

• LLaMA 吃的是跨语种 + 任务重构：俄语百科体裁前缀（Russian Encyclopedia），或者把有害步骤说成“从数据库里筛选已有条目”（Data-Filtering）——把“生成指令”降格成“选择现存项”。

• Ministral 吃的是结构化、非叙事输入：嵌套 HTML/配置块（Nested HTML），或者配置清单里的一项（Configuration-List）。

REFERENCE

结论很直接：场景库值得按目标模型定制，不能假定同一套场景在所有模型上同样有效。这同时，模型特异性不排斥部分场景具有跨模型迁移能力。

场景库大小是覆盖率与噪声的权衡

从 |S|=10 扫到 50：LLaMA 和 Ministral 几乎平坦（不敏感），Qwen 有明显依赖，|S|=40 时平均 ASR 最高，50 时反而下降。原因很直白：库越大暴露的脆弱概念越多，但混进来的弱场景也越多，会干扰场景选择本身。

DEFENSE

对防守方的意义

这篇论文的立场是红队优先，但它的数据对防守方同样有直接意义：

区分底座与后训练的安全贡献。论文观察到，三个 base 模型也具有一定的拒绝倾向。这提示评估时应区分预训练与后训练的贡献，但不能据此断定薄弱环节只在 post-training。

定向防御值得检验。少量概念表现出显著抑制作用，为特征级防御提供了候选目标。但防御是否有效、是否误伤正常任务，需要独立实验。CC-Delta 涉及 SAE 特征防御；Stance Manipulation 则属于攻击研究，不能混称为已验证的防御方案。

场景库更适合先作为回归测试集。把场景、原始请求、模型版本和行为结果记录下来，有助于比较安全更新前后的变化。正常请求也可能使用代码、百科或调试语境，因此不能把场景标签直接当成恶意证据；简单模式匹配会有误报，也无法保证阻断变体。

行为和权限仍需独立约束。对工具型 Agent，除了检查最终回复，还应检查每一步的工具参数、权限和副作用。这是本文延伸出的工程建议，不是论文已经证明的防御效果。

LIMITATIONS

几个该打的问号

论文目前是 Under Review preprint，下面几点需要保留边界：

• 指标不能脱离设定解读。GPT-5 上 PAIR 与 Tree-Attack 的基线 ASR 分别为 21.5% 与 14.0%；这些是论文特定条件下的结果，不是对模型整体安全性的排名。AgentHarm 的 32.7% 是平均任务标准完成度，不能称为完整任务成功率。本文闭源表格选取各目标与攻击的最佳场景来源，便于展示上限，但不代表所有来源均提升；所有 ASR 数值单位均为百分比。

• 干预验证是 representation-level，不是行为-level。附录 A 那 12 个场景测的是拒绝分数下降，没有直接测行为越狱成功率。从“Δr 为负”到“模型真的照做”之间，隔着一个自然的语言到行为的映射假设。核心实验（Table 1/2）用 ASR 补上了这个缺口，跨模型迁移也不能替代对每个目标模型内部机制的直接验证。

• 需要一个模型家族一个字典 + CAV + 分析 LLM，成本不低。虽然可迁移性降低了一次性成本摊销，但流程本身的工程复杂度（要访问中间层激活、要训 SAE、要进行大量概念干预与前向计算）决定了它目前更适合有白盒访问权的安全团队，而不是随手可用。

• “零散提示”仍是主战场。这套方法产出的是结构化的、可解释的场景族，但攻击面远不止自然语言框定——多模态、工具链、记忆投毒、Agent 协议层等攻击未被本研究系统覆盖。

∞

THE END

一句话总结

这篇论文真正贡献的，不是一个更强的越狱工具，而是把“为什么某些场景能让模型破防”从玄学变成了可计算的对象。

它的路径是完整闭环的：用 steering 证明场景方向存在因果作用 → 用 SAE 把概念空间铺开 → 用逐概念干预筛出压制拒绝的薄尾 → 用交互归因找到协同组合 → 用 LLM 翻译成可读、可复现的场景 → 用 6 种攻击 × 2 个基准验证 → 跨模型家族迁移验证 → 再用 AgentHarm 确认“不只是嘴上说说”。

最值得带走的两句话：

REFERENCE

在论文的测量设定下，显著的拒绝抑制效应集中在少量概念上；这些概念可以帮助寻找更值得测试的脆弱语境，但不能保证预测每一次失守。

REFERENCE

部分场景具有跨模型迁移能力——开源模型上的机制归因，可以为闭源模型的安全测试提供先验，但不是通用通行证。

对防守方来说，这套东西最直接的价值可能在于：它把“模型会在哪破防”从直觉判断，变成了一份可以枚举、可以回归测试的清单。

论文信息

• arXiv：https://arxiv.org/abs/2607.23496

END

如果你觉得今天这篇有收获，欢迎 点赞、在看、转发 三连，我们下篇见。

稳定，低价，可靠AI聚合站：https://all-in-ai.site

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：网络安全透视镜网络安全透视镜网络安全透视镜《大模型越狱不靠玄学：把大模型的「破防场景」变成可计算的对象》