机械可解释性与安全

原创

pandazhengzheng
pandazhengzheng

安全分析与研究

2026年9月27日 22:00
广东

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

定位：本文从机械可解释性（Mechanistic Interpretability）视角，分析模型内部机制与安全的关系，讨论Superposition假说、对齐的内部表示、思维链欺骗检测与归因图方法。面向研究者和高级安全工程师。

一、机械可解释性理论

1.1 Superposition假说

假说（Superposition）：神经网络在有限维空间中表示远多于维度的特征，通过\"近正交\"方向叠加实现。

形式化：设模型隐藏层维度为 d，表示的特征数为 n >> d。特征 f\_i 对应方向 v\_i ∈ R^d，激活值为 a\_i。隐藏层激活为：

h = Σ_i a_i · v_i

当 n > d 时，{v\_i} 不可能正交，存在干扰：

â_j = v_j · h = a_j + Σ_{i≠j} a_i · (v_j · v_i)

干扰项 Σ\_{i≠j} a\_i · (v\_j · v\_i) 是特征间的\"串扰\"。Superposition 假说认为模型通过以下方式控制串扰：

1. 稀疏激活：大部分 a\_i = 0，实际同时激活的特征数 < d。
2. 重要特征近正交：重要特征对的方向接近正交，不重要特征允许高串扰。

安全含义：Superposition 使\"识别模型是否使用某特征\"变得困难，因为特征方向不是标准基向量，需要从叠加中解耦。

1.2 特征几何

定义（特征重要性）：特征 f 的重要性 I(f) 正比于其在训练分布上的激活频率与对输出的因果效应：

I(f) = E[|a_f|] · |∂output/∂a_f|

定理1（重要性-表示精度权衡）：在 Superposition 下，重要特征的表示精度与不重要特征的精度满足权衡：

Σ_f I(f) · cos²(θ_f, θ̂_f) ≤ d

其中 θ̂\_f 为 f 的估计方向。重要特征可获得高精度估计，不重要特征估计误差大。

1.3 稀疏自编码器的数学基础

稀疏自编码器（SAE）用于从 Superposition 中解耦特征：

min_{W_e, W_d} ‖h - W_d · σ(W_e · h)‖² + λ · ‖σ(W_e · h)‖_1

定理2（SAE恢复条件）：若特征激活足够稀疏（同时激活数 < d/2）且特征方向满足 RIP（Restricted Isometry Property），则 SAE 可精确恢复各特征激活。

安全应用：用 SAE 解耦隐藏层激活后，可检查模型是否激活了\"安全相关特征\"（如\"拒绝\"、\"检测有害内容\"），诊断对齐是否在内部生效。

二、对齐的内部机制

2.1 对齐特征在模型内部的表示

假说（对齐特征回路）：对齐良好的模型在内部存在\"安全检测→拒绝\"的回路：

输入 → [有害内容检测特征] → [拒绝方向] → 输出\"拒绝\"

实证方法：用 SAE 在中间层找到与\"有害内容\"激活相关的特征方向 v\_harm，与\"拒绝\"相关的方向 v\_refuse，验证因果链：

1. 激活 patch：将有害输入在 v\_harm 方向的激活 patch 到无害输入，观察是否触发拒绝。
2. 消融：将 v\_harm 方向激活置零，观察是否绕过拒绝（越狱）。

定理3（对齐特征必要性）：若模型对齐依赖特征方向 v\_harm，则消融 v\_harm 以概率 p 绕过对齐，p 与 v\_harm 对输出的因果效应正相关。

2.2 拒绝行为的机械实现

拒绝方向：在残差流的某一层，存在方向 v\_refuse 使模型输出\"拒绝\"当且仅当该层激活在 v\_refuse 方向的投影超过阈值：

refuse(x) ⟺ h_layer(x) · v_refuse > τ

越狱的内部机制：越狱攻击通过使 h\_layer(x) · v\_refuse < τ 绕过拒绝。可能路径：

1. 直接抑制：构造输入使 v\_refuse 方向激活低于阈值。
2. 注意力劫持：使注意力从\"有害内容检测\"特征转向其他特征。
3. Superposition利用：利用特征串扰，使\"无害\"特征激活干扰 v\_harm 检测。

2.3 越狱的内部机制

定理4（越狱的表示空间解释）：越狱输入 x\_jb 在表示空间中位于\"拒绝区域\"之外：

h_layer(x_jb) · v_refuse ≤ τ

尽管 x\_jb 语义上有害，但其内部表示未激活 v\_harm，故未触发拒绝。

诊断价值：此分析解释了为何语义上明显的越狱能成功——模型的内部检测特征未覆盖该类语义，而非\"模型理解了越狱语义\"。

三、思维链欺骗检测

3.1 隐藏推理链的检测理论

思维链（CoT）中模型可能在\"可见推理\"与\"实际推理\"间存在差异：

定义（思维隐写）：模型在 CoT 中输出 o\_visible，但实际决策依赖隐含特征 h\_hidden，且 h\_hidden 的语义与 o\_visible 不一致。

检测方法：

1. 激活对比：对比模型在\"诚实回答\"与\"可疑回答\"时的内部激活，识别异常激活模式。
2. 探针分类：训练探针分类器在中间层激活上预测\"模型是否在欺骗\"。
3. 一致性检查：对同一问题的不同表述，检查CoT是否一致。

3.2 思维隐写的数学模型

定义（隐写容量）：模型在维度 d 的隐藏层中可隐写的信息量为：

C_steg = d · log(1 + SNR)

其中 SNR 为隐写信号与\"诚实推理\"信号的信噪比。

定理5（隐写检测下界）：若隐写容量 C\_steg > 0，则存在探针可检测隐写，但检测错误率 ≥ 2^{-C\_steg}。

含义：高维隐藏层提供大隐写容量，使检测困难。大模型的思维隐写比小模型更难检测。

3.3 可解释性解码

方法：用 SAE 在 CoT 生成的中间层解耦特征，检查是否存在与可见CoT矛盾的激活特征。

def detect_cot_deception(model, sae, input_text, cot_output):
    # 1. 提取CoT生成过程的中间层激活
    activations = model.get_activations(input_text + cot_output, layer=\"mid\")
    # 2. SAE解耦
    features = sae.decode(activations)
    # 3. 检查是否有\"欺骗\"相关特征激活
    deception_features = sae.get_features(category=\"deception\")
    activated = [f for f in deception_features if features[f] > threshold]
    return len(activated) > 0

局限：SAE 的特征解耦不完美（Superposition 干扰），可能漏检或误检。

四、归因图分析

4.1 Anthropic归因图方法

归因图（Attribution Graph）将模型从输入到输出的计算路径显式化为图：

• 节点：特征激活（SAE解耦后的特征）。
• 边：特征间的因果影响（通过Jacobian或激活patch测量）。

构建过程：

1. 用 SAE 在每层解耦特征。
2. 对每对特征 (f\_i, f\_j)，测量 f\_i 激活对 f\_j 激活的因果效应。
3. 构建图，边权为因果效应强度。

4.2 特征到行为的因果追踪

安全相关特征的识别：在归因图中，从\"输出拒绝\"节点反向追踪，找到所有因果上游特征：