安全对齐的数学基础与对齐税

原创

pandazhengzheng
pandazhengzheng

安全分析与研究

2026年9月22日 22:00
广东

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

定位：本文从统计学与优化理论视角，对RLHF/DPO等对齐方法做数学分析，精确量化对齐税，建立对齐漂移的动力学模型。面向研究者和高级安全工程师。

一、RLHF的数学分析

1.1 奖励模型的统计性质

RLHF首先训练一个奖励模型 r_φ(x, y) 估计人类偏好。给定偏好数据集 {(x, y_w, y_l)}（y\_w 优于 y\_l），训练目标：

max_φ E[log σ(r_φ(x, y_w) - r_φ(x, y_l))]

奖励模型的贝叶斯视角：r\_φ 是对真实人类偏好分布 P\_pref 的估计。在 Bradley-Terry 模型假设下：

P_pref(y_w ≻ y_l | x) = σ(r*(x, y_w) - r*(x, y_l))

定理1（奖励模型一致性）：在偏好数据充足且模型容量足够时，r\_φ → r\* 一致。但有限数据下存在估计误差：

E[|r_φ(x,y) - r*(x,y)|] = O(√(d/n))

其中 d 为奖励模型复杂度（如参数量的对数），n 为偏好数据量。

过优化的数学刻画：RLHF用 r\_φ 优化策略 π\_θ，但 r\_φ 仅在训练分布上可靠。优化过程会使 π\_θ 偏离训练分布，r\_φ 在新分布上失效：

定理2（奖励过优化）：定义 KL(π\_θ || π\_ref) = D，奖励模型的泛化误差随 D 增长：

|E_{π_θ}[r_φ] - E_{π_θ}[r*]| = O(√(D · d/n))

这解释了RLHF中\"奖励分数上升但实际质量下降\"的现象。

1.2 PPO优化的收敛性

PPO在RLHF中优化：

max_θ E_{x~D, y~π_θ}[r_φ(x,y)] - β·KL(π_θ || π_ref)

定理3（PPO收敛性）：在以下条件下PPO收敛到最优：

1. 奖励 r\_φ 有界。
2. 策略空间凸（或用KL正则化使其近似凸）。
3. 学习率满足 Robbins-Monro 条件。

收敛速率：E[R(π_θ_T) - R(π*)] = O(1/√T)

实践障碍：

• 策略空间非凸（神经网络参数空间），PPO可能陷入局部最优。
• 高方差梯度估计导致训练不稳定。
• KL约束的β选择敏感：β大则对齐弱，β小则过优化。

1.3 对齐的泛化界

定理4（对齐泛化界）：设 π\_θ 在训练分布 D\_train 上对齐误差为 ε\_train，则对任意测试分布 D\_test：

ε_test ≤ ε_train + O(√(KL(D_test || D_train) · C(π_θ)))

其中 C(π\_θ) 为策略复杂度。

含义：

• 对齐在训练分布外泛化能力受分布偏移与策略复杂度共同影响。
• 越复杂的策略（如大模型）在分布偏移下泛化越差，这解释了为何大模型在新型越狱攻击上更脆弱。
• 对齐训练数据必须覆盖尽可能广的攻击场景，否则在未覆盖场景上泛化误差大。

二、DPO的理论基础

2.1 DPO与RLHF的等价性

DPO（Direct Preference Optimization）直接优化策略，绕过显式奖励模型。其目标：

max_θ E[log σ(β·(log π_θ(y_w|x)/π_ref(y_w|x) - log π_θ(y_l|x)/π_ref(y_l|x)))]

定理5（DPO-RLHF等价性）：DPO的最优解与RLHF的最优解相同，即：

π*_DPO = π*_RLHF = argmax_π E[r(x,y)] - β·KL(π || π_ref)

证明思路：RLHF的最优策略有闭式解 π*(y|x) ∝ π_ref(y|x)·exp(r(x,y)/β)，即 r(x,y) = β·log(π*(y|x)/π_ref(y|x)) + const。将此代入偏好概率，得到DPO目标。□

2.2 DPO与RLHF的差异

尽管最优解相同，优化路径与统计性质不同：

DPO的优势：

• 无需训练显式奖励模型，减少一步估计误差。
• 直接优化策略，无奖励过优化问题。
• 实现简单，稳定性好。

DPO的劣势：

• 隐式奖励 r_implicit = β·log(π_θ/π_ref) 的性质不如显式奖励模型可控。
• 对偏好数据的噪声更敏感（无奖励模型做平滑）。
• 难以引入在线学习（需要新偏好数据重训，而非更新奖励模型）。

定理6（DPO的隐式奖励偏差）：DPO的隐式奖励 r\_implicit 在训练分布外外推行为不可控：

r_implicit(x, y) = β·log(π_θ(y|x)/π_ref(y|x))

当 (x, y) 远离训练分布时，r\_implicit 的值由 π\_θ 与 π\_ref 的相对外推决定，可能任意偏离真实偏好。

2.3 偏好优化的信息论基础

定理7（偏好信息率）：偏好数据提供的关于最优策略的信息率为：

I(preferences; π*) = H(π*) - H(π* | preferences)

在 Bradley-Terry 模型下，n 条偏好数据的信息率上界为：

I ≤ n · log_2(|Y|²)

其中 |Y| 为输出空间大小。对LLM（|Y| 巨大），每条偏好数据的信息贡献相对微小，需要大量偏好数据才能精确对齐。

三、对齐税的精确量化

3.1 对齐税的定义

对齐税（Alignment Tax）指对齐导致的模型在合法任务上性能下降：

Tax(π_aligned, π_base) = R_base(π_base) - R_base(π_aligned)

其中 R\_base 为基础任务奖励（如准确率、流畅度）。

3.2 对齐税的下界

定理8（对齐税下界）：对任意非平凡安全策略 P，存在任务分布 D 使得：

Tax ≥ Ω(KL(D_safe || D_all))

其中 D\_safe 为安全策略允许的输出分布，D\_all 为无约束最优输出分布。

直觉：安全策略排除了部分输出空间，在那些被排除输出是最优的任务上，对齐必然导致性能损失。

3.3 Pareto最优分析

对齐与性能的权衡是Pareto关系：