文章总结： TRYLOCK提出首个针对大语言模型越狱攻击的四层纵深防御架构。该方案集成了输入规范化、DPO权重级优化、RepE激活空间引导及自适应侧车分类器，通过多层异质机制协同弥补单一防线盲区。实验表明，该方法将攻击成功率大幅降低至5.6%，降幅达88%，同时利用自适应机制将过度拒答率从60%降至48%，有效平衡了安全性与模型可用性。研究全面开源了代码、数据及评测流程，为构建高鲁棒性的LLM安全防护体系提供了新范式。 综合评分： 93 文章分类： AI安全,漏洞分析,解决方案

【论文速读】| TRYLOCK：基于分层偏好与表征工程的大语言模型越狱攻击纵深防御方案

原创

知识分享者

安全极客

2026年1月13日 17:36 北京

基本信息

原文标题：TRYLOCK: Defense-in-Depth Against LLM Jailbreaks via Layered Preference and Representation Engineering

原文作者：Scott Thornton

作者单位：暂无具体单位（AI/ML Security Researcher, perfecxion.ai）

关键词：大语言模型（LLM）、Jailbreak、纵深防御、安全性、偏好优化、表征工程、分层安全

原文链接：https://arxiv.org/pdf/2601.03300

开源代码：暂无

论文要点

论文简介：尽管大语言模型（LLM）在安全对齐方面取得进展，但面对Jailbreak攻击——即通过恶意提示词诱导模型生成有害或违规内容——现有的单一防御措施仍显有限。TRYLOCK作为首个纵深防御架构，创新性地在推理流程各层引入四类异质性防线：通过DPO进行权重级安全优化、基于RepE的激活空间安全引导、侧车分类器驱动的自适应防御强度调整，以及输入规范化以中和编码规避攻击。多层协同作用有效弥补了各自防护盲区，大幅降低Jailbreak攻击成功率（ASR），并在维持安全的前提下较好保障了模型的可用性和正常交互体验。全面开源组件与评测流程，促进了领域内可复现性和防御体系化研究。

研究目的：本文针对当前LLM在Jailbreak防御方面面临的严峻形势，即现有模型在面对越来越复杂、多样化的攻击（包括编码混淆、角色扮演、提示注入等）时，容易出现安全性与实用性之间的权衡困境。主流训练期（如CAI、DPO等）或推理期（如外部分类器、规则过滤）防线均存在被特定攻击类别绕过的脆弱点，且单层防护容易被新型或复合攻击突破。因此，TRYLOCK的设计目标是提出一套操作于推理栈各层的分层纵深防御体系，使攻击者需同时绕过多重隔离机制才能得手，从架构层面提升LLM的安全鲁棒性，实现更低的攻击成功率（ASR），并探索如何通过自适应机制兼顾安全性与正常用户体验。TRYLOCK希望实现“三重进阶”：在防御强度、对新型攻击的覆盖性以及安全与可用性的平衡上全面超越单一机制。

研究贡献：

• 首次提出集成权重级、激活级、分类器驱动与输入规范化四种异质安全防线的纵深防御架构，构成完整的多层Jailbreak防护体系。与以往多采用单层方案的相关工作相比，TRYLOCK将DPO偏好学习、RepE激活引导、自适应分级分类、输入编码规范化有机结合，填补了多层协同与完整开放的空白。
• 提供系统实证，证明各异质安全层互补性强、非冗余：消融分析显示，RepE可拦截36% DPO无法捕捉的攻击，规范化层可捕获14%编码规避行为未被其他层识别，集成后整体ASR降幅（88%）远超任何单层，证实了真正的防御叠加效果。
• 首次发现激活引导与权重偏好间存在复杂非单调交互，揭示了α=1.0区间防御效果反降至低于基线的“中间地带”，并提出可能的机制假设，为后续混合安全引导机制研究提供理论依据。
• 创新引入轻量级“侧车”分类器按输入风险动态调整激活引导强度，实现业界首例在维持安全前提下通过自适应机制大幅改善过度拒答（60%→48%），突破防御强度与可用性互斥的传统困局。
• 全面开放全部训练适配器、激活向量、分类器模型、偏好对照数据和评测流程，为社区可复现和扩展多层LLM安全研究奠定基础。

引言

近年来，随着大语言模型（LLM）在各类生成式任务中表现卓越，它们被广泛应用于多种商业和公共场景。然而，这些模型仍长期暴露在被Jailbreak攻击的风险中：攻击者可以通过精巧设计的恶意提示语（prompt injection）、角色扮演模拟、编码混淆（如Base64、ROT13、leetspeak等）等手法，诱使模型输出违背其安全规范的有害、违法或伦理违规内容。这类攻击不仅突破了模型安全对齐所设立的防线，还可能造成模型正常应用的信任危机。

目前，主流对策主要分为两大类：一是训练期权重级防御（如CAI、RLHF、DPO等），即以安全偏好数据对模型自身进行有害映射的矫正；二是推理期基于外部分类器或规则的检测/过滤（如Llama Guard、NeMo Guardrails等），多通过预判输入/输出的安全性实现主动干预。但各类防御均存在明显局限：未来可突破训练分布的新颖攻击形式层出不穷，而推理期外部防御容易带来大量“误拒”（即对正常输入的无意义封锁），显著损害用户体验。此外，某一类防御一旦失效，攻击很可能完全得逞，安全性缺乏冗余与韧性。

基于以上困境，作者提出LLM安全需借鉴网络安全工程中的“纵深防御”思路：通过多层各异机制的叠加与互补，将攻击切面分散于模型结构、推理过程和输入预处理等多个环节，显著提升整体防护强度。TRYLOCK便是这一理念的首次系统化实践，它将权重层面（DPO）、激活层面（RepE）、推理输入层面（侧车分类器）及输入前处理层面（规范化）这四类不同性质的防线以结构化方式贯穿于推理栈，从而最大程度堵塞各类不同类型攻击路线。结合精细化实验验证，TRYLOCK不仅验证了多层机制的互补与协同，也在降低攻击成功率的同时，借助自适应机制，将防御与用户体验的矛盾降至最低，开辟了LLM安全系统级防护的新路径。

相关工作

大语言模型的Jailbreak防护已形成攻防对抗的复杂生态。首先，攻击手法层面，除了最初的直接有害请求（例如“告诉我如何制造炸弹”），新一代攻击聚焦于角色扮演（如DAN、UCAR、STAN等虚构AI人格绕开伦理约束）、编码与混淆（如Base64、ROT13、leetspeak、Unicode变体等）、渐进式上下文构建（多轮对话逐步加深）、梯度优化生成（如GCG）以及提示注入等多种手法。不仅攻击形式丰富，愈发能够绕过单一安全防线的检测。

在防御端，主流机制可划分为三类：1）训练期防御（如Constitutional AI、RLHF、DPO等），通过收集人类或AI反馈的偏好对进行微调，优化模型生成安全合理的输出；2）推理期防御，包括基于分类器（如Llama Guard、自定义安全软过滤）、可编程规则（NeMo Guardrails）、困惑度检测、模型自省（self-examination）等方法，这些能即时审查输入输出，但常伴随误判率高与推理性能损耗；3）表征工程（Representation Engineering, RepE）及激活引导，研究表明高层激活（activation space）存在可操控表示的安全方向，通过引导模型在激活空间中向拒绝有害请求的方向偏移，可以实现不脱离原权重的安全增强。

然而现有工作大多只采用单一防御机制，缺少多机理互补的整体性分析。举例而言，CAI、DPO等在未见过的攻击分布下无力防御，Llama Guard等推理期分类器虽检出能力强，但误拒过高且推理成本大。联用表征工程与经典权重或分类器防线的方案鲜有，且缺乏对多层协同效果与冗余性的系统性评估。TRYLOCK作为首个多层纵深设计，对比以往研究体现出三大提升：一是首度综合权重、激活、输入与前处理四类机制，二是通过详尽消融分析揭示多层有效协同而非冗余，三是创新引入侧车分类自适应参数动态调整，改善了安全与可用性的对立关系。完整开放了所有实现与评释数据，也推动了社区标准化、可复现的Jailbreak防御研究的发展。

研究方法

TRYLOCK设计为三主层（权重适配、激活引导、侧车分类）+一前置（输入规范化）的纵深防御体系，目标是在LLM推理流程各个关键切面设立独立且相互补充的安全关卡，最大化防护完整性。

首先，权重级防线（Layer 1）采用Direct Preference Optimization（DPO），在Mistral-7B-Instruct基础上，通过程序化的偏好配对训练，驱动模型倾向于输出安全的拒绝响应。DPO不依赖奖励建模，直接最小化安全样例与有害样例在策略输出概率上的对数偏差，并通过精心制定的“拒绝-顺从”配对模板，引导模型在微调阶段学习安全边界与最优拒绝表达，实现基础的攻防识别能力。但实验表明，DPO训练只能覆盖有限类型的攻击范式，面对高异构输入（如多轮上下文、罕见编码），仍易出现分布外漏洞。

为弥补权重训练的分布局限，TRYLOCK引入激活层RepE（Layer 2）表征引导：通过对配对的有害/拒绝样本，采集模型在若干中后层（层12-26）激活，并计算出能够把模型行为拉向“安全拒绝”态的方向向量（steering vectors）。在线推理时，系统会按动态设定的强度（α）将用户输入通过侧车激活调整在这些激活空间方向上偏移，从激活层级直接操控模型表现。特别地，作者发现激活引导与权重适配不是简单叠加，适度引导（α=1.0）甚至会造成防御崩溃，而静止或高强度（α=0.5/2.0及以上）则分别对应正常与安全态。这种非单调动力学，其底层机制被归因于“安全电路”的激活空间扰动与原有拒绝通路间的复杂干涉关系，是TRYLOCK的重要发现。

第三层，侧车分类器（Layer 3）采用独立的小模型（Qwen2.5-3B-LoRA适配），以分类（SAFE/WARN/ATTACK）驱动每轮推理的RepE引导强度。该模型通过同步判别输入攻击风险，确保在高威胁输入下使用高阶激活引导，正常输入对应极低强度，实现了首个可量化安全-可用性平衡调谐机制（adaptive α selection）。侧车分类器的召回优先调校，使漏判攻击成本小于误拒代价，为防御安全的最后兜底。

最终，根据消融和故障案例反馈，TRYLOCK前置引入Layer 0——输入规范化与编码检测组件。其功能为对输入做Unicode归一、同形异义符转换、Base64/ROT13/Hex检测解码，并累计历史多轮输入的风险得分，对编码规避和渐进式攻击实现固根源防护。运作流程为：所有输入经规范化（Layer 0），先由侧车判级定α（Layer 3），模型主推理（Layer 1），再按α引导对应激活空间偏移（Layer 2），多层防御组合极大增加了攻破难度，且各自补盲。

数据集

TRYLOCK的数据集建设极为细致，旨在涵盖六大主流Jailbreak攻击族，如直接请求、角色扮演、提示注入、编码混淆、多轮渐进、文本混淆等，不仅涵盖社区与公开基准数据，还通过自动生成扩展了边界情况。总量达2,939组“攻击prompt-优选安全拒绝-非安全响应”的偏好配对，保证多样性与代表性，通过双人标注机制确保标签与内容质量，去除了低质和意图模糊样本。

实验划分采用分层随机抽样，80%为训练，10%用于超参验证，10%为最终评估测试，保证每一攻击族在各分组中均匀分布。评测集特别设计了249个攻击prompt及50个“疑似但实际上合法”的敏感负例，后者用于量化正常输入被误拒的比例（over-refusal）。此外，为便于外部对比与复现，评价基准还涵盖JailbreakBench等社区权威测试集。

评估指标核心为攻击成功率（Attack Success Rate, ASR）及过度拒答（Over-Refusal），通过三重裁判（模式匹配、关键词检测、大模型语义判断）联合判定响应是否合规。训练与推理过程采用公开主流框架与超参数配置，所有代码、数据、评测流程均完全开放，以最大化结果的科学性与可复用性。消融实验详查各层独立与组合效果，并对侧车分类器的真实分类表现（精确率、召回率、混淆矩阵等）及多层分担分析进行了全面量化。

研究实验

实验结果显示，TRYLOCK的多层叠加策略在Mistral-7B-Instruct平台对比基线（无防护ASR高达46.5%）下，依次引入DPO（39.8%），再加RepE强引导（α=2.0, ASR降至8.0%），最终加入规范化（Layer 0）后将ASR压降至5.6%，累计88%相对下降。特别值得注意的是，每一层均对独特的攻击家族具有不可替代的补盲贡献。例如，RepE对编码混淆型攻击的拦截率远超DPO（独占36%攻防覆盖），而Layer 0可消灭绝大多数unicode和homoglyph混淆。

侧车分类器的自适应作用体现在显著改善用户体验：在同样攻防强度（8% ASR）下，过度拒答由固定高强度引导的60%降至动态监控下的48%；其中，实际被侧车错判为SAFE（即低级防御，α=0.5）的攻击样本，ASR虽上升至17.8%，但远低于无保护基线，说明DPO+RepE能够兜底大部分侧车失守场景。侧车分类器专注于攻击召回率优先调参，故“漏让正常请求多接受一点防护”比“放行攻击”更可控，也为未来提升侧车在边缘场景的精准率指明了优化空间。

在对外基准JailbreakBench的迁移泛化测试中，TRYLOCK维持了强稳健性，ASR为11.0%，较基线52%降幅接近80%。各类攻击家族中，对编码混淆及间接注入攻防尤为显著，说明表征激活引导对于语义绕行和Token层规避类攻击具有天然优势。

漏洞与不足分析表明，TRYLOCK仍有小部分攻击未被拦截，典型如Unicode同形异义符编码、Crescendo式多轮上下文累积攻击及高度语义歧义的边界案例。这些往往因现有训练数据未覆盖相关变体、激活引导受单层输入限制或规则识别的盲区导致。层间消融进一步证实，激活引导、规范化层和侧车判级各自在不同攻击家族上承担重要补位，消除了单层渐进收益递减的误区。

在性能与成本分析上，TRYLOCK利用LoRA等高效适配技术，确保多层叠加下计算与延时在可控范围（最高延时+50%，显存18GB），对生产部署具有良好实用性。

论文结论

本文提出了TRYLOCK，一种针对LLM Jailbreak攻击的四层纵深防御体系，系统性整合了输入规范化（Layer 0）、权重级DPO安全微调（Layer 1）、RepE激活空间引导（Layer 2）以及自适应风险评估侧车分类（Layer 3）。实验证明，多层互补叠加不仅极大压降了攻击成功率（由46.5%降至5.6%，相对降幅88%），还通过自适应引导动态优化了用户正常输入的使用体验。TRYLOCK首次证实了分层纵深防御在模型安全领域的价值，即不同机理的安全措施可协同提高整体韧性，显著超过单一方案。

在应用层面，TRYLOCK以公开发布全部核心部件与训练数据，极大改善了领域内研究可复现性和基准对比的便捷性。分析指出，尽管多层机制已将主流攻击覆盖至极低ASR，但仍存在新型编码、语境渐进及语义歧义等复合型攻击的局部脆弱环节。未来研究需要在多语言场景、推理期间多轮上下文风险调控、泛化提升以及人机联防策略上进一步拓展，以持续加固LLM在真实世界复杂攻防环境下的鲁棒性与可用性。

-End-

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全极客 知识分享者《【论文速读】| TRYLOCK：基于分层偏好与表征工程的大语言模型越狱攻击纵深防御方案》