2026-01-17 01:51:03 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

文章总结： 该研究提出了AdvTG框架，结合大语言模型语义生成与强化学习优化，生成高合规性对抗恶意流量，成功绕过现有深度学习检测系统。实验显示其攻击成功率超40%且协议合规性达80%以上。结论指出未来防御需引入协议感知的对抗训练及深层次功能逻辑校验以应对智能化攻击。 综合评分： 84 文章分类： AI安全,恶意软件,网络安全,漏洞分析

cover_image

WWW 2025(oral)| 利用大模型与强化学习“降维打击”恶意流量检测系统

AIForSecurity AIForSecurity

AI安全这点事

2026年1月15日 21:41 安徽

随着人工智能技术的深度介入，基于深度学习（DL）的恶意流量检测已成为网络安全防御的基石。然而，来自中国科学院信息工程研究所、北京理工大学等机构的研究团队揭示了一个严峻的事实：通过结合大语言模型（LLM）与强化学习（RL），攻击者可以生成极具欺骗性的对抗样本，轻松绕过现有的先进检测系统。

一、作者与单位

作者：Peishuai Sun, Xiaochun Yun, Shuhao Li, Tao Yin, Chengxiang Si, Jiang Xie。
单位：中国科学院信息工程研究所、中国科学院大学网络空间安全学院、北京理工大学、中关村实验室、国家计算机网络应急技术处理协调中心（CNCERT/CC）。

二、研究背景

现有的恶意流量检测模型（如基于卷积神经网络 CNN 或 Transformer）虽然在识别已知攻击方面表现卓越，但在面对针对性修改的对抗样本时却显得十分脆弱。目前，针对流量的对抗攻击主要面临三个挑战：

通用性（Generality）：攻击必须能映射回真实的流量空间，而不仅仅是特征空间的修改。
可用性（Availability）：生成的对抗流量必须符合协议规范（合规性），且攻击功能（如 Shellcode 执行）不能失效。
载荷生成（Payload Generation）：如何生成既有语义逻辑又能欺骗模型的复杂报文载荷。

AdvTG 框架通过引入大语言模型（LLM）的语义生成能力和强化学习（RL）的优化策略，完美解决了上述挑战。

#

三、核心创新点

任务特定提示工程（Task-Specific Prompts）：设计了专门的 Prompt 结构，将流量字段划分为“功能性字段”（保持不变以确保攻击有效）和“非功能性字段”（由模型生成以实现逃逸）。
领域自适应微调（LoRA-based Fine-tuning）：通过 LoRA 技术让 LLM 学习复杂的网络协议模式，使其生成的流量具备极高的协议合规性。
多目标对抗奖励机制：利用强化学习（PPO算法）引导模型在保证合规性的同时，最大化检测器的误判率。
跨模态逃逸能力：生成的样本能够同时欺骗基于文本语义和基于图像特征（Payload-to-Image）的检测模型。

四、详细方法

AdvTG 的实现核心在于三个阶段的协同：特征提取、模型微调与对抗进化。

1. 流量特征提取（Feature Extraction）

论文首先定义了两种主流的流量特征处理方式：

图像特征提取：将流量字节流转化为二维灰度图。
公式(1)：
变量解释：变量解释：T 是原始字节流，bi 是归一化后的字节值，T′ 是向量化后的数据。
公式 (2)：
变量解释：变量解释：代表生成的灰度图中第行第列的像素值。
文本特征提取：将流量视为文本序列进行分词和向量化。
公式 (3)：
变量解释：为流量文本，将其分割为词元（Token），是对应的嵌入向量（Embedding）。

2. 基于 LoRA 的 LLM 微调

为了降低计算开销并保持模型的生成能力，AdvTG 引入了 LoRA（Low-Rank Adaptation） 技术。

公式 (4)：
变量解释：是 LoRA 引入的低秩矩阵之一，其中为秩（Rank），远小于模型原始维数。
公式 (5)：
变量解释：是预训练模型的冻结权重，和是可训练的低秩矩阵，是输入特征。通过这种方式，模型学会了如何补全非功能性字段。

3. 强化学习对抗优化（RL Optimization）

AdvTG 使用 PPO（Proximal Policy Optimization） 算法来优化对抗性能。

奖励分数 ：基于检测器的负交叉熵。
公式 (6)：
变量解释：是第个检测模型判定的恶意概率，是目标标签（逃逸时为 0）。
总奖励 ：引入 KL 散度惩罚项，确保生成流量不偏离协议语义。
公式 (7)：
变量解释：为惩罚系数，是正在学习的策略，是微调后的基准模型。
PPO 优化目标：
变量解释：是新旧策略的概率比，是优势函数，是裁剪半径。

#

4. 算法：HTTP 流量合规性校验

为了确保生成的对抗样本在真实网络中可用，论文设计了 Algorithm 1。

算法 1：HTTP 流量合规性验证流程

初始化：设置错误列表 errors = []。
分块：使用 \r\n\r\n 将流量分为 Header 头部和 Body 载荷。
请求行校验：验证第一行是否符合格式 <Method> <URI> <Version>（如 GET /index.html HTTP/1.1）。
头部字段遍历：

检查每一行是否包含 Key: Value 结构。
检查关键字段（如 Host）是否存在。
检查非功能性字段中是否存在无法解析的字符。

结果输出：若无错误，判定为 is_valid = True。

五、实验评估

1. 实验指标

攻击成功率 (ASR)：衡量对抗样本成功逃逸检测的比例。
公式 (8)：
变量解释：是成功欺骗模型的样本数。

2. 核心结论

卓越的攻击性能：在 CICIDS2017、Malware 等多个数据集上，AdvTG 的 ASR 稳定超过 40%，远高于传统文本对抗方法（ASR < 10%）。
极高的合规性：经过微调后，流量的合规通过率从 20% 左右提升到了 80% 以上。
强大的迁移性：针对文本检测模型生成的对抗流量，在面对图像检测模型时依然具有很强的杀伤力，证明其捕获了模型在特征提取层面的共有盲区。

六、总结

AdvTG 框架通过将 LLM 的领域知识与 RL 的博弈能力相结合，成功证明了现有的深度学习流量检测模型在面临“语义级”对抗攻击时的脆弱性。

启示：未来的防御系统不应仅仅依赖于简单的载荷特征提取，更需要引入协议感知的对抗训练，并考虑结合流量的功能逻辑进行深层次校验，方能抵御下一代智能化的网络攻击。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：AI安全这点事 AIForSecurity AIForSecurity《WWW 2025(oral)| 利用大模型与强化学习“降维打击”恶意流量检测系统》