Trident:一种面向未知流量识别与模型持续更新的检测框架
原创
创新研究院
创新研究院
绿盟科技研究通讯
2026年10月9日 18:00
北京
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
一、前言
随着互联网加密通信的普及,传统依赖特征匹配的网络入侵检测系统(NIDS)难以识别未知攻击。当前主流的异常检测模型虽利用机器学习方法实现了对未知流量的识别,但在实践中仍存在两大关键瓶颈,其一是无法实现细粒度的未知攻击区分,多数模型仅进行正常/异常二分类,难以识别具体攻击类型;其二是模型更新能力不足,面对概念漂移或新型攻击时无法实现增量自适应更新。
本文介绍一种Trident框架[1],将已知与未知类别识别问题解耦为多个独立的单类学习任务,通过单类学习、异常阈值确定和tMagnifier三大模块实现已知类分类、细粒度未知流量检测与类增量更新的统一。基于四个主流流量数据集的实验表明,Trident在准确率、稳定性与可扩展性方面均显著优于多种最新方法,并有效缓解了概念漂移带来的性能退化,展示出其在复杂网络安全环境中的普适性与实用价值。
二、Trident
如图1所示是Trident框架的整体工作流程与三大核心组件。该框架旨在实现对网络流量中已知类的精确分类与未知类的细粒度检测与增量更新。系统首先将输入流量划分为多个单类学习器(Learner A、B、C),每个学习器对应一个已知流量类别,通过重构误差判断输入样本是否属于该类。若所有学习器均拒绝该样本,即其重构误差均高于阈值,则样本被判定为潜在未知类流量,进入后续检测阶段。Trident的三大核心模块相互协同:
tSieve模块基于单类自编码器机制,为每个已知类独立训练学习器,用于重构特定类别的正常流量分布;
tScissors模块负责确定判定边界,通过动态阈值截断区分已知类样本与异常未知类样本;
tMagnifier模块对被判定为未知的样本进行聚类与缓冲存储,并在积累足够数据后生成新的学习器,实现类增量更新。
总体而言,tMagnifier构建了Trident框架的自闭环更新逻辑。tSieve完成单类重构,tScissors裁定异常边界,tMagnifier则聚类并反馈新类,实现从检测到适应的连续学习。它使Trident在开放环境下实现“自动检测—缓冲聚类—类扩展”的循环更新,实现了对已知类的高精度识别与对未知流量的自适应检测,在开放环境中展现出强鲁棒性与可扩展性。
图 1 Trident工作流和三大组件
2.1
tSieve模块
tSieve模块负责从原始网络流量中提取已知类别,并识别未知或异常样本。整个tSieve提供三个模型体系结构来执行单类学习任务。
如图2所示是tSieve的一种直接使用典型的自编码器的结构。它通过对输入流量特征进行编码和重建,计算样本的重建损失。正常流量的重建误差较小,异常流量则误差较大,从而可用于区分已知与未知类样本。
图 2 自编码器架构
如图3所示是基于RNN的序列建模结构。由于网络流量往往具有时间依赖性,这种Seq2Seq模型能够捕捉流量的时序特征,通过编码器–解码器结构计算重建误差,更好地区分持续性或周期性异常。
图 3 RNN架构
如图4所示是基于图神经网络的结构。tSieve将流量构造成一个双向图,客户端和服务器端为节点,数据包交互为边。模型使用GCN + gPool/gUnpool结构提取会话级关联特征,通过重建节点特征来判断流量的异常性。
图 4 GNN架构
这三种结构(AE、RNN、GNN)分别对应不同类型的流量模式,即静态特征、时序特征、拓扑特征,共同构成tSieve的多模态单类学习体系。每个模型独立计算重建损失,并由阈值判定已知或未知样本。
tSieve在应对持续更新时采用样本级增量更新策略。由于全量重训练代价较高,tSieve采用基于重建损失的抽样机制。按损失排序后进行间隔采样,在保持损失分布稳定的前提下,仅选择部分代表性样本进行更新。图5(a)-(c)展示了在不同采样率(0.5、0.2)下的样本选择效果。
图 5 基于重建损失的抽样
2.2
tScissors模块
在Trident框架中,tScissors的核心任务是为每个单类学习器自动确定异常阈值,以决定样本是否属于已知类。阈值确定方法基于极值理论,其思想是对于任意分布的数据,其极端事件即重构误差的高端尾部具有相同的统计规律,因而可以通过极值理论统一建模。
该方法的优势在于其分布无关性与自适应性。极值理论不依赖数据的原始分布形态,可适用于Frechet、Gamma、Uniform等多种分布,能针对每个一类学习器独立地确定最优阈值。因此tScissors在Trident中承担了连接“重构误差”与“异常判定”的桥梁作用,使整个框架具备自动化阈值切割能力,无需人工设定或经验假设。
运行时,tScissors与tSieve协同,当样本输入tSieve后,各学习器计算重构误差并与tScissors输出的阈值比较。若至少有一个学习器满足条件,样本被视为已知类,否则进入缓冲区等待tMagnifier进一步聚类标注。这种机制不仅提高了Trident在开放环境下的鲁棒性,也支撑了其细粒度未知类检测与持续增量更新能力,形成了“重构–剪裁–聚类”的闭环流程。
2.3
tMagnifier模块
tMagnifier是Trident框架中负责细粒度标签分配与类增量更新的关键模块,其输入来自前两阶段筛选后的未知样本缓冲区,核心目标是对这些未被任何已知类接受的实例进行聚类与伪标签生成,从而实现新类的自动识别与学习器扩展。
在执行机制上,tMagnifier依据图6所示的算法进行标签分配。首先,对于测试集S中的每个样本x,系统会遍历所有已知类别对应的单类学习器列表Lp,计算各自的重构损失Lr并与阈值列表Lt对比。若至少一个学习器的损失低于其阈值,则样本被视为已知类,并由最小损失对应的学习器标签赋值;否则,该样本被判定为未知类,被送入缓存池B。当缓冲区累积到一定数量或时间阈值时,tMagnifier启动无监督聚类如K-means、DBSCAN,以在未知样本间建立簇级关系,形成新的细粒度类标签。
图 6 标签分配算法
这种设计具有两个作用。首先是细粒度发现能力,tMagnifier并非简单地将所有未知样本归为其他类,而是通过聚类在无监督条件下挖掘潜在的新攻击类型或合法流量模式变化,从而提升检测粒度与可解释性。其次是类增量学习机制,被聚类确认的新类样本可直接用于创建新的tSieve单类学习器,实现知识库的动态扩展,而无需重训全模型,从而保证系统在面对概念漂移或新型攻击时保持可扩展性与稳定性。
图7左侧的矩阵展示了多个聚类模型如K-means、DBSCAN、DEC等在样本上的聚类标签结果,行代表模型,列代表样本,数值为聚类编号。Trident通过对这些聚类结果进行一致性统计,计算每对样本在不同模型中同属一簇的次数。然后根据预设阈值筛选出高一致性样本,将其划分为新的聚类。图7右侧示意了三类最终被确认的新簇。
图 7 未知类识别
三、实验评估
1、数据集
Trident使用四个公共网络流量数据集进行评估,覆盖恶意、匿名及多场景真实流量,用于全面验证Trident的泛化与鲁棒性能。
(1)USTC-TFC2016:包含10类恶意软件与10类良性应用流量;
(2)ISCX-Tor2016:涵盖多种Tor网络通信类型,如邮件、聊天、FTP等;
(3)IDS2017&IDS2018:基于B-Profile系统生成正常流量,并包含多种入侵行为,如DoS、暴力破解、渗透攻击等;
(4)CrossNet2021:收集来自20种应用(如360、搜狗、CSDN)在稳定与生产环境下的流量数据。
2、实验评估
Trident与多种主流方法进行了性能比较,包括OC-SVM、Isolation Forest、DAGMM、Deep SVDD、ALID、LODA、OC-NN、GPND等。实验在四个数据集上评估,指标包括Accuracy、Precision、Recall、F1-score等。结果表明,Trident在所有数据集上均显著优于SOTA方法,其中在细粒度类别检测中平均F1-score提升3.2%–9.1%,在开放环境未知检测中准确率提升最高达7.8%。毫无疑问,性能提升主要得益于Trident的多单类学习结构(tSieve)、自适应阈值机制(tScissors)以及动态类增量聚类模块(tMagnifier)的协同作用。总体结论是,Trident在不同场景下均展现出更强的泛化性、稳定性和开放集检测能力。
四、总结
本文介绍了一种通用的细粒度与类增量未知流量检测框架Trident。该框架通tSieve、tScissors与tMagnifier三个模块协同工作,实现了在开放网络环境下对已知类的精准识别与未知类的自适应检测。Trident不仅在多个数据集上表现出优异的检测精度、泛化能力和稳定性,还具备较高的可扩展性和低开销,能够支持持续学习与模型自更新。实验验证了Trident在监督学习、异常检测、概念漂移与多分类任务中的显著优势,证明该框架在现实网络流量分析中具有强大的应用潜力。
内容编辑:王 萌
责任编辑:舒 展
参考文献
[1] Zhao Z , Li Z , Song Z ,et al.Trident: A Universal Framework for Fine-Grained and Class-Incremental Unknown Traffic Detection[J].Proceedings of the ACM Web Conference 2024, 2024:1608-1619.DOI:10.1145/3589334.3645407.
本公众号原创文章仅代表作者观点,不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权,严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用,转载须注明来自绿盟科技研究通讯并附上本文链接。
关于我们
绿盟科技研究通讯由绿盟科技创新研究院负责运营,绿盟科技创新研究院是绿盟科技的前沿技术研究部门,包括星云实验室、天枢实验室和孵化中心。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。
绿盟科技创新研究院作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一,与清华大学进行博士后联合培养,科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。
我们持续探索信息安全领域的前沿学术方向,从实践出发,结合公司资源和先进技术,实现概念级的原型系统,进而交付产品线孵化产品并创造巨大的经济价值。
长按上方二维码,即可关注我
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论