ICLR2026|基于扩散模型的信号预训练模型TS-DDAE

admin 2026-03-04 10:08:54 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文介绍被ICLR2026录用的无线信号识别预训练模型TS-DDAE,由北邮GAMMALab与鹏城实验室提出。针对现有方法破坏局部依赖或忽略频谱特征的问题,该模型利用扩散模型在时域和频域添加噪声并重构数据,设计了包含时域与频谱编码器的TS-Net架构。实验表明其在自动调制分类等任务上优于现有基准,具备成为基础模型的潜力,并开源了代码。 综合评分: 95 文章分类: AI安全,网络安全


cover_image

ICLR 2026 | 基于扩散模型的信号预训练模型TS-DDAE

刘曜齐 刘曜齐

北邮 GAMMA Lab

2026年3月3日 09:55 北京

ICLR 2026 | 基于扩散模型的信号预训练模型TS-DDAE

近日,北邮GAMMA LAB实验室和鹏城国家实验室合作的无线信号识别工作,TS-DDAE被ICLR 2026录用,下面是论文的详细介绍:

论文:TS-DDAE: A Novel Temporal-Spectral Denoising Diffusion Autoencoder for Wireless Signal Recognition Model Pre-training 作者:Yaoqi Liu, Jin Wang, Hui Wang, Chuan Shi 链接:https://openreview.net/forum?id=RKDkqkkZ5m 参考代码:https://github.com/BUPT-GAMMA/FoundWSR

1 摘要

无线信号识别(WSR)旨在利用人工智能(AI)技术,在无需任何先验知识的情况下识别接收信号的特性。该技术已广泛应用于民用和军用无线电领域。当前人工智能的预训练和微调范式已展现出卓越的性能,而现有的预训练WSR模型也取得了令人瞩目的成果。然而,这些方法要么采用“掩码-重构”的预训练策略,导致信号复杂的局部依赖关系被破坏,要么忽略了潜在的频谱特征。因此,本文参考扩散模型(Diffusion),提出了一种用于WSR的预训练框架,称为时域-频谱去噪扩散自编码器(TS-DDAE)。该框架通过向信号中添加时域和频谱噪声来扰动信号,然后利用学习到的神经网络重构原始数据以学习信号数据的特征。此外,我们设计了一种名为TS-Net的新型神经网络架构,该网络采用以自注意力机制为核心的时域编码器和以通道注意力为核心的频谱编码器,二者相互耦合。多个数据集和WSR任务上的大量实验表明,TS-DDAE相比现有最先进的基准方法有更优异的性能,有成为WSR基础模型的潜力。

2 核心方法

实际接收到的信号通常以IQ数据表示,其中I和Q分别代表同相分量和正交分量。IQ数据通常用复数形式表示,即。然而,我们认为这两个分量是相关的,在信号分析中应该同时考虑。此外,实数计算通常比复数计算更高效。因此,我们将长度为的的IQ数据表示为一个两行矩阵,其中两行分别代表I和Q分量。模型的整体架构如下图所示。在前向学习过程中,我们通过添加相应的高斯噪声来破坏IQ数据的时域和频域,这既可以扰动数据,又可以保留其原始特征。为了解决这两种潜在的失真,反向学习过程不仅需要恢复原始数据的时间特征,还需要恢复其频谱特征。因此,我们专门设计了一种混合时域-频域神经网络(TS-Net),它利用时域编码器和频域编码器联合学习信号在时域和频域的特征表示。在预训练阶段,TS-DDAE学习如何从噪声数据中重构原始IQ数据。在微调阶段,我们使用特定任务的数据优化模型,使其适应下游任务,例如自动调制分类(AMC)、体制分类(WTC)等。

图1:TS-DDAE整体架构图

2.1 扩散模型方法概述

前向过程:给定IQ信号数据,在前向过程中,我们通过添加步高斯噪声逐步破坏信号的时域和频域信息。每一步的结果可以表示分别为。为了破坏频谱,我们需要应用傅里叶变换得到频谱,并通过添加频谱噪声形成频谱建模。最后我们得到前向过程表达式:

其中,分别表示标准高斯噪声,。给定任意步长,我们可以直接从原始IQ数据中获得带噪声数据。

反向过程:得到带噪声数据后,我们尝试将其恢复到原始的IQ数据。这里,我们使用贝叶斯定理来描述这个过程。最后可以得到我们的优化目标:

其中可以看作是一个超参数,它表示噪声数据中频谱噪声强度与时间噪声强度的比值,而,是可学习参数。在预训练过程中,我们需要从数据集中采样IQ数据、扩散步数以及两个服从标准高斯分布的噪声。

2.2 TS-Net 概述

为了共同捕捉时间结构和频谱特征,我们引入了TS-Net,一种受扩散模型启发而设计的混合分析架构,可在两个域中进行混合分析。TS-Net的详细架构如下图所示,该架构包含时域编码器和频谱编码器。

图2:TS-DDAE整体架构图

时域编码器:IQ数据的时间序列与文本等传统数据类似。因此,我们借鉴了Transformer的思想,并在整个模型中应用了自注意力机制和残差路径。

频谱编码器:IQ数据的频谱通常在某些频率处具有高振幅,而在其他频率处振幅则非常低。这意味着继续使用自注意力机制并不适用于捕捉IQ数据频谱中的序列依赖信息。因此,我们使用卷积层提取局部特征,并使用通道注意力机制来获取关键特征维度。此外,我们还在整个编码器中应用了残差路径。

3 实验

我们进行了多个实验,证明了TS-DDAE的优异效果以及其预训练模型的能力。

主实验结果如下

图3:TS-DDAE整体架构图

不同信噪比(SNR)的效果

图4:TS-DDAE整体架构图

消融实验

图5:TS-DDAE整体架构图

超参数对模型的影响

图6:TS-DDAE整体架构图

致谢

我们在此由衷感谢鹏城国家实验室对本工作的大力支持。

如果您对本工作感兴趣,欢迎邮件联系:[email protected]。对于本文所提仓库FoundWSR,目前仅用于TS-DDAE实现参考,未来将持续更新,我们欢迎大家提出宝贵的建议帮助我们共同建设。

本期责任编辑:杨成

本期编辑:赵明宇

北邮 GAMMA Lab 公众号

主编:石川

责任编辑:杨成

编辑:赵明宇


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:北邮 GAMMA Lab 刘曜齐 刘曜齐《ICLR 2026 | 基于扩散模型的信号预训练模型TS-DDAE》

评论:0   参与:  0