团队科研成果分享-77

网络与安全实验室

2026年11月1日 05:00
江苏

去阅读

团队科研成果分享

2026.10.26-2026.11.01

标题：Flexible Data Routing Scheme Based on Minimal Unique Concatenation-enabled MARL towards Spatio-temporally Dynamic AUG-assisted UWSN

期刊：IEEE Transactions on Cognitive Communications and Networking 2026

作者：Yuan Liu, Guangjie Han, Chuan Lin, Jinfang Jiang, Shengchao Zhu, and Yunpeng Ma

分享人：河海大学——刘渊

01

研究背景

BACKGROUND

研究背景

随着水下物联网和海洋观测技术的发展，水下无线传感器网络（UWSN）被广泛用于海洋环境监测、资源勘探及目标探测。自主水下滑翔机（AUG）能够在多个传感器簇之间移动，将簇首汇聚的数据携带至水面，从而扩展水下数据采集范围。但在簇内，传感器采集的数据仍需要通过多跳路由发送到簇首，路由质量直接关系到数据采集的可靠性和及时性。

受海流影响，水下节点不断发生位置漂移，通信邻居的数量和身份也随之改变。一方面，传统软件定义网络（SDN）主要依赖控制器下发规则，节点难以及时自主应对局部变化；另一方面，常规多智能体强化学习（MARL）方法往往采用固定维度的观测与动作结构，难以灵活处理新出现的转发邻居。针对这一问题，论文将SDN与MARL结合，设计了面向动态水下拓扑的灵活组网框架及候选邻居评分式路由算法。

02

关键技术

TECHNOLOGY

关键技术

本文的核心技术包括灵活软件定义网络（Flexible Software-Defined Networking，FSDN）和最小唯一拼接多智能体强化学习（Multi-Agent Reinforcement Learning based on Minimal Unique Concatenation，MARL-MUC）。两者分别解决“智能路由策略如何在水下网络中组织和更新”与“节点的可用邻居不断变化时如何保持策略可用”两个问题。

FSDN在SDN分层管理结构中引入分布式强化学习决策：全局控制器完成任务规划，簇首负责策略维护与训练，传感器节点使用部署后的轻量级策略自主选择下一跳。AUG主要承担跨簇数据收集及训练经验转运，并不直接参与簇内逐包转发。

MARL-MUC不再要求策略网络一次性输出固定数量的节点动作，而是将“选择某个邻居”拆分成可共享的元动作，并使用相同的元策略网络对当前可达邻居逐一评分。为配合集中训练，算法采用按全局节点索引组织的最小唯一拼接表示；在节点执行时，只处理实时可达的候选邻居，因此可以在局部拓扑改变时继续使用原有策略。

本文的主要贡献可归纳为以下三点：

1）提出FSDN分层框架，在集中控制与水下节点自主路由之间建立协作机制。

2）提出MARL-MUC，通过元动作分解、共享评分和最小唯一拼接，适应动态候选邻居集合。

3）将框架与算法结合形成簇内智能路由方案，并从传输性能、拓扑规模、策略部署开销以及长期运行等方面验证其有效性。

03

算法介绍

ALGORITHMS

算法介绍

（1）FSDN三层网络架构

图1  本文提出的灵活软件定义网络（FSDN）架构

如图1所示，FSDN由全局控制层、本地控制层和网络层组成。全局控制层使用无人水面艇搭载的控制器（USV-GC）进行网络分簇、任务规划与跨簇协调；本地控制层由簇首负责收集训练数据、更新并分发元策略；网络层中的传感器节点依据当前邻居状态独立进行转发。水下传感器先缓存交互经验，AUG周期性收集这些数据并送往控制端，从而避免在低带宽水声信道中频繁传输较大的训练信息。

（2）从固定动作空间到动态元动作评分

传统固定结构策略把邻居对应到预设的输入、输出位置。当海流导致原有邻居离开通信范围，或新的节点进入范围时，观测结构与可执行动作集合就会发生改变。单纯保留固定动作维度容易引入无效位置；若要直接表示所有可能节点，又会增加模型的规模和计算负担。

MARL-MUC将一次多候选决策拆解为多个候选级判断。对于候选邻居i，将任务信息I\e和邻居信息I\，再输入共享元策略网络f\_m，得到score\_i。转发节点只需在当前可执行的候选集合中选择得分最高的邻居。由于同一网络参数可重复用于不同候选节点，新出现的合法邻居也能直接获得评分，不必为每个邻居保留独立输出神经元。}组成元观测o\_{m,i

（3）最小唯一拼接及集中训练

图2  MARL-MUC算法整体流程：元数据提取、最小唯一拼接与元网络训练

如图2所示，算法包含三个连续步骤。首先，从各节点的路由交互中提取候选级元观测与评分；其次，按照簇内统一的节点索引，将元观测和评分分别拼接为O\_c和Score\_c，供集中式元评价网络使用；最后，从经验回放缓冲区采样数据，使用时序差分目标训练元评价网络，并据此更新共享元策略网络与目标网络。

这里的“唯一”指每个候选节点在全局拼接表示中具有唯一、稳定的索引；“最小”指每个候选仅保留一份表示，而不是构建所有候选之间的高阶组合。需要强调的是O\_c和Score\_c用于训练阶段的元评价网络，维度会随簇内节点总数N变化，并非完全不受网络规模影响。部署到传感器节点的是共享元策略网络，而非该全局拼接表示，因此实际执行时不需要上传或处理整个簇的状态。

（4）两种拼接方式与具体路由流程

在候选邻居评分阶段，时间拼接让同一个元策略网络顺序处理各个可达邻居；空间拼接则通过参数共享，将候选元观测组织成一个批次并行得到评分。两种方式执行相同的候选选择逻辑，但空间拼接可减少重复前向推理带来的时间开销。

在实际簇内路由中，每个候选的元观测由簇首三维位置、候选节点缓存数据包数量、候选节点三维位置及剩余能量组成，共8维。发送节点广播HELLO报文并接收邻居回复，据此建立当下的候选集合，再选择评分最高的邻居进行转发；收到ACK表示本跳传输成功，否则可触发重传。为同时兼顾投递效率与节点负载，奖励函数由距离奖励r\_d和能量均衡奖励r\_e按系数\alpha加权，文中取\alpha=0.8，并设置\beta=10。

图3  动态拓扑下节点选择新出现邻居的转发实例

图3给出了海流引起邻居变化后的几个实际转发实例。图中绿色表示原有邻居，橙色表示动态出现的邻居，星形标记为实际选择的下一跳。例如，在第4步，节点12将数据转发给初始邻居集合之外、随后进入通信范围的节点7。这直观展示了共享元策略对新候选邻居的在线评分能力。

04

实验结果分析

ANALYSIS

实验结果分析

实验采用Python仿真，默认使用27个水下传感器节点构成的3×3×3簇，节点间距100 m，通信半径160 m，并进一步测试48和64节点的更大拓扑。每个节点初始能量1000 J，数据包大小256 B，通信带宽10 kHz。对比对象包括MADDPG、MATD3、MASAC、MAPPO、Masked-MATD3、Masked-MASAC、GRU-MATD3以及传统VBF、DBR。指标主要关注分组投递率（PDR）、平均时延、网络寿命和能量均衡性。

（1）动态拓扑下的训练收敛与路由性能

图4  不同海流扰动强度下各学习算法的训练回报对比

图4分别给出了海流扰动标准差\sigma为0.1、0.2和0.3时的训练曲线。MARL-MUC在三种场景下均能稳定提升回报，并保持较有竞争力的收敛表现。定量结果表明，在第三种动态场景、每组4个数据包的测试中，MARL-MUC的PDR达到0.83，平均时延为10.55；作为对照，MAPPO的PDR为0.69、时延为11.81，GRU-MATD3的PDR为0.78、时延为10.74。

这说明动态邻居评分能够减少因固定动作结构失效而带来的转发限制，在拓扑变化较强时优势更明显。

（2）网络规模变化时的适应能力

图5  48节点与64节点拓扑下MARL-MUC的训练收敛曲线

图5表明，簇规模增至48和64个节点后，MARL-MUC仍可收敛。表1显示，当每节点20或30个数据包时，27、48、64节点网络的PDR均为1.00；每节点40个数据包时，PDR分别为0.83、0.94与0.88。随着网络规模扩大，平均时延由30包场景下的7.64增加到13.69和24.69，说明该方法具备规模适应性，但大规模网络中的多跳代价依然存在。

表1  不同规模网络下PDR和时延比较

（3）策略部署与推理开销

原文表2对比了不同方法的节点侧策略部署成本。MARL-MUC仅含9473个策略参数，模型大小约37.00 KB；相比之下，MADDPG与MATD3均为45148个参数、176.36 KB，MAPPO为19420个参数、75.86 KB。在10 kbps水声速率下，MARL-MUC的策略分发延迟为30.31 s，明显低于多数对比方法。

表2  不同算法的部署开销比较

表3进一步给出了不同网络规模下的推理延迟。在单线程CPU环境下，27节点、平均8个邻居时，时间拼接推理耗时0.2040 ms，而空间拼接仅为0.0263 ms；扩大到64节点、平均10个邻居时，空间拼接仍为0.0268 ms。这说明执行端只需处理当前邻居集合，推理效率较高。

表3  不同算法的推理时延比较

（4）长期运行中的传输质量与能量均衡

图6  不同动态场景下节点剩余能量方差随时间的变化

为考察长期运行表现，论文设置每个传感器每20个时间步产生30个数据包，并统计不同海流场景下的传输性能。MARL-MUC在\sigma=0.1、0.2、0.3时的PDR分别为0.77、0.77和0.83，对应平均时延为46.40、45.34和34.19；其中\sigma=0.1时，GRU-MATD3的PDR为0.66、时延为61.52。图6中的能量方差曲线也显示，MARL-MUC总体上能够使节点能耗分布更加均匀。

在网络寿命指标上，MARL-MUC分别为404、403和410个时间步，并非在所有场景中最长，但它在保持有竞争力网络寿命的同时，兼顾了更好的投递率、时延和能量均衡。

此外，论文还改变通信半径、海流幅值以及在线节点重构条件来检验模型泛化性。结果表明，MARL-MUC在节点替换或新邻居出现后仍可直接复用已训练模型，无需重新设计动作结构。

（5）AUG经验回传间隔对训练的影响

图7  不同经验上传间隔下的收敛曲线及后期平均回报

论文还考察了AUG经验回传间隔的影响。当训练经验上传周期由10逐渐增至100个回合时，较长的回传间隔使最新交互数据进入训练缓冲区的时间滞后，训练回报和收敛稳定性受到影响。这表明实际系统需要在AUG巡航成本与策略更新时效性之间进行权衡。

05

总结

CONCLUSION

总结

本文针对海流驱动的水下节点移动造成的邻居集合变化问题，提出了FSDN与MARL-MUC相结合的簇内路由方案。FSDN协调全局控制、簇首训练和节点自主决策；MARL-MUC通过候选级元动作评分和参数共享，使执行端能够根据实时可达邻居重新组织决策，而不依赖固定的邻居输入、输出位置。

仿真结果表明，该方案在动态拓扑下具有较好的投递可靠性、路由时延和剩余能量均衡表现，在较大网络规模中仍能稳定训练，并具有较小的策略部署及推理开销。需要指出的是，网络规模扩大仍会增加传输时延，策略训练所用的集中式表示也随簇规模增长。后续研究可以进一步考察更大规模部署以及更真实的时变水声信道与海洋动力学条件。

END

扫描二维码关注我们