论文讲解 | DINGLE：通过解耦知识蒸馏应对图上的类-域增量学习

张彬睿
张彬睿

北邮 GAMMA Lab

2026年10月10日 11:37
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

一、简介

现实中的图数据通常不是一次性静态获得的，而是随着新节点、新边和新类型不断加入而持续演化。例如，论文引用网络会不断出现新的研究主题、写作风格和引用关系。模型如果只在当前任务上继续训练，容易受到两类分布变化的共同影响：一方面，节点特征和图结构发生变化，形成协变量偏移；另一方面，新类别不断出现，形成标签偏移。前者会让模型学到与类别无关的域特征，后者则会导致模型遗忘旧类别。

论文提出 DINGLE，专门研究图上的“类-域增量学习”问题。它的核心思路可以概括为：把节点表示拆成用于分类的语义因素和反映环境变化的变异因素，再借助代表性节点特征库与编码器参数库，将历史知识迁移到当前任务。

• 论文题目：Class-Domain Incremental Learning on Graphs via DisentangledKnowledge Distillation
• 发表会议：WWW 2026
• 链接：https://dl.acm.org/doi/10.1145/3774904.3792088

二、动机：DINGLE解决什么问题

在第  个任务中，图  相比  会加入新节点和新边，这些节点来自新的类别和新的域。模型既要在当前图上识别新类别，又要保持在历史图上的分类能力。论文用 Average Accuracy（AA）衡量跨任务的平均分类准确率，用 Average Forgetting（AF）衡量学习新任务后旧任务性能的下降幅度；AF 越接近 0，说明遗忘越少。

已有方法往往只处理其中一个方向：类增量方法关注新类别，域增量方法关注分布变化，记忆回放方法则主要保存少量历史表示。但在两种变化同时发生时，直接回放旧表示可能把过时的域信息也带回来，从而干扰新域上的分类。DINGLE的关键在于区分“应该保留的语义”和“可以变化的域因素”。

三、方法：表示解耦与双重记忆

3.1 表示解耦

首先使用 GNN 得到节点表示 ，再通过两个编码器将其拆分为：

• 语义因素 ：包含决定节点类别的稳定信息，输入分类头进行预测；
• 变异因素 ：包含节点特征风格、图结构等域相关信息，原则上与类别无关。

为了让这种拆分真正成立，DINGLE使用双向重构。解码器根据  重构原始表示；同时固定语义因素、随机采样新的变异因素 ，生成具有不同域变化的伪表示 ，再要求模型从  中恢复出原来的语义因素和采样得到的变异因素。此外，判别器还要求伪表示与 GNN 产生的真实表示难以区分。

因此，解耦模块的训练目标由表示重构、因素重构和对抗判别共同构成，分类损失只作用于语义因素。直观上，模型被鼓励回答“这个节点属于什么类别”，而不是过度依赖“它来自哪一种特征风格或图环境”。

3.2 RNF Bank：保存代表性节点

任务结束后，DINGLE为每个类别计算节点表示原型，并选取距离原型最近的  个节点表示，存入 Representative Node Feature（RNF）Bank。与保存完整历史图相比，这种做法显著降低了存储和计算成本，同时保留了代表性节点的属性与拓扑信息。

RNF Bank在后续任务中承担记忆回放功能：教师模型读取这些历史节点表示，重新产生旧类别的语义因素和变异因素。这样，模型不需要访问完整的旧图，也能获得一定的历史经验。

3.3 EP Bank：融合多个历史编码器

除了节点表示，DINGLE还在 Encoder Parameters（EP）Bank 中保存每个历史任务的语义编码器和变异编码器参数。教师模型并不简单地复制上一个任务的参数，而是对所有历史任务的参数进行加权：较近任务的语义参数权重更高，变异编码器则采用平均方式融合。

这种设计解决了“只继承最近任务”的问题。若新任务与早期任务差异较大，单纯使用上一个任务的模型可能丢失远期类别的知识；参数加权使教师模型同时参考整个历史序列。

3.4 教师-学生知识蒸馏

当前任务使用学生模型处理新图，历史 RNF Bank 则由教师模型处理。对于历史类别，DINGLE要求学生与教师的语义因素尽量接近，以保留旧类别的判别知识；同时要求两者的变异因素保持差异，避免学生继续依赖已经过时的域特征。对应的蒸馏目标可写成：

最终，学生模型联合优化解耦损失、分类损失和知识蒸馏损失；任务完成后，再将新的编码器参数和代表性节点加入两个记忆库，进入下一轮增量学习。

四、实验结果

论文在 CoraFull、CoraML、Reddit、Products 和 Amazon 五个真实数据集上进行实验，并与 11 种方法比较。结果显示，DINGLE在五个数据集的 AA 上分别达到 63.6%、78.8%、89.5%、65.9% 和 70.9%，在 CoraFull、CoraML 和 Reddit 上同时取得最好的 AA 与 AF；在 Products 和 Amazon 上，DINGLE的总体准确率仍优于多数基线，但 AF 指标存在局部差异。

从学习曲线可以看到，随着任务数量增加，DINGLE的准确率下降更缓慢。论文将其优势归因于三点：表示解耦减少了新域特征对分类的干扰；RNF Bank保留了旧类别的代表性经验；EP Bank和教师-学生蒸馏则帮助学生模型持续继承跨任务语义。

在 CoraFull 上的准确率矩阵中，DINGLE在不同任务组合上的颜色更稳定，说明它在学习新任务后仍能维持较好的旧任务性能。CoraML上的 t-SNE 结果也表明，DINGLE产生的分类器输入能够把来自不同任务、但属于同一类别的节点聚集起来，体现出语义因素的跨域一致性。

五、消融实验与分析

消融实验分别移除表示解耦、参数加权和教师模块。去掉表示解耦后，AA下降约 2%-7%，AF下降约 3%-8%，说明直接使用 GNN 表示会混入较多域相关信息。去掉教师-学生蒸馏后，AA下降约 9%-14%，AF下降约 7%-16%，是影响最明显的改动，说明历史语义保持是缓解遗忘的关键。去掉参数加权后，AA下降约 3%-10%，AF下降约 5%-8%，表明融合多个历史任务比只继承最近任务更加稳定。

论文还分析了 RNF Bank 中每个类别保存的节点数量 。总体上，增加代表性节点数量会提升 AA，并减少遗忘，但存储与计算开销也会随之上升。因此，RNF Bank体现了一个清晰的精度-效率权衡：保存少量原型即可获得基础的历史记忆，增加样本则能进一步提升长期稳定性。

六、总结与思考

DINGLE针对图增量学习中经常被分开讨论的两种变化，将类别语义与域变化纳入同一个框架。它的贡献不只是设计了一个新的回放缓存，更重要的是明确了历史知识中“哪些内容需要保持、哪些内容应该适应变化”：语义因素需要通过蒸馏保持一致，域因素则不应被机械复制。

从实验结果看，DINGLE在多数据集、多任务设置下取得了较好的准确率和抗遗忘能力。不过，该方法依赖一个重要假设：节点表示可以较好地分解为类别相关语义和类别无关变化。当域变化与类别本身高度纠缠时，这种解耦会更加困难；同时，RNF Bank的规模、参数加权策略和额外训练模块也会带来工程成本。未来可以进一步研究更自动化的记忆预算分配，以及在更复杂、非独立域变化下的增量学习能力。

总体而言，这篇工作为动态图上的持续学习提供了一个有启发性的视角：面对不断变化的图数据，模型不应只保存过去的表示，还应学习区分稳定知识与环境噪声，并以此决定什么需要迁移、什么需要遗忘。