论文解读|CAME:基于跨模态对齐与模态感知专家融合的多模态图基础模型

admin 2026-11-18 01:14:57 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

论文解读 | CAME:基于跨模态对齐与模态感知专家融合的多模态图基础模型

杨贤灿
杨贤灿

北邮 GAMMA Lab

2026年11月17日 14:04
北京

去阅读

现有图基础模型(Graph Foundation Models,GFMs)主要面向单模态节点属性,难以充分利用真实图数据中的文本、图像等多模态信息。不同模态在特征分布和语义表达上存在差异,直接对模态特征进行平均或拼接,可能造成模态特有信息丢失,并限制跨模态交互与融合能力。

为了解决这一问题,CAME 提出了一种结合跨模态对齐与模态感知专家融合的图基础模型,能够通过模态独立图编码器学习不同模态的结构感知表示,利用维度级门控与混合专家机制实现自适应融合,并通过跨模态对比学习对齐不同模态的表示空间。在 10 个图数据集上的实验表明,CAME 在节点分类、链接预测、边分类及少样本迁移任务中取得了优于对比方法的结果。

  • 论文题目:A Graph Foundation Model with Cross-Modal Alignment and Modality-Aware Expert Fusion for Multi-Modal Graphs
  • 作者:Dongxiao He、Ankang Yang、Jitao Zhao、Di Jin
  • 会议:International Conference on Machine Learning(ICML 2026)

一、引言

近年来,图基础模型(Graph Foundation Models,GFMs)逐渐成为图机器学习的重要研究方向。与针对特定图数据集和任务训练专用模型不同,图基础模型希望通过在大规模、多样化的图数据上进行预训练,学习能够迁移到不同场景和下游任务的通用表示能力。

然而,现有图基础模型大多关注单模态图数据,即每个节点通常由一种特征表示。现实世界中的图数据则往往具有多模态属性。例如,在电商网络中,商品节点同时包含文本描述、视觉图像以及商品之间的关联关系;在社交网络中,用户也可能同时具有文本、图像与拓扑关系等多种信息。因此,如何同时建模多模态特征与图结构,成为构建多模态图基础模型(Multimodal Graph Foundation Models,MGFMs)的关键问题。

现有方法通常使用 CLIP 等预训练编码器提取文本和图像特征,再通过平均或拼接等操作进行融合,随后利用图神经网络进行结构信息传播。这类早期融合方式虽然简单有效,但存在两个主要局限:不同模态具有不同的特征分布和语义侧重点,直接融合可能削弱各模态特有的信息;在图结构传播之前就混合不同模态,会使模型难以分别学习各模态与图结构之间的关联模式,从而限制多模态信息的充分利用。

针对这些挑战,论文的主要贡献包括:(1)探索多模态图基础模型,拓展图基础模型的通用性边界,促进对图数据更全面的理解。(2)提出 CAME,利用维度级门控机制和模态感知专家融合模块,有效编码图结构与多模态特征;同时提出跨模态对比损失,对多模态表示进行对齐与融合。(3)开展大量实验,验证 CAME 不仅在多模态图上具有良好的泛化能力,而且在单模态图上也优于现有图基础模型。

二、方法

CAME 的整体框架如图1所示,主要包括模态独立图编码、维度级门控融合、模态感知混合专家融合和跨模态对比学习四个部分。

图1 CAME 模型整体框架

2.1 模态独立的图结构编码

CAME 使用冻结的 CLIP 编码器分别提取每个节点的文本特征和视觉特征,若数据集中没有图像,则以 CLIP 文本嵌入充当缺失的图像模态;随后通过模态专属的图注意力网络(Graph Attention Network,GAT),在同一张图拓扑上分别进行邻域消息传播,得到具有结构信息的文本表示和图像表示:其中, 表示节点  的文本结构表示, 表示其视觉结构表示。

CAME 的两条图编码分支使用相同的图拓扑,但采用不同的模态特征和编码器参数,而不是分别构建两张不同的图。通过这种方式,不同模态可以先独立学习各自的结构模式,避免在图传播之前因过早融合而损失模态特有信息。此外,CAME 还使用基于个性化 PageRank(PPR)的子图采样策略,以降低大规模图结构编码的计算开销。

2.2 维度级门控融合

完成模态独立图编码后,模型获得节点的文本结构表示与视觉结构表示。由于不同模态在各特征维度上的信息贡献可能不同,简单平均或使用固定模态权重难以充分建模这种差异。因此,CAME 引入维度级门控融合(Dimension-wise Gated Fusion)机制,为每个节点的每一个特征维度动态分配模态权重。 融合过程可以表示为:

其中:

  • 表示融合后的节点表示;
  • 表示维度级门控向量;
  • 表示逐元素乘法。

门控向量由文本和视觉结构表示共同决定,因此模型能够根据不同节点的特征,自适应调整各维度对不同模态的依赖程度,实现了更加细粒度的跨模态融合。

2.3 模态感知专家融合

虽然维度级门控能够动态调整不同模态的特征贡献,但单一融合形式仍然难以充分适应不同节点和数据集的复杂模态关系。为此,CAME 进一步引入模态感知混合专家机制(Modality-aware Mixture of Experts,MoE)。模型分别针对三类表示建立专家组:

  1. 文本专家组: 处理文本结构表示。
  2. 图像专家组: 处理视觉结构表示。
  3. 融合专家组: 处理维度级门控生成的融合表示。

每个专家组内部包含多个专家网络,通过稀疏路由机制动态选择适合当前节点的专家。CAME 每组设置 6 个专家,并采用 Top-2 路由机制,即每个节点仅激活组内最相关的两个专家。完成组内专家选择后,进一步使用模态级路由器,自适应组合文本专家组、图像专家组和融合专家组的输出,得到最终节点表示。

因此,CAME 实际上包含两个层次的动态选择:

组内专家选择:决定当前节点应该由哪些专家进行特征变换。

组间模态融合:决定文本表示、视觉表示和融合表示应当分别贡献多少信息。

相比使用固定融合结构,这种分层专家机制能够更灵活地适应不同节点和不同图数据集中的多模态信息差异。

2.4 跨模态对齐与预训练

经过模态独立结构编码、维度级门控和专家融合后,模型已经能够产生自适应的多模态表示。然而,仅依靠融合机制,并不能保证最终表示充分保留各模态的有效信息。例如,在缺少对齐约束时,融合表示可能向主导模态漂移、过度依赖该模态,从而削弱其他模态的补充作用。为解决这一问题,CAME 引入跨模态对齐机制,通过对比学习约束不同模态表示及最终融合表示之间的语义一致性。CAME 通过构建三个对齐关系:

  • 文本表示与图像表示之间的对齐;
  • 文本表示与融合表示之间的对齐;
  • 图像表示与融合表示之间的对齐。

使用 InfoNCE 对比学习目标,将同一个节点在不同视图下的表示作为正样本对,将不同节点的表示作为负样本对。通过上述三视图对比学习,模型不仅能够学习文本与图像之间的语义对应关系,还能够约束最终融合表示同时保留两种模态中有价值的信息。

需要强调的是,跨模态对齐与跨模态融合具有不同作用。 跨模态融合关注如何整合不同模态的互补信息,而跨模态对齐关注如何保持同一节点在不同模态表示空间中的语义一致性。CAME 将两者结合,使模型同时具备细粒度信息融合与跨模态语义约束能力。

在预训练过程中,CAME 不依赖下游任务的监督标签。冻结的 CLIP 用于提供文本与视觉特征,模态图编码器、门控网络和专家模块通过对比学习目标进行优化。预训练完成后,模型使用学到的节点表示进行不同下游任务的评价。

三、实验

实验覆盖 10 个不同的图数据集,旨在考察模型对多模态信息的建模能力以及跨数据集的泛化表现。其中,Ele-fashion、Goodreads-NC、Amazon-sports、Amazon-cloth 和 Goodreads-LP 包含文本与图像两种模态;ogbn-Arxiv、ogbn-Products 和 Wiki-CS 只有文本属性;FB15K-237 和 WN18RR 则属于知识图谱数据集。根据数据特点,实验设置了 5 个节点分类任务、3 个链接预测任务和 2 个关系分类任务,节点分类与关系分类采用 Accuracy,链接预测采用 MRR,所有指标均为数值越高越好。

在模型泛化能力的评估中,CAME 首先在 ogbn-Products、Goodreads-LP 和 Amazon-cloth 上进行联合自监督预训练,再将学到的节点表示用于不同数据集的下游任务。对于分类任务,主要通过冻结预训练编码器并训练线性分类器的方式评估表示质量。此外,还在 Goodreads-NC、ogbn-Arxiv 和 Wiki-CS 上设置了 5-way 1/3/5-shot 节点分类实验,通过少量标注节点构建类别原型,进一步考察预训练表示在低标注条件下的迁移能力。该少样本实验采用独立的预训练数据组合,即 Amazon-cloth、Goodreads-NC 和 ogbn-Products。

3.1 主实验:多模态图上的表示学习性能

节点分类、关系分类和链接预测任务上的实验结果如表 1 所示。对比方法包括通过图自监督学习获取节点表示的 DGI、GRACE、BGRL 和 GraphMAE2,面向跨图预训练与迁移的图基础模型 GCOPE、SAMGPT、FUG 和 UniGraph2,以及直接使用 CLIP 提取文本或图像特征的 CLIP-text 和 CLIP-image 等。

表1 不同下游任务及泛化设置下的实验结果

实验结果表明:(1)CAME 在不同下游任务中均取得了优于对比方法的结果。在 Goodreads-NC 节点分类任务上,Accuracy 达到 83.21%,相比 UniGraph2 提升 3.43 个百分点;在 Amazon-sports 和 Amazon-cloth 链接预测任务上,MRR 分别达到 37.68% 和 28.88%,提升 8.16 和 4.63 个百分点,体现了模型在不同任务中的有效性。(2)CAME 在未参与预训练的数据集上仍具有较好的泛化能力。在同领域泛化设置下,CAME 在 Goodreads-NC、Ele-fashion 和 Amazon-sports 上均取得最优结果;在跨领域泛化设置下,WN18RR 的关系分类 Accuracy 达到 81.97%,相比 UniGraph2 提升 6.77 个百分点,ogbn-Arxiv 和 Wiki-CS 的节点分类 Accuracy 分别达到 71.66% 和 78.57%,表明模型能够将预训练得到的图表示迁移至不同领域。(3)CAME 在全部 10 个数据集上均取得了最优表现。这一结果说明,结合模态独立结构编码与跨模态信息融合,有助于提升图表示在不同数据分布和预测任务下的适应能力。

3.2 少样本迁移实验

为进一步评价预训练表示在有限标注条件下的迁移能力,论文在 Goodreads-NC、ogbn-Arxiv 和 Wiki-CS 上开展少样本节点分类实验,结果如表 2 所示。实验采用 5-way K-shot 设置,即每次选取 5 个类别,每类提供 K 个带标签的支持节点,通过支持集节点表示构建类别原型,再对查询节点进行分类。模型的预训练编码器在评价过程中保持冻结,分别测试 1-shot、3-shot 和 5-shot 条件下的分类准确率。

表2 不同数据集上的少样本节点分类结果

实验结果表明:(1)CAME 在不同少样本设置下均取得了优于对比方法的结果。在 Goodreads-NC 上,CAME 的 1-shot、3-shot 和 5-shot Accuracy 分别达到 48.03%、60.26% 和 60.47%,相比 UniGraph2 分别提升 8.37、7.20 和 2.47 个百分点,体现了模型在少量标注条件下的分类能力。(2)CAME 在跨领域少样本任务中仍具有较好的迁移表现。在 ogbn-Arxiv 和 Wiki-CS 的 1-shot 设置下,Accuracy 分别达到 49.38% 和 47.65%,相比 UniGraph2 提升 6.27 和 12.09 个百分点,说明预训练得到的节点表示能够适应未参与预训练的图数据。(3)随着支持样本数量增加,CAME 的分类性能整体得到提升。在三个数据集上,5-shot 的准确率均高于 1-shot,表明少量额外标注信息能够进一步改善基于类别原型的预测效果。

3.3 消融实验

为分析不同模块对 CAME 性能的影响,论文分别移除模态感知专家融合(MoE)、维度级门控及不同跨模态对齐损失,并通过早期平均融合替代模态独立图编码,实验结果如表 3 所示。消融实验覆盖 Ele-fashion、Goodreads-NC、Amazon-cloth 和 Amazon-sports 四个数据集,分别使用 Accuracy 和 MRR 进行评价。

表3 CAME 消融实验结果

实验结果表明:(1)模态独立图编码对多模态表示学习具有重要作用。在 Amazon-cloth 上,使用早期平均融合替代模态独立图编码后,MRR 从 28.88% 降至 21.19%;在 Amazon-sports 上则由 37.68% 降至 26.83%,说明在结构传播阶段保留不同模态的独立表示有助于提升后续融合效果。(2)模态感知专家融合与维度级门控均对模型性能有所贡献。在 Amazon-cloth 上,移除 MoE 后,MRR 下降至 26.37%;移除维度级门控后下降至 27.90%,表明两种不同粒度的自适应融合机制能够共同改善节点表示。(3)跨模态对齐损失对模型性能具有明显影响。在 Amazon-cloth 上,移除文本—图像对齐项后,MRR 由 28.88% 下降至 20.64%,说明文本与图像表示之间的一致性约束有助于缩小模态差异并提升融合表示质量。总体来看,消融实验表明,CAME 的性能提升并非来自单一模块,而是模态独立结构编码、自适应专家融合和跨模态对齐等机制共同作用的结果。

四、结论与讨论

CAME 通过模态独立图编码、维度级门控、模态感知专家融合及跨模态对比学习,将不同模态的结构建模与语义对齐纳入统一的图表示学习框架。10 个图数据集上的实验表明,CAME 在节点分类、关系分类和链接预测任务中均取得了较好的性能,并在跨领域泛化和少样本迁移场景下展现出一定优势,验证了不同模块协同建模的有效性。不过,CAME 目前主要面向文本与图像两种模态,其对其他模态类型及不同模态组合的适应能力仍有待验证。此外,模型依赖已有的图拓扑,尚未涉及缺乏显式关系的多源数据的图结构构建;其少样本预测也主要基于支持集类别原型,与基于上下文学习的推理范式存在区别。如何进一步适应多样化的模态配置,并将多源数据的图结构构建与图基础模型的表示学习相结合,是值得继续探索的研究方向。

    评论:0   参与:  0