ICML 2024丨多轨图卷积网络：解决过平滑与过碾压的新思路

649 0 0

文章摘要

图神经网络（GNNs）在多个领域表现出了强大的分析能力，但受限于模型层数较浅，未能充分发挥其潜力。主要挑战在于过平滑和过碾压问题，前者导致节点表示难以区分，后者阻碍了长程依赖关系的捕获。现有解决方案包括图重写、正则项策略和残差链接，但问题仍未完全解决。

西安交通大学网络空间安全学院的研究团队提出了多轨道消息传递方案（MTMP），有效解决了这些问题。MTMP通过避免异质混合，即不同语义消息的混合，来解决过平滑和过碾压问题。该方案被实现为多轨道图卷积网络（MTGCN），并在多个基准图数据集上进行了验证和分析。MTGCN在KDD CUP 2024 Task 2挑战赛中获得铜牌，证明了其在文本图数据上的分析能力。

MTGCN的架构包括消息加载、多轨消息传递和消息拾取三个核心步骤。节点特征根据类别语义加载到相应轨道，独立进行消息传递和聚合，最后根据节点-轨道关联矩阵构建节点表示。MTGCN的设计考虑了防止异质混合、促进长距离信息流和增强分离条件，从而提升图学习性能。

实验结果表明，MTGCN在半监督节点分类任务上表现出色，尤其是在多阶段训练策略下。MTGCN能够保持稳定的分类准确率，不受网络深度影响，有效解决了过平滑问题。在处理过碾压问题的Tree-NeighborsMatch任务中，MTGCN也展现了高准确率，证明了其捕获长距离依赖关系的能力。

该研究的核心观点是异质混合导致了过平滑和过碾压，限制了深层GNNs的表达能力。通过MTMP方案，研究团队成功地解决了这些问题，为GNNs的发展提供了新的方向。论文和相关代码已在openreview.net上公开，KDD Cup的相关信息也可在biendata.xyz上找到。