面向对齐性和均匀性感知的图表示学习方法及系统

本发明涉及图表示学习，具体涉及一种面向对齐性和均匀性感知的图表示学习方法及系统。

背景技术：

1、图数据是一种以点和边表现实体间关系的数据结构。现实世界中的许多复杂关系都可以抽象成图数据，例如社交网络、电商网络、交通网络等。真实世界中的图数据往往在结构复杂的同时，还具有高维性，因此，对图数据进行标注需要耗费大量的人力和财力。为了缓解模型对数据标签的依赖，研究者们以自监督学习的方式建模节点或图表示学习过程。大多数自监督方法通过对比学习的方式编码节点或图表示，称为图对比学习(graphcontrastive learning,gcl)。gcl遵循信息最大化原则，通过最大化互信息(mutualinformation,mi)的下界来优化模型学到的节点表示。

2、gcl主要由三个部分组成：图增强、编码器和对比学习，如图1所示。首先，gcl通过边扰动和特征扰动生成两个不同的增强视图；其次，利用图编码器分别对增强视图进行编码，得到对应的节点表示矩阵；最后，通过对比学习最大化两个不同的增强视图之间的一致性来保留节点表示的不变性。需要说明的是，在对比学习过程中，gcl将不同增强视图中的同一节点视为正样本，而将除自身之外的其它节点视为负样本。gcl鼓励正样本对彼此靠近，而负样本对尽可能彼此远离。

3、起初，有学者创新性地提出了节点级的表示学习框架，它在最大化原始图中节点和全局表示一致性的同时，最小化扰动图中的节点与全局表示的一致性，以优化模型学到的节点表示。然而，由于对比学习的样本对不完全是真实的节点，因此，这类方法深受模式崩溃问题的困扰。随后，一些学者通过预定义的图增强策略构建不同的增强视图，在此基础上，将不同增强视图中的同一节点视为正样本，将除其本身之外的所有节点视为负样本。然后，通过对比学习损失函数拉近不同增强视图中的正样本对之间的距离，来进一步实现节点表示的对齐性。本质上来说，这类方法通过堆叠大量的负样本一定程度上缓解了模式崩溃的问题，但却增加了模型的计算成本。

4、上述方法虽然取得了初步的成功，但都忽略了以下两个问题：在满足节点表示的对齐性时，严重依赖于图增强策略的选择。实际上，大多数gcl模型通过随机扰动边/节点/特征来构造增强视图，这可能会破坏原始图中一些重要的语义信息，从而导致这些方法的性能依赖于人工经验或频繁的试错。(2)通过堆叠大量的负样本来满足节点表示的均匀性，从而避免节点表示陷入模式崩溃的问题。然而，这不仅增加了模型的计算成本，同时，也不可避免地产生采样偏差，即负样本中包含与正样本同类的样本。

5、研究表明，对齐性和均匀性对于鲁棒的节点表示来说是必须的：对齐性鼓励相似的样本在高维空间中是互相靠近的，而均匀性倾向于将节点表示均匀分布在单位超球面上，以避免表示塌缩到高维空间中的某个点上。

技术实现思路

1、本发明的目的在于在不依赖传统图增强策略和负采样的前提下，提供一种面向对齐性和均匀性感知的图表示学习方法，该方法具有良好的可解释性、可验证性和可迁移性，同时，具有重要的理论研究价值和应用价值，以解决上述背景技术中存在的至少一项技术问题。

2、为了实现上述目的，本发明采取了如下技术方案：

3、一方面，本发明提供一种面向对齐性和均匀性感知的图表示学习方法，包括：

4、定义可学习的图掩码卷积神经网络自适应地将期望的特征传播给周围邻居节点，并对原始图进行编码，获得初始节点表示；

5、将初始节点表示z进行聚类，获得软标签和软标签分配矩阵；

6、基于软标签分配矩阵，自适应的分离并重新整合节点的低频和高频信号；

7、将自适应的分离并重新整合后的图信号进行卷积更新，得到更新后的节点表示；

8、基于更新后的节点表示，定义对齐性和均匀性损失函数，通过对比训练优化节点表示，获得对齐性和均匀性感知的节点表示。

9、进一步的，给定原始图g＝(a,x)，掩码权重矩阵m，定义图掩码卷积神经网络：其中，h表示输出的节点表示，σ表示激活函数，d是邻接矩阵a的度矩阵，i为单位矩阵，α∈[0,1]表示传输概率，即在图掩码卷积神经网络第k层以概率(1-α)保留当前聚合层的特征，以概率α聚合原始特征x，θ是一个可学习的参数矩阵；

10、给定原始图g＝(a,x)，定义图卷积层以获得初始的节点表示z：z＝其中，relu为激活函数，w1和w2为两个可学习的参数矩阵。

11、进一步的，通过k-means算法对图g中n个节点的初始表示z＝{z1,z2,...,zn}进行聚类，并获得c个簇心的集合

12、假设软标签的潜在分布为p，则度量节点i的表示zi与其对应簇心μc之间的相似性为：

13、

14、则，软标签为同时，节点i的目标分布t为：

15、

16、通过最小化目标分布与潜在分布之间的kl散度来优化软标签的潜在分布p：

17、

18、则，软标签分配矩阵q定义为：

19、

20、进一步的，分离节点的低频和高频信号为：

21、

22、

23、在软标签分配矩阵q的监督下，重新整合节点i的低频和高频信号：

24、

25、其中，是节点i邻居的集合，di为节点i的度。

26、进一步的，更新节点表示z：

27、

28、其中，softmax为激活函数，s为自适应的图信号矩阵，w3和w4是两个可学习的参数矩阵。

29、进一步的，为了确保所学节点表示的对齐性，定义节点i的内部对齐损失函数：

30、

31、外部对齐损失函数为：

32、

33、则，节点i的对齐损失函数为：

34、

35、为了确保所学表示的均匀性，定义节点i的均匀性损失函数为：

36、

37、则，总体的优化目标为：

38、

39、第二方面，本发明提供一种面向对齐性和均匀性感知的图表示学习系统，包括：

40、编码模块，用于定义可学习的图掩码卷积神经网络自适应地将期望的特征传播给周围邻居节点，并对原始图进行编码，获得初始节点表示；

41、聚类模块，用于将初始节点表示z进行聚类，获得软标签和软标签分配矩阵；

42、自适应分离模块，用于基于软标签分配矩阵，自适应的分离并重新整合节点的低频和高频信号；

43、卷积更新模块，用于将自适应的分离并重新整合后的图信号进行卷积更新，得到更新后的节点表示；

44、优化模块，用于基于更新后的节点表示，定义对齐性和均匀性损失函数，通过对比训练优化节点表示，获得对齐性和均匀性感知的节点表示。

45、第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的面向对齐性和均匀性感知的图表示学习方法。

46、第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的面向对齐性和均匀性感知的图表示学习方法。

47、第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的面向对齐性和均匀性感知的图表示学习方法的指令。

48、本发明有益效果：

49、(1)表征性能优：本发明所述方法在学习节点表示的同时，通过优化节点与其对应簇心之间的距离来保证节点表示的对齐性和均匀性，经大量实验验证，对齐性和均匀性感知的节点表示大大提升了图模型类应用场景中分类、聚类、预测等任务的性能。

50、(2)可解释性高：本发明着重强调图对比学习应保证所学节点表示是对齐性和均匀性感知的，对齐性鼓励相似的样本在高维空间中互相靠近，均匀性倾向于将节点表示均匀分布在单位超球面上，以避免节点表示塌缩到高维空间中的某个点上，具有良好的可解释性。

51、(3)可迁移性强：本发明所述方法无需预定义图增强和负采样策略，是一个独立的数据驱动、任务驱动的图对比学习模型，能够较好的适用于不同类型的图数据场景，具有较强的可迁移性。

52、(4)计算成本低：本发明中不涉及传统图增强策略和复杂的负采样过程，降低了图表示学习的计算成本。

53、本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。