基于近似矩阵重构自编码器的自监督图表示方法

本发明涉及深度学习，尤其是一种基于近似矩阵重构自编码器的自监督图表示方法。

背景技术：

1、图表示学习旨在提取图数据中节点属性和拓扑结构等复杂信息，生成高质量的、低维的图表示(图嵌入)。图表示可以处理图的多种任务，例如节点分类、链接预测、图分类、图聚类等。自监督图表示学习不依赖于标签，可以基于图数据自有信息设计有效的辅助任务完成训练过程，生成图表示。

2、现有自监督图表示学习大致可以分为两类：对比方法和生成方法。

3、对比方法基于对比学习的思想设计辅助任务完成训练，对比方法生成的图表示通常在节点分类或图分类等下游任务上表现出色，但在链接预测等任务中表现欠佳，并且对比方法依赖于复杂的图增强和对比策略。生成方法通过重构图数据自有信息这一策略设计辅助任务，能够避免对比方法的不足。

4、图自编码器是一种主要的生成方法，根据图中重构目标的差异，图自编码器可以分为三类：基于特征重构的图自编码器、基于结构重构的图自编码、以及组合重构的图自编码器。基于特征重构的图自编码器对节点属性进行重构，该类方法需要设计复杂的属性重构过程，确保最终得到的图嵌入中包含有效的图信息。基于结构重构的图自编码器通常重构邻接矩阵等结构信息，该类方法强调对图结构信息的学习，因此处理链接预测等下游任务时表现出色，但通常在节点分类、图分类等任务中表现欠佳。基于组合重构的方法同时重构图的结构信息和属性信息，因此可以从图数据中学习更为丰富的内容，可以处理多种下游任务。但现有方法在学习时往往忽略了一个问题，即在学习过程中究竟应该更侧重于图属性信息的学习还是图结构信息的学习？针对这一问题，目前还没有一个较为成熟的方法能够在自监督训练过程中控制属性信息和结构信息的学习程度。

技术实现思路

1、为此，需要提供一种基于近似矩阵重构自编码器的自监督图表示方法，用以解决在自监督训练过程中控制属性信息和结构信息的学习比例控制问题。

2、为实现上述目的，本发明提供了一种基于近似矩阵重构自编码器的自监督图表示方法，包括如下步骤：输入原始图，根据原始图生成近似矩阵作为重构目标；在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示。

3、其具体采用以下技术方案：

4、一种基于近似矩阵重构自编码器的自监督图表示方法，其特征在于，包括以下步骤：

5、输入原始图，根据原始图生成近似矩阵作为重构目标；

6、在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；

7、在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；

8、基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；

9、冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示。

10、进一步地，所述输入原始图，根据原始图生成近似矩阵作为重构目标具体包括以下步骤：

11、根据节点特征矩阵生成原始图的k近邻图，k近邻图的邻接矩阵作为k近邻属性近似矩阵，通过k的取值控制属性信息和结构信息比例；

12、使用原始图的邻接矩阵作为结构近似矩阵；

13、采用and-or融合机制融合结构近似矩阵和属性近似矩阵中的结构信息和属性信息，生成近似矩阵asf。

14、进一步地，所述在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码具体包括以下步骤：

15、边删除根据增强率λ随机删除原始图的部分边，生成属性视图gf；

16、属性掩盖根据增强率λ随机将节点特征的部分维度设为0，生成结构视图gs；

17、使用两个图卷积网络构建双通道的解耦编码器，将结构视图gs和属性视图gf分别输入两个图卷积网络，分别生成结构编码hs和属性编码hf。

18、进一步地，所述在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵具体包括以下步骤：

19、假设原始图的节点id集合为其中n为节点数量；随机子矩阵重构机制根据重构率α从中随机选择部分节点id生成节点id子集其中m＝αn；根据从结构编码hs和属性编码hf中选择相应节点的结构编码子矩阵和属性编码子矩阵

20、再将结构编码子矩阵和属性编码子矩阵输入余弦解码器，余弦解码器首先单位化和分别生成和之后基于和生成结构重构矩阵zs、属性重构矩阵zf、约束耦合矩阵zsf；三个矩阵按元素取平均值生成重构矩阵z。

21、进一步地，所述基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数具体包括以下步骤：

22、根据节点id子集从近似矩阵asf中选择相应的元素以生成近似子矩阵

23、之后使用均方误差损失计算重构的矩阵z和近似子矩阵之间的重构损失；

24、再逐层反向传播实重构损失，调整模型参数，训练近似矩阵重构自编码器。

25、进一步地，所述冻结近似矩阵重构自编码器的参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示具体包括以下步骤：

26、冻结近似矩阵重构自编码器的模型参数；

27、将原始图输入解耦编码器，得到属性表示和结构表示，拼接每个节点的属性表示和结构表示，得到每个节点的节点表示；

28、使用和池化操作，将全部节点的节点表示相加，得到图表示。

29、一种近似矩阵重构自编码器模型，其特征在于，包括：近似矩阵生成模块、解耦编码器模块、余弦解码器模块、重构损失计算模块和表示生成模块；

30、所述近似矩阵生成模块，用于：生成近似矩阵作为重构目标，同时控制重构目标中属性信息和结构信息的比例；

31、所述解耦编码器模块，用于：使用图增强和双通道编码器相结合的方法对属性信息和结构信息进行解耦，生成属性编码和结构编码；

32、所述余弦解码器模块，用于：使用随机子矩阵降低重构过程的时间复杂度和空间复杂度，同时通过余弦解码器重构近似矩阵；

33、所述重构损失计算模块，用于：基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；

34、所述表示生成模块，用于：生成节点表示和图表示。

35、进一步地，所述近似矩阵生成模块使用原始图的邻接矩阵作为结构近似矩阵；

36、根据节点特征矩阵生成原始图的k近邻图，k近邻图的邻接矩阵作为k近邻属性近似矩阵，通过k的取值控制属性信息和结构信息比例；

37、使用原始图的邻接矩阵作为结构近似矩阵；

38、采用and-or融合机制融合结构近似矩阵和属性近似矩阵中的结构信息和属性信息，生成近似矩阵asf。

39、进一步地，所述解耦编码器模块当中，边删除根据增强率λ随机删除原始图的部分边，生成属性视图gf；

40、属性掩盖根据增强率λ随机将节点特征的部分维度设为0，生成结构视图gs；

41、使用两个图卷积网络构建双通道的解耦编码器，将结构视图gs和属性视图gf分别输入两个图卷积网络，生成结构编码hs和属性编码hf；

42、所述余弦解码器模块当中假设原始图的节点id集合为其中n为节点数量；随机子矩阵重构机制根据重构率α从中随机选择部分节点id生成节点id子集其中m＝αn；根据从结构编码hs和属性编码hf中选择相应节点的结构编码子矩阵和属性编码子矩阵将结构编码子矩阵和属性编码子矩阵输入余弦解码器，余弦解码器首先单位化和分别生成和之后基于和生成结构重构矩阵zs、属性重构矩阵zf、约束耦合矩阵zsf；三个矩阵按元素取平均值生成重构矩阵z。

43、进一步地，所述重构损失计算模块当中根据节点id子集从近似矩阵asf中选择相应的元素以生成近似子矩阵

44、使用均方误差损失计算重构的矩阵z和近似子矩阵之间的重构损失；

45、逐层反向传播实重构损失，调整模型参数，训练近似矩阵重构自编码器；

46、所述表示生成模块当中冻结近似矩阵重构自编码器的模型参数；

47、将原始图输入解耦编码器，得到属性表示和结构表示，拼接每个节点的属性表示和结构表示，得到每个节点的节点表示；

48、使用和池化操作，将全部节点的节点表示相加，得到图表示。

49、相比于现有技术，本发明及其优选方案将近似矩阵为新的重构目标，并控制重构目标中结构信息和属性信息的比例，确保模型能够学习最有益于下游任务的信息；通过解耦编码器-余弦解码器的设计，增强了对近似矩阵的重构能力；通过随机子矩阵重构机制，减轻了重构过程的时间复杂性和空间复杂性；基于近似矩阵重构自编码器的自监督图表示方法，有效地将图中丰富的属性信息和结构信息映射到节点表示和图表示中，能够根据图的变化或者下游任务的需要，灵活控制对原始图中属性信息和结构信息的学习程度，使生成的节点表示或图表示更高效、更精准的地完成各种下游任务。