一种基于融合多阶特征传播的节点分类系统及方法与流程

1.本发明涉及一种表示学习技术领域，具体是一种基于融合多阶特征传播的节点分类系统及方法。


背景技术：

2.图结构是一种比较重要的数据结构，它能够有效地描述多种真实数据，从分子数据到社会和生物网络。这些数据在现实世界中无处不在，并且涵盖了各种应用。其中，图的一个基本任务是节点分类，它试图将节点分类为几个预定义的类别。例如，在社交网络中，我们想要预测每个用户的政治偏见；在蛋白质-蛋白质相互作用网络中，我们感兴趣的是预测每种蛋白质的功能作用；在万维网中，我们可能必须将网页分类为不同的语义类别。为了进行有效的预测，一个关键问题是要有非常有效的节点表示，这在很大程度上决定了节点分类的性能。目前，深度学习由于其优秀的性能被广泛应用于多种不同的应用，但是它们不能处理非欧式空间的图结构数据。很多专家学者将深度学习拓展至图结构数据中，并将其一类算法成为图神经网络。图神经网络能够有效地挖掘出图结构数据中隐含信息，辅助了下游任务的分类和预测精度。其中图神经网络以图卷积神经网络为代表，所以在本文中，我们主要是以图卷积神经网络为研究对象，图卷积神经网络学习图中节点表示通常是聚合邻居节点的信息来更新目标节点的表示，这种方式已经被应用到各种复杂的复杂现实任务中，并且能够有效解决了目前复杂现实任务所遇到的瓶颈问题。
3.虽然图卷积神经网络已经获取了很多的成功，但是由于其本身的设计还存在两方面的不足需要解决，其中一方面图卷积神经网络聚合邻居节点信息，往往只关注节点的局部信息，而忽略节点的全局信息。另一方面，从图信号角度来分析，图卷积神经网络方法聚合邻居节点信息更新目标节点的表示，这种方式往往被认为是一种低通滤波器。低通滤波器往往只是获取邻居节点的共性，而忽略了邻居节点信息的差异性。当节点处于大部分邻居节点都是标签不一致或者特征不一致，那么一味地通过聚合邻居信息的共性更新目标节点的表示不能够充分提取邻居节点的有效信息。上述地两方面都从本质上影响了图卷积神经网络学习节点表示的能力，需要研究更加有效地方法去解决。


技术实现要素：

4.本发明的目的在于提供一种基于融合多阶特征传播的节点分类系统及方法，以解决上述背景技术中提出的节点不能充分获取全局信息和局部信息的问题以及低通滤波器只是单一获取节点特征之间的共性忽略节点特征之间的差异性问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于融合多阶特征传播的节点分类系统及方法，基于不同类型的图结构的环境下，图卷积神经网络方法存在学习节点表示不充分的问题，提出了一种融合多阶特征传播的节点分类系统及方法。我们首先设计一种新型的滤波器，能够自适应地根据当前网络不同情况获取低频信息和高频信息，从而获取相同标签节点间的共性，同时，我们也获取不
同标签节点间的差异性，增强了节点的区分度。其次，我们进行分阶传播，并且在获取不同阶的节点表示之后，将这些表示进行拼接，应用注意力机制去融合不同阶特征传播之后的表示，这样就能够获取节点的全局信息和节点的局部信息，使得节点的表示更加充分，提高节点分类的精度。包括节点分类系统，所述节点分类系统包括储存单元、处理单元、输入单元和输出单元，所述储存单元用于数据储存，处理单元包括训练模块、测试模块、线性变换模块，训练模块用于对标签节点进行训练，测试模块用于无标签的节点进行测试，线性变换模块用于多层感知机线性变换。
7.作为本发明进一步的方案：所述节点分类系统运行步骤如下：
8.步骤一：使用多层感知机进行线性变换；
9.步骤二：特征多阶传播；
10.步骤三：使用注意力机制融合多阶传播表示；
11.步骤四：多层感知机进行线性变换；
12.步骤五：得到最终表示。
13.一种基于融合多阶特征传播的节点分类方法，所述方法步骤如下：
14.步骤一：数据准备，收集数据集和将数据集划分为训练集和测试集，数据集中存在着大量的没有标签的节点和一部分少量的带标签的节点，使用部分有标签的节点去指导网络模型的训练，预测没有标签的节点的标签；
15.步骤二：自适应的滤波器设计；
16.步骤三：应用自适应滤波器进行多阶特征传播，进而将那些传播之后的得到的特征向量进行拼接，整合初始特征传入注意力机制，使得目标节点能够根据网络不同的情况给予不同阶特征传播所得到的的向量表示不同的权重；
17.步骤四：使用交叉熵损失函数进行模型训练；
18.步骤五：训练过程，输入节点的特征矩阵x和图的邻接矩阵a，通过多阶自适应滤波器特征融合模型得到预测的表示以后，然后利用步骤四的损失函数进行训练；
19.步骤六：测试过程，将测试集的节点集输入已经训练好的模型，输出该节点特征的预测结果，选择其中标签概率最大的一个，就是预测出来的标签结果
20.作为本发明再进一步的方案：所述步骤二中在传统的图卷积神经网络的滤波器基础上采用切比雪夫多项式进行设计，设计方法步骤如下：
21.步骤一：传统的图卷积神经网络的滤波器；
22.步骤二：根据最初的切比雪夫多项式进行滤波器设计；
23.步骤三：可训练参数t；
24.步骤四：归一化处理。
25.作为本发明再进一步的方案：所述传统的图卷积神经网络的滤波器是一个低通滤波器，是简化了切比雪夫多项式形成了低通滤波器，当给定一个输入图g，它的归一化的拉普拉斯矩阵如下，其中u是拉普拉斯的特征向量矩阵，对角矩阵是拉普拉斯矩阵的对角特征值矩阵，图卷积神经网络算法一般是将图节点特征信号进行傅里叶变换，以至于将空间域的节点特征转换为谱域中的节点信号，继而应用第k层的滤波器对谱域中的节点特征进行低通滤波，最后将滤波之后的节点信号通过逆傅里叶变换转换为空间域的节点特征，说明节点特征已聚合邻居节点信息更新了目标节点的表示其具体的滤波公式如公式1所示：
[0026][0027]
作为本发明再进一步的方案：所述根据最初的切比雪夫多项式进行滤波器设计，为初始特征和进行拉普拉斯滤波之后的特征设置权重为和我们将t设为可训练参数，我们将整体的滤波节点特征的公式列举如下：
[0028][0029]
其中w代表的是特征转换中使用的权重矩阵，f表示图节点的初始特征，我们从图信号理论出发，可以清晰地发现，可训练参数t可以轻而易举地控制在节点特征滤波的时候保留节点特征的低通信号和高通信号的含量，当t趋向于无穷大的时候，后面一项可以忽略为0，进行滤波之后的节点特征只保留上述公式中前面一项的初始特征，而初始特征中包含了节点特征的高通信号和低通信号，同时，我们发现当t趋向0的时候，滤波以后的节点特征只保留了上述公式的后面一项，而后面一项就是先前被广泛被应用拉普拉斯的低通滤波器，具有很好的低通滤波的效果，从这两种不同的情况，我们可以发现在训练过程中不断精确地调节可训练参数t，就说明了在训练过程中，能够有效地根据不同的网络决定保留节点特征中的低通信号部分和高通信号部分。
[0030]
作为本发明再进一步的方案：所述可训练参数t，设置t＝1+relu(μk),即全新的滤波器为
[0031][0032]
作为本发明再进一步的方案：所述归一化处理为滤波器对应的特征值的取值范围是在[0,2]，通过在这里d
new
是a
new
的度矩阵，从而保证了滤波器的特征值范围是[-1,1]。
[0033]
作为本发明再进一步的方案：所述步骤三进一步进行根据attention训练，将训练得到的向量送入全连接层进行变换，得到最终的预测节点表示：
[0034]
z＝mlp(x)
[0035][0036]ztotal
＝stack(z,h1,h2,...,hk)
[0037]
att＝attention(z
total
)
[0038]zfinal
＝att*z
total
[0039]z*final
＝softmax(mlp(z
final
))
[0040]
其中，z表示特征转换以后的变量，h
l
表示每一阶进行特征传播所得到的的特征表示，z
total
表示的是将k+1阶特征进行拼接所得的特征表示，att表示的是得到每一阶特征向量表示的权重矩阵，z
final
表示的是使用注意力机制得到的最终表示，继而我们应用全连接层进行线性变换得到预测值。
[0041]
与现有技术相比，本发明的有益效果是：
[0042]
本提案是基于复杂图数据结构下的节点分类预测，提出了一种融合多阶特征传播的节点分类方法及系统。该模型主要是分为两个部分，包含设计自适应滤波器和多阶特征传播融合部分。在自适应滤波器部分，我们主要是从切比雪夫不等式的角度出发，设计可训练的参数作为图结构节点特征中低通信号和高通信号的权重，以至于目标节点能够有效地根据不同类型的网络自适应学习到相似标签节点特征的共性和不同节点特征的差异性，使得具有相似标签的邻居节点变得更加相似，同时使得不同标签节点的邻居节点变得差异性更大，丰富了节点表示能力，提高了图卷积神经网络的节点分类精度。在另一方面，考虑到传统的图卷积神经网络只是关注于一阶和二阶邻居节点信息，而不能获取图结构数据中更高阶节点特征对目标节点的影响。所以，我们设置超参数k进行高阶特征传播，并且保留每次特征传播之后的结果，将它们全部拼接起来传入注意力机制求解各部分的权重，最后再传入一个全连接层进行线性变换得到预测的结果。
附图说明
[0043]
图1为一种基于融合多阶特征传播的节点分类系统及方法的节点分类系统运行步骤图。
[0044]
图2为一种基于融合多阶特征传播的节点分类系统及方法中系统框图。
[0045]
图3为一种基于融合多阶特征传播的节点分类系统及方法中方法流程图。
[0046]
图4为一种基于融合多阶特征传播的节点分类系统及方法中自适应的滤波器设计流程图。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
请参阅图1～4，本发明实施例中，一种基于融合多阶特征传播的节点分类系统及方法，包括节点分类系统，节点分类系统包括储存单元、处理单元、输入单元和输出单元，储存单元用于数据储存，处理单元包括训练模块、测试模块、线性变换模块，训练模块用于对标签节点进行训练，测试模块用于无标签的节点进行测试，线性变换模块用于多层感知机线性变换。
[0049]
节点分类系统运行步骤如下：
[0050]
步骤一：使用多层感知机进行线性变换；
[0051]
步骤二：特征多阶传播；
[0052]
步骤三：使用注意力机制融合多阶传播表示；
[0053]
步骤四：多层感知机进行线性变换；
[0054]
步骤五：得到最终表示。
[0055]
一种基于融合多阶特征传播的节点分类方法，一部分是设计一种自适应滤波器，能够使得目标节点根据当前邻居节点的复杂的特征分布情况聚合最有用的信息，使得其学习表示更加充分。另一方面，为了解决图卷积神经网路算法只关注节点的局部信息，而忽略
了图结构数据中全局信息对目标节点表示的影响，我们设置超参数k进行多阶特征传播，并将每次特征传播之后的表示进行拼接，将与初始的节点特征拼接之后的表示传入注意力网络中，根据不同类型的网络学习不同阶的特征不同的权重，并在最后进行加权求和，最后应用一层多层感知机进行特征变换，得到最终的表示，方法步骤如下：
[0056]
步骤一：数据准备，收集数据集和将数据集划分为训练集和测试集，数据集中存在着大量的没有标签的节点和一部分少量的带标签的节点，使用部分有标签的节点去指导网络模型的训练，预测没有标签的节点的标签；
[0057]
步骤二：自适应的滤波器设计；
[0058]
步骤三：应用自适应滤波器进行多阶特征传播，进而将那些传播之后的得到的特征向量进行拼接，整合初始特征传入注意力机制，使得目标节点能够根据网络不同的情况给予不同阶特征传播所得到的的向量表示不同的权重；
[0059]
步骤四：使用交叉熵损失函数进行模型训练；
[0060]
步骤五：训练过程，输入节点的特征矩阵x和图的邻接矩阵a，通过多阶自适应滤波器特征融合模型得到预测的表示以后，然后利用步骤四的损失函数进行训练；
[0061]
步骤六：测试过程，将测试集的节点集输入已经训练好的模型，输出该节点特征的预测结果，选择其中标签概率最大的一个，就是预测出来的标签结果
[0062]
步骤二中在传统的图卷积神经网络的滤波器基础上采用切比雪夫多项式进行设计，设计方法步骤如下：
[0063]
步骤一：传统的图卷积神经网络的滤波器；
[0064]
步骤二：根据最初的切比雪夫多项式进行滤波器设计；
[0065]
步骤三：可训练参数t；
[0066]
步骤四：归一化处理。
[0067]
传统的图卷积神经网络的滤波器是一个低通滤波器，是简化了切比雪夫多项式形成了低通滤波器，当给定一个输入图g，它的归一化的拉普拉斯矩阵如下，其中u是拉普拉斯的特征向量矩阵，对角矩阵是拉普拉斯矩阵的对角特征值矩阵，图卷积神经网络算法一般是将图节点特征信号进行傅里叶变换，以至于将空间域的节点特征转换为谱域中的节点信号，继而应用第k层的滤波器对谱域中的节点特征进行低通滤波，最后将滤波之后的节点信号通过逆傅里叶变换转换为空间域的节点特征，说明节点特征已聚合邻居节点信息更新了目标节点的表示其具体的滤波公式如公式1所示：
[0068][0069]
根据最初的切比雪夫多项式进行滤波器设计，为初始特征和进行拉普拉斯滤波之后的特征设置权重为和我们将t设为可训练参数，我们将整体的滤波节点特征的公式列举如下：
[0070][0071]
其中w代表的是特征转换中使用的权重矩阵，f表示图节点的初始特征，我们从图信号理论出发，可以清晰地发现，可训练参数t可以轻而易举地控制在节点特征滤波的时候
保留节点特征的低通信号和高通信号的含量，当t趋向于无穷大的时候，后面一项可以忽略为0，进行滤波之后的节点特征只保留上述公式中前面一项的初始特征，而初始特征中包含了节点特征的高通信号和低通信号，同时，我们发现当t趋向0的时候，滤波以后的节点特征只保留了上述公式的后面一项，而后面一项就是先前被广泛被应用拉普拉斯的低通滤波器，具有很好的低通滤波的效果，从这两种不同的情况，我们可以发现在训练过程中不断精确地调节可训练参数t，就说明了在训练过程中，能够有效地根据不同的网络决定保留节点特征中的低通信号部分和高通信号部分。
[0072]
可训练参数t，设置t＝1+relu(μk),即全新的滤波器为
[0073][0074]
归一化处理为滤波器对应的特征值的取值范围是在[0,2]，通过在这里d
new
是a
new
的度矩阵，从而保证了滤波器的特征值范围是[-1,1]。
[0075]
步骤三进一步进行根据attention训练，将训练得到的向量送入全连接层进行变换，得到最终的预测节点表示：
[0076]
z＝mlp(x)
[0077][0078]ztotal
＝stack(z,h1,h2,...,hk)
[0079]
att＝attention(z
total
)
[0080]zfinal
＝att*z
total
[0081]z*final
＝softmax(mlp(z
final
))
[0082]
其中，z表示特征转换以后的变量，h
l
表示每一阶进行特征传播所得到的的特征表示，z
total
表示的是将k+1阶特征进行拼接所得的特征表示，att表示的是得到每一阶特征向量表示的权重矩阵，z
final
表示的是使用注意力机制得到的最终表示，继而我们应用全连接层进行线性变换得到预测值。
[0083]
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。