一种基于Transformer的动态异构网络链路预测方法

一种基于transformer的动态异构网络链路预测方法
技术领域
1.本发明属于数据挖掘领域，涉及图神经网络技术，是一种基于transformer的动态异构网络链路预测方法。


背景技术：

2.从社交网络、问答论坛到生物信息学等，研究者把这些领域中用户、商品等看作节点，节点间交互看作链接，这些节点和链接形成一个巨大的信息网络图。大多真实世界的信息网络图具有异构性和动态性，即网络由多类型的节点和链接组成，并且随着时间的推移，新链接及新节点的产生导致网络结构不断演变。链路预测即通过分析网络中异构特征及动态演变等信息，来预测未来时期网络中节点间的链接。链路预测在现实中有很多应用，如在问答论坛上分析信息的扩散规律。因此，对动态异构网络链路预测的探究具有重要的研究价值和实际意义。
3.链路预测方法通过对网络表示学习以得到节点嵌入向量，并计算节点向量相似性来预测链路。目前传统的链路预测方法，或忽略异构特征在网络中的重要作用，或忽略动态演变对网络结构的影响，对节点的特征表示不够全面。在此基础上，由于网络演变会产生全新的节点，这要求方法具有一定的归纳学习能力，以便对新节点进行链路预测。所以，在对动态异构网络的表示学习的基础上，设计出针对新节点的链路预测方法就有着非常重要的现实意义，通过学习网络的拓扑结构、异构特征和动态特征将新节点“对齐”到网络中已知的节点嵌入中，从而避免新节点链路预测的冷启动问题。
4.为了有效地完成未来时期动态异构网络中新节点的链路预测，需要先学习历史网络中的异构特征和动态特征，以得到已知节点的特征表达。在此基础上，方法需要适应变化的网络结构图，以自然地推广到新增的节点。其次方法需要将新增的节点“对齐”到训练中方法已经优化的节点嵌入，这要求方法具有更强的泛化能力及特征学习能力。因此，如何在动态异构网络的表示学习上进一步针对新节点设计合理有效的链路预测方法是目前亟需解决的难点问题之一。


技术实现要素：

5.本发明提出一种基于transformer的动态异构网络链路预测方法。方法将在基于图注意力网络分别结合分视图理论及时间编码函数学习节点的异构特征和动态特征的基础上，为了能对新节点归纳合适的嵌入表达，并有效地预测新节点间的链路，引入了 transformer模型。首先，transformer中的多头注意力、前馈神经网络结合残差网络，能增强模型的泛化能力和特征学习能力。其次，在信息网络的异构表示方法中邻居聚合的方式，方法将按照时间顺序采样得到邻居子图，基于transformer进行邻居聚合，以节点序列的方式捕获邻居特征，并结合图注意力网络得到不同链接类型下的节点向量。最后，得到具有异构特征和动态特征的节点嵌入向量，通过计算节点在某种链接类型下的相似性来预测在该链接类型下的链路。因此，方法通过增强模型的泛化能力及特征学习能力，从而为新节点归
纳合适的嵌入，有效地预测新节点间的链路。
6.一种基于transformer的动态异构网络链路预测方法，其中包括如下步骤：
7.步骤1，本发明提出了针对动态异构网络中新节点的链路预测方法，方法将分五部分完成。一是构建动态异构网络，二是信息网络的异构表示方法，三是信息网络的动态编码方法，四是最小化交叉熵损失函数，五是链路预测。
8.步骤2，信息网络的异构表示方法。异构特征提取中，根据链路类型将网络分成多个视图，每个视图包含一种类型的链接，并对各个视图基于transformer进行邻居聚合，视图间基于图注意力网络互相融合以得到不同链接类型下的节点嵌入向量。
9.步骤3，信息网络的动态编码方法。为了提取动态特征，通过时间编码函数得到动态特征向量并融入节点特征表示，并结合图注意力网络聚合邻居特征以捕获网络的动态演变。
10.步骤4，最小化交叉熵损失函数。模型将不断根据下一时刻网络中节点间链路概率与正负样本之间的损失值，通过梯度下降函数反馈修正模型参数及节点嵌入向量，最终得到预测模型。
11.步骤5，链路预测。将具有动态特征的节点嵌入向量分别与不同链接类型下的节点嵌入向量整合，得到节点在不同链接类型下的最终嵌入向量；以节点对在某种链接类型下的最终嵌入向量作为输入，计算向量相似性并预测测试时期网络中节点对在该链接类型下的链路。
12.基于transformer的动态异构网络链路预测方法，其中，信息网络中的异构表示方法中，按照链接类型分成多个视图，各个视图按照链接时间顺序采样邻居。以节点及节点特征向量集合作为输入，使用transformer对邻居特征进行聚合，以得到各个视图下具有邻居特征的节点特征向量。transformer是完全基于自注意力机制的一个深度学习模型，它使用多头注意力机制和前馈神经网络来充分捕获序列特征，并结合残差网络即归一化函数平衡模型带来的过度学习的问题，因此模型在性能上都要高于之前传统的循环神经网络。
13.基于transformer的动态异构网络链路预测方法，其中，信息网络的异构特征方法中，视图间基于图注意力网络互相聚合，得到不同链接类型下的节点特征向量，这是通过视图间的不同影响力来区分网络异构性。
14.基于transformer的动态异构网络链路预测方法，其中，信息网络中的动态编码方法中使用了时间编码函数对时间间隔进行特征向量表示，时间编码函数能将时域变化通过时间函数编码映射到连续可微函数域，根据链接之间的时间间隔得到动态特征向量。
15.基于transformer的动态异构网络链路预测方法，其中，信息网络中的动态编码方法中，根据链路时间顺序采样得到邻居子图，将动态特征向量融入节点特征向量中，并通过图注意力网络计算邻居节点间的不同权重值以获得具有动态特征的节点特征向量。
16.本发明具有以下有益效果：本发明通过分别学习信息网络的异构特征和动态特征以丰富节点的特征向量，并引入transformer以节点序列的方式进行邻居聚合，提高模型的泛化能力及特征学习能力。因此，对未来时期网络中的新节点归纳合适嵌入表达，适用于新节点的链路预测。
附图说明
17.图1为本发明所述一种基于transformer的动态异构网络链路预测方法的流程示意图；
18.图2为本发明实施例一中构建动态异构网络的流程示意图；
19.图3为本发明实施例一中基于transformer的邻居聚合的流程示意图；
20.图4为本发明实施例一中信息网络的异构表示方法的流程示意图；
21.图5为本发明实施例一中信息网络的动态编码方法的流程示意图；
22.图6为本发明实施例一中链路预测的流程示意图；
23.图7为本发明实施例二已知节点和新节点的链路预测的实验结果图；
具体实施方式
24.以下将结合附图详细介绍本发明的详细说明，所描述的实例仅用于解释本发明，并不限制本发明。
25.实施例一
26.如图1所示，是一种动态异构网络的链路预测方法，包括：
27.步骤1，以节点和链接集合作为输入，经过数据预处理构建一个动态异构网络。
28.步骤2，以步骤1构建的动态异构网络作为输入，初始化节点的嵌入向量，经过信息网络的异构表示方法，得到节点在不同链接类型下的嵌入向量。
29.步骤3，以步骤1构建的动态异构网络作为输入，初始化节点的嵌入向量，经过信息网络的动态编码方法，得到具有动态特征的节点嵌入向量。
30.步骤4：将步骤3的节点嵌入向量分别和步骤2的不同链接类型下节点嵌入向量融合，通过最小化交叉熵损失函数，得到预测模型。
31.步骤5：根据预测模型在某种链接类型下的节点最终嵌入向量，并计算节点间相似性以预测在该链接类型下的链路。
32.如图2所示，步骤1中构建动态异构网络的具体内容为：
33.1)定义了动态异构网络：动态异构网络图可以被形式化描述为无向图，并集合所有节点及链接，节点间的链路包含产生时间和链接类型。
34.2)对输入的节点和链接集合进行预处理：不同的节点和链接类型用不同数字代替以保留网络的异构性；按照节点间的链接产生时间对链接信息由小到大排序，以保证网络结构顺序演变。
35.如图4所示，步骤2中信息网络的异构表示方法的具体内容为：
36.1)分视图：得到以节点为中心的只包含过去交互过的所有邻居的局部图，并根据不同的链接类型来将邻居划分成多个视图，每一个视图只包含一种链接类型。
37.2)基于transformer的邻居聚合：针对各个视图，按照链接时间顺序采样邻居得到子图，并基于transformer以节点序列的方式进行邻居特征聚合。
38.3)基于图注意力网络的视图聚合：视图间基于图注意力网络互相融合以得到节点在不同链接类型下的嵌入向量。
39.如图3所示，步骤2中基于transformer的邻居聚合的具体内容为：
40.1)按照链接时间顺序采样邻居，得到节点及邻居节点的特征向量。
41.2)以节点及邻居节点的特征向量作为输入，经过多头注意力网络、前馈神经网络和残差机制，得到具有邻居特征的节点嵌入向量。
42.如图5所示，步骤3中信息网络的动态编码方法的具体内容为：
43.1)时间编码：使用时间编码函数能有效地将时间间隔表示成特征向量，之后将动态特征向量融入到节点嵌入中。
44.2)基于图注意力网络的动态聚合：本发明将以节点为中心按照时间顺序采样邻居得到子图，并使用图注意力网络融合邻居节点向量以得到带有动态特征的节点特征向量。
45.如图6所示，步骤5中链路预测的具体内容为：
46.1)整合嵌入：将具有动态特征的节点嵌入向量分别融合不同视图下的节点嵌入向量，得到不同链接类型下节点的最终嵌入向量。
47.2)预测链路：获取下一个时刻网络中两个节点在某种链接类型下的最终嵌入向量，计算向量的内积得到相似度以预测在该链接类型下的链路。
48.经过以上的动态异构网络链路预测方法后，两个节点间的链路预测结果为两种，一种是存在链接，一种是不存在链接。
49.实施例二
50.实施例二是对本发明提出的动态异构网络的链路预测方法在进行测试，展示其在网络中已知节点和新节点的链路预测效果。
51.首先定义以下两种指标：
52.tn(true negative)称为真阴，即预测为负样本，且实际也是负样本的个数。
53.fp(false positive)称为假阳，即预测为正样本，而实际是负样本的个数。
54.fn(false negative)称为假阴，即预测为负样本，而实际是正样本的个数。
55.tp(true positive)称为真阳，即预测为正样本，且实际也是正样本的个数。
56.由以上四种定义可以得到假阳率(fpr)、真阳率(tpr)、精确率(precision)和召回率(recall)。
[0057][0058][0059][0060][0061]
将假阳率作为横坐标，真阳率作为纵坐标，得到roc曲线。将召回率作为横坐标，精准率作为纵坐标，得到prc曲线。本发明将链路预测常用的auroc(roc曲线下面积)和auprc(prc曲线下面积)作为评价指标，对本发明提出的动态异构网络链路预测方法进行衡量。
[0062]
本发明将实验数据分为训练集、验证集和测试集。为了使得测试时期网络相对训练时具有全新的节点，本发明将对数据集进行以下两个调整。第一，为了确保在测试过程中，存在适当数量的新节点间的未来链接，对于每一个数据集，随机抽取10％的节点，在训练过程中对相关的链接进行掩码，这样可以在测试中视为新节点；第二，在测试的网络图中出现的新节点间可能没有太多的交互，所以本发明在测试中保留了这些掩码链接，这是合
理且有必要的。
[0063]
本发明提出的动态异构网络链路预测方法针对已知节点的链路预测实验结果如图7 所示，本发明提出的方法得到了良好的结果，这说明本发明提出的方法充分捕获了网络中的异构性和动态性。另外，由于transformer具有强大的网络结构特征提取能力使得节点的嵌入表达更加充分，能有效地预测链路。
[0064]
相对已知节点的链路预测，针对新节点的链路预测更加困难，因为方法需要具有将新节点与方法训练过的节点嵌入对齐的能力。本发明对新节点的链路预测实验结果如图7 所示，实验结果表明，本发明能为新节点归纳合适的嵌入向量并完成链路预测，这是由于信息网络的异构表示方法和动态编码方法中通过采样邻居子图以更新中心节点的嵌入向量，使得模型能学习到的不是固定的图结构而是采样和聚合的参数。此外，在方法中引入了transformer，增强了模型的泛化能力及特征学习能力。
[0065]
以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。