一种结合图神经网络的知识表示和预测方法

1.本发明属于知识图谱技术领域，具体涉及一种结合图神经网络的知识表示和预测方法。


背景技术：

2.当将大规模实体连接形成图谱后，可以为智能机器提供阅读理解能力，面对需要大数据和海量知识做支撑的需求时，提升数据智能化处理的效率，推进智能应用的发展，现有知识图谱尽管包括了看似数量庞大的实体和关系，但存在知识缺失问题，亟需完成对实体的表示学习，基于实体表示进行知识预测，现有的知识表示方法主要采用基于图神经网络的模型，该模型能够利用实体上下文信息进行实体特征学习。
3.近几年结合图神经网络的模型取得了一定成果，r-gcn模型中为每个关系定义一种转换模式，从关系方向的角度对知识图谱进行微观上的建模。chao等人提出加权图卷积神经网络(wgcn)，该网络通过给不同关系设置不同的权重有效利用了关系的类型信息，并通过wgcn完成了对知识图谱中邻域信息的融合模式的建模并以此学习实体的嵌入表示，然后将实体、关系嵌入输入到基于conv-transe的打分模块中计算三元组得分，从而完成三元组补全任务。compgcn则区分边的方向，在不同方向的边中应用不同的注意力网络，并利用不同实体关系组合操作融合实体邻域信息。上述模型通过捕获实体的上下文信息提高对实体的表达能力，但是模型仅仅考虑一阶邻信息来学习目标实体表示，忽略了远距离实体信息对目标实体的语义信息，造成了模型全局语义信息利用不足的问题。


技术实现要素：

4.本发明的目的是为了解决现有技术缺失知识挖掘能力不够且知识表达中关联信息利用不充分的问题，提出了一种结合图神经网络的知识表示和预测方法。
5.本发明的技术方案是：一种结合图神经网络的知识表示和预测方法包括以下步骤：
6.s1：获取源数据，并根据源数据构建负样本集合；
7.s2：构建实体集合；
8.s3：根据负样本集合和实体集合，利用图神经网络获取实体远距离关联信息；
9.s4：根据负样本集合、实体集合和实体远距离关联信息，构建并训练知识表示模型，得到实体表示向量和关系表示向量；
10.s5：根据实体表示向量和关系表示向量，构建知识预测模型，并利用知识预测模型进行知识预测。
11.进一步地，步骤s1中，构建负样本集合的具体方法为：对源数据进行预处理，将预处理后获取的正例三元组作为正样本集合，随机替换正例三元组的头实体，得到负例三元组，根据负例三元组构建负样本集合。
12.进一步地，述步骤s2中，构建实体集合的具体方法为：计算各个实体与其余实体的
语义距离，获取语义距离小于设定距离阈值的实体，得到实体的语义空间邻域；在语义空间邻域内，获取各个实体与其余实体的拓扑跳数为3和4的实体集合。
13.进一步地，步骤s2中，语义距离d(vi,vj)的计算公式为：
[0014][0015]
其中，vi为实体i，vj为实体j，为实体i的初始表示向量，为实体j的初始表示向量。
[0016]
进一步地，步骤s3中，获取实体远距离关联信息的具体方法为：获取负样本集合和实体集合的交集，采用图神经网络对负样本集合和实体集合的交集进行融合更新，得到实体远距离关联信息。
[0017]
进一步地，步骤s3中，实体远距离关联信息包括对初始特征表示进行线形变换后的特征表示hu、经过激活函数计算得到的特征表示du、实体v对于目标实体u的权重系数α
uv
和对全部采样实体进行融合后得到的目标实体特征表示h
′v，其计算公式分别为：
[0018]hu
＝w1·
xu[0019]du
＝leakyrelu(w2·hu
)
[0020]
α
uv
＝softmax(du)
[0021]h′v＝σ(∑
u∈n(v)
α
uv
·hu
)
[0022]
其中，xu为采样出的实体远距离初始特征表示，w1为对应步骤线形变换矩阵第一参数，w1为对应步骤线形变换矩阵第二参数，leakyrelu(
·
)为激活函数，softmax(
·
)为归一化函数，u为当前待计算最终表示的目标实体，n(v)为目标实体u经过采样后的远距离关联实体集合，σ(
·
)为激活函数。
[0023]
进一步地，步骤s4中，知识表示模型的损失函数l(θ)表达式为：
[0024]
l(θ)＝∑
s∈s
∑s′
∈s
′
max(f(s)-f(s
′
)+γ,0)
[0025]
其中，s为正样本集合，s为正样本集合中的正例三元组，s
′
为负样本集合，s
′
为负样本集合中的负例三元组，f(
·
)为预测三元组是否成立的得分函数，γ为训练时正负样本间的软间隔参数。
[0026]
进一步地，步骤s5中，构建知识预测模型的具体方法为：将实体表示向量和关系表示向量输入至卷积神经网络中，获取实体和关系之间的交互特征，并利用分类器计算交互特征的得分，完成知识预测模型构建。
[0027]
进一步地，步骤s5中，知识预测模型的损失函数l
′
(θ)表达式为：
[0028][0029]
其中，h为三元组样本中的头实体，r为关系，t为尾实体，s为正样本集合，s
′
为负样本集合，y
(
·
)
为训练数据的标签，正样本三元组标签为1负样本三元组标签为-1，f(
·
)为预测三元组是否成立的得分函数，λ为参数正则化参数，w为卷积核参数。
[0030]
本发明的有益效果是：本发明基于图神经网络理论基础，针对知识图谱中知识表示和预测，提供一种结合图神经网络的知识表示和预测方法。利用图神经网络融合了实体的远距离关联信息，为实体学习表示向量，最终为知识预测服务。
附图说明
[0031]
图1为知识表示和预测方法的流程图；
[0032]
图2为本发明的远距离关联实体采样；
[0033]
图3为本发明中结合图神经网络信息融合过程；
[0034]
图4为本发明的知识预测模型示意图。
具体实施方式
[0035]
下面结合附图对本发明的实施例作进一步的说明。
[0036]
如图1所示，本发明提供了一种结合图神经网络的知识表示和预测方法，包括以下步骤：
[0037]
s1：获取源数据，并根据源数据构建负样本集合；
[0038]
s2：构建实体集合；
[0039]
s3：根据负样本集合和实体集合，利用图神经网络获取实体远距离关联信息；
[0040]
s4：根据负样本集合、实体集合和实体远距离关联信息，构建并训练知识表示模型，
[0041]
得到实体表示向量和关系表示向量；
[0042]
s5：根据实体表示向量和关系表示向量，构建知识预测模型，并利用知识预测模型进行知识预测。
[0043]
在本发明实施例中，步骤s1中，构建负样本集合的具体方法为：对源数据进行预处理，将预处理后获取的正例三元组作为正样本集合，随机替换正例三元组的头实体，得到负例三元组，根据负例三元组构建负样本集合。正例三元组标签为1，负例三元组标签为0。
[0044]
在本发明实施例中，述步骤s2中，构建实体集合的具体方法为：计算各个实体与其余实体的语义距离，获取语义距离小于设定距离阈值的实体，得到实体的语义空间邻域；在语义空间邻域内，获取各个实体与其余实体的拓扑跳数为3和4的实体集合。以拓扑跳数为标准，按照预设拓扑跳数，获取与目标实体在拓扑结构上跳数较远的实体集合。
[0045]
在本发明实施例中，步骤s2中，语义距离d(vi,vj)的计算公式为：
[0046][0047]
其中，vi为实体i，vj为实体j，为实体i的初始表示向量，为实体j的初始表示向量。
[0048]
在本发明实施例中，步骤s3中，获取实体远距离关联信息的具体方法为：获取负样本集合和实体集合的交集，采用图神经网络对负样本集合和实体集合的交集进行融合更新，得到实体远距离关联信息。
[0049]
远距离关联信息融合的目的是为目标实体融合与其在拓扑结构上距离较远但是又相关联的实体信息，给定距离参数ρ，获取与目标实体语义距离小于参数ρ的实体集合ns(vi)＝{vj|vj∈e,d(vi,vj)《ρ}。为了获取实体的远距离关联信息，需要基于图本身的拓扑结构找到与目标实体距离较远的实体。首先获取实体的一阶邻域，用邻接矩阵表示：
[0050][0051]
其中，如果在数据集中存在三元组(vi,r,vj)，则a
ij
＝1，否则a
ij
＝0。
[0052]
根据布尔运算的性质，计算出k跳内可达节点的邻接矩阵，可达矩阵描述了有向图中各节点间经过一定长度路径后的可达到性：
[0053][0054]
其中，为实体i经过k跳的路径后到达实体j的路径数，如果则实体i和实体j经过k跳可达，取跳数k＝3和4得到目标实体的远距离关联实体集合实体j经过k跳可达，取跳数k＝3和4得到目标实体的远距离关联实体集合
[0055]
取负样本集合和实体集合的交集得到与目标实体距离较远但语义相关性紧密的实体集合n(vi)＝ns(vi)∩n
t
(vi)，并采用一种图神经网络融合该集合中实体信息，进行实体隐藏特征的更新；首先对集合内的所有实体通过自注意力方式进行信息聚合，通过leakyrelu和softmax得到每个待融合实体的相对注意力权重，然后对这些实体信息进行加权求和得到实体嵌入。
[0056]
在本发明实施例中，步骤s3中，实体远距离关联信息包括对初始特征表示进行线形变换后的特征表示hu、经过激活函数计算得到的特征表示du、实体v对于目标实体u的权重系数α
uv
和对全部采样实体进行融合后得到的目标实体特征表示h
′v，其计算公式分别为：
[0057]hu
＝w1·
xu[0058]du
＝leakyrelu(w2·hu
)
[0059]
α
uv
＝softmax(du)
[0060]h′v＝σ(∑
u∈n(v)
α
uv
·hu
)
[0061]
其中，xu为采样出的实体远距离初始特征表示，w1为对应步骤线形变换矩阵第一参数，w1为对应步骤线形变换矩阵第二参数，leakyrelu(
·
)为激活函数，softmax(
·
)为归一化函数，u为当前待计算最终表示的目标实体，n(v)为目标实体u经过采样后的远距离关联实体集合，σ(
·
)为激活函数。
[0062]
在本发明实施例中，如图4所示，步骤s4中，知识表示模型的损失函数l(θ)表达式为：
[0063]
l(θ)＝∑
s∈s
∑s′
∈s
′
max(f(s)-f(s
′
)+γ,0)
[0064][0065]
其中，s为正样本集合，s为正样本集合中的正例三元组，包含头实体、关系和尾实体，s
′
为负样本集合，s
′
为负样本集合中的负例三元组，也包含头实体、关系和尾实体，f(
·
)为预测三元组是否成立的得分函数，γ为训练时正负样本间的软间隔参数。
[0066]
在本发明实施例中，步骤s5中，构建知识预测模型的具体方法为：将实体表示向量和关系表示向量输入至卷积神经网络中，获取实体和关系之间的交互特征，并利用分类器
计算交互特征的得分，完成知识预测模型构建。
[0067]
在得到实体、关系的最终表示向量后，需要进行知识预测，首先需要对知识预测模型进行训练，该模型基于卷积神经网络构建，将实体、关系表示以三元组的形式输入到模型中，捕获实体、关系间的交互特征，最后通过一个分类器计算该三元组是否成立的概率，将这个概率最为三元组的得分，然后根据样本数据集的标签，采用软间隔损失函数训练模型：
[0068]
给定一个缺失头实体或尾实体的三元组，将知识图谱中的所有实体填入该三元组中，并获取每一个填补后的三元组的成立概率分数，分数最高的三元组则是正确的三元组，从而完成知识预测。
[0069]
在本发明实施例中，步骤s5中，知识预测模型的损失函数l
′
(θ)表达式为：
[0070][0071][0072]
其中，h为三元组样本中的头实体，r为关系，t为尾实体，s为正样本集合，s
′
为负样本集合，y
(
·
)
为训练数据的标签，正样本三元组标签为1负样本三元组标签为-1，f(
·
)为预测三元组是否成立的得分函数，λ为参数正则化参数，w为卷积核参数，σ是激活函数，ω1和w1是3x3卷积核参数。
[0073]
在本发明实施例中，结合图神经网络的知识表示与预测方法训练分为训练和测试两部分，训练部分又分为表示模型的训练和三元组打分模型，训练部分主要在于获取训练好的知识表示向量和知识预测模型，测试部分则能够根据训练好的模型直接进行知识预测。
[0074]
其中，训练部分的具体实施如下：训练分为两部分，知识表示和三元组打分，知识表示中涉及远距离关联信息融合，如图2所示。三元组打分模型如图3所示。
[0075]
整个过程分为模型训练和测试，具体实现过程如下：
[0076]
1)知识表示模型训练(知识表示模型的网络参数)
[0077]
训练数据采用128的批大小，步骤s2中的语义距离阈值为0.5，步骤s3中的远距离跳数k＝3和4，每一次训练，计算模型的损失函数值，基于损失函数值，使用adam优化算法调整模型参数，模型训练轮次为3000，表示向量维数为200，当本次损失函数值高于前次损失函数值或训练轮次到达预设轮次数时，模型训练终止。
[0078]
2)知识预测模型训练(三元组打分模型的网络参数)
[0079]
训练数据采用128的批大小，每一次训练，计算模型的损失函数值，基于损失函数值，使用adam优化算法调整模型参数，模型训练轮次为150，当本次损失函数值高于前次损失函数值或训练轮次到达预设轮次数时，模型训练终止。
[0080]
本发明的工作原理及过程为：首先，对实体的远距离关联实体进行采样，为图神经网络构建信息融合邻域；然后采用图神经网络模型对邻域信息进行融合，为实体学习表示向量；最终，将学习到的实体、关系表示输入到由卷积网络构成的知识打分器中，将所有实体看作候选实体输入到缺失实体的三元组中，为这些三元组打分并将分数降序排列，得到最高分的三元组中的实体就是最终预测的实体，从而完成知识预测任务。
[0081]
本发明的有益效果为：本发明基于图神经网络理论基础，针对知识图谱中知识表
示和预测，提供一种结合图神经网络的知识表示和预测方法。利用图神经网络融合了实体的远距离关联信息，为实体学习表示向量，最终为知识预测服务。
[0082]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。