一种基于边类型注意力机制的实体对齐方法及装置与流程

[0001]
本发明属于电力系统大数据处理领域，具体涉及一种基于边类型注意力机制的实体对齐方法及装置。


背景技术：

[0002]
在大规模知识库构建的任务中，需要处理大量来自多源知识库的实体数据，它们通常以知识图谱的形式存储在知识库中，如图1所示。因此，在构建知识库之初，首先需建立一个知识融合方法来对多源知识图谱进行融合。由于不同知识库的信息来源不同，以及人工定义及校对的差异，语义上相同的实体在不同的知识库中会有不同的表现形式。具有相同名称的实体也许表示着语义上的同一事物，也许表示着两种事物。因此在知识融合前，需要推断来自不同知识库的不同实体是否指代现实世界中的同一客观对象，即实体对齐任务。如图2所示，在中文电力知识图谱子图中，电阻和金属分别是头实体和尾实体，材料是他们之间的关系，知识图谱实体对齐就是找图中虚线对应实体对，例如电阻对应resistance。
[0003]
知识图谱实体对齐的关键是知识图谱嵌入，其思想是学习知识图谱的向量表示(称为嵌入)，根据嵌入的相似性找到实体对齐。目前的实体对齐方法，大多都基于transe(translate embedding)模型，把每个三元组(h,r,t)建模为h+r≈t的形式；但是，该方法忽略了结构信息对实体对齐带来的积极影响。后来，基于gcn模型，通过学习邻域的结构信息的嵌入，即汇集邻居信息，从而使得中心节点包含邻域结构特征来得到实体嵌入；这种结构信息的好处在于：如图2所示，实体“电阻器(resistor)”和实体“resistance(电阻)”是从维基百科上获取的对齐实体对，然而，仅从翻译过后的语义信息是无法判断他们是否对齐，因此通过聚集邻居节点，即通过“欧姆”与“ohm”、“金属”与“metal”的对齐来捕获更多关于“电阻器”和“resistance”对齐的证据。
[0004]
然而，以上方法存在两个局限：一是无法自动感知关系类型的权重。关系类型权重能强化结构信息，如图2所示，“单位(unit)”这种关系能很好地表示实体的特征，例如“resistance(电阻)”的单位是“ohm(欧姆)”，ohm可以作为电阻的主要特征，因此在邻居聚集时应该赋予更高的权重，这个权重由关系“unit(单位)”表示。而以往的方法将邻居节点同等对待，因此不能感知关系的权重，也不能保证同类型的关系在训练过程中的一致性。二是关系属性没有得到充分的利用，对齐的节点对周围的关系也存在对齐，有效利用关系属性信息可以获得更好的实体嵌入，例如在图2中，中文实体电阻器相连的关系种类、单位、材料，与英文实体resistance相连的关系type(种类)、unit(单位)、material(材料)是对齐的。
[0005]
综上所述，当前的知识图谱实体对齐方法忽略了关系类型信息在实体对齐方面的作用。


技术实现要素：

[0006]
本发明的目的之一在于提供一种精确度高、实用性好且简单可靠的基于边类型注
意力机制的实体对齐方法。
[0007]
本发明的目的之二在于提供一种实现所述基于边类型注意力机制的实体对齐方法的装置。
[0008]
本发明提供的这种基于边类型注意力机制的实体对齐方法，包括如下步骤：
[0009]
s1.以电力知识图谱实体对齐为例，构建电力知识图谱的类型对偶图；
[0010]
s2.采用属性注意力机制训练步骤s1得到的类型对偶图的节点特征，从而得到类型对偶图中每个节点的嵌入，并使得相同类型关系在训练过程中保持一致；
[0011]
s3.将类型对偶图中的节点转换为知识图谱中关系的注意力系数，并将知识图谱中的节点根据关系注意力系数聚集邻居实体与关系信息，从而得到最终的结构化嵌入结果；
[0012]
s4.根据不同知识图谱中对齐实体嵌入的距离，计算损失函数的值，从而将不同知识图谱中实体进行对齐，得到不同知识图谱中实体对齐的实体对。
[0013]
步骤s1所述的构建电力知识图谱的类型对偶图，具体为采用如下步骤构建类型对偶图：
[0014]
给定跨语言知识图谱g1和g2，将原始电力知识图谱表示为g1和g2的融合g
e
＝(v
e
,ε
e
)，其中节点集合v
e
为g1和g2的实体集合，边集合ε
e
为g1和g2中所有关系的集合；同时，对齐的实体在g
e
中并未连接；g
e
的类型对偶图表示为g
r
，在g
e
中每种类型的边被描述为类型对偶图g
r
中的节点v
r
；同时边r
i
和r
j
在电力知识图谱中共同与一个实体信息连接时，此时对应的类型对偶图g
r
中节点和被边w
ij
连接，且边w
ij
的权重为边r
i
和r
j
共享头实体或尾实体的节点的数量与边r
i
和r
j
连接的头实体或尾实体数量的比值。
[0015]
所述的边w
ij
的权重，具体为采用如下公式计算权重w
ij
：
[0016][0017]
式中h
i
为边r
i
在原始图中的头实体的集合，h
j
为边r
j
在原始图中的头实体的集合，t
i
为边r
i
在原始图中的尾实体的集合，t
j
为边r
j
在原始图中的尾实体的集合。
[0018]
步骤s2所述的采用属性注意力机制训练步骤s1得到的类型对偶图的节点特征，具体为在类型对偶图中，每个节点通过自注意力机制加权距离邻居节点信息，并采用如下算式计算得到注意力分数从而得到类型对偶图中节点i的嵌入
[0019][0020][0021]
式中为和之间的注意力分数；ξ为激活函数leaky relu；为类型对偶图中边权重；a1为用于将输入映射成标量的全连接层；w1为用于训练的权重矩阵且
其中d是矩阵的维度；r
i
和r
j
为电力知识图谱中的边；为类型对偶图中节点的邻居集合；||为将两个向量连接的操作符；σ为激活函数relu。
[0022]
步骤s3所述的将类型对偶图中的节点转换为知识图谱中关系的注意力系数，并将知识图谱中的节点根据关系注意力系数聚集邻居实体与关系信息，从而得到最终的结构化嵌入结果，具体为采用如下步骤得到最终的结构化嵌入结果：
[0023]
a.采用如下算式，将关系嵌入映射到权重系数：
[0024][0025]
式中为得到的与节点q连接的关系i的权重系数；ξ为激活函数leaky relu，a2为全连接层，为类型对偶图中节点j的嵌入，即关系j的嵌入；为节点q的邻居关系的集合；
[0026]
b.根据步骤a得到的权重系数，采用如下算式聚合邻居节点信息，从而得到节点周围的子结构信息，增强节点的表示；
[0027][0028][0029]
式中为邻域聚合操作过程中的关系类型信息；σ为激活函数relu；r
i
为关系i的初始嵌入；为邻域聚合操作过程中的结构信息；为与实体q邻居集合中通过关系i相连的邻居；x
t
为实体t的初始嵌入；
[0030]
c.采用如下算式，将步骤b得到的关系类型信息和结构信息进行融合，从而得到最终的实体：
[0031][0032]
式中为节点q整合了结构以及关系信息的嵌入结果；x
q
为节点q在电力知识图谱中的初始化；||为连接符号。
[0033]
步骤s4所述的根据不同知识图谱中对齐实体嵌入的距离，计算损失函数的值，从而将不同知识图谱中实体进行对齐，得到不同知识图谱中实体对齐的实体对，具体为采用如下步骤得到实体对：
[0034]
a.采用如下算式计算不同只是图谱节点嵌入的距离：
[0035]
式中d(e1,e2)为节点e1和e2之间的距离；为实体e1的最终嵌入；
[0036]
b.根据步骤a计算得到的距离，针对某个节点，选取在另一个电力知识图谱中距离最近的点作为匹配的对齐节点；
[0037]
c.采用如下算式，减小真实匹配实体对之间的距离，增大负匹配实体之间的距离，从而达到减小损失的效果：
[0038][0039]
式中p和q表示不同知识图谱中的对齐实体；ll为对齐种子的集合；p'和q'为负样本的对齐实体；ll'为负对齐实体对集合；d(p,q)为正样本中实体p与q之间的距离；d(p',q')为负样本中实体p'与q'之间的距离；γ为超参数；
[0040]
d.根据损失训练得到最终的实体嵌入表示，搜索不同知识图谱中距离最近的实体，将其作为对齐实体。
[0041]
本发明还提供了一种实现所述基于边类型注意力机制的实体对齐方法的装置，包括类型对偶图构建模块、对偶图嵌入获取模块、结构化嵌入结果获取模块和实体对齐模块；类型对偶图构建模块、对偶图嵌入获取模块、结构化嵌入结果获取模块和实体对齐模块依次串联；类型对偶图构建模块用于构建电力知识图谱的类型对偶图，并将构建的结果上传对偶图嵌入获取模块；对偶图嵌入获取模块用于根据获取的数据，采用属性注意力机制训练类型对偶图的节点特征，从而得到类型对偶图中每个节点的嵌入，并使得相同类型关系在训练过程中保持一致，并最终将结果上传结构化嵌入结果获取模块；结构化嵌入结果获取模块用于将类型对偶图中的节点转换为知识图谱中关系的注意力系数，并将知识图谱中的节点根据关系注意力系数聚集邻居实体与关系信息，从而得到结构化嵌入结果，并上传实体对齐模块；实体对齐模块用于根据不同知识图谱中对齐实体嵌入的距离，计算损失函数的值，从而将不同知识图谱中实体进行对齐，得到并输出不同知识图谱中实体对齐的实体对。
[0042]
本发明提供的这种基于边类型注意力机制的实体对齐方法及装置，利用边类型注意力机制将知识图谱的关系属性转换成实体之间的注意力系数，同时知识图谱中实体根据注意力系数加权聚集邻居实体及关系信息，获得新的实体嵌入；基于边类型注意力机制的知识图谱实体对齐方法一方面在挖掘实体结构特征时保持相同类型关系在训练过程中的一致性；另一方面将关系信息和实体信息都考虑到实体对齐，充分利用图的属性特征(包括点和边)，有效优化了实体的嵌入表示，大大提高了实体对齐的精确度，本发明方法拓宽了关系信息挖掘的思路，挖掘了实体的结构特征，而且精确度高、实用性好且简单可靠。
附图说明
[0043]
图1为不同源的电力知识图谱示意图。
[0044]
图2为知识图谱实体对齐示意图。
[0045]
图3为本发明方法的方法流程示意图。
[0046]
图4为本发明方法的类型对偶图示意图。
[0047]
图5为本发明方法的边类型注意力机制示意图。
[0048]
图6为本发明装置的功能模块图。
具体实施方式
[0049]
如图3所示为本发明方法的方法流程示意图：本发明提供的这种基于边类型注意力机制的实体对齐方法，包括如下步骤：
[0050]
s1.以电力知识图谱实体对齐为例，构建电力知识图谱的类型对偶图；具体为采用如下步骤构建类型对偶图：
[0051]
知识图谱的一类边表示类型对偶图中的节点，知识图谱种两种边共同连接一个点，那么其对应类型对偶图中的点之间存在边相连。类型对偶图示意图如图4所示，电力知识图谱为g，类型对偶图为g
r
，假设原始知电力识图谱中有三类边r1、r2和r3，对应类型对偶图的三个节点，其中在电力知识图谱中r1和r2有x3这个共有节点，因此它们在类型对偶图中有边相连，表示为w
12
；
[0052]
因此，给定跨语言知识图谱g1和g2，将原始电力知识图谱表示为g1和g2的融合g
e
＝(v
e
,ε
e
)，其中节点集合v
e
为g1和g2的实体集合，边集合ε
e
为g1和g2中所有关系的集合；同时，对齐的实体在g
e
中并未连接；g
e
的类型对偶图表示为g
r
，在g
e
中每种类型的边被描述为类型对偶图g
r
中的节点v
r
；同时边r
i
和r
j
在电力知识图谱中共同与一个实体信息连接时，此时对应的类型对偶图g
r
中节点v
ir
和v
jr
被边w
ij
连接，且边w
ij
的权重为边r
i
和r
j
共享头实体或尾实体的节点的数量与边r
i
和r
j
连接的头实体或尾实体数量的比值；
[0053]
其中，采用如下公式计算权重w
ij
：
[0054][0055]
式中h
i
为边r
i
在原始图中的头实体的集合，h
j
为边r
j
在原始图中的头实体的集合，t
i
为边r
i
在原始图中的尾实体的集合，t
j
为边r
j
在原始图中的尾实体的集合；
[0056]
s2.采用属性注意力机制训练步骤s1得到的类型对偶图的节点特征，从而得到类型对偶图中每个节点的嵌入，并使得相同类型关系在训练过程中保持一致；具体为在类型对偶图中，每个节点通过自注意力机制加权距离邻居节点信息，并采用如下算式计算得到注意力分数从而得到类型对偶图节点i的嵌入
[0057][0058][0059]
式中为和之间的注意力分数；ξ为激活函数leaky relu；为类型对偶图中边权重；a1为用于将输入映射成标量的全连接层；w1为用于训练的权重矩阵且其中d是矩阵的维度；r
i
和r
j
为电力知识图谱中的边；为类型对偶图中节点
的邻居集合；||为将两个向量连接的操作符；σ为激活函数relu；
[0060]
s3.将类型对偶图中的节点转换为知识图谱中关系的注意力系数，并将知识图谱中的节点根据关系注意力系数聚集邻居实体与关系信息，从而得到最终的结构化嵌入结果；
[0061]
本步骤将类型对偶图中的节点转换为知识图谱中关系的注意力系数，且同一类型的关系的嵌入与注意力系数相同，知识图谱中节点根据关系注意力系数聚集邻居实体与关系信息，获得最终的结构化嵌入，具体过程如图5所示；
[0062]
采用如下步骤得到最终的结构化嵌入结果：
[0063]
a.采用如下算式，将关系嵌入映射到权重系数：
[0064][0065]
式中为得到的与节点q连接的关系i的权重系数；ξ为激活函数leaky relu，a2为全连接层，为类型对偶图中节点j的嵌入，即关系j的嵌入；为节点q的邻居关系的集合；
[0066]
b.根据步骤a得到的权重系数，采用如下算式聚合邻居节点信息，从而得到节点周围的子结构信息，增强节点的表示；
[0067][0068][0069]
式中为邻域聚合操作过程中的关系类型信息；σ为激活函数relu；r
i
为关系i的初始嵌入；为邻域聚合操作过程中的结构信息；为与实体q邻居集合中通过关系i相连的邻居；x
t
为实体t的初始嵌入；
[0070]
c.采用如下算式，将步骤b得到的关系类型信息和结构信息进行融合，从而得到最终的实体：
[0071][0072]
式中为节点q整合了结构以及关系信息的嵌入结果；x
q
为节点q在电力知识图谱中的初始化；||为连接符号；
[0073]
s4.根据不同知识图谱中对齐实体嵌入的距离，计算损失函数的值，从而将不同知识图谱中实体进行对齐，得到不同知识图谱中实体对齐的实体对；具体为采用如下步骤得到实体对：
[0074]
a.采用如下算式计算不同只是图谱节点嵌入的距离：
[0075][0076]
式中d(e1,e2)为节点e1和e2之间的距离；为实体e1的最终嵌入；
[0077]
b.根据步骤a计算得到的距离，针对某个节点，选取在另一个电力知识图谱中距离最近的点作为匹配的对齐节点；
[0078]
c.采用如下算式，减小真实匹配实体对之间的距离，增大负匹配实体之间的距离，从而达到减小损失的效果：
[0079][0080]
式中p和q表示不同知识图谱中的对齐实体；ll为对齐种子的集合；p'和q'为负样本的对齐实体；ll'为负对齐实体对集合；d(p,q)为正样本中实体p与q之间的距离；d(p',q')为负样本中实体p'与q'之间的距离；γ为超参数；
[0081]
d.根据损失训练得到最终的实体嵌入表示，搜索不同知识图谱中距离最近的实体，将其作为对齐实体。
[0082]
如图6所示为本发明装置的功能模块图：本发明提供的这种实现所述基于边类型注意力机制的实体对齐方法的装置，包括类型对偶图构建模块、对偶图嵌入获取模块、结构化嵌入结果获取模块和实体对齐模块；类型对偶图构建模块、对偶图嵌入获取模块、结构化嵌入结果获取模块和实体对齐模块依次串联；类型对偶图构建模块用于构建电力知识图谱的类型对偶图，并将构建的结果上传对偶图嵌入获取模块；对偶图嵌入获取模块用于根据获取的数据，采用属性注意力机制训练类型对偶图的节点特征，从而得到类型对偶图中每个节点的嵌入，并使得相同类型关系在训练过程中保持一致，并最终将结果上传结构化嵌入结果获取模块；结构化嵌入结果获取模块用于将类型对偶图中的节点转换为知识图谱中关系的注意力系数，并将知识图谱中的节点根据关系注意力系数聚集邻居实体与关系信息，从而得到结构化嵌入结果，并上传实体对齐模块；实体对齐模块用于根据不同知识图谱中对齐实体嵌入的距离，计算损失函数的值，从而将不同知识图谱中实体进行对齐，得到并输出不同知识图谱中实体对齐的实体对。