一种基于强化学习增强的图嵌入专家实体对齐方法

1.本发明涉及自然语言处理中的知识图谱技术领域，尤其涉及一种基于强化学习增强的图嵌入实体对齐方法。


背景技术：

[0002]“21世纪的竞争是人才的竞争”，人才要素占据产业要素的核心地位。人才知识库可作为要素调度、人才推荐、项目精准投资等下游决策任务的上游数据知识支撑，是各地政府为完善和优化产业转型、合理协调并调动各大产业要素的决策依据。当前，海量的人才相关数据广泛分布在学术机构网站、学术搜索引擎等互联网平台上，存在孤岛现象严重、数据类型多样、质量参差不齐等问题。为构建一个大规模、高质量的人才知识库，整合其他人才知识库的知识是必要手段之一。专家实体作为链接不同知识库的枢纽，对于整合各个人才知识库而言十分重要。识别不同的人才知识库中表达现实世界中同一个体的专家实体的过程，称为专家实体对齐。
[0003]
实体对齐通常通过比较待对齐实体对的一些特征，如实体名称、实体属性和属性值，使用一些机器学习方法或基于表示学习的方法进行相似度计算打分。然而，对于人才知识库来说，其存在的数据特征以及现实场景应用要求，对现有的实体对齐方法提出了一些要求：第一，可利用的信息减少。人才知识库中的关系与属性具有可枚举性，无需进行对齐。这一特点使得现有的一些实体对齐方法无法利用关系谓词和属性谓词的对齐信息，造成模型性能下降。第二，计算资源有限且运行结果不稳定。人才知识库中实体规模非常庞大，且每日将新增大量论文实体或专家实体，且不同专家发表的成果数量也有较大差异，在实际应用场景下可能造成一定程度上的计算不稳定性。第三，知识库中存在的问题边。在现有的各种知识库中，存在错误的三元组数据是比较普遍的情况，这些错误的问题边的存在无疑对模型判断实体对是否为同一现实实体产生消极影响。


技术实现要素：

[0004]
本发明的目的在于克服现有技术的不足，提供一种基于强化学习增强的图嵌入专家实体对齐方法。本发明的技术方案如下：
[0005]
本发明提供了一种基于强化学习增强的图嵌入专家实体对齐方法，其包括如下步骤：
[0006]
步骤1：获得两个人才知识库的数据g1＝(e1，t1，r)和g2＝(e2，t2，r)，其中e 代表实体集合，实体类型包括专家实体、论文实体；r代表关系集合；t代表三元组集合，是e
×r×
e的子集；
[0007]
步骤2：对于某一人才知识库中的每一专家实体e，根据专家姓名，通过候选实体对生成模块，基于正则匹配模板生成器的方法从另一个人才知识库汇中生成候选专家集合c；
[0008]
步骤3：对于每个候选专家c∈c，构建关于实体对《e，c》的2-hop异构子图 hg＝(v，h，t，r)，其中h1、h2分别代表两个人才知识库的实
体初始向量集合；初始的节点向量表示h
(0)
：
[0009][0010][0011]hstruct
＝line(g)
[0012]
其中表示向量拼接操作，h
attr
为实体各属性特征通过skip-gram模型获得的词向量的平均向量，h
struct
则是通过line模型对知识库中每个实体的结构信息进行编码得到的结构向量；
[0013]
步骤4：在节点向量更新模块，在每一层图嵌入层中，使用基于自监督信号的可靠性度量方法计算每条边的可靠性；
[0014]
步骤5：在每一层图嵌入层中，对异构子图hg，使用top-p采样策略，根据步骤4计算所得的可靠性，从大到小对每种关系采样pr条可靠边，并使用基于强化学习的节点采样数量更新策略更新节点采样数量；
[0015]
步骤6：在每一层图嵌入层中，获得采样后的异构子图后，使用基于特征线性调制的图嵌入学习算法更新节点向量；
[0016]
步骤7：经过l层图嵌入层后，取出更新后的待对齐实体对《e，c》的节点向量和通过多层感知机计算匹配概率
[0017]
步骤8：根据所有候选实体的匹配概率，取概率最高的候选专家为匹配专家。
[0018]
与现有方法相比，本发明方法的优点在于：
[0019]
(1)针对可利用信息减少的问题，使用一种基于特征线性调制的图嵌入学习算法，引入超网络思想，可根据目标节点向量动态生成关系权重矩阵，以少量参数完成高计算复杂性的消息传递机制与节点更新机制，从而更好地利用节点间的交互信息；
[0020]
(2)针对知识库中存在的问题边，本发明方法提出了一种强化学习增强的节点选择器，其应用一种基于自监督信号的可靠性度量方法，基于已有边构建自监督信号，使得可根据可靠性采样关系边，以此过滤问题边，保证参与节点更新的边的可靠性。由于采样后的异构子图的大小得到控制，同时解决了计算资源有限且运行结果不稳定的问题。
[0021]
(3)为避免大量人工调整节点采样数量，节点选择器还实现了一种基于强化学习的节点采样数量更新策略，动态优化采样节点数目。
附图说明
[0022]
图1是基于强化学习增强的图嵌入专家实体对齐方法整体框架图。
[0023]
图2是候选实体正则匹配模板生成器整体流程图。
[0024]
图3是节点向量更新模块整体流程图，其中虚线框部分仅在训练过程中实现。
具体实施方式
[0025]
下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0026]
人才知识库通常包含多种实体类型与关系类型信息，给定两个人才知识库， g1＝(e1，t1，r)和g2＝(e2，t2，r)，其中e代表实体集合，实体类型包括专家实体、论文实体；r代表关系集合；t代表三元组集合，是e
×r×
e的子集。种子实体对集合表示用于训练的已对齐实体对集合。专家实体对齐任务旨在利用已知的实体对信息训练得到一个模型，并以此预测潜在的专家对齐结果其中等号代表两个专家实体指向真实世界中同一个体。
[0027]
给定某一人才知识库中专家实体，寻找其在另一个人才知识库中所对应的专家实体的过程可视为匹配问题，即在某一特征空间下，计算给定专家实体与另一人才知识库中所有候选专家实体的匹配概率，并将匹配得分最高的实体视为对齐结果。
[0028]
如图1所示，本发明设计了强化学习增强的图嵌入专家实体对齐方法整体框架图：对于两个人才知识库，首先根据姓名生成候选实体对；然后对于每对实体对，构建2-hop异构子图；接着在节点向量更新模块，在每一层图嵌入层内，先利用基于自监督信号的节点选择器进行异构子图的可靠边采样，并同时利用强化学习模块进行可靠边采样数目的动态更新，过滤问题边后的异构子图经由基于特征线性调制的图嵌入完成当前层的节点向量更新，共l层图嵌入层；最后取出待对齐专家实体对的最终节点向量表示，进行向量点乘后，使用多层感知机完成匹配概率的计算。
[0029]
以下对本发明中各模块(步骤)进行详细介绍。
[0030]
s1候选实体对生成：为了应对中英文姓名由于缩写、多音字、复姓等情况，实现了一种基于正则匹配模板生成器的方法。图2详细描述了正则匹配模板生成器如何生成正则匹配模板的过程。
[0031]
首先分别处理中英文姓名，使用姓名解析器生成解析字典。对于英文姓名，先进行姓氏和名字的解析，根据一定规则确定是否可以确定姓氏和名字的顺序，然后生成解析字典。对于中文姓名，将中文姓名转换为拼音形式，即转化为英文名字，同时考虑多音字与复姓，生成中间解析结果后同英文名处理。表1展示了中文名转化为英文名的解析规则，表2展示了针对英文名/转换后的中文拼音名如何确定姓氏与名字顺序的规则，表3展示了解析字典生成方法。
[0032]
表1中文名转化为英文的解析规则
[0033][0034]
表2确定姓氏与名字顺序的规则
[0035][0036]
表3解析字典生成方法
[0037][0038]
将姓名解析器生成的解析字典作为模板生成器的输入，输出相应的正则模板。首先根据是否能确定姓氏与名字的顺序，然后判断名字是否为缩写，最后根据“姓在前”与“姓在后”两种顺序生成2组或4组正则模板。表4展示了缩写判断规则，表5展示了根据解析字典生成正则模板的规则。
[0039]
表4缩写判断规则
[0040][0041]
表5根据解析字典生成正则模板的规则
[0042]
[0043][0044]
s2构建n-hop异构子图：以n＝2为例，对于待对齐专家实体对《a1，a
′1》，分别从g1和g2中获得其一阶邻居节点，包括发表的论文节点、会议/期刊节点、共同作者关系的专家节点，以及一阶邻居专家节点的论文节点与会议/期刊节点，从而构建出以a1或a
′1为核心的子图。在已知部分实体对齐的结果下(比如通过会议/期刊名是否相同、论文标题是否相同、已对齐专家实体)，可以将原本分离的两个子图合并，获得一张以待对齐专家实体对《a1，a
′1》为核心的异构子图。
[0045]
s3节点向量更新模块：此步骤通过l层图嵌入层完成异构子图中的节点向量表示更新，需获得初始的节点向量表示h
(0)
，每层图嵌入层节点向量更新的具体流程如图3所示，首先通过基于自监督信号的可靠性度量方法计算每条边的可靠性，然后采用top-p采样策略，根据计算所得的可靠性，从大到小对每种关系采样一定数量pr的可靠边，在获得采样的异构子图后，使用基于特征线性调制的图嵌入学习算法更新节点向量，最后取出待对齐实体对的最终节点向量表示，通过多层感知机计算匹配概率。在训练阶段，为了得到更优秀的可靠性度量方法，通过采样已存在关系边spt，并以1：1的比例采样与目标节点不存在该关
系的节点构建不存在的关系边spf，构建自监督信号，计算平均边采样损失，从而训练可靠性度量方法中的权重矩阵。此外，为了动态更新每种关系的节点采样数量pr，计算已采样边的平均不可靠性，使用基于强化学习的节点采样数量更新策略更新采样数量。
[0046]
初始的节点向量表示h
(0)
：
[0047][0048][0049]hstruct
＝line(g)
[0050]
其中表示向量拼接操作，h
attr
为实体各属性特征(包括论文标题、摘要、会议 /期刊名等)通过skip-gram模型获得的词向量的平均向量，h
struct
则是通过line 模型对知识库中每个实体的结构信息进行编码。
[0051]
计算每条边的可靠性：对于三元组《u，r，v》(即节点u与节点v间存在关系 r，且方向为u指向v)，其可靠性s(u，v)的计算过程如下：
[0052]
首先计算节点在每种关系上的特征表示η：
[0053]
ηu，ηv＝σ1(w
τ(u)hu
)，σ1(w
τ(v)hv
))
[0054]
其中w
τ(u)
和w
τ(v)
分别代表对应的节点类型相关的权重矩阵，其维度为r
|r|
×d， hu和hv是节点u和v在这一层图嵌入层的节点向量表示，维度为d。
[0055]
然后计算节点对《u，v》存在关系r的概率α
u，v
：
[0056]
α
u，v
＝σ2(w
tf
·
(ηu⊙
ηv))
[0057]
其中w
tf
的维度为r2×
|r|
，
⊙
为向量点乘操作。
[0058]
最后使用曼哈顿距离计算不可靠性d(u，v)，并得到可靠性s(u，v)：
[0059]
d(u，v)＝||α
u，v
||1[0060]
s(u，v)＝1-d(u，v)
[0061]
top-p采样策略：对于异构子图中每个节点，对于其每种关系r，根据计算所得的可靠性，从大到小采样pr条边。
[0062]
基于特征线性调制的图嵌入学习算法更新节点向量：在第l层时，对于节点v，其节点向量由更新为hv∈rd：
[0063][0064]
其中w
r(l)
∈rd×d是消息转换函数权重，σ为relu函数，分别是节点v在第l层图嵌入层中计算所得的每个邻居节点u的消息权重：
[0065][0066]
其中g(hv；θ
g，l，r
)是一个超网络，使用单层线性层实现，θ
g，l，r
∈r
2d
×d是这个超网络的参数。
[0067]
s4计算匹配概率：经过l层图嵌入层后，取出更新后的待对齐实体对《e，c》 的节点向量和通过多层感知机计算匹配概率具体计算过程为：
[0068]
[0069]
其中fc是3层线性层，且每层使用一个relu非线性函数。
[0070]
s5训练阶段更新节点采样数量以及计算损失函数：(1)计算已采样边的平均不可靠性，利用强化学习策略动态优化节点采样数量；(2)构建自监督信号，并计算平均边采样损失，并与对齐损失加和获得最终损失。
[0071]
构建自监督信号：对于每种关系r，采样图中其中60％的已存在的部分关系边 spt＝{《u，r，v》|《u，r，v》∈t}，作为正例，并以1：1的比例采样与目标节点不存在该关系的节点构建不存在的关系边作为负例，构建基于已有关系边的自监督信号。
[0072]
计算平均边采样损失：使用交叉熵损失作为损失函数，最小化所有图嵌入层的平均边采样损失从而训练计算可靠性时使用的各项权重系数：
[0073][0074]
其中ψ(u，r，v)＝1代表边《u，r，v》存在，反之，ψ(u，r，v)＝0则代表该边不存在。
[0075]
计算已采样边的平均不可靠性：在每个epoch e，对于关系r，计算已采样边e
r，sampled
的平均不可靠性
[0076]
更新节点采样数量：根据相邻两个epoch之间的平均不可靠性之间的变化趋势更新关系r的节点采样数目pr，使用的强化学习策略中的action、reward、 termination分别为：
[0077]
action＝{+∈，-∈}
[0078][0079][0080]
其中∈为一个较小的固定整数。
[0081]
如果当前epoch的平均不可靠性要小于上一epoch时，奖励函数为正，采用即时奖励的方式来贪心增加pr，否则，则减少pr。
[0082]
在训练过程中，专家实体对齐任务的损失除了基于自监督信号的可靠性度量方法的平均边采样损失外，还包括所有待对齐实体对的对齐损失该损失的目标是使得对齐的专家实体对的向量表示对《ze，zc》经过多层感知机后得到的概率越高，接近于1，而非对齐的向量表示对的分数接近于0：
[0083][0084]
模型最终的损失函数为对齐损失与平均边采样损失的加权和：
[0085][0086]
其中||θ||2为l2正则化惩罚项，λ3是对应的惩罚项系数，λ1和λ2分别是对齐损失和平均边采样损失的权重系数。
[0087]
在实验中，本实施实例使用了数据集oag，该数据集涉及微软学术网络和 aminer两大学术网络，其网络规模大小如表6，数据集的基本统计信息如表7。
[0088]
表6 oag数据集中网络数据规模
[0089]
网络会议/期刊数论文数专家数关系类型aminer69，397172，209，563113，171，945co-author，write，publish_onmag52，678208，915，369253，144，301co-author，write，publish_on
[0090]
表7 oag数据集的基本统计信息
[0091][0092][0093]
评价指标：使用精确率(precision)、召回率(recall)与f1值(f1-score) 作为评估指标。precision是评估分类器预测的正样本中预测正确的比例，其取值越大，则代表模型对正样本的预测准确程度越高。recall是评估分类器所预测正确的正样本占所有正样本的比例，其值越大，则代表模型将正确的正样本预测出来的概率越高。f1-score综合评价precision和recall，其值越高，则代表模型整体预测性能越好。
[0094]
超参数设置：实验中将epoch＝100，每个batch的大小为64，每个节点的向量表示的维度d＝300，优化器选择adam，基于特征线性调制的图嵌入学习算法的学习率为0.005，而基于自监督信号的可靠性度量方法的学习率为0.001；每种关系初始的采样数量pr均为30，强化学习更新策略中每次动作更新∈为2；节点向量更新模块中的图嵌入层数l＝3，损失函数中的损失系数λ1，λ2，λ3分别为2、1、0.001。多层感知机中3层线性层的权重系数维度依次为r
3d
×d、r
dx3d
、rd×2。
[0095]
将本实施实例方法与5种方法进行对比：(1)exact name match，如果待对齐实体对姓名完全匹配，则认为该两个待对齐实体为匹配；(2)svm，使用专家姓名、从属机构、常出现的会议/期刊名、论文标题关键词和共同作者姓名这些属性的字符级4-gram相似度；(3)cosnet，将两个实体的属性作为局部因子，将实体对之间的关系作为相关因子，认为两个对齐的实体对应拥有相同的标签，使用一种因子图模型传播这种标签信息；(4)mego2vec，挖掘潜在匹配的实体对，作为匹配ego网络的节点，使用一种多视图节点嵌入的方式建模不同属性的字面语义特征，并利用注意力机制区分不同邻居节点的影响，加以图的拓扑结构获得正则化后的结构嵌入；(5)linkg，同样利用潜在匹配的实体对信息，然而其构建的网络节点依然为实体，而非实体对，其利用一种基于节点类型的多头注意力机制计算注意力权重，完成基于关系图注意力网络的节点向量更新。同时设计了两个消融实验：(1)本方法-无可靠性，仅使用基于特征线性调制的图嵌入学习算法；(2)本方法-无强化学习，在本方法的基础上去掉强化学习动态更新策略；分别验证基于特征线性调制的图嵌入学习算法、基于自监督信号的可靠性度量方法以及基于强化学习的节点采样数量更新策略对模型的贡献。表8展示了在oag数据集上，本实施实例方法与其他对比方法的性能比较。
[0096]
表8 oag数据集上各方法的对比实验结果
[0097]
模型precisionrecallf1-scoreexact name match44.4880.6357.33svm84.7092.2288.30cosnet91.7385.3388.42mego2vec91.0390.8290.92linkg95.3793.4894.42本方法-无可靠性96.7496.8696.80本方法-无强化学习97.1896.8297.00本方法96.5897.8497.20
[0098]
实验结果表明，本方法在三项评估指标上均明显优于5种对比方法，在f1值上得到至少2.78％的提升。通过本方法-无可靠性这一实验结果，其在f1值上较5 种对比方法至少提升2.38％，证明了基于特征线性调制的图嵌入学习算法的有效性。通过本方法-无强化学习与本方法-无可靠性的实验结果对比，前者在f1值上得到0.20％的提升，验证了基于自监督信号的可靠性度量方法的有效性。通过本方法与本方法-无强化学习的实验结果对比，前者在f1值上得到0.20％的提升，验证了基于强化学习的节点采样数量更新策略的有效性。
[0099]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。