一种基于对抗训练机制的多语言实体关系抽取方法及系统与流程
本发明涉及信息处理技术领域，更具体地，涉及一种基于对抗训练机制的多语言实体关系抽取方法及系统。
背景技术：
知识图谱，某些场景下也被称为知识库，是一种将现实世界中人类的知识结构化之后形成的知识系统。在知识图谱中，大量的知识，诸如开放数据库和百科全书中的信息，通常以关系数据集合的形式被表达出来。而在关系数据集合中，基本事实被抽象为实体，而规则、逻辑、推理等关联性的信息则被抽象为实体间的关系。若将实体对应于点，关系对应于边，则这些知识可以进一步以图的形式呈现，从而可以被计算机高效的使用，而这也是研究知识图谱的意义所在。这种将实体和抽象概念结构化成多关系数据集合的模式也是近年来被大力提倡的。可以说，知识图谱使得我们接触到的信息，尤其是知识信息，突破了以往文本字符串中基本的线性构成形式，而以实体与关系构成的网络状形式存在。
目前知识图谱已经作为人工智能领域的一项基础核心技术，被广泛引入到信息检索、问答系统、推荐系统等任务上。图谱中优质的结构化知识信息，能够指导我们的智能模型具备更深层的事物理解、更精准的任务查询以及一定程度上的逻辑推理能力，从而在这些知识驱动应用中起到至关重要的作用。
虽然已有的知识图谱包含了上亿个事实，相比于无尽的现实世界，它们仍然远远没有完善。为了进一步扩大知识图谱的规模，自动地从海量的文本数据中抓取到新的关系事实，就需要进行关系抽取。关系抽取的任务是从自由文本中自动提取特征，对于在文本中出现的实体对自动判别它们之间存在的关系，从而为知识图谱自动扩展新的边，丰富知识图谱的内容。
然而，目前绝大多数的关系抽取方法仅仅关注在单语言场景下的关系抽取问题，即训练数据和应用中都只考虑仅有一种语言的情况。这类模型忽略了不同语言之间潜在的互补性和一致性。在如今的大数据时代，信息的来源多种多样，从互联网中得到的待进行关系抽取的海量自由文本资源常常是多语言的。现有的针对单语言场景的关系抽取模型在多语言的实际应用场景下往往难以取得更好的表现。
有鉴于此，亟需提供一种适用于多语言场景的关系抽取方法及系统。
技术实现要素：
本发明为了克服现有的针对单语言场景的关系抽取模型在多语言的实际应用场景下往往难以取得更好的表现的问题，提供一种基于对抗训练机制的多语言实体关系抽取方法及系统。
一方面，本发明提供一种基于对抗训练机制的多语言实体关系抽取方法，包括：
对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
优选地，构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；
将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示；
其中，第一表示向量包括词向量和位置向量。
优选地，构建每个目标句子在一致性语义空间中的第二句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；
将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示；
其中，第二表示向量包括词向量和位置向量。
优选地，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体计算公式为：
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示；
优选地，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体计算公式为：
其中，
优选地，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体为：
利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；
利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；
根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。
优选地，构建每个目标句子在一致性语义空间中的第二句子向量表示，之前还包括：
初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，获得训练好的一致性语义空间的编码器；
其中，在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。
一方面，本发明提供一种基于对抗训练机制的多语言实体关系抽取系统，包括：
句子编码模块，用于对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
第一注意力机制模块，用于对预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
第二注意力机制模块，用于构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
关系抽取模块，用于基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
一方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法及系统，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法及系统能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
附图说明
图1为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的整体流程示意图；
图2为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的模拟示意图；
图3为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取系统的整体结构示意图；
图4为本发明实施例的一种电子设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的整体流程示意图，如图1所示，本发明提供一种基于对抗训练机制的多语言实体关系抽取方法，包括：
s1，对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
具体地，本实施例中，将待进行关系抽取的两个实体作为目标实体对。当在目标实体对进行关系抽取时，首先在多种语言中获取预设数量的与目标实体对相关的句子，并将每个与目标实体对相关的句子作为目标句子。其中，与目标实体对相关的句子指的是该句子中包含了目标实体对。举例来说，假设目标实体对为“中国”和“北京”，则可从中文、英文和日文等多种语言中获取预设数量的包含“中国”和“北京”的句子，作为目标句子。此外，本实施例中的预设数量可以根据实际需求进行设置，此处不做具体限定。
在每种语言中获得预设数量的目标句子之后，在各语言对应的语义空间中预先训练好各自的独立语义空间的编码器，并基于对抗训练机制在所有语言对应的一致性语义空间中预先训练好一致性语义空间的编码器。在此基础上，对于任意一种语言，利用其对应的独立语义空间的编码器构建该语言中的每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，并利用一致性语义空间的编码器构建该语言中每个目标句子在一致性语义空间中的第二句子向量表示。由此，即可获得每种语言中的每个目标句子在各自独立语义空间中的第一句子向量表示和在一致性语义空间中的第二句子向量表示。其中，目标句子的第一句子向量表示体现了目标句子在对应语言中的独有信息；目标句子的第二向量表示体现了目标句子跨语言的一致性信息。
s2，预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
需要说明的是，由于上述技术方案中采用了不同的编码器分开编码获得了每个目标句子的第一句子向量表示和第二句子向量表示，在此基础上，则需采用不同的注意力机制衡量每个目标句子的信息丰富程度。有鉴于此，本实施例中，针对目标实体对预先设置多个关系类型。在此基础上，首先采用各语言独立的注意力机制衡量每个目标句子的信息丰富程度，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，在某种语言对应的独立语义空间中，首先构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示。与此同时，获取该语言中所有目标句子的第一句子向量表示。在此基础上，对于该语言中的某一个目标句子，根据第一关系向量表示和该目标句子的第一句子向量表示，并结合该语言中其他所有目标句子的第一句子向量表示，即可获得该目标句子的注意力权重。在此基础上，结合该语言中所有目标句子的注意力权重和所有目标句子的第一句子向量表示，即可获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示。同理，可获得目标实体对相对该关系类型在其他语言对应的独立语义空间中的第一全局向量表示，即可获得目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示。同理，可获得目标实体对相对各关系类型在各语言对应的独立语义空间中的第一全局向量表示。
s3，构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
具体地，在上述技术方案的基础上，与此同时，采用各语言间一致的注意力机制衡量每个目标句子的信息丰富程度，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，首先构建该关系类型在一致性语义空间中的第二关系向量表示。与此同时，获取所有语言中所有目标句子的第二句子向量表示。在此基础上，对于某种语言中的某一个目标句子而言，根据第二关系向量表示和该目标句子的第二句子向量表示，并结合所有语言中其他所有目标句子的第二句子向量表示，即可获得该目标句子的注意力权重。在此基础上，结合所有语言中所有目标句子的注意力权重和所有目标句子的第二句子向量表示，即可获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示。同理，可获得目标实体对相对其他关系类型在一致性语义空间中的第二全局向量表示，即可获得目标实体对相对各关系类型在一致性语义空间中的第二全局向量表示。
s4，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
具体地，在上述技术方案的基础上，进一步确定目标实体对之间存在某种关系类型的概率。对于某一个关系类型而言，基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率，与此同时，基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率，最终结合第一条件概率和所有第二条件概率即可获得该关系类型对应的全局概率。同理，可获得其他关系类型对应的全局概率。其中，某种关系类型对应的全局概率即为目标实体对之间存在该种关系类型的概率。
在获得各关系类型对应的全局概率的基础上，从各关系类型对应的全局概率中选取出最大概率，最终根据最大概率对应的关系类型即可预测目标实体对之间的关系。例如，若最大概率对应的关系类型为r，则可预测目标实体对之间的关系即为r。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，具体为：对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示；其中，第一表示向量包括词向量和位置向量。
具体地，在上述技术方案的基础上，其中构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示的具体实现过程如下：
对于任意一种语言中的任意一个目标句子，获取该目标句子中的所有单词，再将所有单词输入至预先训练好的独立语义空间的编码器，该独立语义空间的编码器是在该语言对应的独立语义空间中预先训练好的。本实施例中，该独立语义空间的编码器的网络结构包括输入层和核心处理层。首先，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，利用输入层将每个单词转化为对应的第一表示向量。其中第一表示向量由词向量和位置向量构成，词向量用于刻画每个单词的语法和语义信息，位置向量用于刻画每个单词在句子中的位置信息，该位置信息定义为每个单词和句子中的头实体、尾实体之间的相互位置差的向量表示，将每个单词的词向量与位置向量进行拼接，即可获得每个单词对应的第一表示向量。
进一步地，将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，再将第一表示向量序列输入至独立语义空间的编码器的核心处理层。本实施例中，核心处理层可以为卷积神经网络结构，核心处理层通过卷积，池化和非线性操作将输入的第一表示向量序列转化为目标句子在该语言对应的独立语义空间中的第一句子向量表示。
其中，卷积操作定义为将第一表示向量序列x和卷积矩阵w之间的操作。卷积操作可以通过一个长度为m的滑动窗口对局部特征进行提取，得到目标句子的第i维特征定义为：
hi＝[wxi-m+1:i+b]i
其中，xi-m+1：i是在第i个窗口内部的所有第一表示向量的拼接，w为卷积核矩阵，b为偏置向量。
进一步地，对目标句子的第i维特征进行池化和非线性化操作，其中池化的主要作用就是在每个局部采样输出的每个维度上选取一个信号最强值，从而最后能够汇总得到全局的语义特征。由于只经过卷积和池化操作能够拟合的函数是线性的，为了得到更强的表征能力，需要通过双曲正切函数做非线性激活。通过上述处理步骤后，目标句子在语言j对应的独立语义空间中的第i维特征可定义为：
其中，语言j为多种语言中的任意一种语言。在此基础上，将目标句子的各维特征进行组合即可获得目标句子在语言j对应的独立语义空间中的第一句子向量表示。
此外，本实施例中，核心处理层还可以为循环神经网络结构，且具体为双向的循环神经网络结构。该双向的循环神经网络从两个方向编码目标句子的语义信息：
其中，
此外，在其他实施例中，独立语义空间的编码器的具体结构可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示。该方法能够有效地抽取到各语言独有的结构信息，有利于后续结合多语言文本中跨语言的语义信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在一致性语义空间中的第二句子向量表示，具体为：对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示；其中，第二表示向量包括词向量和位置向量。
具体地，在上述技术方案的基础上，其中构建每个目标句子在一致性语义空间中的第二句子向量表示的具体实现过程如下：
对于任意一种语言中的任意一个目标句子，获取该目标句子中的所有单词，再将所有单词输入至预先训练好的一致性语义空间的编码器，该一致性语义空间的编码器是在一致性语义空间中基于对抗训练机制预先训练好的。本实施例中，该一致性语义空间的编码器的网络结构包括输入层和核心处理层。首先，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，利用输入层将每个单词转化为对应的第二表示向量。其中第二表示向量由词向量和位置向量构成，词向量用于刻画每个单词的语法和语义信息，位置向量用于刻画每个单词在句子中的位置信息，该位置信息定义为每个单词和句子中的头实体、尾实体之间的相互位置差的向量表示，将每个单词的词向量与位置向量进行拼接，即可获得每个单词对应的第二表示向量。
进一步地，将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，再将第二表示向量序列输入至一致性语义空间的编码器的核心处理层。本实施例中，核心处理层可以为卷积神经网络结构，核心处理层通过卷积，池化和非线性操作将输入的第二表示向量序列转化为目标句子在一致性语义空间中的第二句子向量表示。具体实现过程与上述独立语义空间中的编码器的核心处理层的处理步骤相同，具体可参见上述方法实施例中对应的方法步骤，此处不再赘述。
此外，本实施例中，核心处理层还可以为循环神经网络结构，且具体为双向的循环神经网络结构。该双向的循环神经网络从两个方向编码目标句子的语义信息，分别获得前向和后向的句子编码向量；最终将前向和后向的句子编码向量进行拼接，即可获得目标句子在一致性语义空间中的第二句子向量表示。具体实现过程与上述独立语义空间中的编码器的核心处理层的处理步骤相同，具体可参见上述方法实施例中对应的方法步骤，此处不再赘述。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示。该方法能够有效地抽取到多语言文本中跨语言的语义信息，有利于后续结合各语言独有的结构信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体计算公式为：
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示；
具体地，在上述技术方案的基础上，其中根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，在某种语言对应的独立语义空间中，首先构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示。与此同时，获取该语言中所有目标句子的第一句子向量表示。在此基础上，对于该语言中的某一个目标句子，根据第一关系向量表示和该目标句子的第一句子向量表示，并结合该语言中其他所有目标句子的第一句子向量表示，即可获得该目标句子相对该关系类型在该语言对应的独立语义空间中的注意力权重。具体计算公式如下：
其中，
需要说明的是，上述计算公式中，i表示的是语言j中所有目标句子中的一个特定的目标句子，k表示的是语言j中的任意一个目标句子。
在此基础上，结合该语言中所有目标句子的注意力权重和所有目标句子的第一句子向量表示，即可获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示。具体计算公式如下：
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体计算公式为：
其中，
具体地，在上述技术方案的基础上，其中根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，首先构建该关系类型在一致性语义空间中的第二关系向量表示。与此同时，获取所有语言中所有目标句子的第二句子向量表示。在此基础上，对于某种语言中的某一个目标句子而言，根据第二关系向量表示和该目标句子的第二句子向量表示，并结合所有语言中其他所有目标句子的第二句子向量表示，即可获得该目标句子的注意力权重。具体计算公式如下：
其中，
需要说明的是，上述计算公式中，j表示的是一种特定的语言，i表示的是语言j中所有目标句子中的一个特定的目标句子；l表示的是多种语言中的任意一种语言，k表示的语言l中的任意一个目标句子。
在此基础上，结合所有语言中所有目标句子的注意力权重和所有目标句子的第二句子向量表示，即可获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示。具体计算公式如下：
其中，
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体为：利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。
具体地，在上述技术方案的基础上，其中基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体实现过程如下：
利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率，具体计算公式如下：
其中，
与此同时，利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率，具体计算公式如下：
p(r|sj)＝softmax[rjsj+dj]
其中，p(r|sj)为关系类型r在语言j对应的独立语义空间中的第二条件概率，softmax为归一化函数，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示，rj为各关系类型在语言j对应的独立语义空间中的第一关系向量表示组成的矩阵，dj为语言j对应的独立语义空间中的偏置向量。
最终，根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率，具体计算公式如下：
其中，p(r|t)为关系类型r对应的全局概率，语言j为多种语言中的任意一种语言，且所有语言的种类总数量为n。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。该方法结合多语言文本中跨语言的语义信息和各语言独有的结构信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在一致性语义空间中的第二句子向量表示，之前还包括：初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，从而训练出能够更好地编码跨语言信息的一致性语义空间的编码器；其中，在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。
具体地，本实施例中，在构建每个目标句子在一致性语义空间中的第二句子向量表示之前，需预先训练一致性语义空间的编码器，以使得能够将各种语言的目标句子编码到一致的语义空间，以抽取各语言之间的一致性。为了消除各语言的目标句子在一致性语义空间中的句子向量表示之间的模式差异，采用对抗训练机制对一致性语义空间的编码器进行训练，具体训练过程如下：
采用一个多层感知机网络作为判别器，用以判定给出的句子向量表示来自何种语言，判别函数针对给定句子向量表示
mlp函数表示判别器的多层感知机网络的输出。
在训练过程中判别器需要在编码器给出的向量分布下最大化它判别准确的概率，编码器需要通过改变自己的编码分布来迷惑判别器，试图最小化判别器判别准确的概率。二者逐轮对抗训练，以达到编码器编码出的分布能够将各语言的特点抹除以迷惑判别器，从而更好地抽取出跨语言的语义信息的目的。
在训练过程中，我们通过交替地最小化编码器和判别器的两个损失函数来实现对抗训练，具体地，对于一致语义空间的编码器，我们的优化目标如下：
其中
对于判别器，我们的优化目标如下：
其中，
整个对抗训练过程所采用的训练方法为随机梯度下降法，通过逐轮对这两个损失函数按一定比例交替进行梯度下降达到对抗训练的效果。当判别器和编码器在训练中达到平衡后，来自不同语言的句子向量表示在一致语义空间中不再拥有可以被显著区分的模式差异，可以有效提升抽取跨语言的一致信息的能力，进而提升多语言关系抽取的性能。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，在构建每个目标句子在一致性语义空间中的第二句子向量表示之前，
初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，获得训练好的一致性语义空间的编码器；其中，
在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。该方法采用对抗训练机制训练获得一致性语义空间的编码器，以使得能够将各种语言的目标句子编码到一致的语义空间，以抽取各语言之间的一致性，消除了各语言的目标句子在一致性语义空间中的句子向量表示之间的模式差异，有效提升了抽取跨语言的一致信息的能力，进而提升了多语言关系抽取的性能。
为了更好地理解上述方法实施例中的处理步骤，现以下述示例进行具体说明：
图2为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的模拟示意图，如图2所示，该示意图中模拟的是两种语言场景下的基于对抗训练机制的多语言实体关系抽取方法的处理过程，整体处理过程从下往上，首先将两种语言中的目标句子的单词转化为表示向量
图3为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取系统的整体结构示意图，如图3所示，基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取系统，包括：
句子编码模块1，用于对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
第一注意力机制模块2，用于对预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
第二注意力机制模块3，用于构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
关系抽取模块4，用于基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
具体地，本发明提供一种基于对抗训练机制的多语言实体关系抽取系统，包括句子编码模块1、第一注意力机制模块2、第二注意力机制模块3和关系抽取模块4，通过各模块之间的配合实现上述任一方法实施例中的方法，具体实现过程可参见上述方法实施例，此处不再赘述。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取系统，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该系统能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
图4示出本发明实施例的一种电子设备的结构框图。参照图4，所述电子设备，包括：处理器(processor)41、存储器(memory)42和总线43；其中，所述处理器41和存储器42通过所述总线43完成相互间的通信；所述处理器41用于调用所述存储器42中的程序指令，以执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！