实体和关系联合抽取方法及装置、存储介质和终端

1.本发明涉及信息处理技术领域，尤其涉及一种实体和关系联合提取方法及装置、存储介质和终端。


背景技术：

2.对于自然语言理解而言，仅依靠数据标注和算力投入无法做到精细和深度的语义理解，为了更好地促进自然语言理解的发展，引入先验知识引导自然语言理解成为现阶段的发展趋势。知识是一种将文本结构化存储的方式，目前，这些结构化的知识已经被广泛地应用在搜索引擎、问答系统、机器翻译等场景中。但是，由于知识规模巨大以及人工标注成本昂贵，为了尽可能及时和准确地获取知识信息，研究者们提出了命名实体识别和关系抽取任务。
3.语义角色标注可以建立句子的谓词和参数之间的依赖关系，这种语义结构信息可以为文本表示提供丰富的语义。但是，目前缺少将语义角色标注信息用于实体和关系联合抽取任务的工作。如果一个词或短语被标记为一个语义角色，它更有可能被标记为一个实体。例如，语义角色标签“argm-loc”包含位置信息，可为“location”类型的实体抽取提供辅助信息。同时，显式语义信息可以覆盖词之间的语义关系，这对于关系抽取非常有帮助。
4.除了忽略显式语义信息的引入外，许多现有模型对隐式语义信息的探索也不够充分。在大多数现有模型中，文本的表示向量在实体识别和关系提取中是共享的。然而命名实体识别侧重于挖掘实体的语义信息，而关系提取侧重于挖掘实体对中实体间的局部上下文的语义信息。因此，为了充分挖掘隐式语义信息，需要基于实体和关系联合抽取任务设计更加合理的隐式语义增强方法。
5.综上所述，现阶段的实体和关系联合抽取方法对于语义信息的利用和挖掘仍然不够充分，以使得命名实体识别和关系抽取不够准确和丰富。


技术实现要素：

6.本发明所要解决的技术问题是现有的实体和关系联合抽取方法忽略了显式语义信息的引入，且对隐式语义信息的探索也不够充分，以使得其对实体的识别和关系的抽取不够准确和丰富。
7.为了解决上述技术问题，本发明提供了一种实体和关系联合提取方法，包括：
8.获取文本数据集，所述文本数据集包括多个文本数据；
9.基于训练完成的联合抽取模型，对所述文本数据集中每个所述文本数据进行联合抽取，以获取每个所述文本数据中的实体以及实体间的关系；
10.其中，所述联合抽取模型包括词向量表示构建模块、候选实体表示构建模块、实体分类模块、关系表示构建模块和关系分类模块；
11.所述词向量表示构建模块，用于基于预训练模型获取文本数据的第一词向量表示和实体全局语义表示，基于语义角色标注获取所述文本数据的第二词向量表示，并将所述
第一词向量表示和第二词向量表示进行拼接，以获取所述文本数据的最终词向量表示；
12.所述候选实体表示构建模块，用于基于所述最终词向量表示获取增强实体隐式语义信息，基于所述增强实体隐式语义信息获取包含任意跨度的初步候选实体集，对所述初步候选实体集中所有所述初步候选实体分别进行最大池化操作，以获取聚合候选实体集，基于所述聚合候选实体集中聚合候选实体、聚合候选实体所属初步候选实体序列长度以及实体全局语义表示，获取最终候选实体表示集；
13.所述实体分类模块，用于基于所述最终候选实体表示集，通过分类函数获取所述最终候选实体表示集中每个所述最终候选实体表示所属实体类型的后验信息；
14.所述关系表示构建模块，用于将所述聚合候选实体集中所对应最终候选实体表示所属实体分类为非空的聚合候选实体表示两两进行组合，以形成实体对集，获取每对实体对的全局语义表示和局部语义表示，并基于每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体获取对应关系表示向量；
15.所述关系分类模块，用于基于每对实体对的关系表示向量，通过分类函数获取每对实体对所属关系类型的后验信息；
16.其中，所述局部序列长度为所述局部语义表示的序列长度。
17.优选地，所述词向量表示构建模块，用于基于预训练模型获取文本数据的第一词向量表示和实体全局语义表示，基于语义角色标注获取所述文本数据的第二词向量表示，并将所述第一词向量表示和第二词向量表示进行拼接，以获取所述文本数据的最终词向量表示包括：
18.将所述文本数据输入到预训练模型中，以获取子词向量表示序列和实体全局语义表示，并将所述子词向量表示序列经过卷积和最大池化以获取第一词向量表示；
19.将所述文本数据输入到语义角色标注工具中，以获取多个语义角色标注序列，并通过全连接网络将所有所述语义角色标注序列进行聚合，以获取第二词向量表示；
20.将所述第一词向量表示和第二词向量表示进行拼接融合，以获取所述文本数据的最终词向量表示。
21.优选地，所述候选实体表示构建模块基于所述最终词向量表示获取增强实体隐式语义信息包括：
22.将所述最终词向量表示输入到第一双向长短期记忆网络中，以获取增强实体隐式语义信息。
23.优选地，所述候选实体表示构建模块基于所述聚合候选实体集中聚合候选实体、聚合候选实体所属初步候选实体序列长度以及实体全局语义表示，获取最终候选实体表示集包括：
24.将所述聚合候选实体集中每个聚合候选实体、所述聚合候选实体所属初步候选实体的序列长度以及实体全局语义表示分别进行拼接，以获取每个所述聚合候选实体对应的最终候选实体表示，基于所有所述最终候选实体表示形成最终候选实体表示集。
25.优选地，所述分类函数为softmax。
26.优选地，所述关系表示构建模块获取每对实体对的全局语义表示和局部语义表示，并基于每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体获取对应关系表示向量包括：
27.将所述最终词向量表示输入到第二双向长短期记忆网络中，以获取增强全局上下文隐式语义信息，基于所述增强全局上下文隐式语义信息获取所述实体对集中所有实体对的局部语义表示，并将所述第二双向长短期记忆网络最后一个隐状态表示作为所述实体对集中所有所述实体对的全局语义表示；
28.将每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体进行拼接，以获取每对实体对所对应的关系表示向量。
29.优选地，对联合抽取模型进行训练以获取训练完成的联合抽取模型过程中，其损失函数为：
30.l＝le+lr31.其中，le表示所述文本数据所对应所有所述最终候选实体表示所属实体类型的后验信息与实体真实标签的交叉熵损失函数，lr表示所述文本数据中所有实体对所属关系类型的后验信息与关系真实标签的交叉熵损失函数。
32.为了解决上述技术问题，本发明还提供了一种实体和关系联合提取装置，其特征在于，包括数据获取模块和实体和关系提取模块；
33.所述数据获取模块，用于获取文本数据集，所述文本数据集包括多个文本数据；
34.所述关系提取模块，用于基于训练完成的联合抽取模型，对所述文本数据集中每个所述文本数据进行联合抽取，以获取每个所述文本数据中的实体以及实体间的关系；
35.其中，所述联合抽取模型包括词向量表示构建模块、候选实体表示构建模块、实体分类模块、关系表示构建模块和关系分类模块；
36.所述词向量表示构建模块，用于基于预训练模型获取文本数据的第一词向量表示和实体全局语义表示，基于语义角色标注获取所述文本数据的第二词向量表示，并将所述第一词向量表示和第二词向量表示进行拼接，以获取所述文本数据的最终词向量表示；
37.所述候选实体表示构建模块，用于基于所述最终词向量表示获取增强实体隐式语义信息，基于所述增强实体隐式语义信息获取包含任意跨度的初步候选实体集，对所述初步候选实体集中所有所述初步候选实体分别进行最大池化操作，以获取聚合候选实体集，基于所述聚合候选实体集中聚合候选实体、聚合候选实体所属初步候选实体序列长度以及实体全局语义表示，获取最终候选实体表示集；
38.所述实体分类模块，用于基于所述最终候选实体表示集，通过分类函数获取所述最终候选实体表示集中每个所述最终候选实体表示所属实体类型的后验信息；
39.所述关系表示构建模块，用于将所述聚合候选实体集中所对应最终候选实体表示所属实体分类为非空的聚合候选实体表示两两进行组合，以形成实体对集，获取每对实体对的全局语义表示和局部语义表示，并基于每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体获取对应关系表示向量；
40.所述关系分类模块，用于基于每对实体对的关系表示向量，通过分类函数获取每对实体对所属关系类型的后验信息；
41.其中，所述局部序列长度为所述局部语义表示的序列长度。
42.为了解决上述技术问题，本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现实体和关系联合提取方法。
43.为了解决上述技术问题，本发明还提供了一种终端，包括：处理器以及存储器，所
述存储器与所述处理器之间通信连接；
44.所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如实体和关系联合提取方法。
45.与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
46.应用本发明实施例提供的实体和关系联合提取方法，在获取词向量表示过程中，借助语义角色标注工具引入显式语义信息，且在实体识别和关系抽取中采用分别编码的方式，针对性地增强隐式语义特征；显式语义信息和隐式语义信息的充分挖掘有助于模型深度理解实体语义并建立实体间关系。在关系抽取中该方法考虑了全局语义信息和局部上下文长度信息，进一步提升了实体和关系联合抽取模型的准确性。
47.本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
48.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
49.图1示出了本发明实施例一实体和关系联合提取方法的流程示意图；
50.图2示出了本发明实施例一实体和关系联合提取方法的过程示意图；
51.图3示出了本发明实施例一中的propbank风格的语义角色标注示意图；
52.图4示出了本发明实施例二实体和关系联合提取装置的结构示意图；
53.图5示出了本发明实施例四终端的结构示意图。
具体实施方式
54.以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
55.命名实体识别是识别文本中特定意义的实体，例如人名、地名、组织等。关系抽取是预测实体之间的关系。最后实体对和关系一起组成三元组，构成结构化的知识信息。在实体和关系联合抽取方法出现之前，大多数研究者均是采用基于管道的方式实现命名实体识别和关系抽取，但该类方法忽视了两个任务之间的关联，并且容易产生级联误差。
56.最近，bert、transformer-xl、robert等预训练模型受到了极大的关注。这些模型通常在大型文档数据上进行预训练，并且它们被转移到具有相对较少监督训练数据的目标任务。在许多自然语言理解任务中，基于预训练模型的工作取得了最佳性能，例如问答、上下文情感检测以及实体和关系联合抽取。尽管这些预训练的语言模型取得了成功，但现有的实体和关系联合提取方法只关注预训练模型提供的文本表示，而忽略了显式语义信息的引入和隐式语义信息的增强。
57.实施例一
58.为解决现有技术中存在的技术问题，本发明实施例提供了一种实体和关系联合提取方法。
59.图1示出了本发明实施例一实体和关系联合提取方法的流程示意图；图2示出了本发明实施例一实体和关系联合提取方法的过程示意图；参考图1和图2所示，本发明实施例实体和关系联合提取方法包括如下步骤。
60.步骤s101，获取文本数据集。
61.具体地，文本数据集包括多个文本数据。需进行实体和关系联合提取的文本数据通常均为句子，即本实体和关系联合提取方法实际是用于提取句子中各个实体以及各个实体之间关系的方法。且需要说明的是，文本数据可为中文数据，也可为英文或其他语言的数据。
62.步骤s102，基于训练完成的联合抽取模型，对文本数据集中每个文本数据进行联合抽取，以获取每个文本数据中的实体以及实体间的关系。
63.具体地，将文本数据集中的文本数据输入到训练完成的联合抽取模型中，即可获取每个文本数据中的所有实体以及所有实体之间的关系。
64.进一步地，联合抽取模型包括词向量表示构建模块、候选实体表示构建模块、实体分类模块、关系表示构建模块和关系分类模块。
65.其中，词向量表示构建模块主要用于获取文本数据的最终词向量表示。具体需先基于预训练模型获取文本数据的第一词向量表示和实体全局语义表示。优选地，预训练模型为bert预训练模型；且预训练模型需根据大量的模型训练文本数据进行预先训练，训练完成的预训练模型具有强大的捕获语言特征的能力，能够为实体和关系联合抽取提供较为优质的词向量表示。且bert预训练模型是采用字节对编码方式以解决未登录词的编码问题，因此部分单词会被拆分为子词序列，例如“treehouse”会将其分割为“tree”和“house”，因此一个单词可能会对应多个词向量。进一步文本数据的文本序列x＝(x1,x2,...,xn)被传入bert预训练模型后得到子词向量表示序列和实体全局语义表示cls。
66.为了便于和语义角色标签对应，本实施例基于将子词向量表示序列经过一层一维卷积和最大池化处理，以获取第一词向量表示。进一步地，子词向量表示序列中的某个单词xi的卷积过程为：假设单词xi的长度为l，其子词序列表示为(s1,s2,...,s
l
)；单词xi经过一层一维卷积可得ei＝w1[bert(si),bert(s
i+1
),...,bert(s
i+k-1
)]+b1，其中k为卷积核大小，w1和b1均是可训练的向量。而后再通过最大池化获取的第一词向量表示为其中relu是一种常见的激活函数。
[0067]
本实施例采用语义角色标注工具获得显式语义信息，具体采用propbank风格的注释器进行标注，propbank风格的注释器以单个句子为单位，对句子中的每一个谓词都分析和其相关的局部语义结构。语义结构信息和命名实体识别以及关系抽取任务非常相关，其中时间、地点等信息可以帮助模型更好地抽取实体。施事者与受事者在一定程度上能帮助实体对关系的判断。具体propbank风格的语义角色标注实例可参考图3所示。语义角色标注是以一句话中的谓语为中心，对句子中的单词分配标签，因为关注的谓语不同，所以得到的语义标签序列也不同。
[0068]
本实施例针对每个句子选取多个语义角色标注序列，语义角色标注序列的个数范围为3-6。具体文本数据的文本序列x＝(x1,x2,...,xn)被传入语义角色标注工具后得到词向量序列表示：由于语义角色标注工具是以句子中的谓词为中心，标注单词和谓词的语义关系。因此，选择的谓词不同，得到的序列标注也不同。为了尽可能充分提取显式语义信息，每个句子可选取五个语义角色标注序列，分别表示为：t1,t2,t3,t4,t5。而后通过全连接网络将五个语义角色标注序列进行聚合，以获取第二词向量表示ts＝w2(t1,t2,...,t5)+b2，其中w2和b2是可训练的向量。
[0069]
最后将第一词向量表示和第二词向量表示进行拼接融合，以获取文本数据的最终词向量表示xw＝[xb:ts]。
[0070]
命名实体识别非常依赖实体所在的上下文，因为上下文信息不同，字母构成相同的单词表示的含义可能相差巨大，因此除了在词向量表示时增添显式语义信息，本文还在命名实体识别阶段采用双向长短期记忆网络增强文本的隐式的上下文语义信息，进而得到增强的隐式语义信息的实体表示。
[0071]
候选实体表示构建模块主要用于获取最终候选实体表示集。具体需先将最终词向量表示输入到第一双向长短期记忆网络中，以获取增强实体隐式语义信息。双向长短期记忆网络相较于普通的循环神经网络在一定程度上缓解了梯度消失和梯度爆炸问题，并且和长短期记忆网络相比，其具有捕获双向序列信息的特点。因此，最终词向量表示需先经过双向长短期记忆网络，以获取增强实体隐式语义信息：x
t
＝bi-lstm
t
(xw)，其中bi-lstm表示双向长短期记忆网络。
[0072]
而后基于增强实体隐式语义信息获取包含任意跨度的初步候选实体集。进一步即分别将跨度设置为任意可能值，且针对每个跨度均需从增强实体隐式语义信息中获取对应跨度状态下所有的初步候选实体，而后将所有跨度下对应的所有初步候选实体集合为初步候选实体集。之后再对初步候选实体集中所有初步候选实体分别进行最大池化操作，以获取聚合候选实体集。其中序列长度为f的初步候选实体可表示为对该初步候选实体进行最大池化操作后所获取的聚合候选实体可表示为e
t
＝maxpooling(e
t
)。
[0073]
由于候选实体序列长度对实体类型分类存在一定影响，且bert编码得到的实体全局语义表示cls也包含了丰富的上下文信息，因此本实施例将上述两者作为候选实体分类的影响因素之一。进一步在获取聚合候选实体集后，需基于聚合候选实体集中聚合候选实体、聚合候选实体所属初步候选实体序列长度以及实体全局语义表示，获取最终候选实体表示集。进一步由于聚合候选实体具有对应的初步候选实体，初步候选实体均有对应的跨度即序列长度，因此每个聚合候选实体均有一个对应的聚合候选实体所属初步候选实体序列长度。聚合候选实体集中的每个聚合候选实体，均需基于聚合候选实体本体，该聚合候选实体所属初步候选实体序列长度以及实体全局语义表示cls进行拼接，以获取该聚合候选实体对应的最终候选实体表示。基于聚合候选实体集中所有聚合候选实体所获取所有最终候选实体表示，即形成最终候选实体表示集。
[0074]
实体分类模块主要用于基于最终候选实体表示集，通过分类函数获取最终候选实体表示集中每个最终候选实体表示所属实体类型的后验信息。优选地，分类函数为
softmax。将最终候选实体表示集中的最终候选实体表示分别输入到分类函数中，以获取所有最终候选实体表示所属实体类型的后验信息。其中最终候选实体表示所属实体类型的后验信息可表示为：其中表示聚合候选实体所属初步候选实体序列长度为f的表示向量，w3和b3是可训练的参数向量。
[0075]
关系表示构建模块主要用于获取实体对的关系表示向量。具体地，基于每个最终候选实体表示所属实体类型的后验信息即可获知该最终候选实体是否为非空实体。依此选取出聚合候选实体集中所有最终候选实体表示所属实体分类为非空的聚合候选实体表示，而后将所有最终候选实体表示所属实体分类为非空的聚合候选实体表示进行两两组合形成实体对，所有所获取的实体对形成实体对集。
[0076]
本实施例引入实体对之间的局部语义表示和全局语义表示来预测实体对之间的关系；同时由于实体对距离对于实体对关系的判断也有影响，实体对内间隔越近其构成某些关系的可能性越大，因此在预测实体对之间的关系时，也引入局部序列长度。
[0077]
具体将最终词向量表示输入到第二双向长短期记忆网络中，以获取增强全局上下文隐式语义信息再基于增强全局上下文隐式语义信息获取实体对集中所有实体对的局部语义表示；其中实体对的局部上下文表示为增强全局上下文隐式语义信息中该实体对中第一个实体的末尾到第二个实体开头的序列，而后将该实体对的局部上下文表示通过最大池化操作聚合进行聚合，以获取局部语义表示，其中，a
end
表示第一个实体末尾的下标，b
start
表示第二个实体开头的下标。而后将第二双向长短期记忆网络最后一个隐状态表示作为实体对集中所有实体对的全局语义表示。其中第二双向长短期记忆网络中为双向长短期记忆网络bi-lstm。
[0078]
最后将每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体进行拼接，以获取每对实体对所对应的关系表示向量。其中局部序列长度为一个实体对中两个实体间的序列长度。
[0079]
关系分类模块主要用于基于每对实体对的关系表示向量，通过分类函数获取每对实体对所属关系类型的后验信息。优选地，分类函数为softmax。进一步将每对实体对的关系表示向量分别输入到分类函数中，以获取每对实体对所属关系类型的后验信息。例如实体对ab的所属关系类型的后验信息可表示为：和其中w4、w5、b4和b5分别为可训练的参数向量，且实体对ab之间关系的判定为如果和中任何一个值没有达到阈值α，则认为实体a和实体b之间没有关系。进一步和中任何一个值没有达到阈值α准确理解为:为[a1,a2,a3
…
an]，a1,a2,a3
…
an分别表示实体对ab之间关系属于第一类、第二类、第三类关系等的可能性，同理表示为[b1,b2,b3
…
bn]，b1,b2,b3
…
bn表示分别表示实体对ba之间关系属于第一类、第二类、第三类关系等的可能性，选取中最大的类别作为实体对ab之间关系所属类型，并选取中最大的类别作为实体对ba之间关系所属类型，判断ab之间关系所属类型(即中类别最大值)与ba之间关系所属类型(即中类别最大值)是否均未达到阈值α，若是则表示实体a和实体b之间没有关系。阈值α可基于实际情况进行设置，在此不对其进行过多限制。
[0080]
需要说明的是，无论是在训练过程的联合抽取模型，还是训练完成联合抽取模型在实体以及实体间的关系获取过程中，词向量表示构建模块、候选实体表示构建模块、实体分类模块、关系表示构建模块和关系分类模块均是通过上述工作方式进行工作的。
[0081]
对联合抽取模型进行训练获取训练完成联合抽取模型的过程包括：
[0082]
首先需获取训练文本数据集，训练文本数据集包含多个训练文本数据，且每个训练文本数据均包括文本数据以及与文本数据对应的真实标签，文本数据对应的真实标签包括文本数据中的实体标签以及实体之间的关系标签。
[0083]
而后将训练文本数据集分为多组，以获取多组训练文本数据组。而后基于第m组训练文本数据组对临时联合抽取模型进行训练，并在训练时基于损失函数计算的损失值对临时联合抽取模型中各个参数进行调整，以获取参数更新联合抽取模型。而后判断m是否等于预设阈值，若是则判断当前参数更新联合抽取模型是否符合损失值达到收敛状态，若符合则将当前参数更新联合抽取模型作为训练后的联合抽取模型，若m不等于预设阈值，则m加1，且需重新基于第m组训练文本数据组对临时联合抽取模型进行训练，若当前参数更新联合抽取模型不符合损失值达到收敛状态，则将m初始化为1，且需重新基于第m组训练文本数据组对临时联合抽取模型进行训练。重复上述过程，直到参数更新联合抽取模型符合损失值达到收敛状态。
[0084]
需要说明的是，预设阈值为训练文本数据集中训练文本数据组的总组数，m的初始值为1；当首次基于训练文本数据组进行训练时，临时联合抽取模型为初始创建的联合抽取模型。
[0085]
由于在每次训练时均会需基于损失函数计算的损失值对联合抽取模型中各个参数进行调整，因此基于多组训练文本数据组的训练过程，即实现了联合抽取模型中参数多次优化的过程；重复多轮上述依次基于每个训练文本数据组分别对联合抽取模型进行训练的过程，直至损失值不再持续降低，达到收敛状态，即当前获取的参数更新联合抽取模型已经符合损失值达到收敛状态，即可得到训练完成的联合抽取模型。
[0086]
需要说明的是，训练后的联合抽取模型中的各个单元即是联合抽取模型中各个单元经过对象属性识别数据训练数据集对其进行训练后反复调整各类参数获得的。因此上文在介绍联合抽取模型中各个单元的工作原理时，同时也介绍了训练后的联合抽取模型中各个单元的工作原理。
[0087]
上述训练过程中的损失函数可表示为：
[0088]
l＝le+lr[0089]
其中，le表示文本数据所对应所有最终候选实体表示所属实体类型的后验信息与实体真实标签的交叉熵损失函数，lr表示文本数据中所有实体对所属关系类型的后验信息与关系真实标签的交叉熵损失函数。
[0090]
本发明实施例提供的实体和关系联合提取方法，在获取词向量表示过程中，借助语义角色标注工具引入显式语义信息，且在实体识别和关系抽取中采用分别编码的方式，针对性地增强隐式语义特征；显式语义信息和隐式语义信息的充分挖掘有助于模型深度理解实体语义并建立实体间关系。在关系抽取中该方法考虑了全局语义信息和局部上下文长度信息，进一步提升了实体和关系联合抽取模型的准确性。
[0091]
实施例二
[0092]
为解决现有技术中存在的技术问题，本发明实施例提供了一种实体和关系联合提取装置。
[0093]
图4示出了本发明实施例二实体和关系联合提取装置的结构示意图；参考图4所示，本发明实施例实体和关系联合提取装置包括数据获取模块和实体和关系提取模块。
[0094]
数据获取模块用于获取文本数据集，文本数据集包括多个文本数据；
[0095]
关系提取模块用于基于训练后的联合抽取模型，对文本数据集中每个文本数据进行联合抽取，以获取每个文本数据中的实体以及实体间的关系；
[0096]
其中，联合抽取模型包括词向量表示构建模块、候选实体表示构建模块、实体分类模块、关系表示构建模块和关系分类模块；
[0097]
词向量表示构建模块，用于基于预训练模型获取文本数据的第一词向量表示和实体全局语义表示，基于语义角色标注获取文本数据的第二词向量表示，并将第一词向量表示和第二词向量表示进行拼接，以获取文本数据的最终词向量表示；
[0098]
候选实体表示构建模块，用于基于最终词向量表示获取增强实体隐式语义信息，基于增强实体隐式语义信息获取包含任意跨度的初步候选实体集，对初步候选实体集中所有初步候选实体分别进行最大池化操作，以获取聚合候选实体集，基于聚合候选实体集中聚合候选实体、聚合候选实体所属初步候选实体序列长度以及实体全局语义表示，获取最终候选实体表示集；
[0099]
实体分类模块，用于基于最终候选实体表示集，通过分类函数获取最终候选实体表示集中每个最终候选实体表示所属实体类型的后验信息；
[0100]
关系表示构建模块，用于将聚合候选实体集中所对应最终候选实体表示所属实体分类为非空的聚合候选实体表示两两进行组合，以形成实体对集，获取每对实体对的全局语义表示和局部语义表示，并基于每对实体对的全局语义表示、局部语义表示、局部序列长度以及实体对本体获取对应关系表示向量；
[0101]
关系分类模块，用于基于每对实体对的关系表示向量，通过分类函数获取每对实体对所属关系类型的后验信息；
[0102]
其中，局部序列长度为局部语义表示的序列长度。
[0103]
本发明实施例提供的实体和关系联合提取装置，在获取词向量表示过程中，借助语义角色标注工具引入显式语义信息，且在实体识别和关系抽取中采用分别编码的方式，针对性地增强隐式语义特征；显式语义信息和隐式语义信息的充分挖掘有助于模型深度理解实体语义并建立实体间关系。在关系抽取中该装置考虑了全局语义信息和局部上下文长度信息，进一步提升了实体和关系联合抽取模型的准确性。
[0104]
实施例三
[0105]
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现实施例一中实体和关系联合提取方法中的所有步骤。
[0106]
实体和关系联合提取方法的具体步骤以及应用本发明实施例提供的可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。
[0107]
需要说明的是：存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0108]
实施例四
[0109]
为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端。
[0110]
图5示出了本发明实施例四终端结构示意图，参照图5，本实施例终端包括相互连接的处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一实体和关系联合提取方法中的所有步骤。
[0111]
实体和关系联合提取方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。
[0112]
需要说明的是，存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0113]
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。