关系抽取方法、装置、计算机设备及可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种关系抽取方法、装置、计算机设备及可读存储介质。


背景技术：

2.随着金融行业不断飞速发展，行业内部积累大量非结构化文本，如授信调查报告、理财产品说明书等，大量实体关系信息隐藏在这类文本内容中。通过关系抽取技术，能够从非结构化的文本中提炼出结构化文本，为诸多下游如知识图谱构建、风险传导分析、会话构建、智能搜索等任务提供基础信息。
3.传统技术中，将非结构化文本输入到深度学习模型，获取句子级别的关系抽取。但是，采用传统的技术会导致抽取的实体关系准确性较低。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种关系抽取方法、装置、计算机设备及可读存储介质。
5.一种关系抽取方法，所述方法包括：
6.将文档的关系抽取后字向量输入关系抽取模型，得到所述文档中的字的初步向量；
7.通过所述初步向量提取所述文档中实体对的实体级特征向量；
8.根据所述初步向量和所述实体级特征向量，确定文档级特征向量；
9.通过所述实体级特征向量和所述文档级特征向量，确定所述文档中实体对之间的实体关系。
10.在其中一个实施例中，所述通过所述初步向量提取所述文档中实体对的实体级特征向量，包括：
11.通过所述初步向量，将所述实体对映射至子空间得到映射向量，其中，所述初步向量包括关系抽取后字向量、实体类型特征向量和共指特征向量；
12.将所述映射向量输入第一全连接神经网络模型，得到所述实体级特征向量。
13.在其中一个实施例中，所述通过所述初步向量，将所述实体对映射至子空间得到映射向量，包括：
14.计算所述初步向量的平均值，得到所述实体对中实体的指称向量；
15.计算所述指称向量的平均值，得到所述实体的实体向量；
16.将所述实体向量映射到子空间，得到所述实体的映射向量。
17.在其中一个实施例中，所述根据所述初步向量和所述实体级特征向量，确定文档级特征向量，包括：
18.对所述文档中的字赋予第一权重系数，通过所述第一权重系数和所述字的初步向量得到所述文档中句子的句子向量；
19.将所述句子向量和所述实体级特征向量输入第二全连接神经网络模型，得到句子级特征向量；
20.通过所述句子级特征向量，获取所述文档级特征向量。
21.在其中一个实施例中，所述通过所述句子级特征向量，获取所述文档级特征向量，包括：
22.将所述句子级特征向量输入双向长短时记忆循环神经网络模型，得到句子的特征向量，并采用自注意力机制得到句子的第二权重系数；
23.通过所述句子的特征向量和所述句子的第二权重系数，确定所述文档级特征向量。
24.在其中一个实施例中，所述通过所述实体级特征向量和所述文档级特征向量，确定所述文档中实体对之间的实体关系，包括：
25.将所述实体级特征向量和所述文档级特征向量输入至第三全连接神经网络模型，得到所述实体对之间存在各实体关系的关系概率；
26.通过所述关系概率和预设阈值，确定所述实体对之间的实体关系。
27.在其中一个实施例中，所述方法还包括：
28.获取所述文档的文档向量；
29.对所述文档向量进行转换处理，得到所述关系抽取后字向量，所述关系抽取后字向量包括所述文档中的字在关系抽取词表中的表达字符、所述文档中字的填补属性和所述字所属的句子在所述文档中的句子序号。
30.一种关系抽取装置，所述装置包括：
31.初步向量获取模块，用于将文档的关系抽取后字向量输入关系抽取模型，得到所述文档中的字的初步向量；
32.第一特征向量获取模块，用于通过所述初步向量提取所述文档中实体对的实体级特征向量；
33.第二特征向量获取模块，用于根据所述初步向量和所述实体级特征向量，确定文档级特征向量；
34.实体关系确定模块，用于通过所述实体级特征向量和所述文档级特征向量，确定所述文档中实体对之间的实体关系。
35.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
36.将文档的关系抽取后字向量输入关系抽取模型，得到所述文档中的字的初步向量；
37.通过所述初步向量提取所述文档中实体对的实体级特征向量；
38.根据所述初步向量和所述实体级特征向量，确定文档级特征向量；
39.通过所述实体级特征向量和所述文档级特征向量，确定所述文档中实体对之间的实体关系。
40.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41.将文档的关系抽取后字向量输入关系抽取模型，得到所述文档中的字的初步向
量；
42.通过所述初步向量提取所述文档中实体对的实体级特征向量；
43.根据所述初步向量和所述实体级特征向量，确定文档级特征向量；
44.通过所述实体级特征向量和所述文档级特征向量，确定所述文档中实体对之间的实体关系。
45.上述关系抽取方法、装置、计算机设备和可读存储介质，计算机设备可以将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量，通过初步向量提取文档中实体对的实体级特征向量，根据初步向量和实体级特征向量，确定文档级特征向量，通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系；该方法避免了仅通过句子级特征向量确定实体关系的问题，能够在确定实体对之间的实体关系时，基于关系抽取模型先获取文档中字的初步向量，进而通过初步向量提取文档中实体对的实体级特征向量和包含文档中句子上下文信息的文档级特征向量，并将实体级特征向量和文档级特征向量进行结合，确定文档中实体对之间的实体关系，使得该方法能够结合文档中句子的上下文信息，对文档整体进行推断和理解，从而提高抽取的实体关系的准确性。
附图说明
46.图1为一个实施例中关系抽取方法的流程示意图；
47.图2为一个实施例中提取实体对的实体级特征向量的方法流程示意图；
48.图3为另一个实施例中将实体对映射至子空间的方法流程示意图；
49.图4为另一个实施例中确定文档级特征向量的方法流程示意图；
50.图5为另一个实施例中获取文档级特征向量的方法流程示意图；
51.图6为另一个实施例中确定文档中实体对之间的实体关系的方法流程示意图；
52.图7为另一个实施例中获取关系抽取后字向量的方法流程示意图；
53.图8为一个实施例中关系抽取装置的结构框图；
54.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
56.本实施例提供的关系抽取方法，可以适用于计算机设备中。该计算机设备可以为智能手机、平板电脑、笔记本电脑、台式电脑或个人数字助理等具有图像处理功能的电子设备，本实施例对计算机设备的具体形式不做限定。
57.在一个实施例中，如图1所示，提供了一种关系抽取方法，以该方法应用于计算机设备为例进行说明，包括以下步骤：
58.s100、将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量。
59.具体的，文档的关系抽取后字向量可以为对文档进行处理得到的文档向量，该文档向量的格式符合关系抽取模型的输入格式。关系抽取后字向量可以包括文档中每个字在
文档中所处位置的序号对应的向量、文档中每个句子的长度对应的向量、文档中每个句子在文档中所处位置的序号对应的向量、文档中每个字在所属句子中所处位置的序号、文档中每个字对应的字符表示等等。
60.可以理解的是，上述关系抽取模型可以为深度学习网络模型，在本实施例中，可以为bert模型。上述字的初步向量可以包括文档中字的各种特征向量和不同字之间的共性特征向量等等。计算机设备可以对文档进行预处理得到关系抽取后字向量，并将关系抽取后字向量输入关系抽取模型，以得到文档中的字的初步向量。上述预处理可以为去除文档中标点符号的处理、去除文档中段落间距的处理、去除文档中重叠字的处理等等。
61.其中，计算机设备可以对文档进行预处理得到关系抽取后字向量，并将关系抽取后字向量输入关系抽取模型，先得到文档中字的向量，即关系抽取后字向量，进一步通过关系抽取后字向量确定文档中的字的初步向量。
62.s200、通过初步向量提取文档中实体对的实体级特征向量。
63.具体的，计算机设备可以将文档中的字的初步向量输入至全连接神经网络模型中，提取文档中实体对的实体级特征向量，还可以对文档中的字的初步向量进行映射处理得到映射结果，并将映射结果输入至全连接神经网络模型中，提取文档中实体对的实体级特征向量，当然，还可以为其它方式提取文档中实体对的实体级特征向量。
64.可以理解的是，上述映射处理可以为空间映射、等数值映射或者数值范围映射等等处理。
65.s300、根据初步向量和实体级特征向量，确定文档级特征向量。
66.具体的，计算机设备可以对文档中的字的初步向量和实体级特征向量进行算术运算，得到文档级特征向量，还可以将文档中的字的初步向量和实体级特征向量输入至神经网络模型中，得到文档级特征向量，还可以对文档中的字的初步向量和实体级特征向量进行算术运算，并将算术运算的结果输入至神经网络模型中，得到文档级特征向量，对此本实施例不做限定。上述算术运算可以为加法运算、减法运算、乘法运算或者除法运算等等，还可以为这些运算的组合运算。
67.s400、通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系。
68.可以理解的是，计算机设备可以预先假设文档中实体对之间的实体关系，对实体级特征向量和文档级特征向量进行算术运算，根据运算结果和假设的实体关系对应的预设阈值进行比较，确定假设的实体关系是否正确，以将正确的假设关系作为文档中实体对之间实际实体关系，即文档中实体对之间的实体关系。上述算术运算可以为加法运算、减法运算、乘法运算或者除法运算等等，还可以为这些运算的组合运算，另外，该算术运算还可以为神经网络模型执行的算术运算。也就是，可以将实体级特征向量和文档级特征向量输入至预测实体关系的神经网络模型中，得到文档中实体对之间的实体关系。另外，本实施例中采用的所有神经网络模型可以组成一个整体，称为实体关系抽取模型。
69.上述关系抽取方法中，计算机设备可以将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量，通过初步向量提取文档中实体对的实体级特征向量，根据初步向量和实体级特征向量，确定文档级特征向量，通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系；该方法避免了仅通过句子级特征向量确定实体
关系的问题，能够在确定实体对之间的实体关系时，基于关系抽取模型先获取文档中字的初步向量，进而通过初步向量提取文档中实体对的实体级特征向量和包含文档中句子上下文信息的文档级特征向量，并将实体级特征向量和文档级特征向量进行结合，确定文档中实体对之间的实体关系，使得该方法能够结合文档中句子的上下文信息，对文档整体进行推断和理解，从而提高抽取的实体关系的准确性；同时，该方法可以适用于任何类型的文档，提高了关系抽取方法的通用性。
70.作为其中一个实施例，如图2所示，上述s200中通过初步向量提取文档中实体对的实体级特征向量的步骤，可以通过以下步骤实现：
71.s210、通过初步向量，将实体对映射至子空间得到映射向量，其中，初步向量包括关系抽取后字向量、实体类型特征向量和共指特征向量。
72.具体的，为了提升实体关系抽取模型对于整个文档的理解能力，可以加入额外特征向量以确定关系抽取结果。上述额外特征向量可以包括实体类型特征向量和共指特征向量。可选的，实体对中的实体可以为文档中的词，词通过多个字组成。
73.在本实施例中，上述文档中的字的初步向量hi可以包括关系抽取后字向量、实体类型特征向量和共指特征向量。其中，上述初步向量中的关系抽取后字向量可以包含文档中每个字的语义信息w，语义信息w的维度为dw；本实施例引入的实体类型特征向量丰富了实体信息，并且有利于实体关系抽取模型的快速学习，维度可以表示为d
t
；针对同一实体内的每个字，可以赋予每个字一个相同的共指特征向量，维度可以表示为dc，因此，上述文档中的字的初步向量中的字的初步向量
74.可以理解的是，上述子空间可以为维度小于全空间的部分空间。若子空间为k维度的子空间，k可以大于2。计算机设备可以通过初步向量，将实体对中的每个实体映射至k子空间中，得到映射向量。每个实体可以对应一个映射向量。上述映射向量的数量可以大于等于2。
75.s220、将映射向量输入第一全连接神经网络模型，得到实体级特征向量。
76.具体的，计算机设备可以将所有映射向量进行组合，并将组合结果输入至第一全连接神经网络模型，得到实体级特征向量ie，还可以将得到的每个实体对应的映射向量直接输入至第一全连接神经网络模型，得到实体级特征向量ie。第一全连接神经网络模型可以理解为一个全连接层。实体级特征向量ie可以理解为实体对中各个实体在实体级别的关系特征向量。
77.示例性的，若实体对包括实体a和实体b，则将各实体映射至k子空间上得到映射向量分别可以表示为和将所有映射向量进行组合后的向量可以表示为为了表示实体关系抽取模型需要进行关系抽取的实体对a和b，在分别获取到映射向量和之后，计算机设备可以采用第一全连接神经网络模型得到最终的实体级特征向量ie，实体级特征向量ie可以通过下述公式(1)表示为：
[0078][0079]
其中，wi和bi为实体级特征向量ie对应的可学习参数。
[0080]
在本实施例中，实体级特征向量ie时，额外地融入了实体类型特征向量和共指特
征向量，从而能够加速实体关系抽取模型的拟合效率。
[0081]
上述关系抽取方法可以通过初步向量，将实体对映射至子空间得到映射向量，将映射向量输入第一全连接神经网络模型，得到实体级特征向量，进而通过实体级特征向量和提取到的文档级特征向量，确定文档中实体对之间的实体关系，使得该方法能够结合文档中句子的上下文信息，对文档整体进行推断和理解，从而提高抽取的实体关系的准确性。
[0082]
作为其中一个实施例，如图3所示，上述s210中通过初步向量，将实体对映射至子空间得到映射向量的步骤，具体可以包括：
[0083]
s211、计算初步向量的平均值，得到实体对中实体的指称向量。
[0084]
在本实施例中，将实体对映射至子空间之前，可以先对文档中的字的初步向量进行向量处理，然后将向量处理结果映射到子空间。
[0085]
具体的，计算机设备可以对文档中的字的初步向量进行算术运算，得到实体对中各个实体的指称向量。
[0086]
在本实施例中，一个实体在文档中可能出现多次指称，一个指称可以由文档中的多个字来组成，因此，指称向量可以通过所有字对应的初步向量的平均值来表示，上述算术运算可以为求取平均数运算。指称向量e
l
具体表示可以如下述公式(2)所示，即
[0087][0088]
其中，上述i表示指称向量中的第i个字，l表示第l个指称向量。
[0089]
s212、计算指称向量的平均值，得到实体的实体向量。
[0090]
具体的，计算机设备可以对指称向量进行算术运算，得到实体对中各个实体的实体向量。在本实施例中，一个实体在文档中可能出现多次指称，一个指称可以由文档中的多个字来组成，因此，实体向量也可以通过所有指称对应的指称向量的平均值来表示，上述算术运算可以为求取平均数运算。实体向量ea具体表示可以如下述公式(3)所示，即
[0091][0092]
s213、将实体向量映射到子空间，得到实体的映射向量。
[0093]
具体的，为了增加实体关系抽取模型的表示能力，计算机设备可以通过算术运算处理的方式，将实体向量映射到子空间中，得到实体的映射向量。但在本实施例中，计算机设备可以采用全连接层将实体向量映射至子空间中，得到实体的映射向量。
[0094]
若实体对包括实体a和实体b，则将各实体映射至k维度的子空间上得到映射向量分别可以表示为和其中，可以通过下述公式(4)表示为：
[0095][0096]
其中，和均为k维度的子空间对应的可学习参数，k表示k维度中的第k维度。
[0097]
上述关系抽取方法可以计算初步向量的平均值，得到实体对中实体的指称向量，计算指称向量的平均值，得到实体的实体向量，将实体向量映射到子空间，得到实体的映射向量，进而将映射向量输入第一全连接神经网络模型，得到实体级特征向量，并通过实体级特征向量和提取到的文档级特征向量，确定文档中实体对之间的实体关系，使得该方法能够结合文档中句子的上下文信息，对文档整体进行推断和理解，从而增加实体关系抽取模型的表示能力，进一步提高抽取的实体关系的准确性。
[0098]
作为其中一个实施例，如图4所示，上述s300中根据初步向量和实体级特征向量，确定文档级特征向量的步骤，可以通过以下步骤实现：
[0099]
s310、对文档中的字赋予第一权重系数，通过第一权重系数和字的初步向量得到文档中句子的句子向量。
[0100]
具体的，若一个文档中包含l个句子，w
ij
为第i个句子中第j个字的数值表示，文档中每个字的数值表示可以组成文档向量。不同的字在一个句子中有着不同的重要程度，因此，计算机设备可以将字的初步向量hi输入至全连接网络模型中，采用自注意力机制选择性的对文档中更重要的字赋予较高的权重，对其它字赋予较低的权重，即得到每个字对应的第一权重系数a
ij
，然后根据第一权重系数a
ij
计算字的加权参数c
ij
，之后对加权参数c
ij
和字的初步向量h
ij
进行加权求和，得到文档中句子的句子向量si。上述更重要的字可以理解为句子中对实体对的关系预测有着较大影响的字。
[0101]
在该步骤中，获取到的第一权重系数a
ij
、加权参数c
ij
和句子向量si可以通过下述公式(5)至(7)分别表示为：
[0102][0103][0104][0105]
其中，uw、bw(uw、bw∈rd)、ww(ww∈rd×d)和d均为可学习参数，其中，可以通过深度学习模型随机初始化这些可学习参数，通过损失函数进行梯度下降等算法进行下标w和d的更新，下标w可以表示预测情况；h
ij
为字的初始向量中每个字的初始向量表示。
[0106]
s320、将句子向量和实体级特征向量输入第二全连接神经网络模型，得到句子级特征向量。
[0107]
具体的，计算机设备可以将句子向量si和实体级特征向量ie直接输入至第二全连接神经网络模型，得到句子级特征向量i
si
，还可以将句子向量si和实体级特征向量ie组合成矩阵[si,ie]后，进一步将矩阵[si,ie]输入至第二全连接神经网络模型，得到句子级特征向量i
si
。将矩阵[si,ie]输入至第二全连接神经网络模型后，具体的计算过程可以通过公式表示为：
[0108]isi
＝relu(ws[si,ie]+bs)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0109]
其中，ws、bs为句子向量si对应的可学习参数。
[0110]
s330、通过句子级特征向量，获取文档级特征向量。
[0111]
具体的，计算机设备可以将句子级特征向量i
si
输入至神经网络模型中，对句子级特征向量i
si
进行算术运算，得到文档级特征向量id。该神经网络模型可以为卷积神经网络模型、循环神经网络模型或者支持向量机等等。
[0112]
上述关系抽取方法可以获取包含文档中句子的上下文信息的文档级特征向量，进而将实体级特征向量和文档级特征向量进行结合，确定文档中实体对之间的实体关系，使得能够提高抽取的实体关系的准确性。
[0113]
在一些场景中，得到句子级特征向量之后，为了使更重要的句子在文档级特征向
量中具有更高的权重，可以采用自注意力机制进行文档级特征向量的提取，因此，上述s330中通过句子级特征向量，获取文档级特征向量的步骤，如图5所示，具体可以包括：
[0114]
s331、将句子级特征向量输入双向长短时记忆循环神经网络模型，得到句子的特征向量，并采用自注意力机制得到句子的第二权重系数。
[0115]
具体的，计算机设备可以将句子级特征向量i
si
输入双向长短时记忆循环神经网络模型，并进行如下公式(9)的处理，得到句子的特征向量c
si
，之后根据句子的特征向量c
si
采用自注意力机制选择性的对文档中更重要的句子赋予较高的权重，对其它句子赋予较低的权重，得到句子的第二权重系数zi。上述更重要的句子可以理解为文档中对实体对的关系预测有着较大影响的句子。
[0116]
上述句子的第二权重系数zi的计算过程可以通过如下公式(10)表示，即
[0117]csi
＝bilstmd(i
si
),i∈[1,l]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；
[0118][0119]
其中，us、bs(us、bs∈rd)和ws(ws∈rd×d)为句子向量si对应的可学习参数，l表示文档中句子的总数量，t表示转置运算，d表示整个文档。
[0120]
s332、通过句子的特征向量和句子的第二权重系数，确定文档级特征向量。
[0121]
具体的，计算机设备可以通过句子的第二权重系数zi计算句子的加权参数qi，然后将句子的加权参数qi和句子的特征向量c
si
进行加权求和，得到文档级特征向量id，id∈rd。上述句子的加权参数qi和文档级特征向量id的计算过程可以通过公式表示为：
[0122][0123][0124]
其中，文档级特征向量id代表了整个文档的信息，包含了文档中句子的上下文信息。
[0125]
上述关系抽取方法可以获取包含文档中句子的上下文信息的文档级特征向量，进而将实体级特征向量和文档级特征向量进行结合，确定文档中实体对之间的实体关系，使得能够提高抽取的实体关系的准确性。
[0126]
作为其中一个实施例，如图6所示，上述s400中通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系的步骤，具体可以包括以下步骤：
[0127]
s410、将实体级特征向量和文档级特征向量输入至第三全连接神经网络模型，得到实体对之间存在各实体关系的关系概率。
[0128]
具体的，为了能够更加充分利用不同级别的特征向量，本实施例可以将实体级特征向量ie和文档级特征向量id进行结合得到矩阵[ie,id]，将矩阵[ie,id]作为最终用于计算关系概率p的向量。其中，在实体级特征向量ie和文档级特征向量id输入第三全连接神经网络模型前，计算机设备可以先将实体级特征向量ie和文档级特征向量id进行结合，还可以将实体级特征向量ie和文档级特征向量id直接输入至第三全连接神经网络模型，通过第三全连接神经网络模型进行组合后再计算关系概率p。关系概率p的具体计算过程可以通过公式表示为：
[0129]
p(r|ea,eb)＝sigmiod(wr[ie,id]+br)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0130]
其中，r表示实体对所属的关系类别，wr和br为可学习参数，。
[0131]
在本实施例中，所有全连接神经网络模型均可以为全连接层。在使用实体关系抽取模型之前，先对实体关系抽取模型进行训练，得到最优的实体关系抽取模型，再进行使用。
[0132]
可以理解的是，对实体关系抽取模型训练时，设定预设标签为y，y中的每一维数值代表一种实体关系，1表示实体对中的实体间存在该关系，0表示实体对中的实体间不存在该关系。选取文档训练集，获取训练集中的所有实体对的关系标签，并将所有关系标签转换为三元组，即(头实体，尾实体，实体关系)。配对文档中出现的所有实体对，如果实体对中的实体之间存在实体关系，则将训练集输入实体关系抽取模型中的bert模型时加入预留标签，即在头实体前后分别加上[unused0]和[unused1]，在尾实体前后加上[unused2]和[unused3]标记，通过如上方式，将文档中属于同一个实体的所有指称均进行标记，使得实体关系抽取模型在训练的过程中能够更加理解文档的整体含义。关系标签是一个维度为训练集中所有实体关系的总数量加1的向量，在某一维度中，其值为0表示实体对中的实体间不存在该关系，其值为1表示实体对中的实体间存在该关系，关系标签中的第一个值表示实体对中的实体间无关系。其中，将实体对中的实体间的实体关系可以记录在关系标签中，若实体间无关系则在代表无关系的维度上标1。示例性的，若关系标签为[0，0，0，1]，则表示实体对中的实体间为第四种关系，若关系标签为[1，0，0，0]，则表示实体对中的实体间为第一种关系，若实体对中的实体间无关系，则也需要在无关系的对应位置上用1记录。
[0133]
在实体关系抽取模型训练的过程中，将预设标签y与关系标签通过二元交叉熵损失来计算模型训练过程中的损失loss，通过公式可以表示为：
[0134][0135]
其中，yr表示关系标签中的真值，l表示实体对中实体间存在的实体关系的总数量。
[0136]
s420、通过关系概率和预设阈值，确定实体对之间的实体关系。
[0137]
具体的，实体对中实体间存在的实体关系的数量可以等于得到的关系概率的数量，因此，预设阈值的数量可以大于0且小于等于关系概率的数量。
[0138]
可以理解的是，计算机设备可以将每个关系概率与对应的预设阈值进行比较，根据比较结果确定实体对之间是否存在该实体关系，若存在，则将该实体关系确定为实体对之间的实体关系。其中，若关系概率大于等于对应的预设阈值，可以确定实体对之间存在该实体关系，否则，确定实体对之间不存在该实体关系。
[0139]
上述关系抽取方法可以将实体级特征向量和文档级特征向量进行结合，确定文档中实体对之间的实体关系，使得该方法能够通过包含文档中句子的上下文信息的文档级特征向量确定实体关系，从而提高了抽取的实体关系的准确性；同时，该方法通过提取的实体级特征向量和文档级特征向量确定实体关系，可以增强实体关系抽取模型的学习能力和泛化性，使得文档关系抽取的准确率大幅提升。
[0140]
作为其中一个实施例，如图7所示，在上述步骤之前，关系抽取方法还包括以下步骤：
[0141]
s500、获取文档的文档向量；
[0142]
具体的，上述文档可以为任何不同领域的任意形式文档，如中文文档、英文文档、纯数据文档，或者为这些文档的组合文档，其中，英文中一个单词可以称为文档中的一个字。计算机设备将文档中的字符可以转化为文档向量表示，即数值表示。上述文档向量可以通过参数d表示，w为文档中每个字的数值表示，n为文档中句子的总数量，tn为第n个句子中字的总数量，为文档中第n个句子中的第tn个字的数值表示。
[0143]
s600、对文档向量进行转换处理，得到关系抽取后字向量，关系抽取后字向量包括文档中的字在关系抽取词表中的表达字符input_ids、文档中字的填补属性input_musk和字所属的句子在文档中的句子序号segment_ids。
[0144]
在本实施例中，关系抽取后字向量可以通过三部分组成，即文档中的字在关系抽取词表中的表达字符input_ids、文档中字的填补属性input_musk和字所属的句子在文档中的句子序号segment_ids，其中，input_ids、input_musk和segment_ids均可以表示向量。
[0145]
可以理解的是，input_ids可以表示文档中各个字在关系抽取词表中所对应的序号，即可以采用bert模型提供的分词器将文档中的各个字转换为input_ids。上述关系抽取词表可以理解为将文档中的各个字映射成字符表达后组成的集合，该字符可以为数值、字母、特殊符号等等。以数值为例进行说明，如“苹”这个字映射为数值用100表示，那么，文档中出现的“苹”都会映射成数值100。input_musk可以表示文档向量中元素是填补元素还是文档中的字对应的原始元素。
[0146]
其中，上述关系抽取后字向量表达的是文档的整体信息，但由于bert模型对文档的字符长度有限制，因此，可以对文档向量先进行预处理得到预处理结果，进而将预处理结果输入至bert模型进行后续处理。通常，bert模型限制处理的最大字符长度限制为512，所以，input_ids的向量长度可以固定为512，对于不足最大字符长度的文档向量可以用0填充input_ids中的元素，对于超过最大字符长度的文档向量可以做截断处理，以使每个input_ids的长度为512。并且，通过input_musk可以表示input_ids中的填充元素和文档向量本身的元素，其中，0可以表示input_ids中的填充元素。
[0147]
另外，segment_ids可以表示文档中每个字所属的句子在文档中所对应的句子序号，即文档中每个字所属的句子在文档中排列位置编号。其中，bert模型可以进行文档中语句对的分类任务，在语句对中采用segment_ids来区分文档中前后两个句子，其中，segment_id为0代表第一个句子，为1则代表第二个句子。
[0148]
上述关系抽取方法可以将文档转化为关系抽取后字向量，即获取到能够满足bert模型输入格式的向量，从而能够快速对关系抽取后字向量进行处理，以便确定实体对中实体间的实体关系，能够提高实体关系抽取效率。
[0149]
为了便于本领域技术人员的理解，具体的，该方法包括：
[0150]
(1)获取文档的文档向量。
[0151]
(2)对文档向量进行转换处理，得到关系抽取后字向量，关系抽取后字向量包括文档中的字在关系抽取词表中的表达字符、文档中字的填补属性和字所属的句子在文档中的句子序号。
[0152]
(3)将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量。
[0153]
(4)计算初步向量的平均值，得到实体对中实体的指称向量，其中，初步向量包括关系抽取后字向量、实体类型特征向量和共指特征向量。
[0154]
(5)计算指称向量的平均值，得到实体的实体向量。
[0155]
(6)将实体向量映射到子空间，得到实体的映射向量。
[0156]
(7)将映射向量输入第一全连接神经网络模型，得到实体级特征向量。
[0157]
(8)对文档中的字赋予第一权重系数，通过第一权重系数和字的初步向量得到文档中句子的句子向量。
[0158]
(9)将句子向量和实体级特征向量输入第二全连接神经网络模型，得到句子级特征向量。
[0159]
(10)将句子级特征向量输入双向长短时记忆循环神经网络模型，得到句子的特征向量，并采用自注意力机制得到句子的第二权重系数。
[0160]
(11)通过句子的特征向量和句子的第二权重系数，确定文档级特征向量。
[0161]
(12)将实体级特征向量和文档级特征向量输入至第三全连接神经网络模型，得到实体对之间存在各实体关系的关系概率。
[0162]
(13)通过关系概率和预设阈值，确定实体对之间的实体关系。
[0163]
以上(1)至(13)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
[0164]
应该理解的是，虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0165]
在一个实施例中，如图8所示，提供了一种关系抽取装置，包括：初步向量获取模块11、第一特征向量获取模块12、第二特征向量获取模块13和实体关系确定模块14，其中：
[0166]
初步向量获取模块11，用于将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量；
[0167]
第一特征向量获取模块12，用于通过初步向量提取文档中实体对的实体级特征向量；
[0168]
第二特征向量获取模块13，用于根据初步向量和实体级特征向量，确定文档级特征向量；
[0169]
实体关系确定模块14，用于通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系。
[0170]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0171]
在其中一个实施例中，第一特征向量获取模块12包括：映射单元和网络处理单元，其中：
[0172]
映射单元，用于通过初步向量，将实体对映射至子空间得到映射向量；
[0173]
第一网络处理单元，用于将映射向量输入第一全连接神经网络模型，得到实体级特征向量。
[0174]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0175]
在其中一个实施例中，映射单元包括：第一计算子单元、第二计算子单元和映射子单元，其中：
[0176]
第一计算子单元，用于计算初步向量的平均值，得到实体对中实体的指称向量，其中，初步向量包括关系抽取后字向量、实体类型特征向量和共指特征向量；
[0177]
第二计算子单元，用于计算指称向量的平均值，得到实体的实体向量；
[0178]
映射子单元，用于将实体向量映射到子空间，得到实体的映射向量。
[0179]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0180]
在其中一个实施例中，第二特征向量获取模块13包括：第一计算单元、第二网络处理单元和第二计算单元，其中：
[0181]
第一计算单元，用于对文档中的字赋予第一权重系数，通过第一权重系数和字的初步向量得到文档中句子的句子向量；
[0182]
第二网络处理单元，用于将句子向量和实体级特征向量输入第二全连接神经网络模型，得到句子级特征向量；
[0183]
第二计算单元，用于通过句子级特征向量，获取文档级特征向量。
[0184]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0185]
在其中一个实施例中，第二计算单元包括：网络处理子单元和特征信息确定子单元，其中：
[0186]
网络处理子单元，用于将句子级特征向量输入双向长短时记忆循环神经网络模型，得到句子的特征向量，并采用自注意力机制得到句子的第二权重系数；
[0187]
特征信息确定子单元，用于通过句子的特征向量和句子的第二权重系数，确定文档级特征向量。
[0188]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0189]
在其中一个实施例中，实体关系确定模块14包括：第三网络处理单元和实体关系确定单元，其中：
[0190]
第三网络处理单元，用于将实体级特征向量和文档级特征向量输入至第三全连接神经网络模型，得到实体对之间存在各实体关系的关系概率；
[0191]
实体关系确定单元，用于通过关系概率和预设阈值，确定实体对之间的实体关系。
[0192]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0193]
在其中一个实施例中，关系抽取装置还包括文档向量获取模块和向量转换模块，其中：
[0194]
文档向量获取模块，用于获取文档的文档向量；
[0195]
向量转换模块，用于对文档向量进行转换处理，得到关系抽取后字向量，关系抽取后字向量包括文档中的字在关系抽取词表中的表达字符、文档中字的填补属性和字所属的句子在文档中的句子序号。
[0196]
本实施例提供的关系抽取装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0197]
关于关系抽取装置的具体限定可以参见上文中对于关系抽取方法的限定，在此不再赘述。上述关系抽取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0198]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各个领域的文档。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种关系抽取方法。
[0199]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0200]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0201]
将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量；
[0202]
通过初步向量提取文档中实体对的实体级特征向量；
[0203]
根据初步向量和实体级特征向量，确定文档级特征向量；
[0204]
通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系。
[0205]
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0206]
将文档的关系抽取后字向量输入关系抽取模型，得到文档中的字的初步向量；
[0207]
通过初步向量提取文档中实体对的实体级特征向量；
[0208]
根据初步向量和实体级特征向量，确定文档级特征向量；
[0209]
通过实体级特征向量和文档级特征向量，确定文档中实体对之间的实体关系。
[0210]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存
储器(dynamic random access memory，dram)等。
[0211]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0212]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。