基于深度学习算法的电力设备三元组构建方法与流程

1.本发明涉及人工智能技术领域，具体涉及基于深度学习算法的电力设备三元组构建方法。


背景技术：

2.知识图谱是一种知识表示方法，在本质上是一个结构化语义知识库，它以三元组(即头实体h，关系r和尾实体t)的形式对客观世界中的实体及其相互关系进行建模，这些三元组通过共有的实体或属性相互连接,构成网状的知识结构。
3.相较于传统的知识组织、管理方式，知识图谱三元组基于图的数据组织结构支持更高效的数据调取，能够处理复杂多样的关联表示，能够模拟人类思考过程进行语义分析。
4.在电力设备知识图谱技术领域，构建电力设备的知识图谱三元组，为电力设备的智能运维奠定了基础；对于特定领域的专业知识图谱的构建，其难点之一在于知识数据的获取。例如在电力设备专业领域中，结构化和半结构化的专业知识来源较少，导致目前没有一个完善的方案来抽取电力设备知识图谱三元组。


技术实现要素：

5.本发明的主要目的是提供一种基于深度学习算法的电力设备三元组构建方法，旨在解决目前没有一个完善的方案来抽取电力设备知识图谱三元组的问题。
6.本发明提出的技术方案为：
7.一种基于深度学习算法的电力设备三元组构建方法，包括：
8.基于数据流编程构建的三元组提取模型：以自顶向下的构建方式构建模式层，并在所述模式层的指导下，采用自底向上的方式构建数据层，其中，所述模式层是知识抽取的知识组织架构，是对实体、实体间关系以及属性进行描述的数据模型，所述数据层包括命名实体抽取模型和实体关系抽取模型；
9.利用所述命名实体抽取模型对待抽取文本进行电力设备命名实体识别，以实现电力设备命名实体抽取，并进行标注以得到标注实体；
10.基于所述标注实体，通过所述实体关系抽取模型对所述待抽取文本进行电力设备实体关系抽取，以提取电力设备三元组，其中，所述实体关系抽取模型包括双向循环网络、膨胀门卷积神经网络和自注意力模型。
11.优选的，所述基于所述标注实体，通过所述实体关系抽取模型对所述待抽取文本进行电力设备实体关系抽取，以提取电力设备三元组，包括：
12.将所述命名实体抽取模型标注的实体作为所述实体关系抽取模型的一个输入，以得到第一结果，将待抽取文本重新训练得到的特征向量作为所述实体关系抽取模型另一个输入，以得到第二结果，将所述第一结果和所述第二结果拼接，并传入卷积神经网络，以提取到电力设备三元组。
13.优选的，所述通过所述命名实体抽取模型对待抽取文本进行电力设备命名实体识
别，以实现电力设备命名实体抽取，并进行标注以得到标注实体，包括：
14.构建电力领域词库；
15.获取训练集文本序列；
16.基于所述训练集文本序列通过word2vec模型计算得到所述电力领域词库中各个词的空间向量，所述训练集文本序列通过字embedding层计算得到字向量；
17.通过字词混合embedding方法得到所述字词混合embedding向量序列编码；
18.加上一个与字向量序列维度相同的position embedding向量，以使得所述编码出的向量序列的位置信息更加明显；
19.将所述字向量序列编码输入到膨胀率依次为1，2，5，1，2，5，1，2，5，1，1，1的12层膨胀门卷积神经网络中进行学习，以输出得到第一序列；
20.将所述第一序列传入一层自注意力层中得到第二序列；
21.将所述第二序列传入全连接层输出，用半指针半标注结构预测实体的首位置，以及实体的尾位置，以得到标注实体。
22.优选的，所述构建电力领域词库，包括：
23.建立字典树索引，统计待抽取文本中每个字符和二元组出现的频率，并标记为词频，按照词频从大至小的顺序取出二元组作为候选词语，其中，所述二元组由每个字符与右邻字符组成；
24.获取点互信息阈值，左右信息熵阈值，词频阈值，最大词长度阈值；
25.计算候选词语的点互信息；
26.当候选词语的点互信息大于点互信息阈值时，将所述候选词语标记为待选词语；
27.计算所述待选词语的左信息熵和右信息熵；
28.若所述待选词语的左信息熵大于左右信息熵阈值，且所述待选词语的右信息熵大于左右信息熵阈值，且所述待选词语的词频大于词频阈值，将所述待选词语存入所述电力领域词库；
29.若所述待选词语的右信息熵小于左右信息熵阈值，向右扩展所述待选词语，以得到右扩词语，且所述右扩词语的长度小于最大词长度阈值，然后再次执行所述计算所述待选词语的左信息熵和右信息熵，及之后的步骤；
30.若所述待选词语的左信息熵小于左右信息熵阈值，向左扩展所述待选词语，以得到左扩词语，且所述左扩词语的长度小于最大词长度阈值，然后再次执行所述计算所述待选词语的左信息熵和右信息熵，及之后的步骤。
31.优选的，计算候选词语的点互信息的计算公式为：
[0032][0033]
其中，pmi(ai,bj)为待抽取文本中候选词语a
ibj
的点互信息；p(ai,bj)是待抽取文本中候选词语的相邻字符ai和字符bj组合的字符a
ibj
出现的概率，p(ai)是字符ai在待抽取文本中出现的概率，p(bj)是字符bj在待抽取文本中出现的概率。
[0034]
优选的，所述加上一个与字向量序列维度相同的position embedding向量，以使得所述电力领域词库中各个词的位置信息更加明显，中position embedding的计算公式
为：
[0035][0036]
其中，上述公式即是将位置id为p的位置映射为一个d
pos
维的位置向量，所述位置向量的第i个数值为pei(p)。
[0037]
优选的，所述将所述向量序列编码输入到膨胀率依次为1，2，5，1，2，5，1，2，5，1，1，1的12层膨胀门卷积神经网络中进行学习，以得到第一序列，包括：
[0038]
将待处理的向量序列设置为z，且z＝[z1，z2，...，zn]；
[0039]
将所述向量序列编码输入至所述卷积神经网络卷积层，并在卷积时给卷积添加一个门机制，以得到输出结果第一序列，其中，第一序列的表达式为：
[0040][0041]
其中，y表示所述第一序列，σ为sigmoid激活函数，conv1d1与conv1d2为形式一样的两个一维卷积，其中一个以sigmoid激活函数进行激活，另外一个不加激活函数。
[0042]
优选的，所述将所述命名实体抽取模型标注的实体作为所述实体关系抽取模型的一个输入，以得到第一结果，将文本重新训练得到的特征向量作为所述实体关系抽取模型另一个输入，以得到第二结果，将所述第一结果和所述第二结果拼接，并传入卷积神经网络，以提取到电力设备的三元组，包括：
[0043]
对待抽取文本中各句子进行头实体预测；
[0044]
通过头实体来预测所述头实体对应的尾实体，然后通过头实体和尾实体来预测所传入的头实体和尾实体之间的关系。
[0045]
优选的，所述通过头实体来预测所述头实体对应的尾实体，然后通过头实体和尾实体来预测所传入的头实体和尾实体之间的关系，包括：
[0046]
将所述标注实体作为输入，随机采样一个标注实体；
[0047]
重新训练所述标注实体对应的待抽取文本，采用字词混合embedding与位置embedding拼接后的向量传入膨胀率依次为1，2，5，1，2，5，1，2，5，1，1，1的12层膨胀门卷积神经网络，以及一层自注意力层中进行学习，以得到第三序列；
[0048]
将随机采样的所述标注实体对应的所述第三序列中的编码向量传入双向循环网络中编码，再加上相对位置的编码结果，得到一个与输入序列等长的向量序列；
[0049]
将所述第三序列传入另一层自注意力层，以得到输出结果，并将输出结果与第所述向量序列相加，以得到拼接结果；
[0050]
将所述拼接结果传入全连接层进行输出，对关系种类确定情况时，对于每一种关系，分别对应预测尾实体的头位置和尾位置，以实现同时预测头实体与尾实体的关系并输出结果。
[0051]
优选的，所述基于所述标注实体，通过所述实体关系抽取模型对所述待抽取文本进行电力设备实体关系抽取，以提取电力设备三元组，之后还包括：
[0052]
获取预设学习率和预设次数；
[0053]
基于所述预设学习率和预设次数获取三元组提取模型的准确率，并基于准确率进
行对三元组提取模型进行评价。
[0054]
通过上述技术方案，能实现以下有益效果：
[0055]
本发明提出的基于深度学习算法的电力设备三元组构建方法，提供了一种更加完善的电力设备知识图谱三元组抽取方案，即以自顶向下的构建方式构建模式层，并在所述模式层的指导下，采用自底向上的方式构建数据层；本方案清晰体现了电力设备文本的特点，能够丰富了电力设备三元组，进而提高电力设备三元组的提取效率。
[0056]
此外，本发明还提出了一种包括双向循环网络、膨胀门卷积神经网络和自注意力模型的实体关系抽取模型；该模型基于自顶向下构建的模式层构建，采用概率图的思想来抽取电力设备三元组，进一步提高了电力设备三元组抽取的效率。
附图说明
[0057]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0058]
图1为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第一实施例的流程图；
[0059]
图2为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第一实施例中模式层及数据层的结构示意图；
[0060]
图3为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第一实施例中自顶向下的构建方式构建模式层的核心要点图；
[0061]
图4为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第五实施例中电力设备命名实体抽取示意图；
[0062]
图5为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第五实施例中字词混合embedding编码示意图；
[0063]
图6为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第五实施例中膨胀门卷积升降网络(dgcnn模型层)模型示意图；
[0064]
图7为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第七实施例中残差结构门卷积神经网络基本结构图；
[0065]
图8为本发明提出的一种基于深度学习算法的电力设备三元组构建方法第五实施例中注意力机制的基本网络架构图。
具体实施方式
[0066]
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0067]
本发明提出一种基于深度学习算法的电力设备三元组构建方法。
[0068]
如附图1所示，在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第一实施例中，本实施例包括如下步骤：
[0069]
步骤s110：基于数据流编程构建的三元组提取模型：以自顶向下的构建方式构建模式层，并在所述模式层的指导下，采用自底向上的方式构建数据层，其中，所述模式层是
知识抽取的知识组织架构，是对实体、实体间关系以及属性进行描述的数据模型，所述数据层包括命名实体抽取模型和实体关系抽取模型。
[0070]
具体的，如附图2所示，本方法采用自顶向下和自底向上相结合的方式来构建电力设备三元组。通过分析待抽取文本(电力设备文本)的内容，采用自顶向下的方式设计三元组的模式层；之后，在模式层的指导下，采用自底向上的方式构建数据层，针对待抽取文本的特点设计合适的抽取方法，进行实体、关系和属性3个知识要素的抽取，形成一系列高质量的事实表达，然后映射到模式层。
[0071]
如附图3所示，电力设备三元组模式层构建由设备名称、故障名称、故障缺陷现象、故障出现原因、故障处理办法5个核心要素，它们之间的相互关系包括：“类型”、“包含”、“发生”、“包括”、“原因是”、“处理措施”，形成(头实体h，关系t，尾实体r)三元组。
[0072]
步骤s120：利用所述命名实体抽取模型对待抽取文本进行电力设备命名实体识别，以实现电力设备命名实体抽取，并进行标注以得到标注实体h。
[0073]
步骤s130：基于所述标注实体h，通过所述实体关系抽取模型对所述待抽取文本进行电力设备实体关系抽取，以提取电力设备三元组，其中，所述实体关系抽取模型包括双向循环网络、膨胀门卷积神经网络和自注意力模型。
[0074]
具体的，根据模式层定义的实体类型，实体关系类型设计合适的命名实体抽取模型和实体关系抽取模型构建数据层。实体关系抽取是在模式层知识组织架构的指导下，通过一系列信息抽取方法从非(半)构化数据中获取实体、实体间关系以及属性等结构化知识的步骤。
[0075]
本发明提出的基于深度学习算法的电力设备三元组构建方法，提供了一种更加完善的电力设备知识图谱三元组抽取方案，即以自顶向下的构建方式构建模式层，并在所述模式层的指导下，采用自底向上的方式构建数据层；本方案清晰体现了电力设备文本的特点，能够丰富了电力设备三元组，进而提高电力设备三元组的提取效率。
[0076]
此外，本发明还提出了一种包括双向循环网络、膨胀门卷积神经网络和自注意力模型的实体关系抽取模型；该模型基于自顶向下构建的模式层构建，采用概率图的思想来抽取电力设备三元组，进一步提高了电力设备三元组抽取的效率。
[0077]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第二实施例中，基于第一实施例，步骤s130，包括如下步骤：
[0078]
步骤s210：将所述命名实体抽取模型标注的实体h作为所述实体关系抽取模型的一个输入，以得到第一结果，将待抽取文本重新训练得到的特征向量作为所述实体关系抽取模型另一个输入，以得到第二结果，将所述第一结果和所述第二结果拼接，并传入卷积神经网络，以提取到电力设备三元组。
[0079]
具体的，本发明设计了一种包括了双向循环网络、膨胀门卷积神经网络和自注意力模型的实体关系抽取模型来实现对待抽取文本的实体关系抽取。
[0080]
如附图4所示，本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第三实施例中，基于第二实施例，步骤s120，包括如下步骤：
[0081]
步骤s310：文本预处理：对待抽取文本进行预处理，以删除待抽取文本中的图片、表格、分句以及中与电力设备三元组提取无关的句子。
[0082]
步骤s320：构建电力领域词库。
[0083]
步骤s330：获取训练集文本序列。
[0084]
步骤s340：基于所述训练集文本序列通过word2vec模型计算得到所述电力领域词库中各个词的空间向量。
[0085]
具体的，word2vec模型，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。
[0086]
步骤s350：通过字词混合embedding得到所述字词混合embedding向量序列编码。
[0087]
具体的，为了使编码更为有效地融入语义信息，本技术选取字词混合embedding的方式获得来向量编码，字+词的混合编码，词切分准确十分重要，所以文本分词时加入上述电力领域词库，提高电力领域词分词的准确率。
[0088]
如附图5所示，以待抽取文本中“中压侧绕组严重变形”为例，“中压侧绕组”和“严重变形”都为切分结果词。
[0089]
首先通过字embedding层得到句子中每个字的字向量序列；然后将分词结果“中压侧绕组”和“严重变形”通过word2vec模型来获取对应的词向量，重复“中压侧绕组”词向量5次，重复“严重变形”词向量4次，再通过一个矩阵变换，将每个词词向量转化为与对应的字向量同一维度后，与单独编码的字向量将两者相加得到最终编码结果。
[0090]
步骤s360：加上一个与字向量序列维度相同的position embedding向量，以使得所述电力领域词库中各个词的位置信息更加明显。
[0091]
步骤s370：将所述字向量序列编码输入到膨胀率依次为1，2，5，1，2，5，1，2，5，1，1，1的12层膨胀门卷积神经网络(dgcnn模型层)中进行学习，以输出得到第一序列y。
[0092]
具体的，卷积神经网络cnn主要对计算任务就是进行卷积操作，膨胀卷积与普通卷积的不同之处在于膨胀卷积可以通过跳过δ个输入序列宽度的方式，在更长的输入序列上进行卷积操作。
[0093]
对比两者，膨胀卷积以膨胀率(dilation rate)参数来表示扩张的大小。当两者卷积核的大小是一样时，膨胀卷积因为在每一层都跳过了一定的序列宽度，所以会拥有更大的感受野，也就是说这样能够扩展字符上下文宽度，从而更好地提取整个文本序列的全局信息。
[0094]
如附图6所示，膨胀卷积可以用更少的参数量和计算量获取输入序列中更远距离信息，因此在自然语言处理任务中，使用膨胀卷积可以提高计算效率，对于相同长度的输入序列，使用膨胀卷积能够减少神经网络的层数从而简化模型。因此本文选取膨胀卷积作为卷积模型，通过调整膨胀率减少模型层数，以更少的卷积层来提取整个序列的特征。
[0095]
步骤s380：将所述第一序列y传入一层自注意力层中得到第二序列y'。
[0096]
具体的，上述步骤s560中注意力机制的基本网络架构如附图8所示。
[0097]
注意力机制通用表达式如下：
[0098]
[0099]
其中，dk为输入信息的维度，当此维度值较大时点乘的积也会很大，可能会使sigmoid激活函数出现梯度消失的情况，因此该式以因子作调节，使用缩放点积，以得到缩放点积形式的注意力打分函数。
[0100]
注意力机制运用时可以看作是对输入权重分配的关注，将将待抽取文本看成键值对序列，用k＝(k1,...,kn)和v＝(v1,...,vn)分别表示键序列和值序列，用q＝(q1,...,qn)表示查询序列，其中q对应query，k对应key，v对应value。
[0101]
自注意力模型可以看作是注意力模型的特殊形式，自注意力模型就是当查询query、键key和值value是相等时的情况，输入序列即为输出序列，在序列内部做注意力机制attention，计算序列对其本身的权重，从而寻找序列内部的联系。
[0102]
自注意力模型可以直接挖掘句子内部词语的语义组合关系，获取词语之间的的句法、语义的特点，在自然语言处理任务中能够更好地利用单词组合甚至是短语的信息，对神经网络处理文本信息的效果有显著提升，从而在各种自然语言处理任务中得到认可。因此，本技术选择self-attention机制进行词向量处理，充分考虑句子之间、不同词语之间的语义及语法联系，以提高三元组抽取的精度和效率。
[0103]
步骤s390：将所述第二序列y'传入全连接层(dense层)输出，用半指针半标注结构预测实体h的首位置，以及实体h的尾位置，以得到标注实体h。
[0104]
具体的，将输出的标注实体h进行保存输出，并作为后续实体关系抽取模型的输入。
[0105]
具体的，通过上述技术方案，本发明提出了一种基于膨胀门卷积神经网络和自注意力机制算法提取电力设备命名实体识别的方法。该方法基于电力领域词库，结合字词混合向量、位置向量和深度学习算法，为电力设备实体关系抽取奠定了基础，提高了电力设备三元组提取的效率，提高了三元组抽取的准确率。
[0106]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第四实施例中，基于第三实施例，步骤s320，包括如下步骤：
[0107]
步骤s401：建立字典树索引，统计待抽取文本中每个字符和二元组出现的频率，并标记为词频，按照词频从大至小的顺序取出二元组作为候选词语，其中，所述二元组由每个字符与右邻字符组成。
[0108]
步骤s402：获取点互信息阈值pmi，左右信息熵阈值ae，词频阈值wf，最大词长度阈值lw。
[0109]
步骤s403：计算候选词语的点互信息。
[0110]
具体的，以待抽取文本中各字符片段的点互信息判断字符片段是否成词，即以点互信息来作为能否成词的标准。点互信息表示两个汉字之间的连接，如果两个字之间联系紧密，就可以组成一个词语。
[0111]
步骤s404：当候选词语的点互信息大于点互信息阈值时，将所述候选词语标记为待选词语。
[0112]
步骤s405：计算所述待选词语的左信息熵和右信息熵。
[0113]
具体的，左右信息熵是通过计算一个字符片段左边和右边的信息熵来反映了一个词是否有丰富的左右搭配，如果达到一定阈值则可认为该字符片段可以成为一个词语。信
息熵定义如下：
[0114][0115]
其中，x表示字符片段，x表示词的左或右搭配字，p(x)表示搭配字的概率。
[0116]
步骤s406：若所述待选词语的左信息熵大于左右信息熵阈值ae，且所述待选词语的右信息熵大于左右信息熵阈值ae，且所述待选词语的词频大于词频阈值wf，将所述待选词语存入所述电力领域词库。
[0117]
步骤s407：若所述待选词语的右信息熵小于左右信息熵阈值ae，向右扩展所述待选词语，以得到右扩词语，且所述右扩词语的长度小于最大词长度阈值lw，然后再次执行步骤s307，及之后的步骤。
[0118]
步骤s408：若所述待选词语的左信息熵小于左右信息熵阈值ae，向左扩展所述待选词语，以得到左扩词语，且所述左扩词语的长度小于最大词长度阈值lw，然后再次执行步骤s307，及之后的步骤。
[0119]
同时，电力领域词库还可以采用hanlp中文自然语言处理分词方法以及人工提取的方法来完成。
[0120]
具体的，hanlp中文自然语言处理分词方法包括：标准分词、nlp分词、索引分词、n-最短路径分词、crf分词以及极速词典分词。
[0121]
人工提取方法也是建立领域词典不可或缺的，可以提高领域词典的准确率，还可以丰富领域词典；还可以筛选信息熵分词算法和hanlp分词系统分词结果，筛掉不符合电力领域词典的词语，也能人工增加领域词语，丰富电力领域词库。
[0122]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第五实施例中，基于第四实施例，步骤s403中，计算候选词语的点互信息的计算公式为：
[0123][0124]
其中，pmi(ai,bj)为待抽取文本中候选词语a
ibj
的点互信息；p(ai,bj)是待抽取文本中候选词语的相邻字符ai和字符bj组合的字符a
ibj
出现的概率，p(ai)是字符ai在待抽取文本中出现的概率，p(bj)是字符bj在待抽取文本中出现的概率。
[0125]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第六实施例中，基于第三实施例，步骤s360，中position embedding的计算公式为：
[0126][0127]
其中，上述公式即是将位置id为p的位置映射为一个d
pos
维的位置向量，所述位置向量的第i个数值为pei(p)。
[0128]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第七实施例中，基于第三实施例，步骤s370，包括如下步骤：
[0129]
步骤s710：将待处理的向量序列设置为z，且z＝[z1，z2，...，zn]。
[0130]
步骤s710：将所述向量序列编码输入至所述卷积神经网络卷积层，并在卷积时给
卷积添加一个门机制，以得到输出结果第一序列y，其中，第一序列y的表达式为：
[0131][0132]
其中，y表示所述第一序列；σ为sigmoid激活函数，conv1d1与conv1d2为形式一样的两个一维卷积，其中一个以sigmoid激活函数进行激活，另外一个不加激活函数，再对它们进行张量相乘运算。
[0133]
具体的，神经网络中的卷积运算多数以二维卷积(conv2)形式出现，但由于自然语言处理任务处理对象多为文本，所以在自然语言处理任务中卷积运算以一维卷积(conv1)的形式出现。
[0134]
由于激活函数sigmoid的取值范围是在0到1之间，所以相当于给conv1d的每个输出都加了一个能控制流量的门机制。因为有一个卷积是不加任何激活函数的，这样可以使降低发生梯度消失的现象的可能性。
[0135]
另外，如附图7所示，由于输入与输出的维度一致，可以使用残差结构将残差与门卷积神经网络相结合，使用残差结构将输入与输出相加，这种结构可以整体看作是一种激活函数，称为线性门单元(gated linear unit)，输入序列的信息有1-δ概率直接传递，有δ的概率经过变换后再传递，达到信息多通道传输的效果。
[0136]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第八实施例中，基于第七实施例，步骤s210，包括如下步骤：
[0137]
步骤s810：对待抽取文本中各句子进行头实体h预测。
[0138]
具体的，本发明以概率图思路来进行三元组的抽取，以对待抽取文本中各句子进行头实体h预测。
[0139]
步骤s820：通过头实体h来预测所述头实体h对应的尾实体t，然后通过头实体h和尾实体t来预测所传入的头实体h和尾实体t之间的关系r，计算公式为：
[0140]
p(h,r,t)＝p(h)p(t|h)p(r|h,t)，
[0141]
其中，p(h)表示实体h的概率，p(t|h)表示t是实体h关系的概率，p(r/h,t)表示r为h,t尾实体的概率；由于一个输入对应需抽取的实体有多个，所以抽取过程中选择以sigmoid函数来激活。
[0142]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第九实施例中，基于第八实施例，步骤s820，包括如下步骤：
[0143]
步骤s910：将所述标注实体h作为输入，随机采样一个标注实体h。
[0144]
步骤s920：重新训练所述标注实体h对应的待抽取文本，采用字词混合embedding与位置embedding拼接后的向量传入膨胀率依次为1，2，5，1，2，5，1，2，5，1，1，1的12层膨胀门卷积神经网络，以及一层自注意力层中进行学习，以得到第三序列h。
[0145]
步骤s930：将随机采样的所述标注实体h对应的所述第三序列h中的编码向量传入双向循环网络中编码，再加上相对位置的编码结果，得到一个与输入序列等长的向量序列。
[0146]
步骤s940：将所述第三序列h传入另一层自注意力层，以得到输出结果，并将输出结果与第所述向量序列相加，以得到拼接结果。
[0147]
步骤s950：将所述拼接结果传入全连接层进行输出，当关系r种类确定情况时，对于每一种关系r，分别对应预测实体h的头位置和尾位置，以实现同时预测头实体t和关系r并输出结果。
[0148]
在本发明提出的一种基于深度学习算法的电力设备三元组构建方法的第十实施例中，基于第一实施例，步骤s130，之后还包括如下步骤：
[0149]
步骤s1010：获取预设学习率和预设次数。
[0150]
具体的，本实施例中，预设学习率为0.0001，预设次数为500次。
[0151]
步骤s1020：基于所述预设学习率和预设次数获取三元组提取模型的准确率，并基于准确率进行对三元组提取模型进行评价。
[0152]
具体的，机器学习主要包括以下几个步骤：设置训练次数，通过模型在和任务相关的数据集上不断迭代训练模型，并获取拟合模型；再通过将该模型应用到实际的场景中来测试模型的误差大小。
[0153]
其中对数据集的划分通常是进行随机切分，为防止数据窥探偏误，可将数据集的随机切分为8:2两部分，其中80％数据作为训练集、20％数据作为测试集，先在训练集上训练模型，然后在测试集上来测试模型的优劣。
[0154]
本实施例中，三元组提取模型最终以准确率(precision)作为对抽取结果的评价指标。准确率是指预测结果中属于某一类的个体，事实上确实属于该类的比例，即在所有被预测的相关内容中，真正相关的内容的占比。
[0155]
本实施例中的基于数据流编程构建的三元组提取模型，设置学习率为预设学习率0.0001，调整三元组提取模型模型的训练次数，当训练次数达到预设次数(500次)时结果曲线趋于稳定，此时获取所述三元组提取模型的准确率；并基于所述准确率对所述三元组提取模型进行评价。
[0156]
在本实施例中，训练集准确率最高为96.34％，测试集准确率最高为85.61％。
[0157]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0158]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述方法。
[0159]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。