一种文档级别命名实体识别方法

1.本发明属于命名实体识别技术领域，具体涉及一种文档级别命名实体识别方法。


背景技术：

2.目前的命名实体识别领域所采用的主流的方法是使用bilstm+crf模型，然而crf存在两个问题，一是其只能建模周围词的依赖关系，无法建模长距离的依赖(例如相同词可能存在标签一致性关系的情况)；二是crf在推断阶段使用的维特比算法在处理长文本的时候效率很低，导致了在一些实时性要求较高的场合难以适用。
3.为了建模文档级别的标签依赖关系，近年来包括graph-ie和hier-ner的一些模型通过尝试通过融合相同词在文档级别的上下文信息来建模文档级别的依赖关系，但是该类方法的工作重点仅放在文档级上下文表示上，并没有为相同词之间的文档级标签一致性关系进行显式建模。
4.目前的模型无法显式建模标签的文档级依赖关系。此外，包括bilstm-seq2seq和bilstm-lan的另一些模型通过引入标签嵌入来建模标签间的长距离依赖关系，但是该类方法仅局限于建模句子级别的依赖关系，以此同时也无法有效建模文档级别的依赖关系。


技术实现要素：

5.为解决上述问题，提供一种能同时且高效的建模句子级别和文档级别的标签依赖的文档级别命名实体识别方法，本发明采用了如下技术方案：
6.本发明提供了一种文档级别命名实体识别方法，用于对待识别文档进行命名实体识别得到该待识别文档中每个词所对应的实体标签，其特征在于，包括如下步骤：步骤s1，对待识别文档进行一阶段识别得到每个词所对应的句子级别草稿标签以及草稿标签对应的不确定性值，并基于该句子级别草稿标签以及不确定性值构建对应待识别文档的键值记忆网络；步骤s2，基于键值记忆挖网络对待识别文档进行二阶段识别得到每个词所对应的修正标签；步骤s3，依次判断每个词对应的句子级别草稿标签的不确定性值是否大于预定的阈值；步骤s4，当不确定性值大于预定的阈值时，将修正标签设置为实体标签；步骤s5，当不确定性值小于等于预定的阈值时，将句子级别草稿标签设置为实体标签；步骤s6，输出每个词所对应的实体标签，其中，步骤s1包括以下子步骤：步骤s1-1，将待识别文档通过编码前处理得每个词的初始词表示以及初始特征；步骤s1-2，将初始词表示通过贝叶斯神经网络进行编码得到前向特征以及后向特征，并将两者拼接形成句子级别上下文表示；步骤s1-3，通过采样得到标签预测分布，并根据该标签预测分布计算得到每个词的句子级别草稿标签以及对应该句子级别草稿标签的不确定性值；步骤s1-4，将每个词对应的句子级别草稿标签以及句子级别上下文表示按照键值块存储在键值记忆网络中，其中相同的词占用一个键值块，步骤s2包括以下子步骤：步骤s2-1，通过单通道transformer对待识别文档进行编码得到每个词对应的上下文表示；步骤s2-2，根据每个词在键值记忆网络中对应的键值块，以上下文表示作为查询条件，从键值块里检索到对应的句子级别上下文表示作为共现表
示，并对该共现表示执行注意力机制从而得到每个词的注意力权重，进一步基于该注意力权重、对应的句子级别上下文表示和句子级别草稿标签计算得到每个词对应的文档级别上下文表示以及文档级别草稿标签；步骤s2-3，将句子级别上下文表示和句子级别草稿标签分别与文档级别上下文表示和文档级别草稿标签进行连接，并作为双通道transformer的输入从而得到该双通道transformer输出的修正标签。
7.本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，步骤s1-1包括以下子步骤：步骤s1-1-1，通过待识别文档得到词向量以及词标签；步骤s1-1-2，通过词嵌入矩阵进行初始化得到初始词表示：wi＝ew(wi)，式中，wi为第i个词的初始词表示，ew是词嵌入矩阵，wi为初始化词向量；步骤s1-1-3，将词标签通过随机初始化的标签嵌入矩阵进行初始化从而得到初始特征：lj＝e
l
(lj)，式中，lj为初始特征，e
l
为标签嵌入矩阵，lj为词标签；步骤s1-1-4，通过cnn网络通过编码得到字符级别特征；步骤s1-1-5，将字符级别特征和预先设有的字特征进行拼接得到初始特征：xi＝[wi；ci]，式中，xi为初始特征，wi为第i个词的词表示，ci为字特征。
[0008]
本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，步骤s1-2中的句子级别上下文表示为：2中的句子级别上下文表示为：式中，hi为句子级别上下文表示，为前向特征，为后向特征。
[0009]
本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，步骤s1-3包括以下子步骤：步骤s1-3-1，通过句子级别上下文表示并根据采样得到的结果来计算句子级别草稿标签以及不确定性值：
[0010][0011][0012][0013]
式中，为用于进行采样的vlstm网络参数，t为采样次数，t表示当前为第t次采样，pi为经多次采样得到的第i个词的标签预测分布，为第i个词的句子级别草稿标签，hi为第i个词的句子级别上下文表示，ui为第i个句子级别草稿标签的不确定性值，pi为第i个词的标签预测分布，pc为第c个类别的概率值；步骤s1-3-2，得到所有句子级别草稿标签l
*
以及所有不确定性值u：
[0014][0015]
u＝{u1，u2，...，un}
[0016]
式中，为第i个句子级别草稿标签，un为第n个句子级别草稿标签的不确定性值。
[0017]
本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，步骤s1-4包括以下子步骤：步骤s1-4-1，将每个句子级别草稿标签以及对应的不确定性值按照每个词占用一个键值块进行储存：式中，表
示第i个词wi对应的键值块，k
i；s
表示了词wi在待识别文档中第s次出现的句子级别上下文表示，v
i；s
表示词wi在该文档中第s次出现的句子级别草稿标签的嵌入向量；步骤s1-4-2，得到由所有键值块构成的键值记忆网络m：式中，r表示待识别文档中的词表的数量。
[0018]
本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，步骤s2-2中每个词的注意力权重为：为：式中，xi表示第i个词的上下文表示，hi表示键值记忆模块中第i个词对应的中所有句子级别上下文表示k
i；m
构成的矩阵，wh是预先设定的网络权重，文档级别上下文表示以及文档级别草稿标签通过如下公式计算得到：式中，li表示键值记忆模块中第i个词对应的中所有的句子级别草稿标签的嵌入向量。
[0019]
本发明提供的一种文档级别命名实体识别方法，还可以具有这样的技术特征，其中，双通道transformer包含多个参数不共享但结构一致的层，每一层包括一个内容注意力模块和一个标签注意力模块，分别用于计算内容注意力权重以及标签注意力权重：
[0020][0021][0022]
式中，表示第i个词对第j个词的内容注意力权重，表示第i个词对第j个词的草稿标签的标签注意力权重，r为采用了相对位置编码的位置编码矩阵，w
qh
、w
kh
、w
kr
、w
ql
、w
kl
、ui、vi为可学习的参数，双通道transformer的的每一层在得到的注意力权重后，进行如下操作：
[0023][0024]vh
＝h1wh，ah＝softmax(a
h2h
)vh，
[0025][0026]vl
＝l1w
l
，a
l
＝softmax(a
h2l
)v
l
，
[0027]
h2＝feedforward(layernorm(linear(ah)+h1))
[0028]
l2＝feedforward(layernorm(linear(a
l
)+l1)).
[0029]
式中，h1表示句子级别上下文表示与文档级别上下文表示拼接后的向量构成的矩阵，l1表示句子级别草稿标签与文档级别草稿标签拼接后的向量构成的矩阵，a
h2h
为所有内容注意力权重，ah表示内容注意力分布，a
h2l
为所有标签注意力权重，a
l
表示标签注意力分布，vh为对h1变换后的表示，v
l
为对l1变换后的表示，wh、w
l
均为可学习的参数，最终得到的h2和l2将作为双通道transformer的下一层输入，双通道transformer的最后一层输出的h2和l2用于被连接并预测得到所有修正标签：式中，为第n个词的修正标签。
[0030]
发明作用与效果
[0031]
根据本发明提供的一种文档级别命名实体识别方法，由于通过两阶段标签修正方
法来处理文档级标签的一致性依赖关系，即，首先通过一阶段识别来识别出待识别文档中各个词的草稿标签以及不确定性值，并将各个词的草稿标签以及上下文表示构建一个对应的键值记忆网络，然后在使用双通道transformer对待识别文档进行二阶段识别时，基于键值记忆网络中相同词的上下文和草稿标签信息进行实体识别得到修正标签。因此，通过这样的方式，在草稿标签的不确定性较高时，可以将修正标签进行替换来作为词的最终标签，从而有效减轻不正确的草稿标签的副作用，避免了不确定性很高的草稿标签对最终标签产生的干扰。
附图说明
[0032]
图1是本发明实施例中文档级别标签的依赖示意图；
[0033]
图2是本发明实施例中文档级别命名实体识别方法的流程图；
[0034]
图3是本发明实施例中文档级别命名实体识别方法的过程的结构示意图；
[0035]
图4是本发明实施例中文档级别命名实体识别方法的步骤s1的流程图；
[0036]
图5是本发明实施例中文档级别命名实体识别方法的步骤s2的流程图；
[0037]
图6是本发明实施例中文档级别命名实体识别方法与以往方法的对比实验结果；以及
[0038]
图7是本发明实施例中文档级别命名实体识别方法与以往方法的效率对比实验结果。
具体实施方式
[0039]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种文档级别命名实体识别方法作具体阐述。
[0040]
《实施例》
[0041]
图1是本发明实施例中文档级别标签的依赖示意图。
[0042]
在图1示出的文档的部分句子中，“rusty greer”以及“julia tavarez”两者是相邻词汇，具有局部依赖的关系，可以通过该局部依赖来判断出两者的标签分别为b-per和e-per。但是，在句子“greer hit a
…”
中，词汇“greer”与“rusty greer”分别属于一个文档中独立的两个句子，属于文档级别依赖。另外，图1中还示出了一致性依赖，该一致性依赖是一种特殊的文档级别依赖
[0043]
图2是本发明实施例中文档级别命名实体识别方法的流程图，图3是本发明实施例中文档级别命名实体识别方法的过程的结构示意图。
[0044]
如图2以及图3所示，以被输入的待识别文档为“office of fair trading”为例，文档级别命名实体识别方法对该待识别文档进行处理后，就会预测出文档中每个词的标签，其中，“office”最终预测的标签为b-org，“of”和“fair”均对应标签i-org，“trading”对应标签e-org。文档级别命名实体识别方法具体包括步骤s1至步骤s6。
[0045]
步骤s1，将待识别文档通过贝叶斯lstm处理得到草稿标签以及草稿标签对应的不确定性值，并基于该句子级别草稿标签以及不确定性值构建对应待识别文档的键值记忆网络。
[0046]
图4是本发明实施例中文档级别命名实体识别方法的步骤s1的流程图。
[0047]
如图4所示，步骤s1包括步骤s1-1至步骤s1-4。
[0048]
步骤s1-1，将待识别文档通过编码前处理得每个词的初始词表示以及初始特征。本实施例中，该步骤s1-1具体包括以下步骤s1-1-1至步骤s1-1-5。
[0049]
步骤s1-1-1，通过待识别文档得到词向量以及词标签；
[0050]
步骤s1-1-2，通过词嵌入矩阵进行初始化得到初始词表示：，具体通过以下公式：
[0051]
wi＝ew(wi)
[0052]
式中，wi为第i个词的初始词表示，ew是词嵌入矩阵，wi为初始化词向量；
[0053]
步骤s1-1-3，将词标签通过随机初始化的标签嵌入矩阵进行初始化从而得到初始特征：
[0054]
lj＝e
l
(lj)
[0055]
式中，lj为初始特征，e
l
为标签嵌入矩阵，lj为词标签；
[0056]
步骤s1-1-4，通过cnn网络通过编码得到字符级别特征；
[0057]
步骤s1-1-5，将字符级别特征和预先设有的字特征进行拼接得到初始特征：
[0058]
xi＝[wi；ci]
[0059]
式中，xi为初始特征，wi为第i个词的词表示，ci为字特征。
[0060]
步骤s1-2，将初始词表示通过贝叶斯神经网络进行编码得到前向特征以及后向特征，并将两者拼接形成句子级别上下文表示。本实施例中，句子级别上下文表示为：
[0061][0062]
式中，hi为句子级别上下文表示，为前向特征，为后向特征。
[0063]
步骤s1-3，通过采样得到标签预测分布，并根据该标签预测分布计算得到每个词的句子级别草稿标签以及对应该句子级别草稿标签的不确定性值。如图3所示，“office”以及“of”预测得到的句子级别草稿标签均为o，且不确定性值都为0.8；“fair”预测得到的句子级别草稿标签为s-org，不确定性值为0.6；“trading”预测得到的句子级别草稿标签为e-org，不确定性值为0.1。
[0064]
本实施例中，该步骤s1-3具体包括步骤s1-3-1至步骤s1-3-2：
[0065]
步骤s1-3-1，通过句子级别上下文表示并根据采样得到的结果来计算句子级别草稿标签以及不确定性值：
[0066][0067][0068][0069]
式中，为用于进行采样的vlstm网络参数，t为采样次数，t表示当前为第t次采样，pi为经多次采样得到的第i个词的标签预测分布，为第i个词的句子级别草稿标签，hi为第i个词的句子级别上下文表示，ui为第i个句子级别草稿标签的不确定性值，pi为第i个词的标签预测分布，pc为第c个类别的概率值。
[0070]
步骤s1-3-2，得到所有句子级别草稿标签l
*
以及所有不确定性值u：
[0071][0072]
u＝{u1，u2，...，un}
[0073]
式中，为第i个句子级别草稿标签，un为第n个句子级别草稿标签的不确定性值。
[0074]
步骤s1-4，将每个词对应的句子级别草稿标签以及句子级别上下文表示按照键值块存储在键值记忆网络中，其中相同的词占用一个键值块。
[0075]
本实施例中，如图3所示，在键值记忆网络中，词m1、m2和m3分别占用一个键值块，其中，由于词m1在整个待识别文档中出现两次，因此在词m1的键值块中对应地存储有两个句子级别草稿标签以及相应的句子级别上下文表示，分别为句子级别草稿标签l
1；1
和l
1；2
以及句子级别上下文表示h
1；1
和h
1；2
。
[0076]
本实施例的步骤s1-4具体包括步骤s1-4-1至步骤s1-4-2：
[0077]
步骤s1-4-1，将每个句子级别草稿标签以及对应的不确定性值按照每个词占用一个键值块进行储存：
[0078][0079]
式中，表示第i个词wi对应的键值块，k
i；s
表示了词wi在待识别文档中第s次出现的句子级别上下文表示，v
i；s
表示词wi在该文档中第s次出现的句子级别草稿标签的嵌入向量；
[0080]
步骤s1-4-2，得到由所有键值块构成的键值记忆网络m：
[0081][0082]
式中，r表示待识别文档中的词表的数量。
[0083]
步骤s2，将基于键值记忆挖网络对待识别文档进行二阶段识别得到每个词所对应的修正标签。
[0084]
图5是本发明实施例中文档级别命名实体识别方法的步骤s2的流程图。
[0085]
如图5所示，步骤s2具体包括以下步骤s2-1至步骤s2-3：
[0086]
步骤s2-1，通过单通道transformer对待识别文档进行编码得到每个词对应的上下文表示。
[0087]
步骤s2-2，根据每个词在键值记忆网络中对应的键值块，以上下文表示作为查询条件，从键值块里检索到对应的句子级别上下文表示作为共现表示，并对该共现表示执行注意力机制从而得到每个词的注意力权重，进一步基于该注意力权重、对应的句子级别上下文表示和句子级别草稿标签计算得到每个词对应的文档级别上下文表示以及文档级别草稿标签。
[0088]
本实施例中，每个词的注意力权重为：
[0089][0090]
式中，xi表示第i个词的上下文表示，hi表示键值记忆模块中第i个词对应的中所有句子级别上下文表示k
i；m
构成的矩阵，wh是预先设定的网络权重，
[0091]
文档级别上下文表示以及文档级别草稿标签通过如下公式计算得到：
[0092]
[0093]
式中，li表示键值记忆模块中第i个词对应的中所有的句子级别草稿标签的嵌入向量。
[0094]
步骤s2-3，将句子级别上下文表示和句子级别草稿标签分别与文档级别上下文表示和文档级别草稿标签进行连接，并作为双通道transformer的输入从而得到该双通道transformer输出的修正标签。
[0095]
本实施例中，双通道transformer包含多个参数不共享但结构一致的层，每一层包括一个内容注意力模块和一个标签注意力模块，分别用于计算内容注意力权重以及标签注意力权重：
[0096][0097][0098]
式中，表示第i个词对第j个词的内容注意力权重，表示第i个词对第j个词的草稿标签的标签注意力权重，r为采用了相对位置编码的位置编码矩阵，w
qh
、w
kh
、w
kr
、w
ql
、w
kl
、ui、vi为可学习的参数。
[0099]
双通道transformer的的每一层在得到的注意力权重后，进行如下操作：
[0100][0101]vh
＝h1wh，ah＝softmax(a
h2h
)vh，
[0102][0103]vl
＝l1w
l
，a
l
＝softmax(a
h2l
)v
l
，
[0104]
h2＝feedforward(layernorm(linear(ah)+h1))
[0105]
l2＝feedforward(layernorm(linear(a
l
)+l1)).
[0106]
式中，h1表示句子级别上下文表示与文档级别上下文表示拼接后的向量构成的矩阵，l1表示句子级别草稿标签与文档级别草稿标签拼接后的向量构成的矩阵，a
h2h
为所有内容注意力权重，ah表示内容注意力分布，a
h2l
为所有标签注意力权重，a
l
表示标签注意力分布，vh为对h1变换后的表示，v
l
为对l1变换后的表示，wh、w
l
均为可学习的参数，最终得到的h2和l2将作为双通道transformer的下一层输入。
[0107]
双通道transformer的最后一层输出的h2和l2用于被连接并预测得到所有修正标签：
[0108][0109]
式中，为第n个词的修正标签。
[0110]
通过上述过程，即可得到待识别文档中每个词的修正标签，如图3所示，“office”的修正标签为b-org，“of”和“fair”的修正标签为i-org，“trading”的修正标签为s-org。
[0111]
步骤s3，判断草稿标签不确定性值是否大于预定的阈值。
[0112]
步骤s4，当草稿标签不确定性值大于预定的阈值时，将修正标签设置为最终标签。
[0113]
步骤s5，当草稿标签不确定性值小于等于预定的阈值时，将草稿标签设置为最终标签。
[0114]
步骤s6，输出最终结果，
[0115]
本实施例中，为了减轻第一阶段不正确的草稿标签对正确的草稿标签产生负面影响，我们预设一个不确定性阈值γ，只对草稿标签中不确定行值大于γ的标签进行修正，并保持其余标签不变。例如，给定u1＞γ，u2≤γ以及un＞γ，则最终的输出标签序列为
[0116]
图6是本发明实施例中文档级别命名实体识别方法与以往方法的对比实验结果。
[0117]
如图6所示，针对conll2003、ontonotes、chendner三种标准数据集，本实施例的文档级别命名实体识别方法(docl-ner)相对于传统的各种方法准确率都明显优于目前的其他各种方法。
[0118]
图7是本发明实施例中文档级别命名实体识别方法与以往方法的效率对比实验结果。
[0119]
从图7可以看出，文档级别命名实体识别方法(docl-ner)的训练以及推断速度相对于hier-ner的效率分别是2.64倍以及5.48倍，相对于graphie和bilstm-crf这两种方法也具有明显的优势。
[0120]
实施例作用与效果
[0121]
根据本发明提供的一种文档级别命名实体识别方法，由于通过两阶段标签修正方法来处理文档级标签的一致性依赖关系，即，首先通过一阶段识别来识别出待识别文档中各个词的草稿标签以及不确定性值，并将各个词的草稿标签以及上下文表示构建一个对应的键值记忆网络，然后在使用双通道transformer对待识别文档进行二阶段识别时，基于键值记忆网络中相同词的上下文和草稿标签信息进行实体识别得到修正标签。因此，通过这样的方式，在草稿标签的不确定性较高时，可以将修正标签进行替换来作为词的最终标签，从而有效减轻不正确的草稿标签的副作用，避免了不确定性很高的草稿标签对最终标签产生的干扰。
[0122]
在实施例中，由于通过在待识别文档提取词向量以及词标签能够更将详细的获取待识别文档的上下文信息，因此使得得到的最终标签能够更加准确。
[0123]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。