基于Mixup和BQRNN的法律命名实体识别方法

基于mixup和bqrnn的法律命名实体识别方法
技术领域
1.本发明涉及中文语言处理及识别技术领域，尤其涉及基于mixup数据增强以及bqrnn准循环神经网络模型的法律命名实体识别方法。


背景技术：

2.使用人工智能技术建立智慧法院系统，能够帮助法务人员对相似案件作出裁决，提高效率。要对法律文书进行语义理解，首先要解决的就是法律实体的识别问题。ner(named entity recognition，命名实体识别)是指从文本中抽取特定的命名实体的过程，是一个序列标注的分类任务，对每一个输入的字符，赋予可能性最大的标注序列。
3.现有的中文命名实体识别方法主要分为机器学习方法和深度学习方法。机器学习方法需要预先设计规则模式，然后通过字符串搜索和匹配的手段实现实体的识别。但易受预先规则的限制，可移植性较差，对未登录词的识别效果不佳。深度学习方法相比机器学习方法具有更高的准确性，这些模型通常有数百万个参数，因此需要大量数据进行训练，以避免过拟合和更好的模型泛化。然而，收集大量带注释的数据样本既耗时又昂贵。法律领域作为特殊领域，数据语料稀缺，数据质量和数据数量都难以达到很好的预期。
4.数据增强则是一种旨在解决这种数据饥饿问题的技术。生成合成数据样本作为用于正则化学习模型的附加训练数据。数据增强在计算机视觉和语音识别中得到了积极而成功的应用。然而，这些方法中的大多数依赖于人类知识进行标签不变的数据转换，如图像缩放、翻转和旋转。与图像不同的是，自然语言中并没有简单的标签不变变换规则。通常，句子中单词的细微变化会显著改变句子的意思。为此，nlp中流行的数据扩充方法旨在通过使用手工制作的本体或同义词替换来转换文本。然而，这种基于同义词的转换只能应用于词汇的一部分，因为具有完全或几乎相同含义的单词很少。


技术实现要素：

5.本发明主要目的在于，提供一种基于mixup和bqrnn的法律文书法律命名实体识别方法，通过大量的数据，训练一个的深度学习经验模型，对输入的中文法律文书中的命名实体自动进行识别，同时，通过对法律文书的特征向量进行mixup数据增强操作，在保持较低的额外计算成本的基础上，使上述模型具有更高的鲁棒性和适用性。
6.本发明所采用的技术方案是：
7.提供一种基于mixup和bqrnn的法律文书的命名实体识别方法，包括以下步骤：
8.s1、使用bert预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
9.s2、使用mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
10.s3、使用bqrnn双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
11.s4、使用crf条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
12.s5、将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
13.s6、输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
14.接上述技术方案，在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段； beta分布获取融合参数λ，通过mixup算法，生成新的特征向量embedding 以及新的标签label，并选取新的特征向量embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
15.接上述技术方案，将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
16.接上述技术方案，步骤s5中具体使用optimizer优化器调整训练模型参数信息。
17.接上述技术方案，步骤s4中，使用crf条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的“b，m，e，o”实体规则和“d， t，n，l”属性规则进行解码。
18.本发明还提供了一种基于mixup和bqrnn的法律文书的命名实体识别系统，包括：
19.向量化模块，用于使用bert预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
20.mixup数据增强模块，用于使用mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
21.bqrnn处理模块，用于使用bqrnn双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
22.crf解码模块，用于使用crf条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
23.模型训练模块，用于将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
24.识别模块，用于输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
25.接上述技术方案，mixup数据增强模块具体用于在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段；beta分布获取融合参数λ，通过mixup算法，生成新的特征向量embedding以及新的标签label，并选取新的特征向量 embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
26.接上述技术方案，mixup数据增强模块具体将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
27.接上述技术方案，模型训练模块具体使用optimizer优化器调整训练模型参数信息。
28.本发明还提供了一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-5中任一项所述的基于mixup和 bqrnn的法律命名实体识别方法。
29.本发明产生的有益效果是：本发明通过使用mixup数据增强方法，能够在不增强数据总量以及保持较低的额外计算成本的基础上，提高训练数据的数量，使得训练出的深度学习模型具有更高的鲁棒性和适用性。此外使用 bqrnn对特征向量进行进一步的处理，解决了传统rnn模型(如lstm， gru)等不能串行计算，而导致训练时间过长的问题，提高了ner工程的效率。
附图说明
30.下面将结合附图及实施例对本发明作进一步说明，附图中：
31.图1为本发明实施例基于mixup和bqrnn的法律命名实体识别方法流程图；
32.图2为本发明实施例常见的数据增强示意图；
33.图3为本发明实施例miuxp数据增强原理图；
34.图4为本发明实施例的模型的结构图；
35.图5为本发明实施例bqrnn原理图。
具体实施方式
36.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
37.本发明使用mixup数据增强方法，在保持较低的额外计算成本的基础上，解决了因训练样本质量和数量不足造成的模型效率低下问题；进一步采用 bqrnn神经网络，优化了传统识别方法因串行计算而导致的训练时间过长的问题，提高了训练速度和效率。
38.如图1所示，本发明实施例基于mixup和bqrnn的法律命名实体识别方法，包括以下步骤：
39.s1、使用bert预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
40.s2、使用mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
41.s3、使用bqrnn双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
42.s4、使用crf条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
43.s5、将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
44.s6、输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
45.针对法律标注数据匮乏的问题，本发明主要采用mixup的数据增强方法，在向量表示层面对数据样本规模进行扩充。如图2所示，常见的数据增强方法往往是对数据本身进行处理，其中null行代表原始数据。sr(synonymsreplace)表示不考虑停用词，在句子中随机抽取n个词替换成从同义词词典中抽取的同义词的同义词替换数据增强方法；rd(randomly delete)表示将句子中的每个词，以概率p随机删除的随机删除数据增强方法；rs(randomly swap) 表示随机交换句子中两个词的位置，该过程可以重复n次的随机替换数据增强方法。label行表示标签线性化数据增强方法。将o以外的标签，放置于实体词语之前进行数据增强。
46.这些流行的数据增强方法旨在通过使用手工制作的本体或单词相似性中的同义词替换来转换文本。然而，这种基于同义词的转换只能应用于词汇的一部分，因为具有完全或几乎相同含义的单词很少。与nlp中的传统数据增强不同，mixup方法的扩充策略是领域独立的，不包含用于数据转换的人类知识，并且具有较低的额外计算成本。
47.mixup数据增强获取新数据的算法如下，如图3所示：
48.步骤1：随机选取两个输入的句子sequence，分别为i和j；
49.步骤2：通过设定的超参数，分别从2个句子sequence中获取两个片段；
50.步骤3：通过beta分布获取融合参数λ的值，通过式(1)，(2)生成新的词向量embedding以及词向量对应的标签序列label；
[0051][0052][0053]
步骤4：选取新的词向量embedding附近距离最近的一个字符token作为新生成的句子sequence；
[0054]
步骤5：分别将新生成的句子sequence替换回初始的2个句子sequence，通过句子困惑度判断哪个句子符合要求，并放到训练集中参与训练，从而达到增加了数据数量的效果。句子困惑度计算公式如下：
[0055]
p＝p(w1，w2，...wn)......(3)
[0056]
本发明通过mixup数据增强方法，在保持较低的额外计算成本的基础上，解决了因训练样本质量和数量不足造成的模型效率低下问题。
[0057]
本发明实施例中，将增强数据与过采样后的原始数据进行1∶1混合，进行下一步训练。模型训练部分通过如图4所示的深度学习模型进行训练，在不断优化后得到一个能够实现法律文书实体识别的深度学习模型，以此解决法律文书的命名实体识别问题。
[0058]
给定一个句子s，有s＝{c1，c2，
…
，cn}，对于输入s，bert的输入模块通过式(1)会将每个输入ci编码成向量ei，得到输入序列s＝{e1，e2，
…
，en}，然后作为bert内部transformer编码网络的输入词表示，进一步计算出输入序列的字符级别的向量表示l＝{v1，v2，
…
，vn}。
其中，e
token
表示字嵌入，e
seg
表示句子嵌入，e
pos
表示位置嵌入。
[0059]ei
＝e
token
(ci)+e
seg
(ci)+e
pos
(ci)(4)
[0060]
将得到的向量l进行mixup的数据增强，随机选取两个输入的句子sequence，分别为i和j。通过设定的融合参数λ，分别从2个句子sequence 中获取两个片段。然后通过beta分布获取融合参数λ的值，通过式(1)，(2) 生成新的词向量embedding以及词向量对应的标签序列label。选取新的词向量embedding附近距离最近的一个字符token作为新生成的句子sequence。分别将新生成的句子sequence替换回初始的2个句子sequence，通过句子困惑度判断哪个句子符合要求，并放到训练集中参与训练，从而达到增加了数据数量的效果。
[0061]
将经过mixup处理后的向量送由bqrnn进行(5)～(12)的处理，得到带有内部特征信息。bqrnn的特征是可以获取带有上下文特征的特征向量。这种向量互相之间的权值和比重可以反映出彼此在中文内的指代消息。比如“苹果是红色的。”，苹果和红色经过bqrnn产生的向量会在数值或者加权后有呈现相关性。这就是带有上下文信息的特征向量。
[0062]
qrnn网络由卷积层和池化层两部分组成。假设qrnn网络的卷积层使用数量为m的滤波器进行卷积运算。对于一个输入序列l＝{v1，v2，
…
，vn}，通过卷积操作得到序列其中，序列x中每个向量的维度为n，序列z中每个向量的维度为m。如果t时刻时，滤波器的宽度为k，则卷积的范围为x
t-k+1
到
′
。卷积层如式(5)～式(7)所示：
[0063]
z＝tanh(wz*x)(5)
[0064]
f＝σ(wf*x)(6)
[0065]
o＝σ(wo*x)(7)
[0066]
式中：wz，wf，wo为卷积滤波器，σ为激活函数，*表示在时间顺序上的卷积运算。当滤波器的宽度k增大时，模型可以计算更多的n-gram特征。本发明选择k为2的设置，此时，qrnn的卷积层如式(8)～式(10)所示：
[0067][0068][0069][0070]
qrnn的池化层用于提取卷积层输出的特征信息，减少特征数目。池化层的计算是在动态平均池化的基础上，增加了输出门和遗忘门。这样的结构与lstm的门结构非常类似，计算过程如式(11)，(12)所示：
[0071]ct
＝f
t
⊙ct-1
+i
t
⊙zt
(11)
[0072]ht
＝o
t
⊙ct
(12)
[0073]
其中f，i，o分别表示遗忘门、输入门、输出门，c
t
表示t时刻的细胞状态，h，c的状态初始化为0，
⊙
表示向量之间的点乘运算。在文本序列处理的每一时刻，池化函数都需要运算，但是运算过程具有并行性，所以对于较长的文本序列，运算增加的时间是可以忽略的。池化时qrnn的结构如图5 所示。
[0074]
经由bqrnn处理后，crf通过式(13)对上层的结果进行解码，其中a是转化矩阵，表示该字符第yi个标签label的分数。利用softmax得到归一化后的概率，如式(14)所示：
[0075][0076][0077]
完成上述操作后，得到实体标签label序列w＝{w1，w2，
…
，wn}。根据标签对应关系，可以得到最终的输出。
[0078]
综上，将上述步骤进行简化后，模型训练部分的步骤为：
[0079]
步骤1：使用bert预训练模型对数据进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
[0080]
步骤2：使用mixup数据增强技术，对lc按照图3所示方法进行式(1)
‑ꢀ
(3)的处理，从而增加训练数据，生成向量表示l；
[0081]
步骤3：使用bqrnn双向准循环神经网络对特征向量l进行处理，提取文本的深层特征；
[0082]
步骤4：使用crf条件随机场，按照命名实体属性规则进行解码，得到实体序列w，便可以得到最后的预测结果；
[0083]
步骤5：将预测的结果与正确结果进行比较，使用optimizer优化器调整模型参数信息，再次训练；
[0084]
步骤6：重复上述操作，直至评价指标p，r，f水平趋于稳定；
[0085]
步骤7：选取指标性能最好的模型，作为实际应用的模型；
[0086]
步骤8：输入中文法律文书案列“余某洋吸食hly”，模型自动进行判断，输出每个字符对应的标注序列“b-n、m-n、e-n、o、o、b-d、m-d、 e-d”，通过标注对应的含义，解析出句子中的法律实体“余某洋(人名属性实体)”、“hly(物品属性实体)”。
[0087]
实施示例：
[0088]
一、场景描述
[0089]
输入：余某洋涉嫌吸食物品hly10.2g。
[0090]
输出：余某洋(姓名属性实体)、hly(物品属性实体)、10.2g(质量属性实体)。
[0091]
二、具体步骤
[0092]
本方明解决法律命名实体识别方法
[0093]
步骤1：使用bert预训练模型对数据进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
[0094]
步骤2：使用mixup数据增强技术，对lc按照图3所示方法进行式(1)
‑ꢀ
(3)的处理，从而增加训练数据，生成向量表示l；
[0095]
步骤3：使用bqrnn双向准循环神经网络对特征向量l进行处理，提取文本的深层特征；
[0096]
步骤4：使用crf条件随机场，按照命名实体属性规则进行解码，得到实体序列w，便可以得到最后的预测结果；
[0097]
步骤5：将预测的结果与正确结果进行比较，使用optimizer优化器调整模型参数信息，再次训练；
[0098]
步骤6：重复上述操作，直至评价指标p，r，f水平趋于稳定；
[0099]
步骤7：选取指标性能最好的模型，作为实际应用的模型；
[0100]
步骤8：输入中文法律文书案列“余某洋吸食hly”，模型自动进行判断，输出每个字符对应的标注序列“b-n、m-n、e-n、o、o、b-d、m-d、 e-d”，通过标注对应的含义，解析出句子中的法律实体“余某洋(人名属性实体)”、“hly(物品属性实体)”。
[0101]
该系统在win10环境下基于python运行，所使用的深度学习框架为 tensorflow，版本为1.1.2。实验结果表明，本发明提出的方法对法律文书(物品类)命名实体识别方法优于传统法。
[0102]
本发明还提供一种基于mixup和bqrnn的法律命名实体识别系统，包括：
[0103]
向量化模块，用于使用bert预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
[0104]
mixup数据增强模块，用于使用mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
[0105]
bqrnn处理模块，用于使用bqrnn双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
[0106]
crf解码模块，用于使用crf条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
[0107]
模型训练模块，用于将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
[0108]
识别模块，用于输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
[0109]
上述实施例的系统主要用于实现基于mixup和bqrnn的法律命名实体识别方法实施例，各个模块的功能参见上文方法实施例，在此不一一赘述。
[0110]
本技术还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于基于mixup和bqrnn 的法律命名实体识别系统，被处理器执行时实现方法实施例的基于mixup和 bqrnn的法律命名实体识别方法。
[0111]
综上，本发明的创新之处在于：
[0112]
1.法律领域命名实体识别数据没有标准的标注数据集，人工采集及处理的法律文书数据集往往质量和数量都不理想。而深度学习方法是通过在大量数据上训练一个经验模型，来进行法律命名实体的自动识别，数据质量和数量越好，模型效果越好。通过mixup数据增强方法以及保持较低的额外计算成本的基础上，提高训练数据的数量，使的训练出的深度学习模型具有更高的鲁棒性和适用性。
[0113]
2.传统的命名实体识别往往使用lstm长短记忆神经网络、gru等神经网络来提取文本深层特征，但因本身结构原因，在进行特征提取时往往是从左至右串行进行的，这样不仅会大大增加训练时间，还会导致梯度爆炸等现象。使用bqrnn双向准循环神经网络可以将
原本串行的任务并行化处理，从而节约训练所需要的时间。提高模型训练效率。
[0114]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。