一种中药种植资源命名实体识别方法与流程

本发明涉及中药命名实体识别技术领域，尤其涉及一种中药种植资源命名实体识别方法。

背景技术：

中药材种植环境对药材质量有很大影响，比如不同产地的中药材外观性状、有效成分及药用功效等均存在较大差异。为了研究种植环境对中药材质量的影响，需要从大量非结构化的中药材种植资源文献中识别出与种植环境相关的命名实体，为进一步研究提供基础数据。比如，中药种植对应的地理位置、中药名称、土壤、气候等，均称为命名实体，而要识别这些不同的命名实体，目前识别命名实体的方法采用基于人工+规则的方式，首先通过人工方式对文献进行整理，然后使用正则表达式进行匹配，从而提取出需要的命名实体，这种识别方法效率太低，不符合当下对中药材种植环境的研究。

技术实现要素：

本发明的目的在于解决上述现有技术存在的缺陷，提供一种识别效率高的药种植资源命名实体识别方法。

一种中药种植资源命名实体识别方法，包括以下步骤：

s1:获取中药材种植资源文献；

s2:按照一定的规则对所述中药材种植资源文献进行标注，并将标注后的文献拆分成文本句子；s3:分别一一查找每个文本句子所对应的词向量和字向量，利用所述词向量和字向量来训练gru-crf模型；

s4:利用所述训练好的gru-crf模型对未知的中药材种植资源文献进行命名实体识别。

进一步地，如上所述的中药种植资源命名实体识别方法，所述步骤s3包括：分别一一查找所述每个文本句子所对应的词向量和字向量，并对每个文本句子所包含的字的字向量使用双向lstm模型得到隐藏向量，将词向量和隐藏向量进行拼接得到中间向量，将中间向量作为双向gru-crf模型的输入对其进行训练，得到训练好的gru-crf模型。

进一步地，如上所述的中药种植资源命名实体识别方法，所述一定的规则为：使用{b-s,i-s,o-s,s-s}标签对中药材种植资源文献进行标注，其中，b表示一个命名实体的开始，i表示该命名实体除了开始的其他部分，o表示其他部分，s表示由单个字构成的命名实体；s表示该命名实体的属性。

进一步地，如上所述的中药种植资源命名实体识别方法，所述词向量和字向量由维基百科、百度百科构建的语料库进行word2vec嵌入训练获得。

进一步地，如上所述的中药种植资源命名实体识别方法，在步骤s1之后、s2之前，还包括对中药材种植资源文献进行预处理；

所述预处理的步骤包括：对所有中药材种植资源文献的格式进行统一，并对统一后的文献进行删除操作，以删除干扰信息。

进一步地，如上所述的中药种植资源命名实体识别方法，步骤s3包括：

当查找文本句子所对应的词向量时，首先从所述嵌入训练获得的词向量库里进行查找，若无法查到，则先通过领域词典进行同义词转换以找到对应的词，然后再查该词对应的向量，所述领域词典由维基百科、百度百科构建的语料库生成。

有益效果：

本发明提供的中药种植资源命名实体识别方法，通过构架gru-crf模型，从而实现了能够自动识别中药种植资源文献的命名实体，不仅大大提高了识别准确率和识别效率，减少人工识别时间开销，并且可扩展到其他命名实体类别，比如土壤矿物质含量、水分含量等。

附图说明

图1为本发明中药种植资源命名实体识别方法流程图；

图2为利用{b-s,i-s,o-s,s-s}规则标注示意图；

图3为gru-crf模型的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种中药种植资源命名实体识别方法，如图1所示，该方法包括以下步骤：

s1:获取中药材种植资源文献；

s2:按照一定的规则对所述中药材种植资源文献进行标注，并将标注后的文献拆分成文本句子；

s3:分别一一查找每个文本句子所对应的词向量和字向量，利用所述词向量和字向量来训练gru-crf模型；

s4:利用所述训练好的gru-crf模型对未知的中药材种植资源文献进行命名实体识别。

其中，步骤s2中所述一定的规则为：使用{b-s,i-s,o-s,s-s}标签对中药材种植资源文献进行标注，其中，b表示一个命名实体的开始，i表示该命名实体除了开始的其他部分，o表示其他部分，s表示由单个字构成的命名实体；s表示该命名实体的属性。例如：如图2所示，“山东种植紫花丹参”，其标签序列为{b-location，i-location，o，o，b-herb，i-herb，i-herb，i-herb}，其中“b-location，i-location”表示地点类实体，即“山东”，“b-herb，i-herb，i-herb，i-herb”表示药材类实体，即“紫花丹参”，o表示无关部分。所述gru-crf模型的结构如图3所述。

所述词向量和字向量由维基百科、百度百科构建的语料库进行word2vec嵌入训练获得。同样，中药种植领域词典也通过维基百科、百度百科构建的语料库获得。

进一步地，为了提高gru-crf模型训练的效率，在步骤s1之后、s2之前，还包括对中药材种植资源文献进行预处理；

所述预处理的步骤包括：对所有中药材种植资源文献的格式进行统一，并对统一后的文献进行删除操作，以删除干扰信息。

具体可以为：统一把中药材种植资源文献的pdf格式转化为文本格式，只保留文献的有效文本内容，删除作者及单位信息、参考文献等干扰信息。

所述步骤s3包括：分别一一查找所述每个文本句子所对应的词向量和字向量，并对每个文本句子所包含的字的字向量使用双向lstm模型得到隐藏向量，将词向量和隐藏向量进行拼接得到中间向量，将中间向量作为双向gru-crf模型的输入对其进行训练，得到训练好的gru-crf模型。

另外，当查找词组所对应的词向量时，首先通过由维基百科、百度百科构建的语料库进行word2vec嵌入训练获得的词向量库里进行查找，若无法查到，则先通过领域词典进行同义词转换以找到对应的词，然后再查该词对应的向量。

下面对步骤s3做详细的说明，该包括以下步骤：

s31.对维基百科、百度百科等语料库进行word2vec嵌入训练，分别得到字向量表ct和词向量表wt。

s32.对于给定的文本句子，查找字向量表ct，生成一个字向量序列(c1,c2,…,cm)，其中m表示句子的字符数量。将该向量作为双向lstm模型的输入，模型训练提取单个单词的形态特征。lstm的具体公式如下：

it＝sigmoid(wicct+wihht-1+bi)(1)

ft＝sigmoid(wfcct+wfhht-1+bf)(2)

gt＝tanh(wgcct+wghht-1+bg)(3)

ot＝sigmoid(wocct+wohht-1+bo)(4)

st＝ft⊙st-1+it⊙gt(晦)

ht＝ot⊙tanh(st)(6)

其中，w表示连接权值矩阵；f、i、o分别是忘记门、输入门和输出门；g表示当前的细胞状态；s是细胞状态，包含长期依赖信息。it、ft、gt共同更新t-1时刻的细胞状态st-1得到t时刻的细胞状态st；ht是时刻t的隐藏状态，由ot、st共同决定。⊙表示逐元素相乘。通过前向lstm层和后向lstm层计算，得到句子sentence的前向信息和后向信息两者共同组成了隐藏层状态，这里表示为

s33.首先查找词向量表wt是否存在当前词的向量，若存在，则使用当前词向量作为输入；若不存在，则先通过领域词典进行同义词转换以找到对应的词，再查找词向量表wt，对于给定的文本句子，组成一个词向量序列(w1,w2,…,wn)，其中n表示句子的单词数量。将与词向量序列(w1,w2,…,wn)分别拼接联合，生成字词联合向量序列(x1,x2,…,xn)，作为双向gru-crf网络的输入并训练该模型，gru的具体公式如下：

rt＝sigmoid(wrxxt+wruut-1+br)(7)

zt＝sigmoid(wzxxt+wzuut-1+bz)(8)

nt＝tanh(wnxxt+wnu(rt⊙ut-1)+bn)(9)

ut＝(1-zt)⊙nt+zt⊙ut-1(10)

其中，zt是gru的更新门，决定t-1时刻隐藏状态ut-1的信息中有多少是传递到t时刻隐藏状态ut中；rt是重置门，决定t-1时刻隐藏状态ut-1的信息中有多少是需要被遗忘的；nt为输入xt和t-1时刻隐藏状态ut-1的信息汇总，即当前的细胞状态。通过前向gru层和后向gru层计算，得到句子前向信息和后向信息两者共同组成了隐藏层状态，表示为

s34.利用crf进行序列标签预测，最终将最佳序列标签映射到对应的命名实体，生成基于{b,i,o,s}标签的标注序列。其中，步骤s2是使用{b,i,o,s}标签对文本进行人工标注，是输出结果的训练集；本步骤是根据训练得到的模型，进行预测，得到的输出结果也是用{b,i,o,s}标签表示。

将一个序列的预测定义为：

y＝(y1,y2,…,yn)(11)

该预测序列的得分，公式如下：

其中a是状态转移矩阵，ai,j表示从标签i转移到标签j的概率，p表示为双向gru的输出矩阵。最终得到所有可能的标签序列的概率，公式如下：

其中ys表示一个句子s所有可能的标签序列。模型训练期间，最大化真实标签序列的对数概率，公式如下：

模型预测期间，求解输出序列的最高得分，即：

y^*就是预测得到的最佳标签序列，即中药种植资源命名实体的自动识别结果。

下面通过举例来说明本发明的识别方法：

首先将中药材种植资源pdf文献转化为txt文本，该文本中以“山东种植紫花丹参”一句为例，将该句子作为输入，通过word2vec模型获取字向量表和词向量表，那么针对“山东种植紫花丹参”进行分词，从词向量表进行查找，获得每个词的词向量；然后查找字向量表，获得每个字的字向量，并对每个词所包含的字的字向量使用双向lstm模型得到隐藏向量，将词向量和隐藏向量进行拼接，称为中间向量，将中间向量作为双向gru-crf模型的输入，运行模型，得到该句子的最佳标签序列，即该句子的一个标注序列，即“b-locationi-locationoob-herbi-herbi-herbi-herb”，那么就可以从这个句子中识别出的结果为：命名实体有地点实体、药材实体。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。