基于双向LSTM的突发事件识别方法及装置与流程

基于双向lstm的突发事件识别方法及装置
技术领域
1.本发明涉及一种机器学习技术领域，是一种基于双向lstm的突发事件识别方法及装置。


背景技术：

2.突发事件即指在一定区域内，无预期地发生，并对生命或财产构成威胁，对社会产生负面影响的事件。突发事件本身具备发生前不可预期，发生后受人关注的性质。突发事件识别的研究对自动问答，故障诊断等技术的进一步发展起到一定的推动作用，同时可为突发事件的事前防范做好预期，事后处理提供参照。随着对事件识别研究的不断深入，如何有效的获取事件结构以及语义上下文等特征在基于深度学习技术的事件识别中起着至关重要的作用。
3.目前，基于机器学习的算法模型在突发事件识别的研究中已占据主导地位，大多采用对事件语料集依赖性强、人工语料库规模大的监督型机器学习算法。这种算法通过丰富的事件语料训练集学习抽取事件的隐含特征，但如果训练语料不充分或者事件语料集类别单一，将会严重影响各类突发事件的识别结果正确性和有效性。


技术实现要素：

4.本发明提供了一种基于双向lstm的突发事件识别方法及装置，克服了上述现有技术之不足，其能有效解决突发事件识别方法存在的对于人工语料依赖度高，模型识别稳定性弱的问题。
5.本发明的技术方案之一是通过以下措施来实现的：一种基于双向lstm的突发事件识别方法，包括：
6.建立语料文本集，对语料进行预处理；
7.提取语料文本集中语料的六个特征向量和we特征向量；
8.将六个特征向量和we特征向量融合，形成融合特征；
9.将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别；其中双向lstm突发事件识别模型为使用多组数据通过机器学习训练得出的，多组数据包括第一类数据和第二类数据，第一类数据中的每组数据均包括：包括突发事件的语料事件句和标识该语料事件句包括突发事件的标签；第二类数据中的每组数据均包括：不包括突发事件的语料事件句和标识该语料事件句不包括突发事件的标签。
10.下面是对上述发明技术方案的进一步优化或/和改进：
11.上述双向lstm突发事件识别模型包括bi-lstm模型和分类器；将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别，包括：
12.将六个特征向量和we特征向量的融合结果作为bi-lstm模型的输入，抽取事件句中各词局部抽象特征，从正向和反向对事件句进行高阶特征捕获；
13.输出的高阶特征作为lstm网络部分的输入，lstm网络部分挖掘围绕触发词展开的
抽象序列关系特征，形成具有依赖关系的抽象序列特征集合；
14.采用分类器对抽象序列特征集合进行分类，完成的突发事件识别。
15.上述提取语料文本集中语料的六个特征向量，包括：
16.对语料文本集中语料包含的事件句进行分词，获取每个词的词干和词干构型；
17.提取各个词词干的词特征块、词法特征块和触发词，并以触发词为中心提取各个词在事件句上下文中所承担的上下文特征块；
18.对词干构型中的附加成分进行切分，获取事件特征、语义特征以及句法特征。
19.上述提取语料文本集中语料的we特征向量包括选取语料中的事件句，计算事件句中词之间的语义相似度，获取每个词在低维空间中语义的分布情况，将语义相似度作为一个we特征项。
20.上述对语料进行预处理包括去噪处理，去噪处理包括去除语料文本集中内容重复、事件句不完整、无明显事件句特征、空白语料文本。
21.本发明的技术方案之二是通过以下措施来实现的：一种基于双向lstm的突发事件识别装置，包括：
22.文本集建立单元，建立语料文本集，对语料进行预处理；
23.特征提取单元，提取语料文本集中语料的六个特征向量和we特征向量；
24.融合单元，将六个特征向量和we特征向量融合，形成融合特征；
25.识别单元，将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别；其中双向lstm突发事件识别模型为使用多组数据通过机器学习训练得出的，多组数据包括第一类数据和第二类数据，第一类数据中的每组数据均包括：包括突发事件的语料事件句和标识该语料事件句包括突发事件的标签；第二类数据中的每组数据均包括：不包括突发事件的语料事件句和标识该语料事件句不包括突发事件的标签。
26.本发明引入we特征项，利用其在词语语义表示方面具有对文本事件句中各词的抽象化重构具有相对良好的性能，通过事件句中各词空间定位关系来表述语义层次上的联系，提取文本事件句结构的主要信息，进一步提高模型对于突发事件的识别能力；同时六个特征向量和we特征向量融合，作为双向lstm突发事件识别模型的输入，有效提高了模型识别精确度。本发明基于双向lstm突发事件识别模型进行突发事件识别，提升突发事件识别准确率。
附图说明
27.附图1为本发明实施例1的方法流程图。
28.附图2为本发明实施例2的结构示意图。
具体实施方式
29.本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
30.下面结合实施例及附图对本发明作进一步描述：
31.实施例1：如附图1所示，本发明实施例公开了一种基于双向lstm的突发事件识别方法，包括：
32.步骤s101，建立语料文本集，对语料进行预处理。
33.上述语料文本集中的语料文本可选取于多个网站，例如天山网、人民网的网页；并可利用nutch等工具获取网页，并提取网页文件中的语料，形成语料文本集；
34.上述对语料进行预处理包括去噪处理，去噪处理包括去除语料文本集中内容重复、事件句不完整、无明显事件句特征、空白语料文本。
35.步骤s102，提取语料文本集中语料的六个特征向量和we特征向量。
36.如表1所示，上述提取语料文本集中语料的六个特征向量，包括：
37.1、对语料文本集中语料包含的事件句进行分词，获取每个词的词干和词干构型；
38.2、提取各个词词干的词特征块、词法特征块和触发词，并以触发词为中心提取各个词在事件句上下文中所承担的上下文特征块；
39.3、对词干构型中的附加成分进行切分，获取事件特征、语义特征以及句法特征。
40.上述提取语料文本集中语料的we特征向量使用word embedding算法，wordembedding算法使用word2vec工具进行训练，选择skip-gram+hs模型作为训练框架，通过计算词之间的余弦相似度表示文本语义上的相关程度(即为语义相似度)，由此准确的获取每个词在低维空间中语义的分布情况。
41.例如，在表2中，得到e1和e3事件触发词的词向量，利用二者之间的余弦值来表示两个触发词之间的语义相似度，而后将语义相似度作为一个特征加入突发事件识别任务的特征集中。
42.步骤s103，将六个特征向量和we特征向量融合，形成融合特征。
43.这里由于语料的六个特征向量和we特征向量均以表格的形式展现，则六个特征向量和we特征向量进行融合即为将两张表合为一张表。
44.步骤s104，将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别；其中双向lstm突发事件识别模型为使用多组数据通过机器学习训练得出的，多组数据包括第一类数据和第二类数据，第一类数据中的每组数据均包括：包括突发事件的语料事件句和标识该语料事件句包括突发事件的标签；第二类数据中的每组数据均包括：不包括突发事件的语料事件句和标识该语料事件句不包括突发事件的标签。
45.上述双向lstm突发事件识别模型包括bi-lstm模型和分类器；将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别，包括：
46.1、将六个特征向量和we特征向量的融合结果作为bi-lstm模型的输入，抽取事件句中各词局部抽象特征，从正向和反向对事件句进行高阶特征捕获；
47.2、输出的高阶特征作为lstm网络部分的输入，lstm网络部分挖掘围绕触发词展开的抽象序列关系特征，形成具有依赖关系的抽象序列特征集合；
48.3、采用分类器对抽象序列特征集合进行分类，完成的突发事件识别。
49.上述过程将突发事件识别转换为对事件进行分类的问题，利用bi-lstm在序列问题上所表现出的优越性，以此捕获文本事件触发词在事件句上下文中的语义表达特征。并从抽取的序列化特征信息中双向获取其之间的依赖关系，以此对文本的突发事件进行触发词在文本中语义层面的分析，最终lstm网络对输出的特征信息通过分类器实现文本突发事件的识别，这里的分类器可以是softmax函数，其输出为0时，该候选事件为突发事件，输出为1时，该候选事件非突发事件。
[0050][0051]
其中act为激活函数，lstm(x
t
,h
t-1
)指lstm网络在t时刻输入特征x，以及其前一时刻的隐态h
t-1
。
[0052]
上述bi-lstm模型中lstm网络是rnn的扩展，可以看作是同一神经网络的多次复制，这些神经网络模块共享权值，每一个神经网络模块把信息传递给下一个模块，从而达到信息传递。与rnn网络结构不同，lstm通过特别设计的门控机制来避免长期依赖问题，包含输入门(input gates)、遗忘门(forget gates)和输出门(output gates)三种门结构，以保持和更新状态。以下公式中i
t
,f
t
,o
t
和c
t
分别表示t时刻对应的三种门结构和网络状态。
[0053]
1、以当前层的输入x
t
和上一层的输出h
t-1
作为输入，通过sigmod层决定丢弃的事件特征信息。
[0054]ft
＝σ(wf·
[h
t-1
,x
t
]+bf)
[0055]
2、由sigmod层的值和tanh层创建的候选值确定特征信息是否被更新。
[0056]it
＝σ(w
t
·
[h
t-1
,x
t
]+bi)
[0057][0058]
3、通过以上公式最终完成网络状态更新。用t-1时刻的网络状态c
t-1
乘以f
t
,然后加上t时刻的更新值，完成网络状态更新。
[0059][0060]
4、最终由输出门决定信息输出。
[0061]ot
＝σ(wo·
[h
t-1
,x
t
]+bo)
[0062]
bi-lstm模型在隐层同时有一个正向的lstm和一个反向lstm。正向lstm捕获了上文的特征信息，而反向lstm捕获了下文的特征信息，然后通过融合捕获的上文特征信息和下文特征信息最终获得全局的上下文信息。并过滤了表征性弱的特征。
[0063]
本发明公开了一种基于双向lstm的突发事件识别方法，通过引入we特征项，利用其在词语语义表示方面具有对文本事件句中各词的抽象化重构具有相对良好的性能，通过事件句中各词空间定位关系来表述语义层次上的联系，提取文本事件句结构的主要信息，进一步提高模型对于突发事件的识别能力；同时六个特征向量和we特征向量融合，作为双向lstm突发事件识别模型的输入，有效提高了模型识别精确度。本发明基于双向lstm突发事件识别模型进行突发事件识别，提升突发事件识别准确率。
[0064]
实施例2：如附图2所示，本发明实施例公开了一种基于双向lstm的突发事件识别装置，包括：
[0065]
文本集建立单元，建立语料文本集，对语料进行预处理；
[0066]
特征提取单元，提取语料文本集中语料的六个特征向量和we特征向量；
[0067]
融合单元，将六个特征向量和we特征向量融合，形成融合特征；
[0068]
识别单元，将融合特征作为双向lstm突发事件识别模型输入，对突发事件进行识别；其中双向lstm突发事件识别模型为使用多组数据通过机器学习训练得出的，多组数据
包括第一类数据和第二类数据，第一类数据中的每组数据均包括：包括突发事件的语料事件句和标识该语料事件句包括突发事件的标签；第二类数据中的每组数据均包括：不包括突发事件的语料事件句和标识该语料事件句不包括突发事件的标签。
[0069]
实施例3，该存储介质，所述存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行基于双向lstm的突发事件识别方法。
[0070]
上述存储介质可以包括但不限于：u盘、只读存储器、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0071]
实施例4，该电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现基于双向lstm的突发事件识别方法。
[0072]
上述电子设备还包括传输设备、输入输出设备，其中，传输设备和输入输出设备均与处理器连接。
[0073]
以上技术特征构成了本发明的最佳实施例，其具有较强的适应性和最佳实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。