文档级事件要素抽取方法、设备及介质与流程

1.本发明涉及文档级事件要素抽取领域，更为具体的，涉及一种文档级事件要素抽取方法、设备及介质。


背景技术：

2.随着互联网技术的蓬勃发展，网络空间里每天都会产生大量的数据信息，例如时事新闻、公司财报、电子病例等，从而极大丰富了人们获取信息的途径。这些网络信息具有多种多样的载体形式，比如文本、图片、音频和视频等，但这其中仍以文本所占比例最高。通过对文本的阅读，人类可以学习到事件发生的时间、地点、对象、动作等要素，从而了解当前社会和经济发展中的前沿问题，拓展知识储备。但是，信息的增量发展在给人类带来便利的同时，也给人类完全消化理解海量知识带来了挑战。如何从海量非结构化文本中高效筛选出我们所关注的事件知识，成为了信息爆炸时代下人类亟需解决的问题。
3.近年来，随着自然语言处理相关技术的飞速进步，事件抽取技术成为了信息处理领域的研究热点之一。事件抽取的核心任务是利用计算机从非结构化的自然语言文本中抽取出事件的要素信息，并以半结构化或结构化的形式进行表示。事件抽取的实现一方面可以为人类自动过滤出用户所关注的事件信息，从而极大提高人类获取有用信息的效率。另一方面，以结构化形式存储的事件要素信息更便于计算机去理解和处理，进一步奠定自然语言处理相关应用的数据基础，通过使用结构化事件信息构建知识图谱等方式，可以让计算机为人类提供诸如机器问答、信息关联检索、事件推理分析、智能创作等高级服务，例如，结构化的事件要素信息能够用于扩展知识库，并进行逻辑推理和预测。长期以来，政府需要及时地了解社会热门事件的爆发和演变并且及时地做出相应的反应，因而事件检测和监测一直是政府公共事务管理的重中之重。商业和金融领域的企业需要快速地发现产品的市场反应，从而推断信号进行风险分析和交易建议，这也可以依靠事件抽取技术。生物医学领域中可以将事件抽取技术用于识别生物分子状态的改变或者生物分子之间的相互作用，用于理解疾病和生理机制。总而言之，事件抽取技术可以造福于很多领域，具有极强的现实意义和良好的应用前景。
4.随着国内外各类事件抽取应用的不断拓展以及科学技术的不断进步，事件抽取相关研究的热度逐年上升。研究主要分为基于模式匹配的事件要素抽取和基于深度学习的事件要素抽取两方面。基于模式匹配的方法需要挖掘不同事件类型下的文本上下文论元关联特征，制定相应的模式匹配模板，进而通过模式匹配实现事件抽取。事件模板的制定方式经历了完全基于人工构建、从人工预分类语料上学习模板，再到利用知识库自动学习事件模板这三个阶段的发展，其目的是不断减少人工参与的工作量。比如，riloff e等认为，事件最重要的事实往往出现在事件的第一次描述中，且事件相邻的文本中通常包含对事件角色的描述，进而利用自动构建的触发词词典开发了autoslog事件抽取系统，在muc-4语料上实现了较好的效果；surdeanu m等提出基于自动识别谓语论元的结构实现域独立的事件抽取模式。近年来，随着深度学习技术的飞速发展，也间接促进了事件抽取技术的发展，主要包
括cnn、rnn、gnn、复合神经网络、注意力机制等几大研究方向。比如，首先，nguyen和grishman率先将cnn用于事件检测任务，他们使用cnn预测句子中的事件触发词和事件类型，句子中每个字符首先转化为真实数值的表示向量，这个表示向量由词向量、位置向量和实体类型向量拼接而成，随后作为cnn网络的输入，每个字符经过cnn输出一个事件类型的分类结果；然后，nguyen等人提出了一种联合事件抽取的双向rnn结构，联合抽取过程包括编码阶段和预测阶段，编码阶段使用二进制向量代替位置特征来表示依赖特征，以此来联合预测事件触发词和论元，预测阶段把触发词和论元之间的依赖关系分成触发词子类型之间的依赖关系、论元角色之间的依赖关系和触发词子类型与论元角色之间的依赖关系；rao等人采用了一种语义分析技术一抽象意义表示(amr)，他们认为事件结构是amr图结构的子图，并将事件抽取任务定义为amr子图识别任务，训练了一个图谱lstm模型来识别事件子图；其次，上述事件抽取方法在捕捉文本特征、关系和依赖关系上各有优劣，于是有很多研究工作通过将不同的神经网络结合起来，使用不同的神经网络来学习不同类型的特征，利用彼此的优点来应对事件抽取任务，其中t.h.nguyen首先用bi-lstm模型获取初始的词表征向量，然后应用图卷积网络抽取事件，另外也有研究者提出将cnn和rnn结合起来抽取事件；最后，计算机视觉领域的注意力机制被越来越多的跨领域使用，用于自然语言处理任务中，吴等人应用论元信息来训练带有注意力机制的bi-lstm网络，魏等人采用基于自注意力的多分类模型来识别事件要素，同时关注句子中比较重要的部分内容和捕捉句子中不同的特征，增强事件要素的识别。
5.综上所述，深度学习理论的进步己经促使事件抽取相关研究取得了极大进步，但现有研究仍然存在很多和现实应用场景脱节的地方。一方面，受事件抽取数据集和任务自身难度的限制，现有事件抽取技术大多假设一个事件的全部要素信息均出现在单个句子之中，并将抽取的粒度局限于句子级别。但现实情况下，由于自然语言表述的灵活性，一个事件的全部要素信息往往分布在一篇文档中的多个句子里，同时多个句子也存在共享相同要素的情况。以句子为粒度的事件抽取显然难以满足现实的事件抽取需求。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提供一种文档级事件要素抽取方法、设备及介质，具有完备性和实用型的优点等。
7.本发明的目的是通过以下方案实现的：
8.一种文档级事件要素抽取方法，包括以下步骤：
9.s1，将篇章文本进行分句得到句子片段，对句子片段进行字符编码、位置编码和类型编码，分别得到编码向量c、l、s；将编码向量c、l、s进行叠加得到句子级初始化向量后送入预训练模型，获取句子向量vi，所述预训练模型包括bert预训练模型；将各个句子向量vi进行拼接，获得初始篇章向量v
initial
；同时将句子级初始化向量送入注意力机制网络，对不同的句子赋予不同的权重值，获取包含句子间隐含关系的篇章向量v
relation
；将v
initial
和v
relation
进行叠加混合表征，得到最终的文本篇章表示v
text
；
10.s2，基于步骤s1的文本篇章表示v
text
，通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系；
11.s3，对中心句和事件间的相关关系进行数理统计，基于竞争性原则完成中心句筛选；
12.s4，基于要素补全模型，完成中心事件要素补全，得到完整的文档级事件要素。
13.进一步地，在步骤s1中，所述对句子片段进行字符编码、位置编码和类型编码，具体包括：基于字符表对每个句子片段中的字符进行字符编码，同时对字符所处的位置差异进行位置编码，对当前的句子再赋予一个类型编码。
14.进一步地，在步骤s2中，所述通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，具体包括步骤：事件句标注采用0和1表示，0表示非事件句，1表示事件句，事件要素标注采用b-i-o表示，b表示要素起始位，i表示要素其它位，o表示非要素位，下标分别使用sub、obj、tim、loc、tri表示主体、客体、时间、地点、触发词，事件句识别通过对句向量中的[cls]向量进行一个全连接线性变化，然后通过softmax二分类检测其是否为事件句；要素抽取通过对句向量中每个字符位向量进行一个全连接线性变化，通过softmax二分类检测其标志位，最终获得当前句子是否为事件句以及具体的事件要素信息。
[0015]
进一步地，在步骤s2中，所述对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系，具体包括步骤：中心句采用0和1进行标注，事件关系通过0，1，2，3标注，0表示无关系，1表示顺承关系，2表示关联关系，3表示因果关系，中心句识别通过对篇章向量中每个[cls]向量进行一个全连接线性变化，通过softmax二分类检测是否为中心句；
[0016]
事件间关系抽取通过对篇章向量中[cls]向量两两进行全连接线性变化，通过softmax四分类检测其所属关系。
[0017]
进一步地，在步骤s3中，包括子步骤：
[0018]
遍历选择每一个中心句，通过数理方法统计与该中心句存在隐含关系的事件句条数，通过竞争性原则，即隐含关系越多，中心思想越突出，选择包含隐含关系最多的中心句为该篇文本的唯一中心句，若所有中心句都不存在隐含关系或者三者关系数量都一致，则默认选择位置靠前的中心句为唯一中心句，若存在相同数量隐含关系条数，则默认按照包含因果关系、关联关系、顺承关系的优先级进行排序，选择包含隐含关系最多的中心句为该篇文本的唯一中心句。
[0019]
进一步地，在步骤s4中，所述基于要素补全模型，完成中心事件要素补全，具体包括子步骤：
[0020]
s41，定义事件要素通用模板，所述事件要素通用模板包括主体、客体、时间、地点和触发词五种通用论元角色；构造事件实例样例，将最终确认的中心句要素按照通用模板样例进行要素再配置，同时使用中心句相关联事件句的要素进行缺失位置补充，形成正负样本；
[0021]
s42，将所述正负样本分别与原文拼接，形成新的样本，再进行篇章级事件分类。
[0022]
进一步地，在步骤s42中，所述进行篇章级事件分类，具体包括子步骤：
[0023]
s421，进行文本篇章表示，获得篇章级特征；
[0024]
s422，经过softmax二分类得到0和1的概率，1表示样本合理，要素补充正确，0表示样本不合理，要素补充错误，其中该篇章级事件分类以文本篇章表示为基础，通过提前构造的正负样本进行预训练得到。
[0025]
进一步地，所述文本篇章表示v
text
包括句子本身语义和句子上下文语义的整个文
本篇章向量表征。
[0026]
一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载并执行如上任一项所述的方法。
[0027]
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如上任一项所述的方法。
[0028]
本发明的有益效果包括：
[0029]
(1)本发明技术方案具有完备性的优点，综合考虑了句子本身的语义信息、其上下文信息、句子间语义信息以及整个篇章的语义信息，分析维度更加丰富，语义信息更加饱满，语义分析更加完备，更加有利于后续应用分析；
[0030]
(2)本发明技术方案具有实用性的优点，主要针对篇章级事件要素稀疏分布、要素共享等现实问题，从实际抽取需求出发，综合考虑篇章级语义信息，以现有技术的句子级抽取为基础，篇章级抽取为重点、难点，技术更具有实用性。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]
图1为本发明实施例的文档级事件要素抽取原理流程图；
[0033]
图2为本发明实施例的文本篇章表示原理示意图；
[0034]
图3a为本发明实施例的事件识别与要素抽取原理示意图；
[0035]
图3b为本发明实施例的中心句及事件关系识别原理示意图；
[0036]
图4为本发明实施例的中心句筛选原理示意图；
[0037]
图5为本发明实施例的要素补全原理示意图。
具体实施方式
[0038]
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0039]
鉴于背景中存在的技术问题，本发明技术方案提出一种文档级事件要素抽取方法，在句子级事件抽取的基础上将事件论元的抽取范围提升至文档级别，使其适用性和实用性进一步提高。
[0040]
在进一步的发明构思中，包括如下步骤：首先，将篇章文本进行分句，得到句子片段，并对句子片段进行字符编码、位置编码和类型编码，分别得到编码向量c、l、s，将句子片段三种编码值进行叠加，并送入预训练bert模型，获取句子向量vi，将各个句子向量进行拼接，获得初始篇章向量v
initial
，同时将句子向量送入注意力机制网络，对不同的句子赋予不同的权重值，获取包含句子间隐含关系的篇章向量v
relation
，并将二者向量进行混合表征，得到最终的文本篇章表示v
text
；然后进行事件句识别及要素抽取、中心句识别及事件要素以及跨句事件关系抽取，通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系；其次，对中
心句和事件间的相关关系进行数理统计，基于竞争性原则完成中心句筛选；最后，基于要素补全模型，完成中心事件要素补全，得到完整的文档级事件要素。
[0041]
如图1所示，根据本发明技术方案，首先，将篇章文本进行分句，得到句子片段，并对句子片段进行字符编码、位置编码和类型编码，分别得到编码向量c、l、s，将句子片段三种编码值进行叠加，并送入预训练bert模型，获取句子向量vi，将各个句子向量进行拼接，获得初始篇章向量v
initial
，同时将句子向量送入注意力机制网络，对不同的句子赋予不同的权重值，获取包含句子间隐含关系的篇章向量v
relation
，并将二者向量进行混合表征，得到最终的文本篇章表示v
text
；然后进行事件句识别及要素抽取、中心句识别及事件要素以及跨句事件关系抽取，通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系；其次，对中心句和事件间的相关关系进行数理统计，基于竞争性原则完成中心句筛选；最后，基于要素补全模型，完成中心事件要素补全，得到完整的文档级事件要素。
[0042]
如图2所示，选择文本篇章，首先将篇章进行分句处理，形成句子片段；然后基于字符表对每个句子片段中的字符进行字符编码，同时对字符所处的位置差异进行位置编码，对当前的句子再赋予一个类型编码，将三个编码进行叠加得到句子级初始化向量，将每个句子的初始化向量输入bert预训练模型中，分别获得每一个句子的向量编码值，然后对所有句子的向量值进行拼接(concat)，得到当前文本的初始篇章级向量编码值；同时，将每个句子的初始化向量输入到一个多层注意力网络(默认设置为3层，可根据实际情况扩展或缩减，最小为1层)，得到不同句子向量之间的权重大小关系，形成一个新的篇章级初始化向量，将句子级初始化向量和篇章级初始化向量进行叠加，最终得到既包含句子本身语义又囊括句子上下文语义的整个文本篇章向量表征。
[0043]
如图3a和图3b所示，基于图2的文本篇章向量表征，进行事件句识别、中心句识别、事件要素抽取和事件间关系抽取。其中，事件句识别和事件要素抽取通过基础的bert句向量特征进行序列标注完成识别和抽取，事件句标注采用0和1表示，0表示非事件句，1表示事件句，事件要素标注采用b-i-o表示，b表示要素起始位，i表示要素其它位，o表示非要素位，下标分别使用sub、obj、tim、loc、tri表示主体、客体、时间、地点、触发词，事件句识别通过对句向量中的[cls]向量进行一个全连接线性变化，然后通过softmax二分类检测其是否为事件句，要素抽取通过对句向量中每个字符位向量进行一个全连接线性变化，通过softmax二分类检测其标志位，最终获得当前句子是否为事件句以及具体的事件要素信息；中心句识别和事件间关系抽取通过高层的篇章级文本特征进行序列标注完成识别和抽取，中心句仍采用0和1进行标注，事件关系通过0，1，2，3标注(默认为3种典型关系，可根据实际情况扩展或缩减，最少包含1种关系)，0表示无关系，1表示顺承关系，2表示关联关系，3表示因果关系，中心句识别通过对篇章向量中每个[cls]向量进行一个全连接线性变化，通过softmax二分类检测是否为中心句，事件间关系抽取通过对篇章向量中[cls]向量两两进行全连接线性变化，通过softmax四分类检测其所属关系。
[0044]
如图4所示，遍历选择每一个中心句，同时通过数理方法统计与该中心句存在隐含关系的事件句条数，通过竞争性原则，即隐含关系越多，中心思想越突出，选择包含隐含关系最多的中心句为该篇文本的唯一中心句，若所有中心句都不存在隐含关系或者三者关系数量都一致，则默认选择位置靠前的中心句为唯一中心句，若存在相同数量隐含关系条数，
则默认按照包含因果关系、关联关系、顺承关系的优先级进行排序，选择包含隐含关系最多的中心句为该篇文本的唯一中心句。
[0045]
如图5所示，首先定义事件要素通用模板，主要包括主体、客体、时间、地点和触发词5种通用论元角色，其不受限制于某一种事件类型，构造“(主体)于(时间)在(地点)(触发词)(客体)”的事件实例样例，并结合图3的事件关系和图4的中心句筛选，将最终确认的中心句要素按照通用模板样例进行要素再配置，同时使用中心句相关联事件句的要素进行缺失位置补充，形成正负样本，然后将正负样本分别与原文拼接，形成新的样本，然后进行篇章级事件分类，首先进行文本篇章表示，获得篇章级特征，然后经过softmax二分类得到0和1的概率，1表示样本合理，要素补充正确，0表示样本不合理，要素补充错误，其中该篇章级事件分类模型以图2文本篇章表示模型为基础，通过提前构造的大量正负样本进行预训练得到。
[0046]
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
[0047]
实施例1
[0048]
一种文档级事件要素抽取方法，包括以下步骤：
[0049]
s1，将篇章文本进行分句得到句子片段，对句子片段进行字符编码、位置编码和类型编码，分别得到编码向量c、l、s；将编码向量c、l、s进行叠加得到句子级初始化向量后送入预训练模型，获取句子向量vi，所述预训练模型包括bert预训练模型；将各个句子向量vi进行拼接，获得初始篇章向量v
initial
；同时将句子级初始化向量送入注意力机制网络，对不同的句子赋予不同的权重值，获取包含句子间隐含关系的篇章向量v
relati
on；将v
initial
和v
relation
进行叠加混合表征，得到最终的文本篇章表示v
text
；
[0050]
s2，基于步骤s1的文本篇章表示v
text
，通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系；
[0051]
s3，对中心句和事件间的相关关系进行数理统计，基于竞争性原则完成中心句筛选；
[0052]
s4，基于要素补全模型，完成中心事件要素补全，得到完整的文档级事件要素。
[0053]
实施例2
[0054]
在实施例1的基础上，在步骤s1中，所述对句子片段进行字符编码、位置编码和类型编码，具体包括：基于字符表对每个句子片段中的字符进行字符编码，同时对字符所处的位置差异进行位置编码，对当前的句子再赋予一个类型编码。
[0055]
实施例3
[0056]
在实施例1的基础上，在步骤s2中，所述通过序列标注方式对句子向量进行分类完成事件句识别及要素抽取，具体包括步骤：事件句标注采用0和1表示，0表示非事件句，1表示事件句，事件要素标注采用b-i-o表示，b表示要素起始位，i表示要素其它位，o表示非要素位，下标分别使用sub、obj、tim、loc、tri表示主体、客体、时间、地点、触发词，事件句识别通过对句向量中的[cls]向量进行一个全连接线性变化，然后通过softmax二分类检测其是否为事件句；要素抽取通过对句向量中每个字符位向量进行一个全连接线性变化，通过
softmax二分类检测其标志位，最终获得当前句子是否为事件句以及具体的事件要素信息。
[0057]
实施例4
[0058]
在实施例1的基础上，在步骤s2中，所述对篇章向量进行分类完成中心句识别及要素抽取，同时获得事件相关关系，具体包括步骤：中心句采用0和1进行标注，事件关系通过0，1，2，3标注，0表示无关系，1表示顺承关系，2表示关联关系，3表示因果关系，中心句识别通过对篇章向量中每个[cls]向量进行一个全连接线性变化，通过softmax二分类检测是否为中心句；
[0059]
事件间关系抽取通过对篇章向量中[cls]向量两两进行全连接线性变化，通过softmax四分类检测其所属关系。
[0060]
实施例5
[0061]
在实施例1的基础上，在步骤s3中，包括子步骤：
[0062]
遍历选择每一个中心句，通过数理方法统计与该中心句存在隐含关系的事件句条数，通过竞争性原则，即隐含关系越多，中心思想越突出，选择包含隐含关系最多的中心句为该篇文本的唯一中心句，若所有中心句都不存在隐含关系或者三者关系数量都一致，则默认选择位置靠前的中心句为唯一中心句，若存在相同数量隐含关系条数，则默认按照包含因果关系、关联关系、顺承关系的优先级进行排序，选择包含隐含关系最多的中心句为该篇文本的唯一中心句。
[0063]
实施例6
[0064]
在实施例1的基础上，在步骤s4中，所述基于要素补全模型，完成中心事件要素补全，具体包括子步骤：
[0065]
s41，定义事件要素通用模板，所述事件要素通用模板包括主体、客体、时间、地点和触发词五种通用论元角色；构造事件实例样例，将最终确认的中心句要素按照通用模板样例进行要素再配置，同时使用中心句相关联事件句的要素进行缺失位置补充，形成正负样本；
[0066]
s42，将所述正负样本分别与原文拼接，形成新的样本，再进行篇章级事件分类。
[0067]
实施例7
[0068]
在实施例6的基础上，在步骤s42中，所述进行篇章级事件分类，具体包括子步骤：
[0069]
s421，进行文本篇章表示，获得篇章级特征；
[0070]
s422，经过softmax二分类得到0和1的概率，1表示样本合理，要素补充正确，0表示样本不合理，要素补充错误，其中该篇章级事件分类以文本篇章表示为基础，通过提前构造的正负样本进行预训练得到。
[0071]
实施例8
[0072]
在实施例1的基础上，所述文本篇章表示v
text
包括句子本身语义和句子上下文语义的整个文本篇章向量表征。
[0073]
实施例9
[0074]
一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载并执行如实施例1～实施例8任一项所述的方法。
[0075]
实施例10
[0076]
一种可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～实施例8任一项所述的方法。
[0077]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0078]
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0079]
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0080]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
[0081]
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
[0082]
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。