基于对抗模仿学习的事件识别及分类方法、系统、装置与流程

本发明属于自然语言处理领域，具体涉及了一种基于对抗模仿学习的事件识别及分类方法、系统、装置。

背景技术：

互联网的蓬勃发展带来了信息的爆炸式增长，人们每天都会接触各个领域的产生的信息，例如体育、娱乐等领域的新闻信息，科研领域的文献信息等等。如何从这些非结构，无序、杂乱的信息中发现感兴趣的事件是现今亟需解决的问题。事件识别(eventidentification)技术正是解决这一问题的途径和手段。事件识别是信息抽取(informationextraction)的一个独立子任务，主要研究如何从含有事件信息的非结构化文本中识别出用户感兴趣的事件并且对其类型进行划分。

在事件识别中，一个事件定义为由一个触发词(trigger)、一种特定的事件类型(eventtype)和若干事件的事件元素(argument)及其角色(roles)组成；其中事件的触发词是文本描述中最能指示事件发生的词。完整的事件抽取任务需要从描述事件的句子中抽取事件的上述各个成分，并以结构化的形式展现出来。ace(automaticcontextextraction)评测比赛推动了这个领域的发展。该评测预定义了8个大类和33个小类的事件类型，每个类型的事件都有若干标注的实例。

目前的主流技术是将事件识别转化为词分类的问题，然后利用句法分析器等工具抽取句子中的可用信息构建特征向量，最后利用基于特征的分类器进行分类。但是，传统的方法采用自然语言处理工具对可用信息进行抽取，这些处理工具中往往都存在一些错误，错误累积现象通常会影响最终事件识别的效果。

技术实现要素：

为了解决现有技术中的上述问题，即传统事件识别及分类方法语言处理工具存在错误累计导致事件识别准确率低的问题，本发明提供了一种基于对抗模仿学习的事件识别及分类方法，该方法包括：

步骤s10，获取不含标准标注信息的句子作为输入信息；

步骤s20，对所述输入信息中每一个词进行特征化操作，获得对应的词向量集构成词向量特征矩阵；

步骤s30，采用向量编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量；

步骤s40，基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率；

步骤s50，以概率值最高的事件类别作为所述输入信息的事件类别。

在一些优选的实施例中，所述向量编码器，其训练方法为：

步骤b10，获取含有标签向量的文本集作为第一训练样本集；将所述第一训练样本集的标签信息去除，作为第二训练样本集；

步骤b20，采用权利要求1步骤s20方法获取所述第一训练样本集对应的第一词向量特征矩阵集、第二训练样本集对应的第二词向量特征矩阵集；

步骤b30，将所述第一词向量特征矩阵集与标签向量集合并为第一特征表示集，基于所述第一特征表示集、第二词向量特征矩阵集，采用权利要求1步骤s30方法获取对应的标准知识向量集、无标签信息标准知识向量集；

步骤b40，基于随机一组标准知识向量以及对应的无标签信息标准知识向量，采用判别器识别标准知识向量和无标签信息标准知识向量的差异值，并通过对抗模仿学习更新编码器参数；

步骤b50，重复执行步骤b40直至所述标准知识向量和无标签信息标准知识向量的差异值低于预设阈值，获得训练好的向量编码器。

在一些优选的实施例中，步骤s30中“采用编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量”，其方法为：

其中，代表获得的输入信息对应的知识向量，为第i个词的注意力权重，hi为第i个词的编码器隐层表示，n代表输入信息长度。

在一些优选的实施例中，所述注意力权重为：

其中，分别代表第i个、第j个词与候选触发词wt的语义相似度。

在一些优选的实施例中，步骤s40中“基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率”，其方法为：

其中，out代表输入信息属于各事件类别的概率，softmax是归一化指数函数，w0和b0为预先设定的事件类型分类器参数，wt为输入信息中的当前候选触发词，代表wt的标准知识向量或无标签信息标准知识向量。

在一些优选的实施例中，步骤b10中“将所述第一训练样本集的标签信息去除，作为第二训练样本集”，其方法为：

对所述第一训练样本集进行标签去除操作，去除实体类别、事件元素类别信息。

在一些优选的实施例中，步骤b40中“采用判别器识别标准知识向量和无标签信息标准知识向量”，其方法为：

其中，wh、bh、wx、bx分别代表预先设定的判别器参数，σ代表logistic函数，wt代表当前候选触发词，代表wt的标准知识向量或无标签信息标准知识向量。

本发明的另一方面，提出了一种基于对抗模仿学习的事件识别及分类系统，包括输入模块、特征化模块、向量编码模块、事件类型分类模块、输出模块；

所述输入模块，配置为获取不含标准标注信息的句子作为输入信息并输入；

所述特征化模块，配置为对所述输入信息中每一个词进行特征化操作，获得对应的词向量集构成词向量特征矩阵；

所述向量编码模块，配置为采用向量编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量；

所述事件类型分类模块，配置为基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率；

所述输出模块，配置为以概率值最高的事件类别作为所述输入信息的事件类别并输出。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于对抗模仿学习的事件识别及分类方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于对抗模仿学习的事件识别及分类方法。

本发明的有益效果：

本发明基于对抗模仿学习的事件识别及分类方法，针对事件识别的问题，设计一种基于对抗模仿学习机制的事件识别模型，该模型不依赖自然语言处理工具对可用信息进行抽取，而是使用对抗机制直接集成标准标注知识，避免了错误累积现象，提高了事件识别的最终效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于对抗模仿学习的事件识别及分类方法的系统结构示意图；

图2是本发明基于对抗模仿学习的事件识别及分类方法一种实施例的标准知识向量构建示意图；

图3是本发明基于对抗模仿学习的事件识别及分类方法一种实施例的向量编码器训练流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种基于对抗模仿学习的事件识别及分类方法，该方法包括：

步骤s10，获取不含标准标注信息的句子作为输入信息；

步骤s20，对所述输入信息中每一个词进行特征化操作，获得对应的词向量集构成词向量特征矩阵；

步骤s30，采用向量编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量；

步骤s40，基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率；

步骤s50，以概率值最高的事件类别作为所述输入信息的事件类别。

为了更清晰地对本发明基于对抗模仿学习的事件识别及分类方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于对抗模仿学习的事件识别及分类方法，包括步骤s10-步骤s50，各步骤详细描述如下：

步骤s10，获取不含标准标注信息的句子作为输入信息。

在事件识别中，一个事件被定义为由一个触发词(trigger)、一种特定的事件类型(eventtype)和若干事件元素(argument)及其对应角色(roles)组成，其中事件的触发词是文本描述中最能指示事件发生的词。完整的事件抽取任务需要从描述事件的句子中抽取事件的上述各个成分，并以结构化的形式展现出来。

例如，对于文本“hediedinhospital.”，一个理想的事件抽取结果如表1所示：

表1

事件识别是事件抽取的子任务，只关注事件的触发词和事件类型的识别，并不关注事件参与者及其对应角色。例如，对于上述的例子，事件识别的任务是识别出该句子描述了一个事件，该事件的触发词是“died”，事件类型是“die”。

步骤s20，对所述输入信息中每一个词进行特征化操作，获得对应的词向量集构成词向量特征矩阵。

词向量，顾名思义，就是使用向量来表达词。词向量最常见的表达方式就是"one-hot"，其向量维度为整个语料库中词的总数，每一维代表语料库中的一个词(出现为1，不出现为0)。此外，基于窗口的共现矩阵是对词与词相邻关系的最直接表达；基于词相邻关系的表达方式就是word2vec，其主题思想是通过每一个词本身来预测其相邻的词。词向量的获取方式有多种，在此不再一一赘述。

步骤s30，采用向量编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量，如式(1)所示：

其中，代表获得的输入信息对应的知识向量，为第i个词的注意力权重，hi为第i个词的编码器隐层表示，n代表输入信息长度。

注意力权重如式(2)所示：

其中，分别代表第i个、第j个词与候选触发词wt的语义相似度。

向量编码器训练方法为：

步骤b10，获取含有标签向量的文本集作为第一训练样本集；将所述第一训练样本集的标签信息去除，作为第二训练样本集。

“将所述第一训练样本集的标签信息去除，作为第二训练样本集”，其方法为：

对所述第一训练样本集进行标签去除操作，去除实体类别、事件元素类别信息。

步骤b20，采用权利要求1步骤s20方法获取所述第一训练样本集对应的第一词向量特征矩阵集、第二训练样本集对应的第二词向量特征矩阵集。

步骤b30，将所述第一词向量特征矩阵集与标签向量集合并为第一特征表示集，基于所述第一特征表示集、第二词向量特征矩阵集，采用权利要求1步骤s30方法获取对应的标准知识向量集、无标签信息标准知识向量集。

如图2所示，为本发明基于对抗模仿学习的事件识别及分类方法一种实施例的标准知识向量构建示意图，“…issettorelease20millioneuros…”为第一训练样本集中一条样本数据，“标签向量”与“词向量”共同构成了样本数据的特征表示，通过向量编码器(bigru)对样本数据的特征表示进行编码，并通过注意力权重机制分配权重，最终获得样本数据对应的标准知识向量。

步骤b40，基于随机一组标准知识向量以及对应的无标签信息标准知识向量，采用判别器识别标准知识向量和无标签信息标准知识向量的差异值，并通过对抗模仿学习更新编码器参数。

“采用判别器识别标准知识向量和无标签信息标准知识向量”，如式(3)所示：

其中，wh、bh、wx、bx分别代表预先设定的判别器参数，σ代表logistic函数，wt代表当前候选触发词，代表wt的标准知识向量或无标签信息标准知识向量。

步骤b50，重复执行步骤b40直至所述标准知识向量和无标签信息标准知识向量的差异值低于预设阈值，获得训练好的向量编码器。

如图3所示，为本发明基于对抗模仿学习的事件识别及分类方法一种实施例的向量编码器训练流程示意图，分别提取带有标准标注信息的句子和对应无标准标注信息的句子的知识向量，通过对抗模仿的方法训练向量编码器，使得向量编码器难以区分这两种向量，在这种情况下，使用无标准标注信息的知识向量可以得到与使用带标准标注信息的知识向量类似的结果，从而达到模仿学习的目的。

步骤s40，基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率，如式(4)所示：

其中，out代表输入信息属于各事件类别的概率，softmax是归一化指数函数，w0和b0为预先设定的事件类型分类器参数，wt为输入信息中的当前候选触发词，代表wt的标准知识向量或无标签信息标准知识向量。本发明一个实施例中采用逻辑回归分类器作为事件类型分类器。

步骤s50，以概率值最高的事件类别作为所述输入信息的事件类别。

本发明第二实施例的基于对抗模仿学习的事件识别及分类系统，包括输入模块、特征化模块、向量编码模块、事件类型分类模块、输出模块；

所述输入模块，配置为获取不含标准标注信息的句子作为输入信息并输入；

所述特征化模块，配置为对所述输入信息中每一个词进行特征化操作，获得对应的词向量集构成词向量特征矩阵；

所述向量编码模块，配置为采用向量编码器对所述词向量特征矩阵进行编码，并使用注意力机制为所述输入信息的每一个词分配权重，获得输入信息对应的知识向量；

所述事件类型分类模块，配置为基于所述输入信息对应的知识向量，通过事件类型分类器计算所述输入信息属于各事件类别的概率；

所述输出模块，配置为以概率值最高的事件类别作为所述输入信息的事件类别并输出。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于对抗模仿学习的事件识别及分类系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于对抗模仿学习的事件识别及分类方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于对抗模仿学习的事件识别及分类方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。