一种基于图神经网络的跨句事件因果关系识别系统及方法

本发明涉及自然语言处理，特别是一种基于图神经网络的跨句事件因果关系识别系统及方法。

背景技术：

1、事件关系提取，是指在文本中识别事件实体之间的语义关系，是自然语言处理领域的一个重要研究内容，也在许多下游自然语言处理任务，如信息提取、智能问答以及事件预测等任务中发挥着重要的作用。

2、因果关系是事件之间的一种重要关系。如果一件事情的发生是由另外一件事情导致的，则说明这两个事件是具有因果关系的。因果关系的识别和提取已经成为了nlp领域的一个热门研究课题，主要任务是确定两个事件之间的因果关系，并预测因果方向。在早期的研究中，由于数据集的限制，对因果关系提取的研究通常是采用基于规则或模式匹配的方法，传统的事件关系抽取方法需要大量的人工干预，且查全率较低。近年来，随着深度学习研究的不断发展，神经网络也逐渐被应用于事件因果关系识别任务，从而改善了传统方法召回率低、需要大量人工干预的问题。

3、尽管现有研究已经取得了一定的效果，但仍存在模型表达能力不足的问题，不能准确捕捉到事件之间的深层语义和关联，包括上下文的深层表示和事件因果关系之间的推理，也难以识别隐含的因果关系。

技术实现思路

1、本发明的目的在于提供一种能够识别跨句事件的因果关系、识别准确率高的跨句事件因果关系识别系统及方法。

2、实现本发明目的的技术解决方案为：一种基于图神经网络的跨句事件因果关系识别系统，包括嵌入层、图构造层、图聚合层和图推理层，其中：

3、所述嵌入层，用于对事件文本进行编码，得到初始节点表示；

4、所述图构造层，用于将事件文本构建成为一个无向图；

5、所述图聚合层，用于对无向图中每个节点进行更新，使节点获得上下文信息，得到事件因果图；

6、所述图推理层，用于预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系。

7、进一步地，所述的嵌入层，包括bert模型和bilstm网络。

8、进一步地，所述的图聚合层，包括图卷积网络。

9、一种基于图神经网络的跨句事件因果关系识别方法，包括以下步骤：

10、步骤1、在嵌入层，通过bert预训练模型与bilstm网络对输入的事件文本进行编码，得到初始节点表示；

11、步骤2、在图构造层，针对文本的层次结构、序列信息以及语法信息，将事件文本信息构建成为无向图；

12、步骤3、在图聚合层，使用图卷积网络对无向图中每个节点进行更新，使每个节点能够与其邻居相互交换信息，获得上下文信息，得到事件因果图；

13、步骤4、在图推理层，预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系。

14、进一步地，步骤1所述的在嵌入层，通过bert预训练模型与bilstm网络对输入的事件文本进行编码，得到初始节点表示，具体如下：

15、步骤1.1、在嵌入层，使用预训练的bert模型将输入的文本生成初步的单词表示和句子表示；

16、步骤1.2、使用bilstm作为编码层来获取文档中的句子表示；bilstm模型通过双向的lstm网络结构，得到文档中之前的上文信息和之后的下文信息，对文档的上下文信息进行了捕捉；bilstm的输出ht为：

17、

18、

19、

20、其中，xt为t时刻的输入词，[,]代表向量的拼接操作；表示在时间步t的正向lstm的隐藏状态，包含从序列的开始到当前时间步t的信息；表示在在时间步t的逆向lstm的隐藏状态，包含从序列的末尾到当前时间步t的信息；为在时间步t-1的正向lstm隐藏状态，为在时间步t+1的逆向lstm隐藏状态；和均为lstm函数。

21、进一步地，步骤2所述的在图构造层，针对文本的层次结构、序列信息以及语法信息，将事件文本信息构建成为无向图，具体如下：

22、所述无向图的节点类型包括提及节点、实体节点和文档节点；

23、所述无向图的边包括提及节点-提及节点边、提及节点-实体节点边、实体节点-实体节点边和实体节点-文档节点边；

24、所述提及节点-提及节点边：如果两个提及节点指向的是同一个对象，那么这两个提及节点之间存在一条提及节点-提及节点边；

25、所述提及节点-实体节点边：如果提及节点与文本段中某事件实体有关系，则图中在提及节点与这个实体节点之间创建一条提及节点-实体节点边；

26、所述实体节点-实体节点边：在同一句话中至少有一对事件实体被提及时，两个实体之间创建一条实体节点-实体节点边；

27、所述实体节点-文档节点边：每一个实体节点都与文档节点连接一条实体节点-文档节点边。

28、进一步地，步骤3所述的在图聚合层，使用图卷积网络对无向图中每个节点进行更新，使每个节点能够与其邻居相互交换信息，获得上下文信息，得到事件因果图，具体如下：

29、步骤3.1、在图聚合层，利用嵌入层中得到的每个实体的词嵌入向量与给定实体之间的相对距离，计算任意两个实体u和v之间的边在第i个句子上的边缘表示；边缘表示的公式为：

30、

31、

32、其中，c表示u、v两个实体中的一个，z是一个用于计算注意力分数的权重向量，zt表示z的转置；为当前词到实体c的相对距离，是第i个句子中第j个单词相对于实体c的注意力权重，hi,j是计算得到的第i个句子中第j个单词的特征表示，m为第i个句子中的单词总数；w1是用来转换hi,j的第一权重矩阵，w2是用来转换的第二权重矩阵，b1为第一偏置向量；w1、w2和b1都是能够训练的参数；

33、步骤3.2、对于u、v两个实体，分别执行注意力机制，得到第i个句子的两个边缘表示和通过向量的拼接操作将和连接起来，得到第i个句子的边缘表示hi，公式为：

34、

35、其中，w3是供训练的第三权重矩阵，b2为第二偏置向量；

36、步骤3.3、对于每一个实体节点u和v，边缘uv上所有句子的加权和的计算公式为：

37、

38、其中，σ(·)为sigmoid或relu激活函数，s为边缘uv上的句子总数，pc为节点的向量表示；hi为第i个句子的边缘表示，w4、w5和w6分别是供训练的第四、第五、第六权重矩阵，b3为第三偏置向量；

39、步骤3.4、将计算得到的节点u与v的表示拼接起来，并通过全连接层得到实体感知边缘表示公式为：

40、

41、其中，w7是供训练的第七权重矩阵，b4为第四偏置向量；

42、步骤3.5、将得到的边的信息通过图卷积网络进行计算，以更新节点表示；图卷积网络每个块都包含k个相互连接的子层，对于节点u，在第k个子层的节点表示计算公式为：

43、

44、

45、其中，为节点u和v之间的权重表示，是加权邻接矩阵；neighbour(v)指的是与节点v直接相连的节点的集合；是第k个子层中用于节点表示更新的权重矩阵，控制如何结合邻居节点的信息；是第k个子层中用于边表示更新的权重矩阵，控制如何结合边的信息；是边u,v的特征表示；bk是第k个子层的偏置项；wt是用于训练的权重矩阵，wu和wv是用于映射节点u和节点v的初始特征向量的权重矩阵；和是节点u和节点v的初始特征向量；we是用于映射边特征的权重矩阵；为连接了前面k-1层的输出，计算公式为：

46、

47、其中是节点u的初始特征向量，是节点u在第k-1层的输出。

48、步骤3.6、对初始节点p(0)使用稠密连接(dense connection)操作，连接所有k个子层的输出形成新的节点表示p(1)，再输送到下一模块，即：

49、

50、其中，p(0)是初始节点的表示，pk是所有节点在第k个子层的输出。

51、进一步地，步骤4所述的在图推理层，预测事件因果图中的边缘类型，并对事件因果图执行路径推理以实现多跳推理，进而识别两个节点之间的因果关系状况，识别跨句事件的因果关系，具体如下：

52、步骤4.1、在图推理层，使用双仿射机制计算事件序列在第l次迭代中的表示rl，公式为：

53、

54、

55、其中，u(1)为一个m*c*m的向量，u(2)为一个2*m*c的向量，b5为偏置向量，n为文档的事件数，c是类别数；为第l次迭代中第n个事件的事件表示，n＝1,2,…,n；m是事件表示的维度，第一次迭代时，从图编码层中得到；

56、输出rl为一个n*n*c的向量，表示每个节点对之间的关系，即表示因果图中的边；

57、步骤4.2、基于双仿射机制的输出获得邻接矩阵adjl(i,j)，公式为：

58、

59、

60、其中，为第l次迭代中节点对(u,v)之间的真实关系，r为从关系类型列表中构造的向量，关系类型列表由0、1组成，0表示节点之间无因果关系，1表示节点之间有因果关系；gumbelsoftmax(·)表示gumbelsoftmax函数；

61、为第l-1次迭代的节点u,v之间的边缘表示的累加，计算公式为：

62、

63、步骤4.3、采用gumbelsoftmax函数从概率分布中进行采样，在保持梯度的同时从概率分布中获得关系的标签，公式为：

64、

65、其中pi是预测类别为i的概率，ξi是从均匀分布中采样的随机数；gumbelsoftmax的输出结果，是目标类别的概率为1，否则为0；

66、步骤4.4、使用图卷积神经网络基于计算的邻接矩阵更新事件因果图的信息，第l+1次迭代中的事件表示rl+1的计算公式为：

67、

68、其中，rl为第l次迭代中的事件表示，rl+1为第l+1次迭代中的事件表示，n为边类型的数量，为t类型边新生成的邻接矩阵，αt是权重系数，用于控制来自不同边类型的上下文信息在更新事件表示中的比例；gcnt(·)表示用于更新事件表示的第t类边的图卷积神经网络；

69、步骤4.5、在第l次迭代之后，对步骤4.2计算得到的边的表示进行类别计算，公式为：

70、

71、其中，c为边的类型的数量。

72、本发明与现有技术相比，其显著优点在于：(1)将文本事件的因果关系识别转换为基于图的边缘预测问题，使用基于上下文的图推理机制来进行事件因果关系识别，能够进行跨句场景下的因果关系识别；(2)通过构造因果图并计算节点与边缘表示，使用双仿射机制预测因果图中的边缘类型，并对构造完成的因果图进行多跳推理，以尽可能挖掘两个节点之间隐含的的因果关系状况，提高了跨句事件因果关系识别的准确性。