一种事件因果关系识别模型的构建方法及应用

本发明属于自然语言处理领域，更具体地，涉及一种事件因果关系识别模型的构建方法及应用。

背景技术：

1、事件因果关系识别(eci)旨在检测文档中两个事件之间是否存在因果关系。eci任务对于许多自然语言处理(nlp)应用至关重要，例如问题回答，信息提取等。针对因果关系识别，现在已经开发出了多种技术，最新的方法可大致分为基于知识库的方法，基于图神经网络的方法和基于提示学习范式的方法。

2、基于知识库的方法主要是利用外部知识来辅助模型的因果识别。外部知识库可用于提供外部因果知识，以增强因果关系识别。例如，conceptnet包含丰富的图结构知识，其中每个节点代表一个概念，每个边对应概念之间的语义关系。此外，framenet知识库，以及wordnet和verbnet词汇知识库也被用于获取eci任务的外部因果知识。基于图神经网络的方法通常是将eci任务建模成节点分类任务，利用图卷积的思想将边的语义关系聚合到节点的表征当中，然后利用机器学习常用的分类器对节点进行分类；除了节点分类之外，一些研究还通过事件图中的潜在因果边，来辅助因果关系识别。基于提示学习范式的方法核心思想是最大限度利用plm内隐含的知识，通过设计出合适eci任务的提示模板和答案空间，以便在模型训练期间很好地利用嵌入在plm中的百科全书式语言和事件因果知识，来进行因果识别任务。

3、尽管基于知识库的方法可以有效地增强因果关系预测，但如何为eci任务提取合适的知识三元组并不容易实现，更不用说将它们编码并融合到特定任务事件的表示中了。基于图神经网络的方法能够充分利用文档级的上下文关系，对句间因果识别有较大的提升作用，但其对于句内的语义利用还不够充分，且现有的方案也忽略了事件因果关系相互依赖的事实。相比于以上两种方法，基于提示学习范式的方法能够提升因果识别效果，但是其非常依赖于提示模板和答案空间词的设计，不同的模板和答案空间对最后的识别效果影响非常大。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种事件因果关系识别模型的构建方法及应用，其目的在于在不依赖于提示模板和答案空间词的设计的前提下，实现准确率较高的事件因果关系识别的技术问题。

2、为了实现上述目的，第一方面，本发明提供了一种事件因果关系识别模型的构建方法，包括：

3、获取训练集：将预采集的文本数据集中的不同事件两两进行组合，得到文本数据集中的所有事件对组合；对每一个事件对组合，将其内事件的文本信息形成句子对作为训练样本，事件之间的真实因果关系作为对应的标签，构建训练集；

4、模版化：对训练集中的每一个训练样本中的句子分别进行模版化，得到对应的句子t；句子t包含对应训练样本中的句子和假设模版句；假设模版句中包含两个占位符，用于表示两个占位符之间的确定性因果关系；

5、训练语言模型：将每一个训练样本所对应的句子t输入到预训练语言模型中进行语义学习，得到其内两个占位符处的事件提及预测结果；通过最小化每一个占位符处的事件提及预测结果与基于对应标签所确定的真实结果之间的差异，对预训练语言模型进行训练；

6、构建识别模型：构建包括预训练语言模型和判别模块的事件因果关系识别模型；其中，判别模块用于基于句子t内两个占位符处的事件提预测结果进行判决，得到句子t内事件之间的因果关系。

7、进一步优选地，句子t的句首使用[cls]标签，句尾使用[sep]标签，中间插入训练样本中的句子和假设模版句，且句子和句子之间采用[sep]标签进行间隔。

8、进一步优选地，当假设模版句用于表示两个占位符之间有因果关系时，假设模版句tp表示为：

9、tp＝there is a causal relation between[mask1]and[mask2]

10、当假设模版句用于表示两个占位符之间无因果关系时，

11、tp＝there is nota causal relation between[mask1]and[mask2]

12、其中，[mask1]和[mask2]为两个占位符。

13、进一步优选地，上述确定性因果关系包括：有因果关系和无因果关系；

14、当假设模版句用于表示两个占位符之间有因果关系、且句子t内事件之间的真实因果关系标签为有因果关系时，句子t中两个占位符的所对应的事件提及的真实结果分别为句子t内的两个事件提及；

15、当假设模版句用于表示两个占位符之间有因果关系、且句子t内事件之间的真实因果关系标签为无因果关系时，句子t中两个占位符的所对应的事件提及的真实结果均为无事件提及；

16、当假设模版句用于表示两个占位符之间无因果关系、且句子t内事件之间的真实因果关系标签为有因果关系时，句子t中两个占位符的所对应的事件提及的真实结果均为无事件提及；

17、当假设模版句用于表示两个占位符之间无因果关系、且句子t内事件之间的真实因果关系标签为无因果关系时，句子t中两个占位符的所对应的事件提及的真实结果分别为句子t内的两个事件提及。

18、进一步优选地，记句子t内的两个事件分别为第一事件和第二事件，两个占位符分别为第一占位符和第二占位符；

19、上述预训练语言模型用于获取句子t内的第一占位符的预测概率向量，以及第二占位符的预测概率向量；占位符的预测概率向量包括：占位符分别为预设词汇表中不同事件提及的概率以及占位符不为事件提及的概率；

20、当假设模版句用于表示两个占位符之间有因果关系时：

21、判别模块采用方式一到方式十中的任意一种方式对句子t中两个事件的因果关系进行判定；

22、方式一：若在第一占位符的预测概率向量中第一占位符为第一事件提及的概率最大、且在第二占位符的预测概率向量中第二占位符为第二事件提及的概率最大，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

23、方式二：若在第一占位符的预测概率向量中第一占位符预测为第一事件提及的概率最大，或在第二占位符的预测概率向量中第二占位符为第二事件提及的概率最大，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

24、方式三：若第一占位符为第一事件提及的概率大于第一预设概率、且第二占位符为第二事件提及的概率大于第一预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

25、方式四：若第一占位符为第一事件提及的概率大于第二预设概率、或第二占位符为第二事件提及的概率大于第二预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

26、方式五：若第一占位符为第一事件提及的概率与第二占位符为第二事件提及的概率之和大于第一预设阈值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

27、方式六：若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从大到小的顺序进行排序后，第一占位符为第一事件提及的概率和第二占位符为第二事件提及的概率均排在前n位之内，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；n为正整数；

28、或者，若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从小到大的顺序进行排序后，第一占位符为第一事件提及的概率和第二占位符为第二事件提及的概率均排在后n位，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；n为正整数；

29、方式七：若第一占位符为第一事件提及的概率大于第一占位符不为事件提及的概率，且第二占位符为第二事件提及的概率大于第二占位符不为事件提及的概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

30、方式八：若第一占位符为第一事件提及的概率与第二占位符为第二事件提及的概率之和大于第一占位符不为事件提及的概率与第二占位符不为事件提及的概率之和，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

31、方式九：若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从大到小的顺序进行排序后，第一占位符为第一事件提及的概率的排位与第二占位符为第二事件提及的概率的排位之和小于第一预设排位值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

32、或者，若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从小到大的顺序进行排序后，第一占位符为第一事件提及的概率的排位与第二占位符为第二事件提及的概率的排位之和大于第二预设排位值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

33、方式十：若第一占位符为第一事件提及的概率与第一占位符不为事件提及时的概率之差大于第一预设差值，且第二占位符为第二事件提及的概率与第二占位符不为事件提及的概率之差大于第一预设差值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

34、当假设模版句用于表示两个占位符之间无因果关系时：

35、判别模块采用判别模块采用方式1到方式10中的任意一种方式对句子t中两个事件的因果关系进行判定；

36、方式1：若在第一占位符的预测概率向量中第一占位符为第一事件提及的概率最小、且在第二占位符的预测概率向量中第二占位符为第二事件提及的概率最小，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

37、方式2：若在第一占位符的预测概率向量中第一占位符预测为第一事件提及的概率最小，或在第二占位符的预测概率向量中第二占位符为第二事件提及的概率最小，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

38、方式3：若第一占位符为第一事件提及的概率小于第三预设概率、且第二占位符为第二事件提及的概率小于第三预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

39、方式4：若第一占位符为第一事件提及的概率小于第四预设概率、或第二占位符为第二事件提及的概率小于第四预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

40、方式5：若第一占位符为第一事件提及的概率与第二占位符为第二事件提及的概率之和小于第二预设阈值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

41、方式6：若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从大到小的顺序进行排序后，第一占位符为第一事件提及的概率和第二占位符为第二事件提及的概率均排在前m位之外，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；m为正整数；

42、或者，若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从小到大的顺序进行排序后，第一占位符为第一事件提及的概率和第二占位符为第二事件提及的概率均排在前m位，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；m为正整数；

43、方式7：若第一占位符为第一事件提及的概率小于第一占位符不为事件提及的概率，且第二占位符为第二事件提及的概率小于第二占位符不为事件提及的概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

44、方式8：若第一占位符为第一事件提及的概率与第二占位符为第二事件提及的概率之和小于第一占位符不为事件提及的概率与第二占位符不为事件提及的概率之和，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

45、方式9：若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从大到小的顺序进行排序后，第一占位符为第一事件提及的概率的排位与第二占位符为第二事件提及的概率的排位之和大于第三预设排位值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

46、或者，若分别将第一占位符的预测概率向量和第二占位符的预测概率向量中的概率值按照从小到大的顺序进行排序后，第一占位符为第一事件提及的概率的排位与第二占位符为第二事件提及的概率的排位之和小于第四预设排位值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

47、方式10：若第一占位符为第一事件提及的概率与第一占位符不为事件提及时的概率之差小于第二预设差值，且第二占位符为第二事件提及的概率与第二占位符不为事件提及的概率之差小于第二预设差值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系。

48、进一步优选地，第一事件和第二事件分别为沿着句子t文本顺序方向依次出现的两个事件；第一占位符和第二占位符分别为沿着句子t文本顺序方向依次出现的两个占位符。

49、进一步优选地，在上述句子t中，事件提及的前后两侧还插入有事件提及标记符，用于对该事件提及进行标识；

50、此时，记句子t内的两个事件分别为第一事件和第二事件，两个占位符分别为第一占位符和第二占位符，第一事件所对应的事件提及标记符为第一标记符，第二事件所对应的事件提及标记符为第二标记符；上述预训练语言模型用于获取句子t内的第一占位符的预测概率向量，以及第二占位符的预测概率向量；占位符的预测概率向量包括：占位符分别为各事件提及标记符的概率以及占位符不为事件提及的概率；

51、当假设模版句用于表示两个占位符之间有因果关系时，判别模块采用方式a到方式h中的任意一种方式对句子t中两个事件的因果关系进行判定；

52、方式a：若在第一占位符的预测概率向量中第一占位符为第一标记符的概率最大、且在第二占位符的预测概率向量中第二占位符为第二标记符的概率最大，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

53、方式b：若在第一占位符的预测概率向量中第一占位符预测为第一标记符的概率最大，或在第二占位符的预测概率向量中第二占位符为第二标记符的概率最大，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

54、方式c：若第一占位符为第一标记符的概率大于第五预设概率、且第二占位符为第二标记符的概率大于第五预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

55、方式d：若第一占位符为第一标记符的概率大于第六预设概率、或第二占位符为第二标记符的概率大于第六预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

56、方式e：若第一占位符为第一标记符的概率与第二占位符为第二标记符的概率之和大于第三预设阈值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

57、方式f：若第一占位符为第一标记符的概率大于第一占位符不为事件提及的概率，且第二占位符为第二标记符的概率大于第二占位符不为事件提及的概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

58、方式g：若第一占位符为第一标记符的概率与第二占位符为第二标记符的概率之和大于第一占位符不为事件提及的概率与第二占位符不为事件提及的概率之和，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

59、方式h：若第一占位符为第一标记符的概率与第一占位符不为事件提及时的概率之差大于第三预设差值，且第二占位符为第二标记符的概率与第二占位符不为事件提及的概率之差大于第三预设差值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

60、当假设模版句用于表示两个占位符之间无因果关系时，判别模块采用方式a’到方式h’中的任意一种方式对句子t中两个事件的因果关系进行判定；

61、方式a’：若在第一占位符的预测概率向量中第一占位符为第一标记符的概率最小、且在第二占位符的预测概率向量中第二占位符为第二标记符的概率最小，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

62、方式b’：若在第一占位符的预测概率向量中第一占位符预测为第一标记符的概率最小，或在第二占位符的预测概率向量中第二占位符为第二标记符的概率最小，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

63、方式c’：若第一占位符为第一标记符的概率小于第七预设概率、且第二占位符为第二标记符的概率小于第七预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

64、方式d’：若第一占位符为第一标记符的概率小于第八预设概率、或第二占位符为第二标记符的概率小于第八预设概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

65、方式e’：若第一占位符为第一标记符的概率与第二占位符为第二标记符的概率之和小于第四预设阈值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

66、方式f’：若第一占位符为第一标记符的概率小于第一占位符不为事件提及的概率，且第二占位符为第二标记符的概率小于第二占位符不为事件提及的概率，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

67、方式g’：若第一占位符为第一标记符的概率与第二占位符为第二标记符的概率之和小于第一占位符不为事件提及的概率与第二占位符不为事件提及的概率之和，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系；

68、方式h’：若第一占位符为第一标记符的概率与第一占位符不为事件提及时的概率之差小于第四预设差值，且第二占位符为第二标记符的概率与第二占位符不为事件提及的概率之差小于第四预设差值，则判定句子t中两个事件具有因果关系；否则，判定句子t中两个事件不具有因果关系。

69、进一步优选地，第一事件和第二事件分别为沿着句子t文本顺序方向依次出现的两个事件；第一占位符和第二占位符分别为沿着句子t文本顺序方向依次出现的两个占位符。

70、进一步优选地，对于句子t中的多token事件提及，将其替换成对应的预设标记符，该预设标记符的embedding向量为对应事件提及中各token的embedding向量的平均值。

71、进一步优选地，对于句子t中的多token事件提及，当其token不连续时，将不连续的token之间的所有词作为该多token事件提及的一部分。

72、进一步优选地，上述预训练语言模型为基于deberta的掩码语言模型。

73、第二方面，本发明提供了一种事件因果关系识别方法，包括：

74、将待识别的事件对内的文本信息形成句子对后，采用本发明第一方面所提供的事件因果关系识别模型的构建方法中的模版化方法进行模版化，得到对应的句子t；

75、将句子t输入到事件因果关系识别模型中，得到事件对中两个事件的因果关系；

76、其中，事件因果关系识别模型采用本发明第一方面所提供的事件因果关系识别模型的构建方法构建得到。

77、第三方面，本发明提供了一种事件因果关系识别系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明第二方面所提供的事件因果关系识别方法。

78、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明第一方面所提供的事件因果关系识别模型的构建方法、和/或本发明第二方面所提供的事件因果关系识别方法。

79、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

80、1、本发明提供了一种事件因果关系识别模型的构建方法，对训练集中的事件对模版化，得到对应的句子t后再输入到预训练语言模型中进行训练，实现确定性假设的提示学习，进而构建得到事件因果关系识别模型；所构建的事件因果关系识别模型从传统的直接预测事件提及之间的关系词，转为假设两个事件提及之间具有确定性因果关系，通过判断此假设的合理度，进而判断是否具有因果关系，免去了答案空间的构造问题，促进了事件因果关系识别效果的提升，能够在不依赖于提示模板和答案空间词的设计的前提下，实现准确率较高的事件因果关系识别的技术问题。

81、2、进一步地，本发明采用所提供的事件因果关系识别模型的构建方法，对于句子t中的两个占位符预测值，若两个占位符预测值大于预设阈值时，则判定两个事件具有因果关系，否则不具有因果关系，使得模型对两个占位符的关注权重保持一致，同时能够保证在判决时保证一定的容错空间，提高模型判决精度。

82、3、进一步地，本发明所提供的事件因果关系识别模型的构建方法，在句子t中，事件提及的前后两侧还插入有事件提及标记符，用于对该事件提及进行标识，以聚合事件提及的相关语义，从而简化了答案空间，使得后续仅需要关注占位符分别为各事件提及标记符的概率以及占位符不为事件提及的概率，提高了模型的预测效率。

83、4、进一步地，本发明所提供的事件因果关系识别模型的构建方法，对于句子t中的多token事件提及，将其替换成对应的预设标记符，以进行多token事件提及消解，特别是当后续嵌入事件标记符时，可以使后续的事件标记符更好的聚合事件提及的语义信息。

84、5、进一步地，本发明所提供的事件因果关系识别模型的构建方法，对于句子t中的多token事件提及，当其token不连续时，将不连续的token之间的所有词作为该多token事件提及的一部分，以保证输入到预训练模型中的事件提及为单一token，以使后续事件提及标记符能够更好地聚合事件提及的语义信息。

85、6、进一步地，本发明所提供的事件因果关系识别模型的构建方法，第一事件和第二事件分别为沿着句子t文本顺序方向依次出现的两个事件；第一占位符和第二占位符分别为沿着句子t文本顺序方向依次出现的两个占位符，使得模型在生成结果之前提前理解句子中的原因和结果部分，同时促使模型关注句子中的关键信息，进一步提高识别的准确性。