基于多关系视图轴向注意力的文档级关系抽取方法和装置

本发明涉及文档级关系抽取，尤其涉及一种基于多关系视图轴向注意力的文档级关系抽取方法和装置。

背景技术：

1、关系抽取(relation extraction，re)旨在识别给定文本中两个实体之间的关系，在信息抽取任务中起着重要的作用。目前的工作主要集中于解决篇章较短的句子级关系抽取任务，即预测单个句子中不同实体之间的关系，而对不同句子中实体之间的关系识别能力较差。然而实际情况中，许多关系需要联合多个句子中的实体进行抽取，根据先前docred数据集的研究统计，超过40.7％的关系无法只依据单一的句子进行抽取因此对于关系抽取模型而言，具有提取不同句子间关系的能力是十分重要的。

2、显而易见的是，文档级关系抽取较句子级关系抽取在具体实现中难度更高。具体来说，一个关系中的主语和宾语可能会出现在不同的句子中，因此不能仅根据单一的句子来推断。其次，同一篇文档中的实体可能会在文中的不同位置被提及，因此要求模型具有跨句表示实体的能力。最后，部分实体对之间的关系往往需要利用其他的实体辅助推理得到，这些多跳关系的抽取需要对不同实体关系进行逻辑推理。

3、目前，文档级关系抽取方法主要是基于transformer的模型展开。与此同时，为了能够充分表示实体信息并且对多跳关系进行有效推理，越来越多的学者将图像分割领域的方法引入关系抽取任务中。例如，zhang等人[zhang n,chen x,xie x,et al.document-level relation extraction as semantic segmentation.proceedings of thethirtieth international joint conference on artificial intelligence[c]//montreal,canada.2021-08.international joint conferences on artificialintelligence organization,2021:3999-4006.]所提出的docunet模型，将文档级关系抽取任务重新定义为实体对级分类问题，通过u型网络来预测实体级关系矩阵，从而捕获局部和全局信息。类似的，li等人[li j,xu k,li f,et al.mrn:a locally and globallymention-based reasoning network for document-level relationextraction.findings of the association for computational linguistics:acl-ijcnlp 2021[c]//online.2021.association for computational linguistics,2021:1359-1370.]通过共注意力捕获全局信息，还使用二维卷积窗口得到局部信息，以便捕获局部和全局上下文之间不同维度的信息。此外，zhang等人[zhang l,cheng y,et al.amasked image reconstruction network for document-level relation extraction[j].arxiv:2204.09851[cs],2022.]将推断建模为一个蒙面网络重建问题，将实体矩阵看作是一个图像，然后通过推理模块对其进行随机遮蔽和恢复，以获取关系之间的相关性。2022年达摩院提出的知识蒸馏模型[tan q,he r,bing l,et al.document-levelrelation extraction with adaptive focal loss and knowledge distillation[j].arxiv:2203.10900[cs],2022.]使用两个维度的轴向注意力来捕获实体间的多跳关系，并且取得了不错的效果。

4、但是上述结合图像领域相关方法的文档级关系抽取工作只是单纯解决了多跳推理的问题，并没有考虑到不同的实体提及在多跳推理过程中所起到的作用。

技术实现思路

1、为了能够更加充分的表示实体信息并且在此基础上进行多跳推理，本发明提出一种基于多关系视图轴向注意力的文档级关系抽取方法和装置，通过不同的关系类型构建邻接矩阵，并在这个三维的邻接矩阵上进行关系推理。

2、为了实现上述目的，本发明采用以下技术方案：

3、本发明一方面提出一种基于多关系视图轴向注意力的文档级关系抽取方法，包括：

4、对文档中实体的表示按照不同关系类型进行划分并且进行两两配对，从而生成多个不同关系类型的邻接矩阵；

5、在所述邻接矩阵上通过多层的轴向注意力来捕获不同关系类型的多跳关系信息，并在此基础上进行文档级关系抽取。

6、进一步地，在所述对文档中实体的表示按照不同关系类型进行划分并且进行两两配对之前，还包括，按照以下方式得到文档中实体的表示：

7、首先，对每个候选关系随机初始化可学习的参数pr作为关系的表示，然后利用点积的方式计算关系的表示pr和每个提及之间的语义相关性

8、

9、其中g是计算两个嵌入之间的语义相关性的函数；

10、之后通过softmax函数计算所有提及对应不同关系的注意力权重

11、

12、其中qi表示实体的提及数量；

13、在得到实体的所有提及对应的注意力后，通过提及对于不同关系的注意力权重加权求和来得到实体ei对应特定关系r的实体表示

14、

15、进一步地，所述不同关系类型的邻接矩阵具体按照以下方式生成：

16、将对应特定关系的实体表示按照关系类型进行拼接，得到多个不同关系类型的邻接矩阵。

17、进一步地，在所述生成多个不同关系类型的邻接矩阵之后，还包括：

18、采用线性层和非激活函数将排列好的实体嵌入映射到隐藏状态z，分别得到头实体和尾实体的表示；

19、将嵌入维度划分为大小相等的k组，并在组内应用双线性函数和sigmoid激活函数计算关系概率。

20、进一步地，在进行文档级关系抽取时，采用自适应阈值损失作为损失函数。

21、本发明另一方面提出一种基于多关系视图轴向注意力的文档级关系抽取装置，包括：

22、邻接矩阵生成模块，用于对文档中实体的表示按照不同关系类型进行划分并且进行两两配对，从而生成多个不同关系类型的邻接矩阵；

23、多跳关系信息获取模块，用于在所述邻接矩阵上通过多层的轴向注意力来捕获不同关系类型的多跳关系信息，并在此基础上进行文档级关系抽取。

24、进一步地，还包括，实体表示模块，用于：

25、首先，对每个候选关系随机初始化可学习的参数pr作为关系的表示，然后利用点积的方式计算关系的表示pr和每个提及之间的语义相关性

26、

27、其中g是计算两个嵌入之间的语义相关性的函数；

28、之后通过softmax函数计算所有提及对应不同关系的注意力权重

29、

30、其中qi表示实体的提及数量；

31、在得到实体的所有提及对应的注意力后，通过提及对于不同关系的注意力权重加权求和来得到实体ei对应特定关系r的实体表示

32、

33、进一步地，所述不同关系类型的邻接矩阵具体按照以下方式生成：

34、将对应特定关系的实体表示按照关系类型进行拼接，得到多个不同关系类型的邻接矩阵。

35、进一步地，还包括：

36、实体映射模块，用于采用线性层和非激活函数将排列好的实体嵌入映射到隐藏状态z，分别得到头实体和尾实体的表示；

37、维度划分模块，用于将嵌入维度划分为大小相等的k组，并在组内应用双线性函数和sigmoid激活函数计算关系概率。

38、进一步地，在进行文档级关系抽取时，采用自适应阈值损失作为损失函数。

39、与现有技术相比，本发明具有的有益效果：

40、(1)通过对不同关系类型构建多视图的关系邻接矩阵，对实体的不同表示进行划分，进而能够得到更加精确的实体表示。

41、(2)在多类型的实体邻接矩阵上利用轴向注意力对不同句子中包含实体之间的多跳关系进行有效抽取，进而能够提高文档级关系抽取的准确性。

42、(3)在生物医学领域数据集gda上进行了实验，证实本发明的有效性。