一种基于异步分层图神经网络的法律文本多跳阅读理解方法与流程

本发明涉及一种基于异步分层图神经网络的法律文本多跳阅读理解方法，属于自然语言处理领域。

背景技术：

1、机器阅读理解的一般架构如图2所示，从图中可以看出，编码层的作用是对文章和问题进行底层的处理，将文本转化成数字编码。交互层的作用是让模型聚焦文章和问题的语义联系，借助于文章的语义分析加深对问题的理解，同时借助于问题的语义分析加深对文章的理解。输出层是通过语义分析结果和答案的类型生成模型来得到最后的输出结果。现有的机器阅读理解模型大多都是在此框架下，在各层使用不同的算法，来获得表现更加优异的模型。

2、本发明在此框架下，改进了子结构，并丰富输出层，使其能适用于多种任务类型的问答。

技术实现思路

1、本发明提出一种基于异步分层图神经网络的法律文本多跳阅读理解方法。本发明的目的在于提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

2、本发明技术方案如下：

3、首先将法律文本进行分片，输入至预训练模型中进行编码；

4、为了解决分片后文本片段间远程注意力不足的问题，将加入一个memoryattention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；

5、在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；

6、上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在句子-句子层、句子-实体层、实体-实体层、实体-句子层进行异步更新；

7、通过多任务模块，获得目标的答案和线索句子，以及整个推理的路径。

8、本发明的有益效果为：目前的机器阅读理解问答算法对于解决只需要单步推理的问题已经能达到很高的准确率，但是在需要多步推理阅读理解问答上的表现还尚有进步的空间，需要多步推理才能得到答案的阅读理解问答也叫多跳阅读理解。同时，大部分端到端的阅读理解模型缺乏对预测过程的可解释性的推理链。本发明提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

9、附图和附表说明

10、图1为mltrc–ahgnn算法网络结构；

11、图2为机器阅读理解一般流程；

12、图3为bert的模型结构；

13、图4为memory attention的模型结构；

14、图5为bidirectional attention的具体模型架构图；

15、图6为异步推理过程。

技术特征：

1.一种基于异步分层图神经网络的法律文本多跳阅读理解方法，该算法包括以下步骤：

2.如权利要求1所属方法，其特征在于，步骤2提出一种用于增强长文本的上下文依赖性的attention机制，即memory attention机制。memory attention的主要思想是对输入进行两次处理：第一次处理为将长文本输入切分为一组短文本段，这些短文本段可以独立并行地阅读；第二次处理为编码器再次读取每个片段，然后使用其他片段的压缩信息对其进行增强。memory attention的关键就在于，如何保存来自所有段的压缩信息。为此，本算法专门建立一个存储模块，用来保存所有段的压缩信息。

3.如权利要求1所属方法，其特征在于，步骤3中优化了传统的attention机制。本算法将采用的attention机制并不将上下文编码进固定大小的向量，而是根据前一层的表征计算每个time step的attention及其attended vector，计算query-to-context(q2c)和context-to-query(c2q)两个方向上的attention，两个方向上的attention可以相互补充，完善上下文和问题的向量，增加后续任务的准确率。

4.如权利要求1所属方法，其特征在于，步骤4中的异步分层图网络多跳推理模块，设计了一种多层图神经网络。使用文本的跨度的表示来初始化实体和句子节点，对于多层图网络的边，我们定义了四种层次的关系，分别为句子-实体、实体-实体、实体-句子、句子-句子四种层次。每一次迭代，在词与问题进行交互后，节点根据不同层次的关系异步地相互传递消息。然后，问题也会通过句子节点进行更新，以便找到下一跳的线索。

5.如权利要求1所属方法，其特征在于，步骤5中通过答案抽取模块、答案分类模块和线索句子判别模块进行多任务联合预测。答案抽取模块是为了完成答案输出的任务。答案分类模块是用来识别不同的任务类型，采用三个分类子模块的联合输出作为分类结果，提高分类的准确率。线索句子判别模块将线索句子判别作为一个二分类任务来实现，使用两种网络的联合判别来提高分类的准确性。

技术总结
本发明提出了一种基于异步分层图神经网络的法律文本多跳阅读理解方法，所述方法包括以下步骤：将法律文本进行分片，输入预训练模型中进行编码；通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在各层进行异步更新；通过多任务模块获得目标的答案和线索句子，以及整个推理路径。本发明提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。

技术研发人员：周焕来,曾靓,唐小龙,刘彤,乔磊崖,李家伟,张民,贾海涛
受保护的技术使用者：成都量子矩阵科技有限公司
技术研发日：
技术公布日：2024/1/13