技术特征：
1.基于重组对抗的统一机器阅读理解方法，其特征在于，包括以下步骤：获取类型多样化、候选项数目不特定的问题；重组问题和候选项形成组合候选项，并依据参考文本对新候选项进行成立与否的判断，将实际阅读理解场景中的判断题、选择题以及匹配题统一转化成单选判定问题；对重组获得的组合候选项与参考文本的共同编码，获得与参考文本及其他重组候选项交互后的重组候选项向量表示；在所述重组候选项向量表示中融入与其相关的参考文本信息，以丰富所述重组候选项向量表示中蕴含的信息；将每一个候选项向量视为一个单独的样本，对其成立与否进行概率判定，输出结果。2.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法，其特征在于，所述将实际阅读理解场景中的判断题、选择题以及匹配题统一转化成单选判定问题包括：将候选项拆分，逐个与问题进行组合，形成设问句；组合参考文本与新产生的候选项，从而将不同类型的问题转化成在参考文本的支撑下，对每个新的候选项预测其成立概率的判断题。3.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法，其特征在于，所述判断题的数学形式为：＜p,q,a＞三元组，其中p表示参考文本，形式上是句子、段落或整篇文章；q表示自然语言形式的问题，a＝{a1,a2,...,a
n
}表示与特定问题对应的候选项集合，n表示候选项的数量，当中有且只有一个正确答案。4.根据权利要求3所述的基于重组对抗的统一机器阅读理解方法，其特征在于，对于任一输入问题，将候选项拆分串联至问题后，组成与原候选项数量相同的新候选项，具体表示为：c＝{c1，c2，...，c
n
}＝{q+a1，q+a2，...，q+a
n
}其中，c表示重组后的候选项集合；将参考文本p作为背景知识与候选项结合以供机器判断候选项中的事实陈述是否成立，具体组合形式如下：p,c1,c2,...,c
n
上式将所有候选项串联，考虑参考文本p中包含的信息，同时关注其他候选项中的关键信息，以发现不同候选项之间的关联关系。5.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法，其特征在于，所述对重组获得的组合候选项与参考文本的共同编码，包括：采用预训练语言模型roberta作为分词器进行文本的分词和词表映射，得到文本与候选项的编码，具体输入形式如下：[cls]p[sep]c1[sep]c2[sep]...[sep]c
n
[sep]其中，[cls]表示roberta中标记输入文本起始位置的特殊字符，[sep]表示roberta中不同文本之间的间隔字符，n为文本的数量；获得参考文本和候选项的词向量表示：e＝(e1,e2,...,e
m
)∈r
m
×
d
其中，e表示输入文本序列的词向量编码，e
m
表示序列中第m个字符的词向量，r表示实数
空间，m表示文本长度，d表示维度大小。6.根据权利要求5所述的基于重组对抗的统一机器阅读理解方法，其特征在于，对于文本和候选项串联后长度超过512的数据，采用longformer的滑窗机制、扩大的滑窗机制、融合全局信息的滑窗机制拓展输入上限到4096；或使用bigbird的随机注意力、窗口注意力以及全局注意力方法，将bert中的复杂度降至线性，进而拓展输入上限到4096。7.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法，其特征在于，所述在所述重组候选项向量表示中融入与其相关的参考文本信息，包括：设计文本与候选项之间的注意力机制：s＝softmax(a)其中，tanh表示非线性激活函数以实现非线性映射，w
pc
表示可学习的权重矩阵，e
p
为参考文本向量表示，为候选项向量表示，b
pc
表示偏置项，j为候选项的编号，softmax实现矩阵内数值在[0,1]上归一化，最终获得候选项c
j
关于参考文本的注意力向量表示采用mean_pooling获取每个候选项的平均向量表示，即：其中，|
·
|表示特定对象的数量，sum表示线性加和，候选项平均向量表示c
j
∈r
d
将被用于信息融合以及最终的概率预测；在获得注意力向量表示之后，使用高速路网络机制实现信息的融合，具体如下：具体如下：具体如下：其中，w
r
和w
g
表示可学习的权重矩阵，[；]表示串联输入的向量，表示两个矩阵对应位置元素相乘，relu表示非线性激活函数，o
j
表示输入向量与中间向量的线性插值，g表示门控阈值以控制调整线性插值中各部分所占比重，是参考文本的平均向量表示；通过线性拼接得到经过融合层之后获得的候选项最终表示m
j
∈r
2d
：8.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法，其特征在于，所述将每一个候选项向量视为一个单独的样本，对其成立与否进行概率判定包括：通过一个二分类器对候选项向量进行[0,1]之间的概率预测：p＝sigmoid(f
p
(m))
其中，p表示候选项的概率输出，sigmoid用以平滑神经网络输出至[0,1]之间，f
p
表示输出维度为1的二分类全连接预测网络；在训练时，对每一个候选项进行概率预测并逐一计算损失值，数学公式为：其中，bce为二值交叉熵损失函数，l
p
表示计算得出的损失值，l表示真实标签的集合，k表示第k个候选项，n表示当前batch_size中所有候选项的集合，|
·
|表示特定对象的数量，p表示模型的预测概率，l表示样本的真实标签。9.根据权利要求8所述的基于重组对抗的统一机器阅读理解方法，其特征在于，引入对抗学习机制，在候选项向量表示中加入随机干扰，迫使模型关注有规律的关键语义分布，实现候选项向量的差异性表示。10.根据权利要求9所述的基于重组对抗的统一机器阅读理解方法，其特征在于，在所述对抗训练中，用e表示输入，θ表示模型的参数，对抗训练在所述二分类器的损失函数上加入如下损失：其中，r
adv
表示最终输入的随机扰动，r表示随机扰动，||
·
||表示二范数，ε表示超参数，l表示损失函数；采用下式实现上式在神经网络中的运算，具体的过程如下：r
adv
＝-εg/||g||g＝
▽
e
l(f
θ
(e),y)其中，g表示损失函数l对输入词向量表示e的梯度，
▽
e
表示梯度运算，f表示模型运算，y表示样本标签。
技术总结
本发明属于自然语言处理领域，公开了基于重组对抗的统一机器阅读理解方法，获取类型多样化、候选项数目不特定的问题；重组问题和候选项形成组合候选项，并依据参考文本对新候选项进行成立与否的判断，将实际阅读理解场景中的判断题、选择题以及匹配题统一转化成单选判定问题；对重组获得的组合候选项与参考文本的共同编码，获得与参考文本及其他重组候选项交互后的重组候选项向量表示；在重组候选项向量表示中融入与其相关的参考文本信息；将每一个候选项向量视为一个单独的样本，对其成立与否进行概率判定，输出结果。本发明将多选问题转化为逐个候选项的正误判断；融合层和对抗学习两个机制提高对不同候选项的区分能力。两个机制提高对不同候选项的区分能力。两个机制提高对不同候选项的区分能力。
技术研发人员：廖劲智 唐九阳 赵翔 陈子阳 谭真 黄宏斌 吴继冰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.04.19
技术公布日：2022/8/15