技术特征：
1.一种基于bilstm结合多头注意力的中文重叠事件抽取系统，其特征在于：包括bert编码器、事件类型检测解码器、触发词提取解码器、事件元素提取解码器和损失权重调整模块；所述bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；所述事件类型检测解码器基于bert文本分类模型，对事件进行分类；所述触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；所述事件元素提取解码器采用多头注意力结合双向lstm层对事件元素进行提取；所述损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重。2.根据权利要求1所述的基于bilstm结合多头注意力的中文重叠事件抽取系统，其特征在于：所述事件类型检测解码器基于bert文本分类模型，将最后一层输出的第一个token位置当作句子的表示，然后连接全连接层进行分类，具体包括以下步骤：s11：首先初始化嵌入矩阵为类型嵌入，其中e表示事件类型集合，d为词向量维(d＝768)；s12：通过相似性函数δ来度量候选类型c∈c和标记表示之间的相关性；s13：通过测量具有相同相似度函数δ的自适应句子表征s
c
、类型嵌入c的相似度来预测事件类型。3.根据权利要求1所述的基于bilstm结合多头注意力的中文重叠事件抽取系统，其特征在于：所述触发词提取解码器利用条件融合函数建立事件类型检测和触发词提取之间的条件依赖关系模型，对类型检测和触发词提取之间的条件依赖性进行建模，通过自注意力层来进一步细化触发词提取的表示。4.根据权利要求1所述的基于bilstm结合多头注意力的中文重叠事件抽取系统，其特征在于：所述事件元素提取解码器首先使用条件融合函数φ对事件类型、触发词和事件元素进行依赖性建模，然后进行特征提取；采用多头注意力结合双向lstm层来细化事件元素提取的表示：z
ct
＝[z
ct
′
；p]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)y
ct
＝[y
ct
′
；p]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)x
ct
＝[z
ct
；y
ct
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中是相对位置嵌入，d
p
是维度，z
ct
是经过双向lstm层后的矩阵表示，y
ct
是经过多头注意力层后的矩阵表示，x
ct
是两层网络融合拼接后的矩阵表示，如公式(1)～(3)所示，然后使用正则化进行降维；最后使用指示符函数i(r,c)来指示该角色是否属于根据预定义事件模式的类型，表示公式如(4)所示：使用一对taggers标记器来预测事件元素，其中表示x
c
中的第i个tokens表示，事件元素起始位置和结束位置的表示如公式(5)(6)所示：
选择值的结果为预测的起始位置，选择值的结果为预测的结束位置，ξ4,ξ5∈[0,1]是标量阈值；通过列举所有起始位置，搜索句子中最近的结束位置，起始位置和结束位置之间的标记形成一个完整的事件元素。5.根据权利要求1所述的基于bilstm结合多头注意力的中文重叠事件抽取系统，其特征在于：所述损失权重调整模块实施步骤如下：手动设置初始化权重，结合多个损失函数，同时利用多个目标的同方差不确定性，如公式(7)所示，重新为每个任务分配权重：l
′
＝1/(2σ^2)
·
l+log(1+1/σ^2)
ꢀꢀꢀꢀ
(7)其中，σ表示高斯分布的标准差，l表示单任务部分的损失，l
′
表示权重更新后单任务的损失。
技术总结
本发明涉及一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，属于自然语言处理领域，Bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；事件类型检测解码器基于Bert文本分类模型，对事件进行分类；触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；事件元素提取解码器采用多头注意力结合双向LSTM层对事件元素进行提取；损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重。个任务动态分配权重。个任务动态分配权重。
技术研发人员：甘玲 张在军 刘菊 胡柳慧
受保护的技术使用者：重庆邮电大学
技术研发日：2022.06.07
技术公布日：2022/9/15