一种基于融入词性和注意力的语义角色标注方法

本发明属于语义角色标注，尤其是涉及一种基于融入词性和注意力的语义角色标注方法。

背景技术：

1、语义角色标注(semantic role labeling，srl)是自然语言领域中的重要任务之一。该任务以句子为单位，分析语句中的谓词—论元结构，并对每个论元确定其在句子中的语义角色。语义角色标注具有结构清晰、标注简洁等特点。因此语义角色标注可广泛应用于信息抽取、自动问答、阅读理解和机器翻译等领域。

2、语义角色标注的方法可以分为传统方法和基于深度学习的方法。传统方法需要先手动设计特征，再通过统计机器学习算法(如支持向量机、条件随机场等)进行语义角色标注。这种方法存在一个显著问题，标注效果过度依赖于手工构建特征的质量。与传统方法相比，基于深度学习的方法可以从大规模数据中自动地学习和提取文本特征，避免了繁琐的手工特征设计，同时降低了人力物力成本。近年来，基于深度学习的方法在语义角色标注任务上取得了显著的成果。随着研究工作的深入，当前的研究者们通常采用结构复杂的编码器以及注意力机制来生成丰富的文本特征表示。这些方法在一定程度上解决了传统方法存在的问题并改善了任务性能，但依然存在以下问题：当前的语义角色标注模型在挖掘文本信息方面存在局限性，未能有效利用文本中丰富的语义和上下文信息。现有的自注意力机制采用全局的特征点计算方法，导致了大量冗余的注意力区域，缺乏了对于关键词汇的高度聚焦，从而无法准确捕获论元角色之间的关系依赖。

技术实现思路

1、有鉴于此，本发明旨在克服现有技术中上述问题的不足之处，提出一种基于融入词性和注意力的语义角色标注方法，该方法通过词性信息的融入，增强了文本语义信息。同时本文提出adduct-attention来捕获论元角色之间的关系依赖，增强了文本特征表达能力。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、一种基于融入词性和注意力的语义角色标注方法，包括如下步骤：

4、步骤1：构建数据集，进行数据筛选以及清洗，作为输入文本；

5、步骤2：构建标注模型，将输入文本输入到标注模型中进行标注，所述标注模型包括嵌入层、编码层和解码层，嵌入层用于生成输入文本的词嵌入向量以及词性嵌入向量，编码层用于将词嵌入向量和词性嵌入向量通过双流注意力层进行融合输出得到包含词和词性特征的向量表示，并将融合后的特征通过神经网络进行特征提取，再利用adduct-attention注意力机制，捕获语义论元角色之间的关联依赖，将增强后的文本特征输入到解码层进行解码，输出最佳标签序列；

6、步骤3：输出最终的标注结果。

7、进一步的，所述嵌入层利用albert对输入文本进行词向量化与训练，利用通过nlp词性工具获取输入文本语句的词性标注序列，随机初始化一个词性嵌入矩阵得到词性嵌入向量。

8、进一步的，所述编码层包括词嵌入及词性嵌入融合层、lstm层、adduct-attention层。

9、进一步的，所述词嵌入及词性嵌入融合层利用双流注意力网络将词嵌入向量及词性嵌入向量进行特征融合，生成包含词、词性信息的双方向特征，用a＝{a1,a2,a3,…，ai}表示，计算过程如下：

10、首先将嵌入层的词嵌入向量x、词性嵌入向量p分别与权重矩阵相乘，得到q,k,v，对应计算公式如下：

11、qx,kx,vx＝x*wq,x*wk,x*wv；

12、qp,kp,vp＝p*wq,p*wk,p*wv；

13、在获取完词嵌入向量与词性嵌入向量后，将qp,kx,vx输入到词性嵌入向量p对应的多头注意力单元，并同时将qx,kp,vp输入到词嵌入向量x对应的多头注意力单元，计算出词性嵌入向量p和词嵌入向量x的注意力，最后将两者输出进行拼接操作，得到包含词嵌入和词性的特征表示a。

14、进一步的，所述lstm层，具体计算过程如下：

15、it＝σ(wi·[ht-1,xt]+bi)；

16、ft＝σ(wf·[ht-1,xt]+bf)；

17、ct＝ft·ct-1+it·tanh(wc·[ht-1,xt]+bc)；

18、ot＝σ(wo[ht-1,xt]+bo)；

19、ht＝ot·tanh(ct)；

20、其中：wi、wf、wc分别为输入门、遗忘门、输出门的权重矩阵,bi、bf、bc分别为其偏差项，以t-1时刻的输出ht-1和当前输入xt分别得到当前的输入值及遗忘门的值，进而根据t-1时刻单元状态ct-1和当前输入值来获得t时刻单元状态ct，实现当前记忆和长期记忆的结合，ct经过tanh函数变换后，与输出门的值相乘得到的t时刻输出ht。

21、进一步的，所述adduct-attention层利用多头结构通过多层的注意力机制优化每个词的不同层次特征，里面的注意力机制可以将注意力集中关注相关性高的词语上，达到均衡偏差的同时，获取更深层次的表达能力，其计算公式如下所示：

22、

23、

24、其中wqh、wkh、wvh为可训练学习的权重矩阵，dk是键向量维度，h为注意力头数；

25、k＝0.4l+log10l；

26、

27、其中：l为输入文本长度，amin为对权重矩阵ah每行筛选出按数值大小排序为第k个的数值，构成一个新的向量；

28、多头注意力通过其特殊的多头机制为模型从多层空间学习到不同的深层语义表示，将不同的注意力头的输出连接起来，在通过线性计算得到最终输出，其计算如公式如下：

29、

30、head＝concat(head1,…,headh)；

31、multihead＝head·wm；

32、其中：wm为可训练学习的权重矩阵，concat表示矩阵连接操作。

33、进一步的，所述解码层通过crf进行解码。

34、相对于现有技术，本发明所述的一种基于融入词性和注意力的语义角色标注方法具有以下优势：

35、本发明的方法通过引入词性特征，丰富文本信息，增强了文本语义特征；

36、本发明的方法引入改进adduct-attention注意力机制，实现对关联语义论元角色的精准捕获，从而增强语义论元角色之间的关联依赖性，以进一步增强文本的特征，提升任务性能；

37、本发明的方法有效的提高了语义角色标注的准确率。

技术特征：

1.一种基于融入词性和注意力的语义角色标注方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述嵌入层利用albert对输入文本进行词向量化与训练，利用通过nlp词性工具获取输入文本语句的词性标注序列，随机初始化一个词性嵌入矩阵得到词性嵌入向量。

3.根据权利要求1所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述编码层包括词嵌入及词性嵌入融合层、lstm层、adduct-attention层。

4.根据权利要求3所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述词嵌入及词性嵌入融合层利用双流注意力网络将词嵌入向量及词性嵌入向量进行特征融合，生成包含词、词性信息的双方向特征，用a＝{a1,a2,a3,…，ai}表示，计算过程如下：

5.根据权利要求3所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述lstm层，具体计算过程如下：

6.根据权利要求3所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述adduct-attention层利用多头结构通过多层的注意力机制优化每个词的不同层次特征，里面的注意力机制可以将注意力集中关注相关性高的词语上，达到均衡偏差的同时，获取更深层次的表达能力，其计算公式如下所示：

7.根据权利要求1所述的一种基于融入词性和注意力的语义角色标注方法，其特征在于：所述解码层通过crf进行解码。

技术总结
本发明公开了一种基于融入词性和注意力的语义角色标注方法，将输入的文本通过嵌入层获取其字级别的嵌入向量，并同时通过获取输入句子的词性标注序列，并将该序列通过词性嵌入层获取其词性嵌入向量。在将融合后的特征输入到编码层进行特征提取，再通过改进设计了Adduct‑Attention注意力优化每个词的不同层次特征，同时该的注意力机制可以将注意力集中关注相关性高的词语上，提高语义角色论元相关性的同时，获取更深层次的表达能力，最后将提取到的特征输入到相对应的解码层，通过CRF进行解码，获取对于输入文本句子的最佳标签序列作为输出结果。本发明的方法有效的提高了语义角色标注的准确率。

技术研发人员：冯兴杰,许云峰,冯小荣,卞兴鹏
受保护的技术使用者：中国民航大学
技术研发日：
技术公布日：2024/4/29