基于自注意力的多层次融合方面类别情感分析方法

本发明属于应用自注意力机制对情感词语分析领域，特别涉及一种基于自注意力的多层次融合方面类别情感分析方法。

背景技术：

1、观点或意见几乎是所有人类进行活动的核心，是我们行为的关键影响因素。随着电子商务平台的兴起，在线评论成为宝贵的资源，尤其是对于受欢迎的产品和服务方面。从这些在线评论中识别和提取具有丰富观点的信息，有助于生产者和消费者做出决策。也就是说，评价不仅是电商销售产品的重要因素，而且在一定程度上也是影响消费者意愿的指标。但由于这些产品的评论数量巨大，要通过每一次评判对任何产品做出简单的决定是不可行的。因此，近年来，考虑到效率和大量评论数据的在线处理需求，情感分析从各个领域展开了探索。基于方面的情感分析(absa)作为情感分析领域的细粒度任务在近几年来受到广泛地关注，它主要包含两个子任务:方面项情感分析(atsa)和方面类别情感分析(acsa)。虽然近年来对atsa和acsa的研究都很有前景，但在本发明中，我们主要关注的是acsa的任务。

2、acsa的目的是在对情感极性(通常是积极的、消极的或中性的)进行分类的同时，根据方面类别对每个观点进行分类。可以看出他需要进行两个任务，方面类别识别(acd)和方面情感分类(asc)。与atsa任务不同，acsa任务中方面类别可能不会直接在句子中出现，且需要预定义。为了识别方面类别的情感，多年来人们致力于为给定方面目标建立合适的上下文特征。

3、在过去几十年里，早期传统的机器学习方法吸引较多人的研究，但这些方法严重依赖复杂的人工规则和特征工程，这样很容易忽视有效特征。随着深度学习技术的广泛应用，人们开始使用数据驱动的方式解决传统方法特征丢失问题。其中基于卷积神经网络(cnn)和递归神经网络(rnn)比如长短期记忆网络(lstm)的大量有关研究被成功地应用于方面级情感分析中。cnn能够从时间或空间分布中学习局部特征，但在获取远程依赖以及建模序列信息方面存在不足。与cnn相比，rnn能够对序列信息进行有效建模，但缺乏位置不变性以及对局部信息的敏感性。上述方法使用不同的神经网络结构对语境和目标之间的关系进行建模，但考虑输入序列全部信息过于冗余，没有明确地建模每个词对识别特定目标情感的贡献程度。

4、注意力机制的出现在自然语言处理和计算机视觉掀起了热潮，因为它可以通过映射词的语义关联来捕捉每个词对特定目标的影响，也为模型添加了一定的可解释性。其变体自注意力机制在自然语言、图像识别领域也被证实有效。因此很多学者开始将自注意力的优势应用于该任务中。它的目的是获得一种考虑全局上下文的潜在表示，可以解决长期依赖不足的问题。此外，也有些研究构建基于依存树的图结构实现acsa，但局限性在于需要寻找与方面类别相关的方面术语。而有些文本存在不规范的问题且方面类别通常不在文中明确描述出来，很难通过语言规则(例如依赖解析器)明确地利用上下文词和方面类别之间的关系。而自注意力机制能够学习句子内部结构特征，可以识别句子结构的差异，获得较好的学习效果。但自我注意通过加权平均操作将所有元素考虑在内，分散了注意力分布，这在acsa中具有一定的局限性。因为可能会导致方面类别和情感匹配有误，造成结果的不准确。因此一个考虑上下文语义的自注意力网络提出，并被应用于absa中。

5、虽然以往的研究带来了显著的改进，但由于以下原因在大多数实际应用中仍然存在一些挑战：首先，acsa任务的挑战之一是方面类别可能不在文本中出现，而这些模型利用给定的方面来指导句子编码，但却忽视了不同环境下方面表示的含义可能会存在不同，使得易受到其他方面类别有关较强情感词的干扰，使得上下文和方面信息的交互不足，效果不好。其次，大多数方法忽视了句子中重要词的位置信息对情感极性的影响，或只是将目标与句子特征拼接获得注意权重。但这样得到的位置向量可能会因为不同环境下词语对不同方面表示表达的情感存在不同而收到干扰，从而影响模型的性能。最后，acsa的任务更多关注餐饮、电子产品等领域，但还未探索生鲜农产品在线评论的价值。新鲜葡萄是世界上最受欢迎的水果品种之一,因其丰富的营养价值和感官特性而受到消费者的高度赞赏。因此需要更进一步的研究来更好地了解消费者对鲜食葡萄在电商平台中的期望，以提升商家及产品质量。

技术实现思路

1、本发明的目的是提供的一种基于自注意力的多层次融合方面类别情感分析方法，其特征在于，所述基于自注意力的多层次融合方面类别情感分析方法包括：

2、s1：获取样本语句以及与样本语句相关联的若干组二元组标签信息；

3、s2：采用基于bi-lstm和卷积注意机制相结合来获取输入文本的序列信息与局部重要信息；

4、s3：获取方面类别指示词的位置信息；

5、s4：包含情景的自注意力机制重新学习方面信息，并引入融合多层次信息来融合学习多层次上下文特征之间的相互作用，实现方面类别情感分析；其中利用词级别和句子级别共同提取文本特征；为解决考虑情境时不可避免带入的噪声问题，而引入门控机制过滤噪声信息，以更精确地表示获取基于上下文的方面类别和有效获得重要词的位置信息。

6、所述步骤s1中二元组标签信息包括样本语句相关联的方面类别种类和情感极性；获取样本语句的初始句子序列，根据样本语句的初始句子序列以及二元组标签信息构建样本语句的二元组标签序列。

7、所述步骤s1中获取样本语句包括若干个单词。

8、所述步骤s2获取输入文本的序列信息与局部重要信息中的局部重要信息为短语和词组。

9、所述步骤s3获取方面类别指示词的位置信息是用于设计方面类别检测方法，以获得与方面类别有关的重要词语作为方面类别指示词，从而得到该词的位置信息；

10、所述步骤s4中引入的融合多层次信息对评论文本方面类别情感进行分析，用于实现对在线评论情感分布的精确分类。

11、所述步骤s1中获取样本语句的初始句子序列，具体包括：

12、将句子序列s通过嵌入矩阵映射，获得嵌入向量序列e＝{x1，x2，…，xn}，其中de表示单词嵌入的维度，给定预定义的方面类别ai∈a，方面嵌入可以通过映射得到其中da是方面嵌入向量维度；

13、将单词嵌入e＝{x1，x2，…，xn}输入到多层bi-lstm中，第(l-1)层的输出送入下一层，则得到隐藏的上下文表示在每一时间步t，当前隐藏状态为:

14、

15、

16、

17、其中l∈l表示当前bi-lstm层的数量，ds/2表示bi-lstm一个隐藏状态的维数，该层的输出是一个隐藏表示的序列

18、式中和表示lstm的正向传播和反向传播。

19、所述bi-lstm不能专注于局部特征，因而进一步利用卷积注意机制来提取高维语义，表示其中词与词之间的关系，它含有多头结构，在不同的子空间共同执行注意操作，但是只能考虑一个头部信息；一方面，卷积注意机制与传统卷积神经网络不同的是，它对高维语义卷积操作后，通过滤波器进行特征映射，这样不会因为卷积核的大小限制长距离依赖性能；另一方面，与自注意机制不同的是，它没有利用输入向量不同部分之间的信息，而是基于滤波器的内部信息，既保持了序列信息又对输入具有不变性；在这样的卷积滤波空间中，越重要的局部特征越接近相应的滤波器，而越不相关的部分越远离它，因此，它可以在基于上下文信息的基础上，捕捉到更重要的局部特征；

20、首先卷积注意机制接受bi-lstm的输出h表示作为输入，然后cnn卷积滤波器f＝[f1，f2，…fm]在h上应用n元卷积运算，其中c是卷积核的大小；可以通过如下公式得到特征映射矩阵m∈rm×n：

21、m＝h*f             (4)

22、式(4)中*表示卷积操作；在对输出表示应用所有过滤器之后，特征映射矩阵中具体值的含义如下：

23、mij＝ψ(fit·cat(hj，hj+1，…，hj+c-1)+b)   (5)

24、其中cat表示拼接操作，ψ表示非线性激活函数，b为偏置值；卷积注意机制可以被视为一个信息过滤器，它过滤掉不相关的语义信息，同时保留与上下文相关的关键信息；则卷积注意向量的输出过程如下：

25、om＝f·m＝f·(h*f)        (6)

26、其式(6)中表示查询(h)与键(f)的卷积操作的注意权值，该模块可以有效地从卷积滤波器中获取有价值的信息，这些信息直接作用于隐藏表示，捕捉重要局部特征；接下来所提出的融合机制在卷积层之后没有使用任何的池化操作来维持输入结构，可以避免池化操作导致输入序列顺序的丢失。

27、所述步骤s4情景的自注意力机制重新学习方面信息是通过包含情景的自注意力机制构建的方面类别预测方法获得与方面类别有关的重要词语作为方面类别指示词，将该词所在的位置作为重要位置信息，具体步骤包括：

28、输入层h首先转化为候选查询状态qk,候选键状态kk和值vk,每个包含k个头；将ds维空间映射到dk维空间,其中dk＝ds/k表示每个头的维度；类似于多头自我注意模型，允许模型从不同的表示子空间学习语义信息，情境导向的注意输出在每个头可以被定义为：

29、

30、所述步骤4中引入门控机制过滤噪声信息，以更精确地表示获取基于上下文的方面类别和有效获得重要词的位置信息，引入的上下文向量c将h转换为信息化的查询层和关键层，改进后的{qk，kk}如下表示:

31、

32、其中是上下文矩阵，为可训练的参数，是权重向量，可以避免由于和的值过大而导致的梯度较小的问题，具体地说是分配一个门控单元来学习上下文权重向量：

33、

34、其中是可训练参数，σ(·)表示sigmoid函数；可以看到，门控单元可以量化并保留在每个头部的情境表示；然后，将多个注意模型的输出进行串联，得到最终的输出表示o′；

35、在引入情境信息的同时不可避免会带来噪声信息，因此引入一个门控机制，该门控机制接受自注意机制的输出和上下文矩阵作为输入，包含一个非线性激活函数和一个门，其定义如下：

36、o＝fi⊙o′                                  (10)

37、f＝σf(wf·o′+uf·c+bf)                    (11)

38、其式(10)、(11)中c表示上下文矩阵，通过将ck与每个位置的隐藏向量连接起来后传递到具有残差连接的前馈线性层后获得；⊙表示hadamard乘积，σf为sigmoid函数；

39、为简单起见，上述全部过程可以表述为：

40、o＝cgatt(h，c)              (12)

41、式(12)中cgatt表示上述包含情景的自注意力机制的统称；在方面类别情感分析中，位置信息可以关注出现在句子中的方面信息，但即使方面类别中不存在于文本中，位置信息仍然起着重要的作用；句子中存在表示方面信息的词，可以将其视为方面指示词，把它们的位置看作是相应方面类别的位置；通过方面类别识别来获得对方面类别具有重要影响的单词权重，获得该单词的位置信息。

42、所述通过方面类别识别来获得对方面类别具有重要影响的单词权重，具体方法为：

43、将单词嵌入输入到lstm层，并将每个时间步t的隐藏状态输出到ht中：

44、ht＝lstm(ht-1，xt)          (13)

45、基于融合机制，通过隐藏上下文引导注意，为方面r生成一个特定于方面的隐藏交互状态:如下公式所示，

46、

47、对于方面r通过注意机制计算每个单词识别给定方面的概率，

48、

49、

50、其中是可训练的参数，方面注意权重αr∈rn可以表示为mr与μr的归一化相似度；

51、最后，将融合后的句子表示作为上下文隐藏状态的加权和进行方面检测:

52、

53、

54、所述获得该单词的位置信息的具体方法为：

55、通常基于阅读直觉，离特定目标越接近的情感词越能表达该情感；但由于特定目标可能不在句子中出现，因此利用方面注意权值αi来计算单词的局部表示，设计一个矩阵p表示文本中单词之间的相对距离：

56、

57、其中n表示文本长度，i，j∈{1，2，…，n}，|i-j|表示第i个字和第j个字之间的相对距离；

58、应用方面注意权值得到位置向量：

59、pl＝pαr                           (20)

60、对于每个方面r，靠近方面引导词的单词在pl中比其他的单词具有更高的权重值，对位置向量执行softmax函数，得到权重向量：

61、

62、最后,获得针对方面类别r的位置注意的隐藏输出如下：

63、

64、所述步骤4中引入融合多层次信息来融合学习多层次上下文特征之间的相互作用，实现方面类别情感分析，具体方法为：

65、方面类别与句子的语义密切相关，需要提取它们之间的深层语义关系，因此利用自注意力机制分别处理三个不同的输入，首先将方面嵌入输入到第一个cgatt模块，利用位置注意层的输出作为环境向量，构建新的基于上下文特征表示的方面嵌入；第二个和第三个cgatt模块都以第一个cgatt模块的输出作为环境向量，不同的是第二个利用并检索位置注意层的隐藏状态中有用的相关信息，而第三个直接使用原句的单词向量矩阵作为输入，然后将这两个cgatt模块的输出拼接起来作为最终生成的句子表示；

66、首先将隐藏状态作为全局上下文向量，重构的方面表示：

67、

68、其中包含丰富的上下文信息，用于进行上下文表示向量的操作；在获得上下文语义方面嵌入后，分别从隐藏空间和词向量空间融合全局信息和方面信息；对于方面r，计算如下：

69、

70、

71、新的交互式表示向量c由c′r和c″r通过连接它们组成：

72、cr＝[c′r，c″r]，r＝1，2，·…，c                 (26)

73、通过上述方法，将给定的方面与上下文特征联系起来，将方面与上下文词之间的关系集成到表示向量中，将交互向量cr输入到包含带有relu激活函数的两个全连接层中，根据方面识别提供的权重结合全连接层的输出输入到softmax层中，预测情感极性作为最终输出；具体过程如下：

74、

75、yr＝softmax(prαr)             (28)

76、其中为训练参数；

77、对于方面识别任务，由于每个预测都是一个二值分类问题，因此损失函数定义为:

78、

79、对于方面类别情感分类任务，采用带有l2正则化项的交叉熵作为损失函数：

80、

81、最后，将方面识别任务和方面类别情感分类任务联合为两项任务模型，对组合损失函数训练模型中的参数进行训练：

82、

83、其中γ为方面类别情感分类损失的权重，λ表示l2正则化参数，θ表示模型所有参数；此外，还加入了dropout策略以避免过拟合；最终得到基于自注意力的多层次融合方面类别情感分析预测模型。

84、本发明的有益效果如下：

85、1.本发明在bi-lstm的基础上进一步利用对其进行卷积操作，然后对卷积滤波器进行特征映射，这样既保持了序列信息又对输入具有不变性。解决了lstm网络不能专注于局部特征，而cnn因卷积核大小的限制无法保留序列信息的问题，

86、2.本发明提出的方面类别识别方法对重要词语赋予较高的权重，进而获得相应的位置信息。解决了大多数方法忽视了句子中重要词的位置信息对情感极性的影响，或只是将目标与句子特征拼接获得注意权重进而影响分类效果的问题，

87、3.由于方面类别可能不在文本中出现，而这些模型利用给定的方面来指导句子编码，但却忽视了不同语境下方面表示的含义可能会存在不同，使得易受到其他方面类别有关较强情感词的干扰，使得上下文和方面信息的交互不足，效果不好。本发明提出的基于多层次融合模块从多个子空间中获取不同的上下文特征表示能够同时考虑到多级语义特征。并在模块中考虑到噪声信息的影响，加入了门控机制进行过滤信息的工作，提高上下文与方面类别的交互。