基于层次化注意力机制的文本情感分类方法及系统与流程

本发明属于人工智能领域，尤其涉及基于层次化注意力机制的文本情感分类方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、文本情感分类指的是对具有主观色彩和情感倾向的文本进行分析、推理和总结的过程，旨在识别文本中用户的情感极性。通过对用户言论进行情感分类，可以帮助了解公众的情绪状态，及时把握公众的观点和态度。该技术在商品评价、电影评价、新闻推荐等领域有广泛应用，同时在舆情监控、民意调查等工作中也具有重要意义。

3、传统的情感分类技术主要包括基于规则的方法和基于机器学习的方法。基于规则的方法主要依赖经验或专家知识，通过统计特征、情感词典等来对文本进行情感分类；而基于机器学习的方法则通过人工标注部分数据建立训练集，再利用特征提取和学习构建分类模型，最终对未知标签的数据进行情感分类。然而，随着数据量的增加，文本信息的特征变得更加复杂，传统方法的局限性逐渐显现：过于依赖复杂的特征工程，难以进行有效的特征提取，同时也容易面临梯度爆炸、信息丢失等问题。

4、近年来在自然语言处理领域广泛使用的深度学习技术，包括卷积神经网络、循环网络和注意力机制等，这些技术可以学习文本的深层特征，提高情感分类的效果；然而，仍然存在一些隐含信息没有被充分挖掘的问题，文本的语义信息也没有得到充分利用，因此在提高准确率方面还有进一步的提升空间。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了基于层次化注意力机制的文本情感分类方法及系统，充分挖掘文本语义信息，从而显著提高情感分类的准确率。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、本发明第一方面提供了基于层次化注意力机制的文本情感分类方法。

4、基于层次化注意力机制的文本情感分类方法，包括：

5、对待分类的文本数据进行数据预处理，并通过bert模型将其转化为情感词向量；

6、将情感词向量输入到基于层次化注意力机制的文本情感分类模型中，生成并输出文本情感分类结果；

7、其中，所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成，通过缩放点积注意力层对情感词向量进行初步筛选，增强词向量的表示能力，所述注意力池化层用来筛选重要的情感特征，而多头注意力层进行进一步的特征提取和整合。

8、进一步的，所述数据预处理为清理脏数据和异常值处理。

9、进一步的，所述通过bert模型将其转化为情感词向量，具体步骤为：

10、将文本中的每个词切分为子词单元，然后为每个子词单元查询一个固定维度的字向量；

11、为每个输入的字向量添加两个额外的向量：文本向量和位置向量；

12、将添加后的字向量输入到多层的transformer网络中，通过自注意力机制和全连接层，将每个字向量融合上下文的语义信息，得到最终的词向量。

13、进一步的，所述文本情感分类模型包括依次连接的缩放点积注意力层、多粒度卷积网络层、注意力池化层、bgru层、多头注意力层、全连接层和softmax层。

14、进一步的，所述缩放点积注意力层是对词向量进行缩放点积操作，增强情感特征表达，得到缩放点积注意力输出。

15、进一步的，所述注意力池化层，通过计算每个词与其他词的相关性权重，筛选情感权重较大的特征，得到文本局部情感特征向量。

16、进一步的，所述bgru层对文本局部情感特征向量进行序列建模，捕捉序列中长距离依赖关系，得到文本全局情感特征向量。

17、进一步的，所述多头注意力层为文本全局情感特征向量计算相关权重，对每个词的双向gru输出进行加权求和筛选，得到整个文本的注意力情感表示向量。

18、进一步的，所述全连接层和softmax层，以注意力情感表示向量为输入，通过线性变换和归一化激活函数对整个文本的注意力情感表示向量进行分类，得到文本情感分类的结果。

19、本发明第二方面提供了基于层次化注意力机制的文本情感分类系统。

20、基于层次化注意力机制的文本情感分类系统，包括预处理模块和文本分类模块：

21、预处理模块，被配置为：对待分类的文本数据进行数据预处理，并通过bert模型将其转化为情感词向量；

22、文本分类模块，被配置为：将情感词向量输入到基于层次化注意力机制的文本情感分类模型中，生成并输出文本情感分类结果；

23、其中，所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成，通过缩放点积注意力层对情感词向量进行初步筛选，增强词向量的表示能力，所述注意力池化层用来筛选重要的情感特征，而多头注意力层进行进一步的特征提取和整合。

24、本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于层次化注意力机制的文本情感分类方法中的步骤。

25、本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于层次化注意力机制的文本情感分类方法中的步骤。

26、以上一个或多个技术方案存在以下有益效果：

27、本发明利用由缩放点积注意力层、注意力池化层和多头注意力层组成的层次化注意力机制，通过缩放点积注意力层对情感词向量进行初步筛选，增强词向量的表示能力，所述注意力池化层用来筛选重要的情感特征，而多头注意力层进行进一步的特征提取和整合，深度挖掘隐含信息，充分利用文本的语义信息，提高情感分类的准确性。

28、本发明提供的基于层次化注意力机制的文本情感分类模型，充分挖掘了文本情感语义信息，加强了对重要情感特征的关注度，有效捕捉了词语的长距离依赖关系，增强了模型的非线性能力，从而提高了文本情感分类的准确度。

29、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.基于层次化注意力机制的文本情感分类方法，其特征在于，包括：

2.如权利要求1所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述数据预处理为清理脏数据和异常值处理。

3.如权利要求1所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述通过bert模型将其转化为情感词向量，具体步骤为：

4.如权利要求1所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述文本情感分类模型包括依次连接的缩放点积注意力层、多粒度卷积网络层、注意力池化层、bgru层、多头注意力层、全连接层和softmax层。

5.如权利要求4所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述缩放点积注意力层是对词向量进行缩放点积操作，增强情感特征表达，得到缩放点积注意力输出。

6.如权利要求4所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述注意力池化层，通过计算每个词与其他词的相关性权重，筛选情感权重较大的特征，得到文本局部情感特征向量。

7.如权利要求4所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述bgru层对文本局部情感特征向量进行序列建模，捕捉序列中长距离依赖关系，得到文本全局情感特征向量。

8.如权利要求4所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述多头注意力层为文本全局情感特征向量计算相关权重，对每个词的双向gru输出进行加权求和筛选，得到整个文本的注意力情感表示向量。

9.如权利要求4所述的基于层次化注意力机制的文本情感分类方法，其特征在于，所述全连接层和softmax层，以注意力情感表示向量为输入，通过线性变换和归一化激活函数对整个文本的注意力情感表示向量进行分类，得到文本情感分类的结果。

10.基于层次化注意力机制的文本情感分类系统，其特征在于，包括预处理模块和文本分类模块：

技术总结
本发明提出了基于层次化注意力机制的文本情感分类方法及系统，涉及人工智能领域，具体方案包括：对待分类的文本数据进行数据预处理，并通过Bert模型将其转化为情感词向量；将情感词向量输入到基于层次化注意力机制的文本情感分类模型中，生成并输出文本情感分类结果；其中，所述层次化注意力机制由缩放点积注意力层、注意力池化层和多头注意力层组成，通过缩放点积注意力层对情感词向量进行初步筛选，增强词向量的表示能力，所述注意力池化层用来筛选重要的情感特征，而多头注意力层进行进一步的特征提取和整合；本发明充分挖掘文本语义信息，从而显著提高情感分类的准确率。

技术研发人员：王继彬,张鑫硕,郭莹,吴晓明
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：
技术公布日：2024/3/31