一种对话情绪识别分类方法

本发明属于智能识别，具体公开了一种对话情绪识别分类方法。

背景技术：

1、自然语言作为人类主要的交流媒介，在情感产生过程中起着非常重要的作用，因此，情感识别在意见挖掘、社交媒体、推荐系统等领域具有广阔的应用前景。近年来，为了开发能够理解人类情感的人工智能，会话情感识别(erc)引起了自然语言处理研究者的关注，成为了一个热门的研究领域。会话情感识别旨在识别对话中每个话语的情绪，这有助于生成情绪感知对话，并开发用于心理治疗的共情对话代理或聊天机器人。此外，erc在社交媒体线索、辩论挖掘、实时对话中的消费者反馈、法律裁决、电子健康服务医疗系统、教育等方面也有潜在的应用。会话情感识别不同于句子、文档等传统文本，它不仅需要话语本身的语义信息，还需要每个话语的语境建模。会话情绪识别的初步研究，如基于词汇和基于深度学习的情绪识别研究方法，忽略了会话的具体因素，如上下文线索、话语的时间顺序或说话人的具体信息。最近关于会话情绪识别的研究使用基于序列或基于图的方法来尽可能地模拟话语的上下文和说话者之间的互动。在上述研究的基础上，有研究者将常识知识、心理学知识、对话行为、话题等影响对话情绪的变量纳入模型。

2、尽管之前的研究在会话情绪识别任务上取得了巨大的进展，但是忽略了引发说话者产生情绪的心理表征对情绪识别的作用。使用外部常识知识库的方法建模心理状态很大程度上依赖知识库的规模、覆盖范围和构造质量。虽然预训练模型有助于对知识库的未见事件生成常识知识，但是现实生活中每个人的常识未必一样。心理学专家rainerreisenzein从可计算的情绪的心理表征理论来研究语言-情绪的相互作用，了解到情绪不仅依赖于认知心理表征(即认知或信息状态)，而且依赖于动机心理表征(即动机状态)。可以说，可计算的情绪的心理表征理论所基于的情感心理表征理论本身就是对语言中隐含的情感常识心理学的解释。人类有复杂的心理表征，在日常对话交流中从言语可以得知说话者“某个心理表征刚刚被某个事件所证实”或“某个心理表征刚刚被某一事件所实现”，所以针对事务状态的情绪源于对心理表征的确认或不确认和心理表征的满足或挫败。可以说，心理表征和情感不仅作为因果关系，而且在语义上与情感有关：相信p、对p的渴望和关于p的快乐是一个共同的事件，它们都涉及到p。因此一个基于情绪的心理表征理论的含有语句、说话者、情绪引发事件的异构图神经网络对语句进行情绪分类方法可以更好的识别对话中的情绪。

技术实现思路

1、本发明为解决现有对话情绪识别分类方法忽略了引发说话者产生情绪的心理表征对情绪识别的作用且分类精度低的问题，提出了一种对话情绪识别分类方法。

2、本发明提供了一种对话情绪识别分类方法，包括如下步骤：

3、s1.对对话情绪识别数据集进行预处理，去除所述对话情绪识别数据集中语句的无关信息，提高文本的质量；

4、s2.对步骤s1中预处理后的所述对话情绪识别数据集中的语句进行语句级特征提取，得到语句的语句级特征；

5、s3.对步骤s1中预处理后的所述对话情绪识别数据集中的语句进行情绪引发事件提取，得到情绪引发事件的语义表示；

6、s4.通过步骤s2获得的语句的语句级特征和步骤s3获得的所述情绪引发事件的语义表示构建情绪-心理表征异构会话图，得到每个节点输入特征的特征矩阵和节点之间边的连接关系的邻接矩阵；

7、s5.通过图编码器对步骤s4获得的所述特征矩阵和邻接矩阵进行会话级特征提取，得到会话级特征；

8、s6.全连接步骤s2中得到的所述语句级特征和步骤s5中得到的所述会话级特征，把全连接得到的结果输入到前馈神经网络得到情绪分类。

9、更进一步的，所述步骤s1中，所述对话情绪识别数据集包括iemocap、dailydialog、meld和emorynlp中的一个或多个；所述预处理包括去除缩写、去除非字母符号、去除特殊符号、去除专有名词的缩写和去除多余的空格符中的一个或多个。

10、更进一步的，所述步骤s2中，使用语言模型roberta-large对所述对话情绪识别数据集中的语句进行语句级特征提取，在所述对话情绪识别数据集中的每个语句ui的开头加标记[cls]，使输入的序列为[cls]，w1,w2，···，wl并输入到roberta中，得到语句级特征如公式(1)所示：

11、

12、其中，wl表示语句ui的第l个单词。

13、更进一步的，所述步骤s2中使用的语言模型roberta-large架构为24层，每个块中有16个自注意头，隐藏维度为1024，总共有355m个参数。

14、更进一步的，所述步骤s3包括：

15、s301.根据从属连词和连接词将所述对话情绪识别数据集中的语句分割成简单的子句；

16、s302.设计多个事件模式来匹配提取情绪引发事件，找到句子ui中包含每个动词v的简单子句的依赖关系，然后将依赖关系与设计好的多个事件模式一一匹配，对于每个模式，将动词v作为起点，找到所有积极依赖关系边，这些积极依赖关系边和由这些积极依赖关系边连接起来的单词为潜在的边和有效情绪引发事件的单词；

17、s303.通过依赖关系添加可选依赖关系边和由这些可选依赖关系边连接起来的单词形成依赖图；

18、s304.检查是否能够在依赖图中找到消极依赖关系边，若没有找到，则保留当前的依赖关系边和单词作为有效的情绪引发事件，反之则不保留；

19、s305.对提取的有效的情绪引发事件使用roberta进行编码，获取最后一层隐藏状态的最大池化，得到情绪引发事件的语义表示如公式(2)所示：

20、

21、其中，e为有效的情绪引发事件。

22、更进一步的，所述步骤s4包括：

23、s401.构建情绪-心理表征异构会话图的语句节点、说话者节点和情绪引发事件节点；将对话中的每个目标语句作为一个语句节点，语句节点的特征初始化为语句的语句级特征，如公式(3)所示：

24、

25、将对话中每个说话者作为一个说话者节点，说话者节点的特征初始化为对话中该说话者所有表达的语句的语义特征平均值，如公式(4)所示：

26、

27、其中，avg()为取平均值函数；

28、将从对话中每个语句提取出来的情绪引发事件作为一个情绪引发事件节点，情绪引发事件节点的特征初始化如公式(5)所示：

29、

30、节点合集如公式(6)所示：

31、v＝ui∪unique(sj)∪unique(ey)  (6)

32、其中，v为节点合集，ui为第i个语句节点，sj为第j个说话者节点，ey为第y个情绪引发事件节点，unique()为去重函数；

33、s402.构建情绪-心理表征异构会话图的语句—语句边、语句—说话者边和语句—情绪引发事件边；连接每个目标语句和它之前所有说话者的最后一个语句，所述语句-语句边建模过去语句对当前语句的影响，所述语句—语句边euu如公式(7)所示：

34、euu＝(ui，ut)，t＞i    (7)

35、其中，ui为第i个语句节点，ut为第t个语句节点；

36、连接每个目标语句和该语句对应的说话者，所述语句-说话者边建模说话者对语句的影响，所述语句-说话者边esu如公式(8)所示：

37、esu＝(sj，ui)  (8)

38、其中，sj为第j个说话者节点，ui为第i个语句节点；

39、连接每个目标语句和从该语句提取出来的情绪引发事件，所述语句-情绪引发事件边建模情绪引发事件的心理表征信息对情绪产生的影响，所述语句-情绪引发事件边如公式(9)所示：

40、eeu＝(et，ui)    (9)

41、其中，et为第t个情绪引发事件节点，ui为第i个语句节点；

42、边合集如公式(10)所示：

43、e＝euu∪esu∪eeu  (10)

44、其中，e为边合集；

45、s403.构建异构会话图之后，获得表示每个节点输入特征的特征矩阵x和节点之间边的连接关系的邻接矩阵{ak}，所述特征矩阵x为各个节点的特征组成的一个n×d维的矩阵，n为所有节点数量，d为每个节点特征向量维度，所述邻接矩阵{ak}为表示各个节点之间边关系的n×n维的矩阵集合，ak为第k种依赖关系边的邻接矩阵。

46、更进一步的，所述步骤s5包括：

47、s501.应用l层图转换层从异构图g的邻接矩阵集a中软性地选择邻接矩阵，并通过两个选定的邻接矩阵a1和a2的矩阵乘法，学习一个新的元路径图，通过多个不同的异构图g结构学习不同的节点表示，在堆叠l层图转换层后，学习多个元路径图，在每个元路径图执行图卷积神经网络进行图卷积，图卷积神经网络层与层之间的传播方式如公式(11)所示：

48、

49、其中，x(l+1)为第l+1层的特征矩阵，σ为非线性激活函数，a为邻接矩阵，i为单位矩阵，是的度矩阵，w为共享跨通道的可训练的权重矩阵，w∈rd×d是d×d维的实数矩阵，d为每个节点特征向量维度；

50、s502.全连接多个元路径图上来自相同图卷积神经网络的多个节点表示，得到语句节点的会话级特征，如公式(12)所示：

51、

52、其中，h为会话级特征，||为全连接操作，c为通道数，为来自的第i个通道的邻接矩阵，为第l层的邻接矩阵，为的度矩阵，w为共享跨通道的可训练的权重矩阵。

53、更进一步的，所述步骤s6中，全连接语句级特征和语句节点的会话级特征，公式(13)所示：

54、

55、其中，||为全连接操作，为语句ui的语句级特征，hi为语句ui的会话级特征，

56、把全连接得到的结果输入到前馈神经网络，使用交叉熵损失函数和adam优化器进行训练优化前馈神经网络，最终得到情绪分类结果，如公式(14)和公式(15)所示：

57、px，i＝softmax(wzzi+bz)  (14)

58、yx，i＝argmax(px，i)  (15)

59、其中，yx，i为对话x中第i个语句的实际标签，zi为最后的语句表示，wz和bz为可训练的参数，px，i为为对话x中第i个语句情绪标签的预测概率分布。

60、本发明提出的一种对话情绪识别分类方法，建模了语句的语义信息、对话的上下文和顺序信息、说话者的全局信息和与情绪引发事件相关的心理表征，将引发说话者产生情绪的心理表征对情绪识别的作用考虑进方法中，可以更好的识别对话种语句的情绪类别，提高了对话情绪识别的准确性。