情绪识别模型的训练方法、情绪识别方法及装置与流程

本公开涉及人工智能技术、深度学习技术和情绪识别，更具体地，涉及一种情绪识别模型的训练方法、情绪识别方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着人工智能技术的发展，可以将人工智能技术应用于多模态情绪识别(multimodal emotion recognition，mer)。

2、多模态情绪识别可以指对多模态数据进行检测，得到多模态数据的情感状态的过程。多模态数据可以包括文本、语音和视频等。

3、在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：由于当前多模态情绪识别方法捕捉的通常为语义信息，因而无法保障情绪识别的效率和准确性。

技术实现思路

1、有鉴于此，本公开提供了一种情绪识别模型的训练方法、情绪识别方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一个方面，提供了一种情绪识别模型的训练方法，包括：获取与样本对象对应的待识别会话样本，其中，上述待识别会话样本包括样本文本、样本语音和会话情绪标签；对上述样本文本、上述样本语音和上述会话情绪标签分别进行特征提取，得到样本文本特征、样本语音特征和会话情绪标签特征；根据上述会话情绪标签特征，对上述样本文本特征和上述样本语音特征进行融合处理，得到样本融合特征；利用会话情绪标签和上述样本融合特征，训练深度学习模型，得到情绪识别模型。

3、根据本公开的实施例，上述会话情绪标签特征包括文本情绪标签特征和语音情绪标签特征。

4、根据本公开的实施例，上述根据上述会话情绪标签特征，对上述样本文本特征和上述样本语音特征进行融合处理，得到样本融合特征包括：根据上述样本文本特征和上述文本情绪标签特征，确定样本文本情感交互特征；根据上述样本语音特征和上述语音情绪标签特征，确定样本语音情感交互特征；根据上述样本文本情感交互特征和上述样本语音交互特征，确定上述样本融合特征。

5、根据本公开的实施例，上述根据上述样本文本情感交互特征和上述样本语音交互特征，确定上述样本融合特征包括：根据上述样本文本情感交互特征，确定第一查询矩阵、第一键矩阵和第一值矩阵；根据上述样本语音情感交互特征，确定第二查询矩阵、第二键矩阵和第二值矩阵；根据上述第一查询矩阵、上述第二键矩阵和上述第二值矩阵，确定第一输出特征；根据上述第二查询矩阵、上述第一键矩阵和上述第一值矩阵，确定第二输出特征；对上述第一输出特征和上述第二输出特征进行特征融合处理，得到第一样本融合特征。

6、根据本公开的实施例，其中，上述根据上述样本文本特征和上述文本情绪标签特征，确定样本文本情感交互特征包括：确定上述样本文本特征和上述文本情绪标签特征之间的文本特征相似度；以及根据上述文本特征相似度，确定上述样本文本情绪交互特征。

7、根据本公开的实施例，上述根据上述样本语音特征和上述语音情绪标签特征，确定样本语音情感交互特征包括：确定上述样本语音特征和上述语音情绪标签特征之间的语音特征相似度；根据上述语音特征相似度，确定上述样本语音情感交互特征。

8、根据本公开的实施例，上述深度学习模型包括特征融合模块。

9、根据本公开的实施例，上述方法还包括：对上述样本文本特征和上述样本语音特征进行特征融合处理，得到第二样本融合特征；基于第一损失函数，确定第一样本融合特征和上述第二样本融合特征之间的第一损失函数值；利用上述第一损失函数值，训练上述特征融合模块，得到经训练的特征融合模块。

10、根据本公开的实施例，还包括，在上述利用会话情绪标签和上述样本融合特征，训练深度学习模型，得到情绪识别模型之前：对上述第二样本融合特征和上述样本文本特征进行特征融合处理，得到中间样本文本特征；对上述中间样本文本特征和上述样本语音特征进行特征拼接处理，得到第一样本多模态特征；对上述第二样本融合特征和上述样本语音特征进行特征融合处理，得到中间样本语音特征；对上述中间样本语音特征和上述样本文本特征进行特征拼接处理，得到第二样本多模态特征。

11、根据本公开的实施例，上述深度学习模型还包括识别模块。

12、根据本公开的实施例，上述利用会话情绪标签和上述样本融合特征，训练深度学习模型，得到情绪识别模型包括：对上述第一样本多模态特征和上述第二样本多模态特征中的至少之一进行池化处理，得到中间样本特征；将上述中间样本特征输入至上述识别模块，得到样本情绪识别信息；以及利用上述会话情绪标签和上述样本情绪识别信息，训练上述深度学习模型，得到上述情绪识别模型。

13、根据本公开的实施例，上述利用上述会话情绪标签和上述样本情绪识别信息，训练上述深度学习模型，得到上述情绪识别模型包括：基于第二损失函数，确定上述会话情绪标签和上述样本情绪识别信息之间的第二损失函数值；以及在保持经训练的特征融合模块的模型参数不变的情况下，利用上述第二损失函数值，训练上述识别模块，得到经训练的上述情绪识别模型。

14、根据本公开的实施例，上述会话情绪标签包括与上述样本文本对应的文本情绪标签和与上述样本语音对应的语音情绪标签。

15、根据本公开的实施例，上述对上述样本文本、上述样本语音和上述会话情绪标签分别进行特征提取，得到样本文本特征、样本语音特征和会话情绪标签特征包括：将上述样本文本和上述文本情绪标签输入至文本预训练模型，得到上述样本文本特征和文本情绪标签特征；将上述样本语音和上述语音情绪标签输入至语音预训练模型，得到上述样本语音特征和语音情绪标签特征。

16、根据本公开的一个方面，提供了一种情绪识别方法，包括：获取待识别会话信息；将上述待识别会话信息输入至情绪识别模型，得到情绪识别信息；其中，上述情绪识别模型是利用情绪识别模型的训练方法训练得到的。

17、根据本公开的另一个方面，提供了一种情绪识别模型的训练装置，包括：第一获取模块，用于获取与样本对象对应的待识别会话样本，其中，上述待识别会话样本包括样本文本、样本语音和会话情绪标签；特征提取模块，用于对上述样本文本、上述样本语音和上述会话情绪标签分别进行特征提取，得到样本文本特征、样本语音特征和会话情绪标签特征；第一融合处理模块，用于根据上述会话情绪标签特征，对上述样本文本特征和上述样本语音特征进行融合处理，得到样本融合特征；第一训练模块，用于利用会话情绪标签和上述样本融合特征，训练深度学习模型，得到情绪识别模型。

18、根据本公开的另一个方面，提供了一种情绪识别装置，包括：第二获取模块，用于获获取待识别会话信息；输入模块，用于将上述待识别会话信息输入至情绪识别模型，得到情绪识别信息；其中，上述情绪识别模型是利用情绪识别模型的训练装置训练得到的。

19、根据本公开的另一个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开所述的方法。

20、根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，上述可执行指令被处理器执行时使处理器实现如本公开所述的方法。

21、根据本公开的另一个方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如本公开所述的方法。

22、根据本公开的实施例，通过对待识别会话样本进行特征提取，能够获得与样本文本对应的样本文本特征、与样本语音对应的样本语音特征和与会话情绪标签对应的会话情绪标签特征，由于样本融合特征是根据会话情绪标签特征，对样本文本特征和样本语音特征进行融合处理得到的，通过利用会话情绪标签特征作为指导，能够获得更为全面地融合了会话情绪标签的样本融合特征，因而至少部分地克服了相关技术中当前多模态情绪识别方法捕捉的通常为语义信息的技术问题，提高了样本融合特征的特征表示能力。在此基础上，通过利用会话情绪标签和样本融合特征来训练深度学习模型，能够提高情绪识别模型的情绪识别能力，有利于提高后续情绪识别信息的准确性。