一种会话情感分析方法和系统、电子设备及存储介质与流程

本技术涉及人工智能领域，尤其涉及一种会话情感分析方法和系统、电子设备及存储介质。

背景技术：

1、在咨询行业或者客服行业等类似通过互联网与对象进行会话的行业中，智能机器人会根据对象的会话数据回复对象，而从对象的会话数据中获取对象的情感是提升服务的重要一环。

2、相关技术中，通过获取会话中的文本特征或者音频特征，对特征进行分析，得到相应的情感类型。但这一方式存在特征单一的问题，会导致情感分析准确性不高，无法准确判断会话中表征的情感类型。

技术实现思路

1、本技术实施例的主要目的在于提出一种会话情感分析方法和系统、电子设备及存储介质，旨在提高情感分析的准确性。

2、为实现上述目的，本技术实施例的第一方面提出了一种会话情感分析方法，所述方法包括：

3、获取目标说话对象的会话数据，所述会话数据包括每个会话轮次的语音片段；

4、从所述会话数据获取每个会话轮次对应的视觉特征、文本特征、和音频特征；

5、通过预设的特征处理模型的第一分支网络和预先获取的第一决策数据对所述视觉特征进行特征处理，得到第一情感表征；

6、通过所述特征处理模型的第二分支网络和预先获取的第二决策数据对所述文本特征进行特征处理，得到第二情感表征；

7、通过所述特征处理模型的第三分支网络和预先获取的第三决策数据对所述音频特征进行特征处理，得到第三情感表征；

8、对所述第一情感表征、所述第二情感表征以及所述第三情感表征进行拼接，得到拼接情感特征；

9、基于所述拼接情感特征进行情感预测，得到所述会话数据所表征的情感类型。

10、在一些实施例中，所述从所述会话数据获取每个会话轮次对应的视觉特征、文本特征、和音频特征，包括：

11、针对每个所述会话轮次，通过预设的三维卷积神经网络对所述会话数据进行视觉特征提取，得到所述视觉特征；

12、通过预设的二维卷积神经网络对所述会话数据进行文本特征提取，得到所述文本特征；

13、通过预设的音频处理网络对所述会话数据进行音频特征提取，得到所述音频特征。

14、在一些实施例中，所述第一决策数据通过决策学习机制生成，所述第一决策数据通过以下方式生成：

15、基于预设的第一公式，生成初步决策参数；

16、基于预设的第二公式对所述初步决策参数进行变量转换，得到软决策参数；

17、基于所述软决策参数进行反向传播，得到最优策略分布；

18、从所述最优策略分布中采样出所述第一决策数据，所述第一决策数据用于评估是否保留所述当前会话轮次生成的各个特征。

19、在一些实施例中，所述第一分支网络包括第一gru模块、第二gru模块以及第三gru模块，所述第一决策数据包括第一决策参数、第二决策参数以及第三决策参数，所述通过预设的特征处理模型的第一分支网络和预先获取的第一决策数据对所述视觉特征进行特征处理，得到第一情感表征，包括：

20、针对当前会话轮次，基于所述第一gru模块和所述第一决策参数，通过所述视觉特征进行全局状态生成，得到所述当前会话轮次的视觉的全局状态特征；

21、基于所述第二gru模块和所述第二决策参数，通过所述当前会话轮次之前的所有会话轮次的所述视觉的全局状态特征、所述视觉特征进行参与者状态生成，得到所述当前会话轮次的视觉的参与者状态特征；

22、基于所述第三gru模块和所述第三决策参数，通过所述当前会话轮次的所述视觉的参与者状态特征进行情感表征生成，得到所述第一情感表征。

23、在一些实施例中，所述基于所述第二gru模块和所述第二决策参数，通过所述当前会话轮次之前的所有会话轮次的所述视觉的全局状态特征、所述视觉特征进行参与者状态生成，得到所述当前会话轮次的参与者状态特征，包括：

24、对所述视觉特征和所述当前会话轮次之前的所有会话轮次的视觉的全局状态特征进行注意力计算，得到所述当前会话轮次的视觉的注意力数据；

25、基于所述注意力数据和所述当前会话轮次之前的所有会话轮次的视觉的全局状态特征，得到所述当前会话轮次的视觉的注意力上下文向量；

26、基于所述第二gru模块和所述第二决策参数，通过所述视觉特征、所述注意力上下文向量以及上一会话轮次的视觉的参与者状态特征进行状态生成，得到所述当前会话轮次的视觉的参与者状态特征。

27、在一些实施例中，所述基于所述拼接情感特征进行情感预测，得到所述会话数据所表征的情感类型，包括：

28、对所述拼接情感特征进行注意力计算，得到注意力计算结果；

29、基于预设函数和所述注意力计算结果进行情感类型评分，得到每个预设情感类型对应的情感评分数据；

30、基于所述情感评分数据，选择所述情感评分数据最大的预设情感类型作为所述情感类型。

31、在一些实施例中，所述基于预设函数和所述注意力计算结果进行情感类型评分，得到每个预设情感类型对应的情感评分数据，包括：

32、对所述注意力计算结果进行激活处理，得到激活结果；

33、基于所述预设函数对所述激活结果进行分数计算，得到所述情感评分数据。

34、为实现上述目的，本技术实施例的第二方面提出了一种会话情感分析系统，所述系统包括：

35、数据获取模块，用于获取目标说话对象的会话数据，所述会话数据包括每个会话轮次的语音片段；

36、特征获取模块，用于从所述会话数据获取每个会话轮次对应的视觉特征、文本特征、和音频特征；

37、第一情感表征获取模块，用于通过预设的特征处理模型的第一分支网络和预先获取的第一决策数据对所述视觉特征进行特征处理，得到第一情感表征；

38、第二情感表征获取模块，用于通过所述特征处理模型的第二分支网络和预先获取的第二决策数据对所述文本特征进行特征处理，得到第二情感表征；

39、第三情感表征获取模块，用于通过所述特征处理模型的第三分支网络和预先获取的第三决策数据对所述音频特征进行特征处理，得到第三情感表征；

40、情感表征拼接模块，用于对所述第一情感表征、所述第二情感表征以及所述第三情感表征进行拼接，得到拼接情感特征；

41、情感预测模块，用于基于所述拼接情感特征进行情感预测，得到所述会话数据所表征的情感类型。

42、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

43、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

44、本技术提出的会话情感分析方法和系统、电子设备及存储介质,其通过获取目标说话对象的会话数据，会话数据包括每个会话轮次的会话片段；从会话数据获取每个会话轮次对应的视觉特征、文本特征、和音频特征，通过这一方式对会话数据进行处理，得到视觉、文本、音频对应的特征，能够将会话数据中的无关信息去除，针对性地对提取的特征进行处理，与直接处理会话数据相比，能够加快处理速度。进一步地，通过预设的特征处理模型的第一分支网络和预先获取的第一决策数据对视觉特征进行特征处理，得到第一情感表征；通过特征处理模型的第二分支网络和预先获取的第二决策数据对文本特征进行特征处理，得到第二情感表征；通过特征处理模型的第三分支网络和预先获取的第三决策数据对音频特征进行特征处理，得到第三情感表征，通过决策数据能够自适应地确定每种模态需要保留或者丢弃哪些信息。进一步地，对第一情感表征、第二情感表征以及第三情感表征进行拼接，得到拼接情感特征；基于拼接情感特征进行情感预测，得到会话数据所表征的情感类型，通过将视觉情感表征、文本情感表征、和音频情感表征进行多模态的情感表征融合，再利用融合后的情感表征进行情感分析，得到会话数据所表征的情感类型，与单一模态的情感分析相比，提高了情感分析的准确性。