一种情感确定方法、装置、电子设备及存储介质与流程

文档序号:42764649发布日期:2025-08-19 17:54阅读:20来源:国知局

本公开涉及人工智能,尤其涉及一种情感确定方法、装置、电子设备及存储介质。


背景技术:

1、随着科技的发展以及用户需求的不断提升,电子设备的功能也愈渐丰富。例如,可以通过电子设备中情感识别功能识别语音、文本和图像中所包含的人类情感。或者可以通过电子设备中音频事件的识别功能,确定音频中所包含的音频事件(audio event,ae),基于不同音频事件对用户情感造成不同的影响,确定用户情感。


技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种情感确定方法、装置、电子设备及存储介质。

2、根据本公开实施例的第一方面,提供一种情感确定方法,包括:获取待进行情感分析对象所处外界环境中的环境音频信号;基于所述环境音频信号和第一模型,确定所述对象的情感信息,所述第一模型用于基于对象所处环境的环境音频信号确定对象对应的情感。

3、一种实施方式中,所述基于所述环境音频信号的频谱信息和第一模型,确定所述对象的情感信息,包括:基于所述第一模型的特征提取模型,提取所述环境音频信号的频谱特征;基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征,并基于所述第一模型的情感等级分析模型确定所述频谱特征对应的情感等级特征;基于所述第一模型的特征融合模型,融合所述音频事件类型特征和所述情感等级特征,并基于融合后特征,得到所述对象的情感信息。

4、一种实施方式中,所述基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征,包括:基于所述第一模型的第一音频事件分类模型,确定所述频谱特征所对应的第一音频事件类型特征,并基于所述第一模型的第二音频事件分类模型,确定所述第二音频事件类型特征;其中,所述第一音频事件分类模型和所述第二音频事件分类模型分别对应不同粒度的音频事件分类。

5、一种实施方式中,所述融合所述音频事件类型特征和所述情感等级特征,包括:将所述第一音频事件类型特征、所述第二音频事件分类模型映射为与所述情感等级特征为同一维度的第一特征和第二特征;融合所述第一特征、所述第二特征和所述情感等级特征,得到融合后特征。

6、一种实施方式中,所述基于融合后特征,得到所述对象的情感信息,包括:基于门控解码器对所述融合后特征进行解码,并基于门控卷积分类打分模型对解码后特征进行打分,得到情感分值,其中不同情感分值对应不同的情感信息。

7、一种实施方式中,所述第一模型采用如下方式训练得到:基于第二模型,提取音频训练信号的第一音频事件类型预测特征、第二音频事件类型特征预测特征,以及情感等级预测特征,所述第二模型为所述第一模型的预测模型;基于所述第一音频事件类型预测特征以及所述情感等级预测特征,确定第一损失函数,并基于所述第二音频事件类型预测特征以及所述情感等级预测特征确定第二损失函数;基于所述第一损失函数以及所述第二损失函数,对所述第二模型进行训练约束,得到所述第一模型。根据本公开实施例的第二方面,提供一种情感确定装置,包括:

8、获取单元,用于获取待进行情感分析对象所处外界环境中的环境音频信号;

9、确定单元,用于基于所述环境音频信号和第一模型,确定所述对象的情感信息,所述第一模型用于基于对象所处环境的环境音频信号确定对象对应的情感。

10、一种实施方式中,所述确定单元采用如下方式基于所述环境音频信号的频谱信息和第一模型,确定所述对象的情感信息:基于所述第一模型的特征提取模型,提取所述环境音频信号的频谱特征;基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征,并基于所述第一模型的情感等级分析模型确定所述频谱特征对应的情感等级特征;基于所述第一模型的特征融合模型,融合所述音频事件类型特征和所述情感等级特征,并基于融合后特征,得到所述对象的情感信息。

11、一种实施方式中,所述确定单元采用如下方式基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征:基于所述第一模型的第一音频事件分类模型,确定所述频谱特征所对应的第一音频事件类型特征,并基于所述第一模型的第二音频事件分类模型,确定所述第二音频事件类型特征;其中,所述第一音频事件分类模型和所述第二音频事件分类模型分别对应不同粒度的音频事件分类。

12、一种实施方式中,所述确定单元采用如下方式融合所述音频事件类型特征和所述情感等级特征:将所述第一音频事件类型特征、所述第二音频事件分类模型映射为与所述情感等级特征为同一维度的第一特征和第二特征;融合所述第一特征、所述第二特征和所述情感等级特征,得到融合后特征。

13、一种实施方式中,所述确定单元采用如下方式基于融合后特征,得到所述对象的情感信息:基于门控解码器对所述融合后特征进行解码,并基于门控卷积分类打分模型对解码后特征进行打分,得到情感分值,其中不同情感分值对应不同的情感信息。

14、一种实施方式中,所述装置还包括训练单元;所述训练单元采用如下方式训练得到所述第一模型:基于第二模型,提取音频训练信号的第一音频事件类型预测特征、第二音频事件类型特征预测特征,以及情感等级预测特征,所述第二模型为所述第一模型的预测模型;基于所述第一音频事件类型预测特征以及所述情感等级预测特征,确定第一损失函数,并基于所述第二音频事件类型预测特征以及所述情感等级预测特征确定第二损失函数;基于所述第一损失函数以及所述第二损失函数,对所述第二模型进行训练约束,得到所述第一模型。

15、根据本公开实施例的第三方面,提供一种电子设备,包括:

16、处理器;

17、用于存储处理器可执行指令的存储器;

18、其中,所述处理器被配置为:执行第一方面或者第一方面任意一种实施方式中所述的方法。

19、根据本公开实施例的第四方面,提供一种存储介质,所述存储介质中存储有指令,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行第一方面或者第一方面任意一种实施方式中所述的情感确定方法。

20、本公开的实施例提供的技术方案可以包括以下有益效果:通过获取对象所处外界环境的音频信号,并将环境音频信号输入至第一模型中,从而确定对象对于外界环境音频的情感信息。通过获取对象所处外界环境的音频信号,进行对象的情感信息的确定,相对单纯基于对象本身信息进行情感分析,能够多维度的确定对象的情感,从而能够确定外界环境中的音频信号对待进行情感分析对象情感的影响,进而能够更好的了解待进行情感分析对象的情感状态。

21、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。



技术特征:

1.一种情感确定方法,其特征在于,包括:

2.根据权利要求1所述的情感确定方法,其特征在于,所述基于所述环境音频信号的频谱信息和第一模型,确定所述对象的情感信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征,包括:

4.根据权利要求3所述的方法,其特征在于,所述融合所述音频事件类型特征和所述情感等级特征,包括:

5.根据权利要求2所述的方法,其特征在于,所述基于融合后特征,得到所述对象的情感信息,包括:

6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述第一模型采用如下方式训练得到:

7.一种情感确定装置,其特征在于,包括:

8.根据权利要求7所述的情感确定装置,其特征在于,所述确定单元采用如下方式基于所述环境音频信号的频谱信息和第一模型,确定所述对象的情感信息:

9.根据权利要求8所述的装置,其特征在于,所述确定单元采用如下方式基于所述第一模型的音频事件分类模型,确定所述频谱特征所对应的音频事件类型特征:

10.根据权利要求9所述的装置,其特征在于,所述确定单元采用如下方式融合所述音频事件类型特征和所述情感等级特征:

11.根据权利要求8所述的装置,其特征在于,所述确定单元采用如下方式基于融合后特征,得到所述对象的情感信息:

12.根据权利要求7至11中任意一项所述的装置,其特征在于,所述装置还包括训练单元;

13.一种电子设备,其特征在于,包括:

14.一种存储介质,其特征在于,所述存储介质中存储有指令,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行权利要求1-6中任意一项所述的方法。


技术总结
本公开提供一种情感确定方法、装置、电子设备及存储介质,其中,情感确定方法包括:获取待进行情感分析对象所处外界环境中的环境音频信号;基于所述环境音频信号和第一模型,确定所述对象的情感信息,所述第一模型用于基于对象所处环境的环境音频信号确定对象对应的情感。通过获取待进行情感分析对象所处外界环境中的环境音频信号,并基于第一模型,确定对象的情感信息,从而能够确定外界环境中的音频信号对待进行情感分析对象情感的影响,进而能够更好的了解待进行情感分析对象的情感状态。

技术研发人员:梁芸浩
受保护的技术使用者:北京小米移动软件有限公司
技术研发日:
技术公布日:2025/8/18
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1