一种情绪识别方法及装置与流程

文档序号:35859655发布日期:2023-10-26 09:51阅读:24来源:国知局

本发明涉及人工智能,尤其是涉及一种情绪识别方法及装置。


背景技术:

1、人类情感在人们的社会交往中发挥着重要作用,情感计算成为人机交互、人工智能的最重要研究领域之一。

2、现有的情绪健康分析方法和分析系统是多种多样的,包括基于人脸表情的情绪识别方法、基于语音的情绪识别方法、基于文字的情绪分析方法等,但这些情绪分析识别系统多数是基于其中一种或两种情绪特征而构建的情感识别模型。研究表明:人的情绪和心理压力是一种综合因素表征的结果,仅仅通过人脸识别、语音识别、文字识别中的一种或两种对人情绪和心理压力进行判定,其结果易造成误判;当前方法研究开发的情绪心理压力诊断或治疗系统,情绪心理压力准确率低,不能够提供良好的用户体验。

3、有鉴于此,需要对现有技术进行改进,因此提出本发明。


技术实现思路

1、针对现有技术存在的以上问题,本发明提供了一种情绪识别方法及装置,目的是为了解决以上问题中的至少一个,以提高情绪识别的精度。

2、第一方面,本发明提供一种情绪识别方法,包括:

3、根据外部指令,采集用户当前情绪数据;

4、根据用户当前情绪数据和预先训练的情绪识别模型,确定用户当前的情绪识别结果;

5、其中,采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据;

6、预先训练的情绪识别模型包括基于语音交互数据、面部表情数据和眼动数据进行训练的第一情绪识别模型,以及基于第一情绪识别模型输出的第一情绪识别结果进行再次训练的第二情绪识别模型;

7、其中,第一情绪识别模型包括基于语音交互数据进行训练的第一语言情绪识别模型、基于面部表情数据进行训练的第一面部情绪识别模型、基于眼动数据进行训练的第一眼部情绪识别模型;第一情绪识别结果包括第一语言情绪识别模型输出的第一语言情绪识别结果、第一面部情绪识别模型输出的第一面部情绪识别结果以及第一眼部情绪识别模型输出的第一眼部情绪识别结果;第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练。

8、进一步地,采集用户当前情绪数据,包括:采集用户当前的人机语音交互数据;采集用户当前的面部表情数据;采集用户当前的眼动数据。

9、进一步地,第一情绪识别模型和第二情绪识别模型均采用深度学习方法。

10、进一步地,第一语言情绪识别模型根据所采集的语音交互数据,进行语义分析,进而获得估计的第一语言情绪识别结果。

11、进一步地,第一面部情绪识别模型根据所采集的面部表情数据,进而获得估计的第一面部情绪识别结果。

12、进一步地,第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练,包括:

13、当第一语言情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的任一项情绪识别结果的准确度低于预设阈值时,则不采信该项情绪识别结果,采用剩余两项情绪识别结果作为第二情绪识别模型的输入;

14、当第一语言情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的两项及以上的情绪识别结果的准确度低于预设阈值时,则不采信当前的情绪数据,重新采集用户的情绪数据用于下一次确定用户当前的情绪识别结果。

15、第二方面,本发明还提供一种情绪识别装置,包括:

16、采集模块,用于根据外部指令,采集用户当前情绪数据;

17、估算模块,用于根据用户当前情绪数据和预先训练的情绪识别模型,确定用户当前的情绪识别结果;

18、其中,采集用户当前情绪数据包括采集用户当前的语音交互数据、面部表情数据和眼动数据;

19、预先训练的情绪识别模型包括基于语音交互数据、面部表情数据和眼动数据进行训练的第一情绪识别模型,以及基于第一情绪识别模型输出的第一情绪识别结果进行再次训练的第二情绪识别模型;

20、其中,第一情绪识别模型包括基于语音交互数据进行训练的第一语言情绪识别模型、基于面部表情数据进行训练的第一面部情绪识别模型、基于眼动数据进行训练的第一眼部情绪识别模型;第一情绪识别结果包括第一语言情绪识别模型输出的第一语言情绪识别结果、第一面部情绪识别模型输出的第一面部情绪识别结果以及第一眼部情绪识别模型输出的第一眼部情绪识别结果;第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练。

21、与现有技术相比,本发明至少具有以下有益效果:

22、由于情绪是受多方面因素的影响,与现有技术中单独基于语音、面部表情、或眼神等单模态信息情绪估计结果相比,本发明的技术方案融合了语言、面部表情、眼动的信息来评估用户的当前情绪,可以提供更加接近用户的真实情绪识别结果,提高了用户情绪识别的准确度。

23、通过将第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练,如此设置,可极大地避免上述单模态信息情绪识别结果不稳定、不可靠的问题,进而极大地提高情绪识别的准确性。



技术特征:

1.一种情绪识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述采集用户当前情绪数据,包括:采集用户当前的人机语音交互数据;采集用户当前的面部表情数据;采集用户当前的眼动数据。

3.根据权利要求1所述的方法,其特征在于,所述第一情绪识别模型和第二情绪识别模型均采用深度学习方法。

4.根据权利要求1所述的方法,其特征在于,所述第一语言情绪识别模型根据所采集的语音交互数据,进行语义分析,进而获得估计的第一语言情绪识别结果。

5.根据权利要求1所述的方法,其特征在于,所述第一面部情绪识别模型根据所采集的面部表情数据,进而获得估计的第一面部情绪识别结果。

6.根据权利要求1所述的方法,其特征在于,所述第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行训练,包括:

7.一种情绪识别装置,其特征在于,包括:


技术总结
本发明提供了一种情绪识别方法及装置,属于人工智能技术领域,通过将第二情绪识别模型根据第一眼部情绪识别结果、第一面部情绪识别结果以及第一眼部情绪识别结果中的至少两者进行运算,可以融合同一时刻用户的语言表达、面部表情表达、眼神表达所蕴含的情绪信息,有助于避免用户本人自身有意无意的主观表达修饰所导致的情绪识别错误,提高情绪识别的准确度。

技术研发人员:王亚楠,罗莉,包国栋
受保护的技术使用者:四川天地宏华导航设备有限公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1