人脸情绪识别方法、装置、设备及存储介质

本发明涉及图像处理，尤其涉及一种人脸情绪识别方法、装置、设备及存储介质。

背景技术：

1、人脸表情识别就是研究如何使计算机从静态图像或者视频序列中获取人脸表情并加以辨别的技术。如果计算机可以准确地理解人脸表情并识别出人脸表情属于哪一个类别，那么，将在很大程度上改变人与计算机之间的关系，从而达到更好的人机交互效果。

2、情绪识别在自然人机交互中具有十分重要的意义，但是由于表情的属性类别较多、规律较复杂，因此，现有的人脸表情识别方法中，每个识别模型都需要记忆较多的内容，从而导致人脸表情的识别过程运算复杂、人脸表情的识别准确率以及识别效率较为低下。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种人脸情绪识别方法，旨在解决现有技术人脸情绪识别不准确的技术问题。

2、为实现上述目的，本发明提供了一种人脸情绪识别方法，所述方法包括以下步骤：

3、将待识别图像输入人脸情绪识别模型，所述人脸情绪识别模型包括基础神经网络、选择性卷积核网络以及分类器；

4、根据所述基础神经网络对所述待识别图像进行特征提取得到多个基础特征；

5、根据所述选择性卷积核网络计算各基础特征的独立权重，根据所述独立权重对所述各基础特征进行融合，得到融合特征；

6、基于融合特征中各参考特征对应的独立权重通过所述分类器确定目标感受野，根据所述目标感受野得到待识别图像中的人脸情绪。

7、可选地，所述根据所述选择性卷积核网络计算各基础特征的独立权重，根据所述独立权重对所述各基础特征进行融合，得到融合特征，包括：

8、所述选择性卷积核网络通过自适应感受野计算各基础特征的独立权重；

9、根据所述独立权重对所述多个基础特征进行筛选得到多个参考特征；

10、将所述多个参考特征进行融合得到融合特征。

11、可选地，所述将所述多个参考特征进行融合得到融合特征，包括：

12、将所述多个参考特征进行融合得到初始融合特征；

13、对所述初始融合特征进行下采样得到采样特征；

14、对所述采样特征进行特征降维得到融合特征。

15、可选地，所述基于融合特征中各参考特征对应的独立权重通过所述分类器确定目标感受野，根据所述目标感受野得到待识别图像中的人脸情绪，包括：

16、所述分类器根据所述融合特征中各参考特征对应的独立权重得到所述融合特征中多个感受野的权重；

17、比较各感受野的权重的大小，得到目标感受野；

18、对所述目标感受野进行特征分类，得到所述待识别图像中的人脸情绪。

19、可选地，所述将所述待识别图像输入人脸情绪识别模型之前，包括：

20、获取初始训练图像以及初始验证图像，对所述初始训练图像以及所述初始验证图像进行预处理，得到训练张量和验证张量；

21、将所述训练张量输入初始模型对所述初始模型进行训练，直到所述初始模型的识别正确率满足预设条件，得到初始情绪识别模型；

22、通过验证张量对所述初始情绪识别模型进行验证，若所述验证结果不符合预设要求，则重新对所述初始情绪识别模型进行训练；若验证结果符合预设要求，得到人脸情绪识别模型。

23、可选地，所述对所述初始训练图像以及所述初始验证图像进行预处理，得到训练张量和验证张量，包括：

24、将所述初始训练图像以及所述初始验证图像的尺寸进行转换得到尺寸统一的训练图像以及验证图像；

25、对所述训练图像以及所述验证图像进行数据增强，得到增强后的训练图像和增强后的验证图像；

26、对所述增强后的训练图像和所述增强后的验证图像进行向量转换得到训练张量和验证张量。

27、可选地，所述将所述训练张量输入初始模型对所述初始模型进行训练，直到所述初始模型的识别正确率满足预设条件，得到初始情绪识别模型，包括：

28、获取训练参数，所述训练参数包括学习率以及学习率衰减；

29、根据所述学习率以及所述学习率衰减对所述初始模型进行设定得到参数设定后的初始模型；

30、将所述训练张量输入参数设定后的初始模型得到预识别情绪，将所述预识别情绪与所述训练张量对应的参考情绪进行比较；

31、当比较结果连续正确数量满足预设条件，则完成训练，得到初始情绪识别模型。

32、此外，为实现上述目的，本发明还提出一种人脸情绪识别装置，所述人脸情绪识别装置包括：

33、数据输入模块，用于将待识别图像输入人脸情绪识别模型，所述人脸情绪识别模型包括基础神经网络、选择性卷积核网络以及分类器；

34、特征提取模块，用于根据所述基础神经网络对所述待识别图像进行特征提取得到多个基础特征；

35、特征融合模块，用于根据所述选择性卷积核网络计算各基础特征的独立权重，根据所述独立权重对所述各基础特征进行融合，得到融合特征；

36、分类识别模块，用于基于融合特征中各参考特征对应的独立权重通过所述分类器确定目标感受野，根据所述目标感受野得到待识别图像中的人脸情绪。

37、此外，为实现上述目的，本发明还提出一种人脸情绪识别设备，所述人脸情绪识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸情绪识别程序，所述人脸情绪识别程序配置为实现如上文所述的人脸情绪识别方法的步骤。

38、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有人脸情绪识别程序，所述人脸情绪识别程序被处理器执行时实现如上文所述的人脸情绪识别方法的步骤。

39、本发明通过在残差人工神经网络中第一组残差结构后增加选择性卷积核网络，对残差人工神经网络全范围提取的特征进行自适应筛选，并赋予每个特征对应的独立权重，根据独立权重找到待识别图片中的更有情绪代表的参考特征，根据参考特征进行人脸情绪识别，完成对待识别特征中人脸情绪的分类，能够更加快速准确的识别出待识别图像中的人脸情绪。

技术特征：

1.一种人脸情绪识别方法，其特征在于，所述人脸情绪识别方法包括：

2.如权利要求1所述的人脸情绪识别方法，其特征在于，所述根据所述选择性卷积核网络计算各基础特征的独立权重，根据所述独立权重对所述各基础特征进行融合，得到融合特征，包括：

3.如权利要求2所述的人脸情绪识别方法，其特征在于，所述将所述多个参考特征进行融合得到融合特征，包括：

4.如权利要求1所述的人脸情绪识别方法，其特征在于，所述基于融合特征中各参考特征对应的独立权重通过所述分类器确定目标感受野，根据所述目标感受野得到待识别图像中的人脸情绪，包括：

5.如权利要求1所述的人脸情绪识别方法，其特征在于，所述将所述待识别图像输入人脸情绪识别模型之前，包括：

6.如权利要求5所述的人脸情绪识别方法，其特征在于，所述对所述初始训练图像以及所述初始验证图像进行预处理，得到训练张量和验证张量，包括：

7.如权利要求5所述的人脸情绪识别方法，其特征在于，所述将所述训练张量输入初始模型对所述初始模型进行训练，直到所述初始模型的识别正确率满足预设条件，得到初始情绪识别模型，包括：

8.一种人脸情绪识别装置，其特征在于，所述人脸情绪识别装置包括：

9.一种人脸情绪识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸情绪识别程序，所述人脸情绪识别程序配置为实现如权利要求1至7中任一项所述的人脸情绪识别方法。

10.一种存储介质，其特征在于，所述存储介质上存储有人脸情绪识别程序，所述人脸情绪识别程序被处理器执行时实现如权利要求1至7任一项所述的人脸情绪识别方法。

技术总结
本发明属于图像处理技术领域，公开了一种人脸情绪识别方法、装置、设备及存储介质；该方法包括：将待识别图像输入人脸情绪识别模型，人脸情绪识别模型包括基础神经网络、选择性卷积核网络以及分类器；根据基础神经网络对待识别图像特征提取得到多个基础特征；根据选择性卷积核网络计算各基础特征的独立权重，根据独立权重对各基础特征进行融合，得到融合特征；基于独立权重通过分类器确定目标感受野，得到待识别图像中的人脸情绪；本发明通过在残差人工神经网络中增加选择性卷积核网络，对残差人工神经网络提取的特征进行筛选，得到待识别图片中的更有情绪代表的特征，根据该特征人脸情绪识别，能够更加快速准确的识别出待识别图像中的人脸情绪。

技术研发人员：高宏涛,高遵海
受保护的技术使用者：武汉轻工大学
技术研发日：
技术公布日：2024/1/13