人脸表情识别方法、装置、终端设备及存储介质与流程

文档序号:26007897发布日期:2021-07-23 21:27阅读:来源:国知局

技术特征:

1.一种人脸表情识别方法,其特征在于,包括:

对待识别人脸图像进行人脸表观信息提取和人脸特征点检测,得到第一表观特征信息和第一特征点信息;

将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量;

将所述第一特征向量输入表情识别模型,得到预测表情;

确定与所述预测表情关联的相似表情;

将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型,得到表情识别结果;所述表情区分模型用于区分所述预测表情以及与所述预测表情对应的所述相似表情。

2.如权利要求1所述的人脸表情识别方法,其特征在于,在将所述待识别人脸图像输入表情区分模型,得到表情识别结果之后,还包括:

若所述待识别人脸图像为人脸视频数据中任一帧图像,则将所述人脸视频数据中位于所述待识别人脸图像所在的预设时间范围内的n帧图像,作为所述待识别人脸图像的关联图像;

分别将每帧所述关联图像与所述待识别人脸图像进行相似性比对,将与所述待识别人脸图像相似的所述关联图像作为参考图像;

分别对每帧所述参考图像进行表情识别,得到每帧所述参考图像对应的表情类别;

分别统计各个所述表情类别在所述参考图像以及所述待识别人脸图像组成的图像组中对应的图像个数;所述待识别人脸图像的表情类别根据所述表情识别结果确定;

确定所述图像个数最多的表情类别为所述待识别人脸图像的人脸表情。

3.如权利要求2所述的人脸表情识别方法,其特征在于,所述分别将每帧所述关联图像与所述待识别人脸图像进行相似性比对,将与所述待识别人脸图像相似的所述关联图像作为参考图像,包括:

采用人脸关键点检测算法对每帧所述关联图像进行特征点提取,得到每帧所述关联图像对应的人脸特征点;

根据所述待识别人脸图像的特征点信息对所有所述关联图像对应的人脸特征点进行聚类,将与所述待识别人脸图像在同一集群的若干帧关联图像作为所述参考图像。

4.如权利要求2所述的人脸表情识别方法,其特征在于,所述分别对每帧所述参考图像进行表情识别,得到每帧所述参考图像对应的表情类别,包括:

对每帧所述参考图像进行人脸表观信息提取和人脸特征点检测,得到每帧所述参考图像的第二表观特征信息和第二特征点信息;

将每帧所述参考图像的所述第二表观特征信息和所述第二特征点信息融合,得到每帧所述参考图像的第二特征向量;

将各帧所述参考图像的所述第二特征向量输入表情识别模型,得到各帧所述参考图像的预测表情;

确定与各帧所述参考图像的所述预测表情关联的相似表情;

对于每帧所述参考图像,将所述参考图像输入与所述参考图像关联的表情区分模型,得到表情类别;与所述参考图像关联的表情区分模型用于区分所述参考图像的所述预测表情以及与所述参考图像的所述预测表情关联的相似表情。

5.如权利要求1所述的人脸表情识别方法,其特征在于,所述对待识别人脸图像进行人脸表观信息提取和人脸特征点检测,得到第一表观特征信息和第一特征点信息,包括:

采用神经网络对待识别人脸图像进行人脸表观信息提取,得到所述第一表观特征信息;

采用人脸关键点检测算法对待识别人脸图像进行人脸特征点检测,得到所述第一特征点信息。

6.如权利要求1所述的人脸表情识别方法,其特征在于,在将所述第一特征向量输入表情识别模型,得到预测表情之前,还包括:

获取训练数据;所述训练数据包括具有表情标签的若干人脸图像;

将所述训练数据输入神经网络分类层进行训练,生成所述表情识别模型。

7.根据权利要求1所述的人脸表情识别方法,其特征在于,在将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型,得到表情识别结果之后,包括:

将所述表情识别结果上传至区块链。

8.一种人脸表情识别装置,其特征在于,包括:

信息提取模块,用于对待识别人脸图像进行人脸表观信息提取和人脸特征点检测,得到第一表观特征信息和第一特征点信息;

信息融合模块,用于将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量;

第一表情识别模块,用于将所述第一特征向量输入表情识别模型,得到预测表情;

相似表情确定模块,用于确定与所述预测表情关联的相似表情;

第二情识别模块,用于将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型,得到表情识别结果;所述表情区分模型用于区分所述预测表情以及与所述预测表情对应的所述相似表情。

9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。


技术总结
本申请适用于人工智能技术领域,提供了一种人脸表情识别方法、装置、终端设备及存储介质,其中,所述方法通过对待识别人脸图像进行人脸表观信息提取和人脸特征点检测,得到第一表观特征信息和第一特征点信息;将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量;将所述第一特征向量输入表情识别模型,得到预测表情;确定与所述预测表情关联的相似表情;将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型,得到表情识别结果;所述表情区分模型用于区分所述预测表情以及与所述预测表情对应的所述相似表情。以解决相似的对称表情识别准确度低的问题。另外,本申请还涉及区块链技术。

技术研发人员:张志远;易苗
受保护的技术使用者:中国平安人寿保险股份有限公司
技术研发日:2021.03.12
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1