表情强度变化的人脸表情识别方法、系统及存储介质

文档序号:30229575发布日期:2022-06-01 04:15阅读:来源:国知局

技术特征:
1.一种表情强度变化的人脸表情识别方法,其特征在于,包括:获取数据样本集,所述数据样本集包括峰值表情样本和非峰值表情样本;提取所述数据样本集中每个样本的特征向量,所有样本的特征向量组成特征矩阵;对每个样本,计算其与其他样本间的距离,取与其距离最近的多个样本作为其第一邻居样本,根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵;对每个样本,计算其与其他峰值表情样本间的距离,取与其距离最近的多个样本作为其第二邻居样本,根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵;将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。2.如权利要求1所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述构建第一邻接矩阵包括:将第i个样本记为x
i
,将第一邻接矩阵中第i行第j列的值记为若样本x
j
是样本x
i
的第一邻居样本,则否则3.如权利要求1所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述构建第二邻接矩阵包括:将第i个样本记为x
i
,将第二邻接矩阵中第i行第j列的值记为若样本x
j
是样本x
i
的第二邻居样本,则否则4.如权利要求1所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述图卷积神经网络包括融合模块、图卷积模块和分类模块,所述输入到图卷积神经网络进行训练包括步骤:将所述第一邻接矩阵和所述第二邻接矩阵输入到所述融合模块进行加权融合,获得加权邻接矩阵;将所述特征矩阵、所述加权邻接矩阵输入到所述图卷积模块;将所述图卷积模块的输出数据输入到所述分类模块。5.如权利要求4所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述第一邻接矩阵中包含样本相似样本间的局部信息,所述第二邻接矩阵中包含非峰值样本与峰值样本间的峰导信息,调整所述第一邻接矩阵和所述第二邻接矩阵的加权权重参数。6.如权利要求1所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块,所述输入到图卷积神经网络进行训练包括步骤:将所述特征矩阵、所述第一邻接矩阵输入到所述第一图卷积模块;将所述特征矩阵、所述第二邻接矩阵输入到所述第二图卷积模块;将所述第一图卷积模块、所述第二图卷积模块的输出数据输入到所述注意力模块;将所述注意力模块的输出数据输入到所述分类模块。7.如权利要求4所述的一种表情强度变化的人脸表情识别方法,其特征在于,所述计算其与其他样本间的距离、所述计算其与其他峰值表情样本间的距离均为计算欧氏距离。8.如权利要求1所述的一种表情强度变化的人脸表情识别方法,其特征在于,提取特征
向量前对样本进行预处理,所述预处理包括:通过人脸特征点来确定输入图像中可见的眼睛中心以及嘴巴中心的位置;计算输入图像和对齐图像点与点之间的变换矩阵t,变换矩阵t的计算公式为:设为对齐图像的水平中心,w为对齐图像的水平宽度,为头部姿态角度,s1=s
mouth
,,其中,s1、s
mouth
为原始图像中嘴巴中心的坐标,t1为对齐图像中嘴巴中心的坐标,s2为输入图像中眼睛中心的坐标,t2为对齐图像中眼睛中心的坐标,s
l.eye
为输入图像左眼中心的坐标,s
r.eye
为输入图像右眼中心的坐标,x
center
为对齐图像的水平中心,y
eyes
为对齐图像眼睛的水平中心,dx
mouth
为对齐图像中嘴巴的水平宽带,y
mouth
为对齐图像中嘴巴中心的纵坐标,当一只眼睛在不可见位置的时候,可见的眼睛的坐标用s
v.eye
来表示,s
mouth
表示嘴巴中心的坐标,在输入图像中只有一只眼睛可见的情况下,s2=s
v.eye
。9.一种表情强度变化的人脸表情识别系统,其特征在于,包括:获取模块,用于获取数据样本集,所述数据样本集包括峰值表情样本和非峰值表情样本;特征提取模块,用于提取所述数据样本集中每个样本的特征向量,所有样本的特征向量组成特征矩阵;邻接矩阵构建模块,用于对每个样本,计算其与其他样本间的距离,取与其距离最近的多个样本作为其第一邻居样本,根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵;对每个样本,计算其与其他峰值表情样本间的距离,取与其距离最近的多个样本作为其第二邻居样本,根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵;训练模块,用于将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

技术总结
本发明公开了一种表情强度变化的人脸表情识别方法、系统及存储介质。该方法包括:获取数据样本集,所述数据样本集包括峰值表情样本和非峰值表情样本;提取所述数据样本集中每个样本的特征向量,所有样本的特征向量组成特征矩阵;构建第一邻接矩阵和第二邻接矩阵;将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。本发明能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息,能够有效提高强度变化表情的分类精度。高强度变化表情的分类精度。高强度变化表情的分类精度。


技术研发人员:陈靓影 徐如意 石金鑫 杨宗凯 张坤
受保护的技术使用者:华中师范大学
技术研发日:2022.02.15
技术公布日:2022/5/31
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1