基于融合深度特征的微表情识别方法与流程

文档序号:24411683发布日期:2021-03-26 19:37阅读:来源:国知局

技术特征:
1.基于融合深度特征的微表情识别方法,其特征在于,包括:s1:输入微表情视频文件,得到仅包含人脸的微表情帧序列;s2:对所述微表情帧序列归一化和灰度化,得到微表情预处理序列;s3:掩盖微表情预处理序列中不活跃的区域,得到微表情活跃帧序列;s4:使用光流法对微表情活跃帧序列的相邻帧提取光流,得到光流序列;s5:构建能够提取微表情活跃帧序列特征和光流序列特征的深度神经网络模型,将所述微表情活跃帧序列特征和光流序列特征融合得到用于识别微表情的特征;将微表情活跃帧序列以及光流序列作为深度神经网络模型的输入,对深度神经网络模型进行学习优化,得到学习优化后的深度神经网络模型;s6:将待测试的视频文件经过步骤s1、s2、s3和s4后,送入所述学习优化后的深度神经网络模型提取特征进行微表情识别。2.根据权利要求1所述的基于融合深度特征的微表情识别方法,其特征在于,所述得到仅包含人脸的微表情帧序列的具体方法包括:s11:利用opencv对微表情视频文件分帧处理,得到微表情帧序列;s12:利用开源包dlib对微表情帧序列中人脸识别定位,裁剪出人脸。3.根据权利要求1所述的基于融合深度特征的微表情识别方法,其特征在于,所述对微表情帧序列归一化和灰度化的具体方法包括:s21:对微表情帧序列帧长以及序列中帧的大小归一化,使得微表情帧序列帧长以及序列中帧的大小一致;s22:对归一化后的微表情帧序列进行灰度化。4.根据权利要求1所述的基于融合深度特征的微表情识别方法,其特征在于,所述得到微表情活跃帧序列的具体方法为,对微表情预处理序列中的每一帧进行分块处理,选取微表情活跃区域所对应的块,排除不活跃区域。5.根据权利要求1所述的基于融合深度特征的微表情识别方法,其特征在于,构建能够提取微表情活跃帧序列特征和光流序列特征的深度神经网络模型为双流网络,具体结构为:s51:微表情活跃帧序列流、光流序列流、融合层、全连接层和softmax层;所述微表情活跃帧序列流和所述光流序列流分别与所述融合层连接,所述融合层与所述全连接层连接,所述全连接层与所述softmax层连接;对深度神经网络模型进行学习优化的具体方法为:s52:将预先标注好的微表情活跃帧序列集合和光流序列集合作为训练集送入构建好的双流网路中,对所述双流网路进行迭代更新,得到学习优化后的深度神经网络模型。6.根据权利要求5所述的基于融合深度特征的微表情识别方法,其特征在于,所述微表情活跃帧序列流和所述光流序列流结构相同,包括:三维卷积层、激活层、池化层和注意力层;所述三维卷积层与所述激活层连接,所述激活层与所述池化层连接,所述池化层与所述注意力层连接。7.根据权利要求6所述的基于融合深度特征的微表情识别方法,其特征在于,所述激活层采用relu函数:
;所述融合层有两个输入,设微表情活跃帧序列特征为w,光流序列特征为v,则融合层的输出a为:a=w+v。8.根据权利要求5所述的基于融合深度特征的微表情识别方法,其特征在于,提取微表情活跃帧序列特征和光流序列特征的具体方法包括:s511:以光流序列和微表情序列作为输入,然后依次重复通过三维卷积神、最大池化层、激活层2次,得到微表情活跃帧序列的深度特征和光流序列的深度特征;s512:得到微表情活跃帧序列的深度特征和光流序列的深度特征分别送入注意力模块,得到微表情活跃帧序列的注意力特征和光流序列的注意力特征;所述微表情活跃帧序列的注意力特征即为微表情活跃帧序列特征,所述光流序列的注意力特征即为光流序列特征;得到用于识别微表情的特征的具体方法包括:s513:将所述微表情活跃帧序列特征和所述光流序列特征通过所述融合层得到融合特征,并依次通过两层全连接层和softmax层。9.根据权利要求5所述的基于融合深度特征的微表情识别方法,其特征在于,所述步骤s52还包括以下步骤:s521:将预先标注好的微表情活跃帧序列集合和光流序列集合按照4:1分成测试集和训练集;s522:利用训练集对深度神经网络模型进行训练,优化深度神经网络模型参数直至收敛,得到微表情识别模型。10.根据权利要求9所述的基于融合深度特征的微表情识别方法,其特征在于,对深度神经网络模型进行训练时采用的损失函数为交叉熵损失函数:其中是一个概率分布,每个元素p
i
表示样本属于第i类的概率;是样本标签的onehot表示,当样本属于第类别i时y
i
=1,否则y
i
=0;c是样本标签。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1