一种微表情特征提取方法、装置、设备及可读存储介质与流程
本申请涉及图像处理技术领域，更具体地说，涉及一种微表情特征提取方法、装置、设备及可读存储介质。
背景技术：
微表情作为人类传达情感的重要组成部分，通常发生于人类不经意间、且无法控制和压抑的情况下，因此，微表情可用于刑侦审讯、心理干预等领域，在目标人物无意识的状态下探查目标人物的真实意图和想法。
由于微表情的持续时间非常短，只有40～200ms，动作幅度也非常小，不易察觉，因此捕捉难度大，这使得微表情在很多领域的研究结果并不能应用到实际生活中，因此，寻找一种有效的微表情特征提取方法是目前微表情研究领域亟需解决的问题。
技术实现要素：
有鉴于此，本申请提供了一种微表情特征提取方法、装置、设备及可读存储介质，用以从包含人脸区域的图像中提取出准确的微表情特征，其技术方案如下：
一种微表情特征提取方法，包括：
获取包含人脸区域的目标图像，其中，所述目标图像为待提取微表情特征的单幅图像，或者为待提取微表情特征的多幅图像中的任一幅图像，或者为待提取微表情特征的视频中的任一帧图像；
从所述目标图像获取微表情预测特征，其中，所述微表情预测特征为所述目标图像中与微表情有关的特征；
根据所述微表情预测特征和预先构建的微表情特征提取模型，确定所述目标图像中人脸的目标微表情特征。
可选的，所述微表情预测特征包括：
目标人脸图像和所述目标人脸图像中的面部特征点信息，其中，所述目标人脸图像为所述目标图像中人脸区域的图像。
可选的，所述从所述目标图像获取微表情预测特征，包括：
通过预设的人脸检测算法，或者，通过预设的人脸跟踪算法结合预设的人脸检测算法，从所述目标图像中获取人脸图像和该人脸图像中的面部特征点信息；
对所述人脸图像进行预处理，预处理后的人脸图像作为所述目标人脸图像，所述目标人脸图像和所述面部特征点信息作为所述微表情预测特征。
可选的，所述根据所述微表情预测特征和预先建立的微表情特征提取模型，确定所述目标人脸图像对应的目标微表情特征，包括：
通过所述微表情特征提取模型，根据所述微表情预测特征，获取所述目标图像中人脸的面部共性特征和第一微表情特征，并根据所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
可选的，所述目标图像中人脸的面部共性特征包括：面部五官的位置信息、和/或面部五官的特点、和/或面部轮廓信息；
所述目标图像中人脸的第一微表情特征包括：面部五官相对于标准人脸图像中五官位置的偏移、和/或面部特征点的运动趋势、和/或面部的局部轮廓扭曲程度。
可选的，所述通过所述微表情特征提取模型，根据所述微表情预测特征，获取所述目标图像中人脸的面部共性特征和第一微表情特征，并根据所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征，包括：
通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征；
通过所述微表情特征提取模型的特征提取层，根据所述目标图像中人脸区域的特征，确定所述目标图像中人脸的面部共性特征和第一微表情特征；
通过所述微表情特征提取模型的解码层，基于所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
可选的，所述通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征，包括：
通过所述微表情特征提取模型的编码层，根据所述目标人脸图像的面部特征点信息将所述目标人脸图像分割成至少一个图像块；
通过所述微表情特征提取模型的编码层，从每个图像块中提取特征，并将从每个图像块中提取的特征进行拼接，拼接后的特征作为所述目标图像中人脸区域的特征。
可选的，预先构建微表情特征提取模型的过程包括：
获取训练图像；
从所述训练图像中获取训练人脸图像和所述训练人脸图像中的面部特征点信息作为微表情预测特征，所述训练人脸图像为所述训练图像中人脸区域的图像；
通过微表情特征提取模型的编码层，根据从所述训练图像中获取的微表情预测特征，确定所述训练图像中人脸区域的特征；
通过微表情特征提取模型的特征提取层，根据所述训练图像中人脸区域的特征，确定所述训练图像中人脸的面部共性特征和第一微表情特征；
通过微表情特征提取模型的解码层，基于所述训练图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，并基于该第二微表情特征重建出具有微表情细节的人脸图像；
计算所述具有微表情细节的人脸图像与所述训练人脸图像的误差作为损失函数，并基于所述损失函数对微表情特征提取模型的参数进行更新。
可选的，所述特征提取层包括：微表情特征提取模块和面部共性特征提取模块；
在对微表情特征提取模型的参数进行更新时，将所述解码层的输出结果的梯度回传至所述编码层的输入，并分别将所述微表情特征提取模块和所述面部共性特征提取模块的输出结果的梯度回传至所述编码层的输入。
可选的，所述微表情特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述微表情特征提取模块的输出结果的梯度向前回传时的损失函数确定；
所述面部共性特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述面部共性特征提取模块的输出结果的梯度向前回传时的损失函数确定。
一种微表情特征提取装置，包括：图像获取模块、微表情预测特征获取模块和微表情特征确定模块；
所述图像获取模块，用于获取包含人脸区域的目标图像，其中，所述目标图像为待提取微表情特征的单幅图像，或者为待提取微表情特征的多幅图像中的任一幅图像，或者为待提取微表情特征的视频中的任一帧图像；
所述微表情预测特征获取模块，用于从所述目标图像获取微表情预测特征，其中，所述微表情预测特征为所述目标图像中与微表情有关的特征；
所述微表情特征确定模块，用于根据所述微表情预测特征和预先构建的微表情特征提取模型，确定所述目标图像中人脸的目标微表情特征。
可选的，所述微表情预测特征包括：
目标人脸图像和所述目标人脸图像中的面部特征点信息，其中，所述目标人脸图像为所述目标图像中人脸区域的图像。
可选的，所述微表情预测特征获取模块包括：特征获取子模块和图像预处理子模块；
所述特征获取子模块，用于通过预设的人脸检测算法，或者，通过预设的人脸跟踪算法结合预设的人脸检测算法，从所述目标图像中获取人脸图像和该人脸图像中的面部特征点信息；
所述图像预处理子模块，用于对所述人脸图像进行预处理，预处理后的人脸图像作为所述目标人脸图像，所述目标人脸图像和所述面部特征点信息作为所述微表情预测特征。
可选的，所述微表情特征确定模块，具体用于通过所述微表情特征提取模型，根据所述微表情预测特征，获取所述目标图像中人脸的面部共性特征和第一微表情特征，并根据所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
可选的，所述目标图像中人脸的面部共性特征包括：面部五官的位置信息、和/或面部五官的特点、和/或面部轮廓信息；
所述目标图像中人脸的第一微表情特征包括：面部五官相对于标准人脸图像中五官位置的偏移、和/或面部特征点的运动趋势、和/或面部的局部轮廓扭曲程度。
可选的，所述微表情特征确定模块，具体用于通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征；通过所述微表情特征提取模型的特征提取层，根据所述目标图像中人脸区域的特征，确定所述目标图像中人脸的面部共性特征和第一微表情特征；通过所述微表情特征提取模型的解码层，基于所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
可选的，所述微表情特征确定模块在通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征时，具体用于通过所述微表情特征提取模型的编码层，根据所述目标人脸图像的面部特征点信息将所述目标人脸图像分割成至少一个图像块；通过所述微表情特征提取模型的编码层，从每个图像块中提取特征，并将从每个图像块中提取的特征进行拼接，拼接后的特征作为所述目标图像中人脸区域的特征。
所述的微表情特征提取装置还包括：模型构建模块；
所述模型构建模块包括：训练图像获取子模块、微表情预测特征获取子模块和训练子模块；
所述训练图像获取子模块，用于获取训练图像；
所述微表情预测特征获取子模块，用于从所述训练图像中获取训练人脸图像和所述训练人脸图像中的面部特征点信息作为微表情预测特征，所述训练人脸图像为所述训练图像中人脸区域的图像；
所述训练子模块，用于通过微表情特征提取模型的编码层，根据从所述训练图像中获取的微表情预测特征，确定所述训练图像中人脸区域的特征；通过微表情特征提取模型的特征提取层，根据所述训练图像中人脸区域的特征，确定所述训练图像中人脸的面部共性特征和第一微表情特征；通过微表情特征提取模型的解码层，基于所述训练图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，并基于该第二微表情特征重建出具有微表情细节的人脸图像；计算所述具有微表情细节的人脸图像与所述训练人脸图像的误差作为损失函数，并基于所述损失函数对微表情特征提取模型的参数进行更新。
可选的，所述特征提取层包括：微表情特征提取模块和面部共性特征提取模块；
所述训练子模块在对微表情特征提取模型的参数进行更新时，将所述解码层的输出结果的梯度回传至所述编码层的输入，并分别将所述微表情特征提取模块和所述面部共性特征提取模块的输出结果的梯度回传至所述编码层的输入。
可选的，所述微表情特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述微表情特征提取模块的输出结果的梯度向前回传时的损失函数确定；
所述面部共性特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述面部共性特征提取模块的输出结果的梯度向前回传时的损失函数确定。
一种微表情特征提取设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现所述微表情特征提取方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述微表情特征提取方法的各个步骤。
从上述的技术方案可以看出，本申请提供的微表情特征提取方法、装置、设备及可读存储介质，首先获取待提取微表情特征的目标图像，然后从目标图像中获取微表情预测特征，最后根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征。本申请通过微表情特征提取模型，根据从目标图像获取的微表情预测特征可获得准确有效的微表情特征。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的微表情特征提取方法的流程示意图；
图2为本申请实施例提供的微表情特征提取模型的拓扑结构的示意图；
图3为本申请实施例提供的构建微表情特征提取模型的流程示意图；
图4为本申请实施例提供的将人脸图像基于根据面部特征点进行分割并提取特征的一示例的示意图；
图5为本申请实施例提供的微表情特征提取方法中，通过微表情特征提取模型，根据微表情预测特征，确定目标图像中人脸的目标微表情特征的流程示意图；
图6为本申请实施例提供的微表情特征提取装置的结构示意图；
图7为本申请实施例提供的微表情特征提取设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了获得有效的微表情特征提取方案，本案发明人进行了深入研究：
起初的思路是：从目标图像中检测出人脸图像，然后针对检测到的人脸图像提取面部肌肉的运动特征和特征点的运动趋势等作为微表情特征。
发明人经研究发现：通过上述方式提取的微表情特征准确度不够，提取的微表情特征准确度不够势必会影响后续进行微表情识别的准确性，并且，上述方式计算复杂、泛化能力差。
鉴于上述问题，发明人进行了深入研究，最终提出了一种效果较好的微表情特征提取方案。接下来通过下述实施例对本申请提供的微表情特征方法进行介绍。
请参阅图1，示出了本申请实施例提供的微表情特征提取方法的流程示意图，该方法可以包括：
步骤s101：获取包含人脸区域的目标图像。
其中，目标图像可以为待提取微表情特征的单幅包含人脸区域的图像，也可以为待提取微表情特征的多幅包含人脸区域的图像中的任一幅图像，还可以为待提取微表情特征的视频中的任一帧包含人脸区域的图像。待提取微表情特征的视频可以但不限为包含人脸部的真实高清监控视频，比如，可以为审讯场景下的监控视频。
步骤s102：从目标图像获取微表情预测特征。
其中，微表情预测特征为目标图像中与微表情有关的特征。
具体的，微表情预测特征可以包括目标人脸图像和目标人脸图像中的面部特征点信息。其中，目标人脸图像为目标图像中人脸区域的图像，目标人脸图像中的面部特征点可以包括：左眼、右眼、鼻子、左嘴角、右嘴角，目标人脸图像中的面部特征点信息可以为左眼、右眼、鼻子、左嘴角、右嘴角的位置信息。
步骤s103：根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征。
具体的，将微表情预测特征输入预先构建的微表情特征提取模型，获得微表情特征提取模型输出的微表情特征，作为目标图像中人脸的目标微表情特征。
在获得微表情特征后，可进一步利用微表情特征进行微表情的识别。微表情的特征提取和识别可应用于多个领域，比如，在临床医学领域，如果医生能够获知用户的微表情，就能够更好的了解用户的需求，从而确定出针对性的治疗方案，在刑侦审讯领域，如果审讯人员能够捕获犯罪嫌疑人的微表情，就能获知更多的案件侦破线索，在幼儿心理辅导领域，如果能够观察到幼儿的微表情，就能够获知幼儿的心理活动，从而更有针对性的为幼儿提供辅导方案。
本申请实施例提供的微表情特征提取方法，首先获取待提取微表情特征的目标图像，然后从目标图像中获取微表情预测特征，最后根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征。本申请实施例通过微表情特征提取模型，根据从目标图像获取的微表情预测特征可获得准确有效的微表情特征。
在本申请的另一实施例中，对上述实施例中的“步骤s102：从目标图像获取微表情预测特征”进行介绍。
需要说明的是，微表情特征的提取是建立在人脸图像准确检测的基础上的，基于此，在一种可能的实现方式中，本申请可采用预设的人脸检测算法从目标图像中获取人脸图像和人脸图像中的面部特征点信息。可选的，可采用检测精度高且开源的、基于多任务级联卷积神经网络(multi-taskconvolutionalneuralnetworks，mtcnn)的人脸检测算法从目标图像中获取微表情预测特征，当然也可使用其它的人脸检测算法，只要所使用的人脸检测算法能够从目标图像中检测出人脸图像和面部特征点信息即可。
基于mtcnn的人脸检测算法借鉴了级联检测器的思想，通过不同的卷积神经网络分类器联合训练，将人脸检测和特征点定位的任务结合在一起，具体处理过程主要是：在接收到目标图像后，将其缩放到不同尺度，形成图像金字塔，最后再经过三组级联的卷积神经网络输出检测到的人脸图像以及面部的5个主要特征点(即左眼、右眼、鼻子、左嘴角、右嘴角)信息，检测到的人脸图像以及面部特征点信息作为微表情预测特征进行后续处理。
需要说明的是，对于待提取微表情特征的视频而言，由于视频中人脸的位置变化较小且很少发生遮挡，为此，可采用预设的人脸跟踪算法结合预设的人脸检测算法从目标图像(待提取微表情特征的视频中的任一帧图像)获取微表情预测特征，以提高检测效率。
对于待提取微表情特征的视频而言，在一种可能的实现方式中，可采用高效的核相关滤波(kernelcorrelationfilter，kcf)跟踪算法同时结合基于mtcnn的人脸检测算法，从目标图像(待提取微表情特征的视频中的任一帧图像)获取微表情预测特征，具体过程包括：首先利用基于mtcnn的人脸检测算法检测待提取微表情特征的视频中的初始帧图像中的人脸图像，基于检测到的人脸图像框和初始帧图像，利用kcf跟踪算法逐帧跟踪，每跟踪一帧图像，获得该帧图像中的人脸图像和面部特征点信息。考虑到长时跟踪，跟踪结果的准确度会下降，为了保证跟踪结果的准确性，可在每跟踪预设帧时，对跟踪结果进行一次修正，比如，预设帧为10帧，则每隔10帧即对跟踪结果修正一次，具体的修正方式可以为：基于人脸检测算法(比如基于mtcnn的人脸检测算法)检测第10帧图像，用第10帧图像的检测结果修正跟踪结果。
另外，由于目标图像在采集过程中通常会受到光照、成像设备质量、感光元件等因素的影响，导致目标图像存在亮度不均匀、噪点、白平衡偏移等问题。另一方面，由于拍摄角度、距离变化，人脸区域的尺寸也有较大的变化，这些都为特征提取带来诸多干扰。为此，本申请实施例对从目标图像获取的人脸图像进行预处理，将预处理后的人脸图像作为目标人脸图像。
其中，对检测到的人脸图像进行预处理的过程可以包括：去噪、尺寸归一化和像素归一化。具体的，可采用低通滤波器去除由于采集设备所造成的图像噪声，获得去除噪声后的人脸图像；将去除噪声后的人脸图像的尺寸归一化为预设尺寸(比如128*128)，获得尺寸归一化后的人脸图像；基于预设的均值和方差对尺寸归一化后的目标人脸图像的像素值进行归一化，获得最终的目标人脸图像。其中，预设的均值和方差可以为基于训练数据集统计出的均值和方差。
在本申请的另一实施例中，对上述实施例中的“步骤s103：根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征”进行介绍。
根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征的过程可以包括：通过微表情特征提取模型，根据微表情预测特征，获取目标图像中人脸的面部共性特征和第一微表情特征，并根据目标图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，并将其作为目标图像中人脸的目标微表情特征。
其中，目标图像中人脸的面部共性特征可以包括：面部五官的位置信息、和/或面部五官的特点、和/或面部轮廓信息等，其中，面部五官的位置信息可以包括面部五官的绝对位置和相对位置，面部轮廓信息可以包括面部轮廓线条等。目标图像中人脸的第一微表情特征可以包括：面部五官相对于标准人脸图像中五官位置的偏移、面部特征点的运动趋势、面部的局部轮廓扭曲程度等。
请参阅图2，示出了预先构建的微表情特征提取模型的拓扑结构示意图，其可以包括：编码层201、特征提取层202和解码层203，其中，特征提取层可以包括微表情特征提取模块2021和面部共性特征提取模块2022。
由于目标图像的目标微表情特征基于预先构建的微表情特征提取模型获得，为了能够获得准确度较高的模型，构建性能较优的微表情特征提取模型至关重要，以下先对构建微表情特征提取模型的过程进行介绍。
请参阅图3，示出了构建微表情特征提取模型的流程示意图，可以包括：
步骤s301：获取训练图像。
具体的，从预先收集的训练样本集中获取训练图像。需要说明的是，训练样本集中的数据可以为包含人脸区域的图像数据，也可为包含人脸区域的视频数据，步骤s301获取的训练图像可以为图像数据中的一幅图像，也可为视频数据中的一帧图像。
步骤s302：从训练图像中获取训练人脸图像和训练人脸图像中的面部特征点信息作为微表情预测特征。
其中，训练人脸图像为训练图像中人脸区域的图像。
从训练图像中获取微表情预测特征的过程与上述从目标图像获取微表情预测特征的过程类似，本实施例在此不作赘述。
步骤s303：通过微表情特征提取模型的编码层，根据从训练图像中获取的微表情预测特征，确定训练图像中人脸区域的特征。
其中，编码层可以为一层，也可以为多层，每层编码层可以采用卷积神经网络中的卷积层和池化层实现，具体采用何种结构可以根据实际的应用需求确定，比如，可以采用24个卷积层和3个池化层进行级联。
编码层主要用于提取训练人脸图像的底层特征，该层的输入为训练人脸图像，将输入的训练人脸图像根据面部特征点的分布分割为一个或多个图像块(优选为分割为多个区域)，比如，如图4所示，将输入的人脸图像根据图中的标记的特征点分割为12个图像块，分别从每个图像块中提取特征，然后将从每个特征块中提取的特征进行拼接，拼接后的特征作为上述训练图像中人脸区域的特征，其为编码层的输出。
步骤s304：通过微表情特征提取模型的特征提取层，根据训练图像中人脸区域的特征，确定训练图像中人脸的面部共性特征和第一微表情特征。
具体的，通过微表情特征提取模型的微表情特征提取模块，根据训练图像中人脸区域的特征，确定训练图像中人脸的第一微表情特征，通过微表情特征提取模型的面部共性特征提取模块，根据训练图像中人脸区域的特征，确定训练图像中人脸的面部共性特征。将训练图像中人脸的第一微表情特征与训练图像中人脸的面部共性特征进行拼接，拼接后的特征作为特征提取层的输出。
其中，训练图像中人脸的第一微表情特征可以包括：面部五官的位置信息、和/或面部五官的特点、和/或面部轮廓信息等，其中，面部五官的位置信息可以包括面部五官的绝对位置和相对位置，面部轮廓信息可以包括面部轮廓线条等。训练图像中人脸的面部共性特征可以包括：面部五官相对于标准人脸图像中五官位置的偏移、面部特征点的运动趋势、面部的局部轮廓扭曲程度等。
微表情特征提取模块和面部共性特征提取模块均可采用卷积神经网络中的一层或多层卷积层和池化层级联实现，比如，可通过3个卷积层和1个下采样层级联实现。
步骤s305：通过微表情特征提取模型的解码层，基于训练图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，并基于该第二微表情特征重建出具有微表情细节的人脸图像。
需要说明的是，特征提取层只能将输入图像的面部共性特征和微表情特征分离开来，但并不能保证输入图像的所有信息都已经被编码，因此，将特征提取层的输出作为解码层的输入用来克服这个问题。
解码层主要是基于特征提取层提取的微表情特征和面部共性特征进行拼接后得到的特征重建出具有微表情细节的人脸图像，重建出的具有微表情细节的人脸图像作为解码层最终的输出结果。
解码层可以通过卷积神经网络中的一个或多个卷积层和池化层的级联实现，比如，可通过1个全连接层、24个卷积层以及3个上采样层的级联实现的。
步骤s306：计算具有微表情细节的人脸图像与训练人脸图像的误差作为损失函数，并基于该损失函数对微表情特征提取模型的参数进行更新。
在一种可能的实现方式中，可计算具有微表情细节的人脸图像与训练人脸图像的均方误差作为损失函数，使用该损失函数的目的是避免信息遗漏，使重建出的具有微表情细节的人脸图像与输入的训练人脸图像的信息更加吻合，损失函数的表达式如下：
其中，x表示整个微表情特征提取模型输入的人脸图像，
需要说明的是，本申请实施例在对微表情特征提取模型的参数进行更新时，不但将解码层的输出结果的梯度回传至编码层的输入，还分别将微表情特征提取模块和面部共性特征提取模块的输出结果的梯度回传至编码层的输入，通过不断迭代循环，直至模型收敛，完成整个模型的训练。
由于解码层输出结果的梯度向前回传时会分别经过微表情特征提取模块和面部共性特征提取模块，因此，对于微表情特征提取模块而言，其在梯度回传时的损失函数包括两部分，一部分为解码层的输出结果的梯度向前回传时的损失函数，另一部分为微表情特征提取模块的输出结果的梯度向前回传时的损失函数，具体的，微表情特征提取模块在梯度回传时的损失函数通过下式确定：
其中，λ1和λ2是常数，lx是解码层的输出结果的梯度向前回传时的损失函数，lα是微表情特征提取模块的输出结果的梯度向前回传时的损失函数，该损失函数的表达式如下：
其中，nα表示微表情特征的维度，gα是当前训练数据在其它大型微表情特征提取网络所提取到的微表情特征，将其作为该损失函数的训练标签，监督微表情特征提取模块的训练过程，从而实现微表情特征提取模块的梯度回传以便更有针对性地更新微表情特征提取模块的网络参数。
对于面部共性特征提取模块而言，其在梯度回传时的损失函数同样包括两部分，一部分为解码层的输出结果的梯度向前回传时的损失函数，另一部分为面部共性特征提取模块的输出结果的梯度向前回传时的损失函数，具体的，面部共性特征提取模块在梯度回传时的损失函数通过下式确定：
其中，λ3和λ4是常数，lx是是解码层的输出结果的梯度向前回传时的损失函数，lβ是面部共性特征提取模块输出的梯度向前回传时的损失函数，该损失函数定义如下所示：
其中，nβ是面部共性特征的维度，gβ是人脸图像的标准特征，将其作为该损失函数的训练标签，监督面部共性特征提取模块的训练过程，以便更有针对性地更新面部共性特征提取模块的网络参数，训练标签的获取方法为，获取多张当前目标人物脸部的静态图像，将这些图像依次输入采用其它大型数据集训练得到的人脸识别模型，获得人脸识别模型所提取到的面部特征作为训练标签。
经训练获得微表情特征提取模型后，便可通过该微表情特征提取模型，根据微表情预测特征确定目标图像中人脸的目标微表情特征，请参阅图5，示出了通过微表情特征提取模型，根据微表情预测特征，确定目标图像中人脸的目标微表情特征的流程示意图，可以包括：
步骤s501：通过微表情特征提取模型的编码层，根据微表情预测特征，确定目标图像中人脸区域的特征。
具体的，通过微表情特征提取模型的编码层，根据微表情预测特征，确定目标图像中人脸区域的特征的过程包括：通过微表情特征提取模型的编码层，根据目标人脸图像的面部特征点信息将目标人脸图像分割成至少一个图像块，从每个图像块中提取特征，并将从每个图像块中提取的特征进行拼接，拼接后的特征作为目标图像中人脸区域的特征。
步骤s502：通过微表情特征提取模型的特征提取层，根据目标图像中人脸区域的特征，确定目标图像中人脸的面部共性特征和第一微表情特征。
具体的，通过微表情特征提取模型的微表情特征提取模块，根据目标图像中人脸区域的特征，确定目标图像中的第一微表情特征，通过微表情特征提取模型的面部共性特征提取模块，根据目标图像中人脸区域的特征，确定目标图像中的面部共性特征。
步骤s503：通过微表情特征提取模型的解码层，基于目标图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，作为目标图像中人脸的目标微表情特征。
本申请实施例提供的微表情特征提取方法，可从目标图像获取微表情预测特征，并通过预先构建的预先构建的微表情特征提取模型，根据微表情预测特征确定目标图像中人脸的微表情特征和面部共性特征，进而根据目标图像中人脸的微表情特征和面部共性特征确定目标图像中人脸的目标微表情特征。本申请实施例提供的微表情特征提取方法，能够从目标图像中提取出比较准确的微表情特征，且该方法实现简单，泛化能力强。
本申请实施例还提供了一种微表情特征提取装置，下面对本申请实施例提供的微表情特征提取装置进行描述，下文描述的微表情特征提取装置与上文描述的微表情特征提取方法可相互对应参照。
请参阅图6，示出了本申请实施例提供的一种微表情特征提取装置的结构示意图，如图6所示，该装置可以包括：图像获取模块601、微表情预测特征获取模块602和微表情特征确定模块603。
图像获取模块601，用于获取包含人脸区域的目标图像。
其中，所述目标图像为待提取微表情特征的单幅图像，或者为待提取微表情特征的多幅图像中的任一幅图像，或者为待提取微表情特征的视频中的任一帧图像。
微表情预测特征获取模块602，用于从所述目标图像获取微表情预测特征。
其中，所述微表情预测特征为所述目标图像中与微表情有关的特征。
其中，微表情预测特征包括：目标人脸图像和所述目标人脸图像中的面部特征点信息，其中，所述目标人脸图像为所述目标图像中人脸区域的图像。
微表情特征确定模块603，用于根据所述微表情预测特征和预先构建的微表情特征提取模型，确定所述目标图像中人脸的目标微表情特征。
本申请实施例提供的微表情特征提取装置，首先获取待提取微表情特征的目标图像，然后从目标图像中获取微表情预测特征，最后根据微表情预测特征和预先构建的微表情特征提取模型，确定目标图像中人脸的目标微表情特征。本申请实施例通过微表情特征提取模型，根据从目标图像获取的微表情预测特征可获得准确有效的微表情特征。
在一种可能的实现方式中，上述实施例提供的微表情提取装置中，微表情预测特征获取模块602包括：特征获取子模块和图像预处理子模块。
所述特征获取子模块，用于通过预设的人脸检测算法，或者，通过预设的人脸跟踪算法结合预设的人脸检测算法，从所述目标图像中获取人脸图像和该人脸图像中的面部特征点信息。
所述图像预处理子模块，用于对所述人脸图像进行预处理，预处理后的人脸图像作为所述目标人脸图像，所述目标人脸图像和所述面部特征点信息作为所述微表情预测特征。
在一种可能的实现方式中，上述实施例提供的微表情提取装置中，微表情特征确定模块603，具体用于通过所述微表情特征提取模型，根据所述微表情预测特征，获取所述目标图像中人脸的面部共性特征和第一微表情特征，并根据所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
在一种可能的实现方式中，上述实施例中，所述目标图像中人脸的面部共性特征包括：面部五官的位置信息、和/或面部五官的特点、和/或面部轮廓信息；所述目标图像中人脸的第一微表情特征包括：面部五官相对于标准人脸图像中五官位置的偏移、和/或面部特征点的运动趋势、和/或面部的局部轮廓扭曲程度。
在一种可能的实现方式中，上述实施例提供的微表情提取装置中，微表情特征确定模块603，具体用于通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征；通过所述微表情特征提取模型的特征提取层，根据所述目标图像中人脸区域的特征，确定所述目标图像中人脸的面部共性特征和第一微表情特征；通过所述微表情特征提取模型的解码层，基于所述目标图像中人脸的面部共性特征和第一微表情特征，确定第二微表情特征作为所述目标图像中人脸的目标微表情特征。
在一种可能的实现方式中，微表情特征确定模块603在通过所述微表情特征提取模型的编码层，根据所述微表情预测特征，确定所述目标图像中人脸区域的特征时，具体用于通过所述微表情特征提取模型的编码层，根据所述目标人脸图像的面部特征点信息将所述目标人脸图像分割成至少一个图像块；通过所述微表情特征提取模型的编码层，从每个图像块中提取特征，并将从每个图像块中提取的特征进行拼接，拼接后的特征作为所述目标图像中人脸区域的特征。
上述实施例提供的微表情提取装置还包括：模型构建模块。
所述模型构建模块可以包括：训练图像获取子模块、微表情预测特征获取子模块和训练子模块。
所述训练图像获取子模块，用于获取训练图像；
所述微表情预测特征获取子模块，用于从所述训练图像中获取训练人脸图像和所述训练人脸图像中的面部特征点信息作为微表情预测特征，所述训练人脸图像为所述训练图像中人脸区域的图像；
所述训练子模块，用于通过微表情特征提取模型的编码层，根据从所述训练图像中获取的微表情预测特征，确定所述训练图像中人脸区域的特征；通过微表情特征提取模型的特征提取层，根据所述训练图像中人脸区域的特征，确定所述训练图像中人脸的面部共性特征和第一微表情特征；通过微表情特征提取模型的解码层，基于所述训练图像中人脸的面部共性特征和第一微表情特征确定第二微表情特征，并基于该第二微表情特征重建出具有微表情细节的人脸图像；计算所述具有微表情细节的人脸图像与所述训练人脸图像的误差作为损失函数，并基于所述损失函数对微表情特征提取模型的参数进行更新。
在一种可能的实现方式中，微表情特征提取模型的特征提取层包括：微表情特征提取模块和面部共性特征提取模块。
所述训练子模块在对微表情特征提取模型的参数进行更新时，将所述解码层的输出结果的梯度回传至所述编码层的输入，并分别将所述微表情特征提取模块和所述面部共性特征提取模块的输出结果的梯度回传至所述编码层的输入。
在一种可能的实现方式中，所述微表情特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述微表情特征提取模块的输出结果的梯度向前回传时的损失函数确定；
所述面部共性特征提取模块在梯度回传时的损失函数，通过所述解码层的输出结果的梯度向前回传时的损失函数和所述面部共性特征提取模块的输出结果的梯度向前回传时的损失函数确定。
本申请实施例还提供了一种微表情特征提取设备，请参阅图6，示出了该微表情特征提取设备的结构示意图，该设备可以包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604；
在本申请实施例中，处理器601、通信接口602、存储器603、通信总线604的数量为至少一个，且处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信；
处理器601可能是一个中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器603可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取包含人脸区域的目标图像，其中，所述目标图像为待提取微表情特征的单幅图像，或者为待提取微表情特征的多幅图像中的任一幅图像，或者为待提取微表情特征的视频中的任一帧图像；
从所述目标图像获取微表情预测特征，其中，所述微表情预测特征为所述目标图像中与微表情有关的特征；
根据所述微表情预测特征和预先构建的微表情特征提取模型，确定所述目标图像中人脸的目标微表情特征。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取包含人脸区域的目标图像，其中，所述目标图像为待提取微表情特征的单幅图像，或者为待提取微表情特征的多幅图像中的任一幅图像，或者为待提取微表情特征的视频中的任一帧图像；
从所述目标图像获取微表情预测特征，其中，所述微表情预测特征为所述目标图像中与微表情有关的特征；
根据所述微表情预测特征和预先构建的微表情特征提取模型，确定所述目标图像中人脸的目标微表情特征。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 还没有人留言评论。精彩留言会获得点赞！