多特征融合的人脸关键点检测方法及装置与流程
本发明涉及图像处理技术领域，尤其是涉及一种多特征融合的人脸关键点检测方法及装置。
背景技术：
人脸关键点检测任务就是根据输入的人脸图像，自动运用算法检测出面部的特征点位置，如眼睛、脸部轮廓、嘴巴、眉毛和鼻尖等。该项技术应用方面十分广泛，比如人脸识别、人脸表情识别和面部动作捕捉等方面。随着深度学习技术的飞速发展，基于深度神经网络的人脸关键点检测方法相比较于传统的人脸关键点检测方法已经展现出了巨大的优势，主要原因就是大量训练数据集的开放和深度神经网络对于大规模训练数据中蕴含的特征具有很强的提取和拟合能力。现有的人脸关键点检测方法虽然在人脸关键点检测任务上都取得了一定的效果，但是也给模型留下了一定的提升空间，其检测结果的准确率仍需提高。目前，对于如何提高人脸关键点检测的准确率，尚未提出有更好的解决方案。
技术实现要素：
本发明提供了一种多特征融合的人脸关键点检测方法及装置，以使人脸关键点检测的准确率得到提升。
第一方面，本发明实施例提供了一种多特征融合的人脸关键点检测方法，该方法包括：获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征；所述第一关键点为对所述目标图像进行初步检测得到的关键点；根据所述标准化图像、所述人脸热图特征和所述第一卷积特征生成第二卷积特征；基于所述第二卷积特征和所述第一关键点生成人脸结构特征；所述人脸结构特征中包括对称和/或相似的人脸信息；对所述第二卷积特征和所述人脸结构特征进行融合，并根据融合结果更新所述第一关键点，得到第二关键点；若所述第二关键点的准确度和计算复杂度满足预设标准，则将所述第二关键点作为目标人脸关键点。
第二方面，本发明实施例还提供一种多特征融合的人脸关键点检测装置，该装置包括：获取模块，用于获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征；所述第一关键点为对所述目标图像进行初步检测得到的关键点；特征模块，用于根据所述标准化图像、所述人脸热图特征和所述第一卷积特征生成第二卷积特征，并基于所述第二卷积特征和所述第一关键点生成人脸结构特征；所述人脸结构特征中包括对称和/或相似的人脸特信息；融合模块，用于对所述第二卷积特征和所述人脸结构特征进行融合，并根据融合结果更新所述第一关键点，得到第二关键点；目标模块，用于若所述第二关键点的准确度和计算复杂度满足预设标准，则将所述第二关键点作为目标人脸关键点。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多特征融合的人脸关键点检测方法。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述多特征融合的人脸关键点检测方法。
本发明实施例带来了以下有益效果：本发明实施例提供了一种多特征融合的人脸关键点检测方法及装置，该方法首先获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征，其中，第一关键点为对目标图像进行初步检测得到的关键点，由于第一关键点准确度较低，根据标准化图像、人脸热图特征和第一卷积特征生成第二卷积特征，以基于第二卷积特征和第一关键点得到包括对称和/或相似的人脸结构信息，从而，将第二卷积特征和人脸结构特征进行融合，继而，根据融合结果更新第一关键点，得到第二关键点，若第二关键点的准确度和计算复杂度满足预设标准，则将第二关键点作为目标人脸关键点。本发明实施例通过生成人脸结构特征，将人脸结构的对称和/或相似的信息加入到人脸关键点识别的过程中，通过将人脸结构特征与第二卷积特征等多维度特征进行融合，利用人脸的对称和/或相似的特征，对卷积特征进行丰富，进而对第一关键点进行更新，实现对人脸关键点检测的准确率的提升。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多特征融合的人脸关键点检测方法流程图；
图2为本发明实施例提供的多阶段级联多特征融合人脸关键点检测模型的构建方法流程示意图；
图3为本发明实施例提供的多阶段级联多特征融合的人脸关键点检测模型网络结构示意图；
图4为本发明实施例提供的多特征转换模块结构示意图；
图5为本发明实施例提供的各回归阶段的前向传播模块网络结构示意图；
图6为本发明实施例提供的人脸结构特征提取实现过程示意图；
图7为本发明实施例提供的关键点预测效果示意图；
图8为本发明实施例提供的多特征融合的人脸关键点检测装置结构框图；
图9为本发明实施例提供的电子设备结构示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，基于深度学习的人脸关键点检测算法大多都是对输入图像的全局表观特征进行一系列计算和处理实现的，还有部分模型方法是提取人脸多个局部区域的特征再分别进行关键点检测最后得到整张人脸图像的关键点位置，这些方法都没有特别考虑到人脸各部位间的结构化信息，而人脸图像是非常结构化的，同一张人脸图像的不同位置部分之间具有对称和相似等特征，为了表征这一信息，借用了前人的思想，将两两关键点对应的人脸局部特征对之间的结构关系加入到模型的训练中，以此来优化模型性能，并且结合人脸图像全局表观特征和深度对齐网络(deepalignmentnetwork)模型中提出的热图特征实现多特征融合的级联回归人脸关键点检测算法。
基于此，本发明实施例提供的一种多特征融合的人脸关键点检测方法及装置，可以通过考虑人脸的结构化特征，并融合多维度的特征进行人脸关键点检测，以提高人脸关键点检测的准确性。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种多特征融合的人脸关键点检测方法进行详细介绍。
本发明实施例提供了一种多特征融合的人脸关键点检测方法，在执行人脸关键点检测方法之前，可以使用人脸检测算法对原始图像中的人脸进行检测，原始图像中可以包括一个或多个人脸，可以对每个人脸生成一个检测框。本发明实施例基于得到的检测框中的人脸进行人脸关键点检测。
需要说明的是，本发明实施例通过级联回归的方法来实现人脸关键点检测，在级联回归的第一阶段，可以基于传统的残差网络模型对检测框输出一组关键点，即得到第一关键点，基于第一关键点，本发明实施例继续进行人脸关键点检测。
参见图1所示的多特征融合的人脸关键点检测方法流程图，该方法包括以下步骤:
步骤s102，获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征。
在本发明实施例中，目标图像是被检测框包围的包括人脸的图像。第一关键点是目标图像中人脸上的点，例如眼睛、脸部轮廓、嘴巴、眉毛和鼻尖等部位的多个点，获取第一关键点的坐标信息。标准化图像预先是对目标图像按照预设标准进行处理得到的标准化图像。相对于目标图像，标准化图像中的人脸姿态更加端正，有利于得到更好的关键点检测结果。人脸热图特征是预先基于第一关键点得到的人脸特征信息。第一卷积特征是预先使用人工神经网络对目标图像进行卷积特征提取得到的。
需要说明的是，本发明实施例需要预先在目标图像中选择初始点，例如，初始点可以为目标图像正中间的点。可以预设初始点的个数，例如，可以设置为68个。可以预先根据现有算法对关键点进行初步检测以更新初始点，而第一关键点坐标是通过人脸标准化处理函数对更新后的初始点进行标准化转换得到的。为了能够获得更佳的效果，可以运用旋转、平移、镜像和缩放等数据增强技术对原始训练数据集进行处理扩充从而得到更多的训练数据对模型进行训练，提升模型效果。
进一步需要说明的是，在对目标图像进行标准化处理时，与标准化处理第一关键点时使用相同的规则及参数。
步骤s104，根据标准化图像、人脸热图特征和第一卷积特征生成第二卷积特征，并基于第二卷积特征和第一关键点生成人脸结构特征。
在本发明实施例中，人脸结构特征是根据第一关键点得到的可以用于描述人脸对称和/或相似信息的人脸特征，人脸结构特征是包括两两关键点对应的人脸局部图像对的结构特征。
在本发明实施例中，第一卷积特征在对目标图像进行初步检测阶段生成，基于上一阶段生成的第一卷积特征生成第二卷积特征可以使将上一阶段的全局特征传递至本阶段。人脸热图特征是根据第一关键点确定的用于反映关键点大致位置的坐标热图特征。基于上述不同维度的人脸特征，得到第二卷积特征，再基于第二卷积特征提取人脸结构特征，可以使人脸特征更加准确。
步骤s106，对第二卷积特征和人脸结构特征进行融合，并根据融合结果更新第一关键点，得到第二关键点。
融合是指将第二卷积特征和人脸结构特征共同考虑，作为下一个神经网络层的输入。融合结果是指通过神经网络层对融合后的人脸特征进行回归，得到的关键点位置偏移量结果，该结果是计算出新的关键点坐标位移量，可根据该结果调整第一关键点中各个点的坐标值，以得到第二关键点，其中，第二关键点即为本阶段神经网络的输出。
需要说明的是，第二卷积特征是经过优化的全局特征，人脸结构特征是考虑了人脸对称或相似特点的局部特征，将二者进行融合，可以用于实现对第一关键点检测结果准确度的提升。
步骤s108，若第二关键点的准确度和计算复杂度满足预设标准，则将第二关键点作为目标人脸关键点。
在本发明实施例中，在得到第二关键点之后，判断第二关键点的准确度是否高于预设标准，预设标准可以是指定的值，另外，还应判断得到第二关键点的计算复杂度是否低于预设标准，预设标准可以是指定的另外的值，如果二者同时满足，则将第二关键点作为目标人脸关键点，如果二者不能同时满足，可以将第二关键点作为第一关键点，重新执行步骤s102～步骤s108，以进行本阶段关键点的优化，直到得到满足预设标准的目标人脸关键点。参见图7所示的关键点预测效果示意图，该图显示了满足预设标准的一组目标人脸关键点。
本发明实施例提供了一种多特征融合的人脸关键点检测方法，该方法首先获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征，其中，第一关键点为对目标图像进行初步检测得到的关键点，由于第一关键点准确度较低，根据标准化图像、人脸热图特征和第一卷积特征生成第二卷积特征，以基于第二卷积特征和第一关键点得到包括对称和/或相似的人脸信息，从而，将第二卷积特征和人脸结构特征进行融合，继而，根据融合结果更新第一关键点，得到第二关键点，若第二关键点的准确度和计算复杂度满足预设标准，则将第二关键点作为目标人脸关键点。本发明实施例通过生成人脸结构特征，将人脸结构的对称和/或相似的信息加入到人脸关键点识别的过程中，通过将人脸结构特征与第二卷积特征等多维度特征进行融合，利用人脸的对称和/或相似的特征，对卷积特征进行丰富，进而对第一关键点进行更新，实现对人脸关键点检测准确率的提升。
考虑到人脸图像是非常结构化的，同一张人脸图像的不同位置部分之间具有对称和相似等特征，为了在人脸关键点检测过程中使用这种结构化的特征，需要对人脸结构特征进行提取，在得到第一关键点之后，可以基于第一关键点确定目标图像的人脸结构特征，参见图6所示的人脸结构特征提取实现过程示意图，确认目标图像的人脸结构特征具体包括以下步骤：
(1)根据第一关键点确定第二卷积特征中的多个人脸局部特征向量。
根据第一关键点的关键点坐标信息，利用特征映射(regionofinterest，roi)可以获取到各个第一关键点对应的第二卷积特征中的人脸局部特征向量，参见图6，其中，最左边的重叠图像表示人脸图像的第二卷积特征示意图，多张卷积特征示意图表示对应的通道数为多个。当第一关键点中包括n个关键点坐标时，可以将与n个关键点坐标对应的人脸局部特征向量表示为f1＝{f1，f2，…fn}，其中，f为1×m维的向量，m表示图像的通道数，例如，m可以取值为256。
(2)对人脸局部特征向量进行两两连接，得到多个结构向量。
使用连接函数对人脸局部特征向量f1＝{f1，f2，…fn}中个关键点坐标对应的特征向量进行两两组合，可以表示为cat(fi，fj)，其中，fi，fj分别表示的是第i，j个人脸关键点对应的人脸局部特征向量，cat()函数表示连接操作。
需要说明的是，可以通过cat()函数对任意两个关键点对应的人脸局部特征向量进行拼接，例如，人脸左眼上的一个关键点和右嘴角的一个关键点。
进一步需要说明的是，在本发明实施例中，当人脸左眼上的一个关键点对应的人脸局部特征向量为“010101”，右眼上的一个关键点对应的人脸局部特征向量为“101010”，那么将上述两个向量进行连接，可以得到的结构向量为“010101101010”，通过识别连接向量即可识别出人脸的相似或对称信息。
(3)将多个结构向量进行组合，并对组合结果进行归一化处理，得到归一化向量。
将得到的所有连接向量组合到一起，作为整张人脸的结构特征向量，对该整张人脸的结构特征向量进行归一化处理，可以表示为a(cat(fi，fj))，其中a()表示表示归一化操作，得到归一化向量。
(4)对归一化向量进行特征提取，得到目标图像的人脸结构特征。
可以将归一化向量作为神经网络全连接层的输入，通过神经网络的全连接层对该向量进行特征提取，将提取结果作为目标图像的人脸结构特征。可以表示为pr(i)＝fφ(a(cat(fi，fj)))，其中函数fφ()表示使用全连接层进行特征提取操作。
为了保证在每个回归阶段都可以生成更准确的全局特征，根据标准化图像、人脸热图特征和第一卷积特征生成第二卷积特征，包括：对标准化图像、人脸热图特征和第一卷积特征进行特征融合，得到融合图像特征；对融合图像特征进行卷积处理，得到第二卷积特征。
在本发明实施例中，由于标准化图像、人脸热图特征和第一卷积特征都是以矩阵形式表示的，例如：标准化图像为a×n1维的矩阵，人脸热图特征为a×n2维的矩阵，第一卷积特征为a×n3维的矩阵，对上述特征进行特征融合得到的融合图像可以表示为a×(n1+n2+n3)维。将得到的融合图像特征作为神经网络层的输入，以进行卷积处理，可以得到第二卷积特征。
需要说明的是，第一卷积特征用于上一阶段人脸关键点坐标偏移量的计算，以得到目标图像的第一关键点，第二卷积特征用于本阶段人脸关键点坐标偏移量的计算，以得到对应本阶段的第二关键点。
为了结合多维度的特征对已经得到的人脸关键点进行融合优化，以得到更加准确的人脸关键点检测结果，本发明实施例中对第二卷积特征和人脸结构特征进行融合，并根据融合结果更新第一关键点，得到第二关键点具体包括以下步骤：
(1)根据第二卷积特征和人脸结构特征，利用目标神经网络层计算关键点偏移量。
将第二卷积特征与人脸结构特征进行融合，具体融合方法可以参考融合图像的生成方法，在此不再赘述。目标神经网络层可以是指目标神经网络的全连接层。将融合后的特征作为目标神经网络全连接层的输入，经目标神经网络全连接层回归生成关键点偏移量，关键点偏移量是关键点位置坐标的偏移量，用于表示关键点位置坐标的移动。需要说明的是，目标神经网络可以使用如vgg网络(visualgeometrygroupnetwork)，残差网络(residualnetworks，resnets)等不同结构的网络模型。
(2)根据关键点偏移量更新第一关键点以得到第二关键点。
将第一关键点记为t2(s1)，将偏移量记为δs2，则根据关键点偏移量更新第一关键点可以得到第二关键点为t2(s1)+δs2，其中，第二关键点是本阶段的人脸关键点检测结果。
考虑到为了将上一阶段的人脸关键点信息传递到本阶段，以便于融合上一阶段的特征以生成人脸关键点检测结果，有利于提高人脸关键点检测的准确度。获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征之前，还包括以下步骤：
根据第一关键点按照预设规则生成热图值，将热图值作为目标图像的人脸热图特征。
预设规则是指关键点与热图值的对应规则，预设规则可以预先设置，例如，可以将预设规则设置为按照以下公式生成热图值：
由于目标图像中的人脸可能处于多种角度，为了获得正面端正的人脸图像，以提升人脸关键点检测的识别效果，需要对相关数据进行标准化转换，因此，为了保证获取到的第一关键点为标准化关键点，该方法在获取目标图像的第一关键点之前还包括以下步骤:
(1)根据目标图像的第一卷积特征对初始关键点进行更新得到第一原始关键点；
初始关键点是在目标图像中初始化得到的点，可以在目标图像中随机选择多个点作为初始关键点，也可以指定目标图像中的多个点作为初始关键点，例如，指定目标图像中心处的多个点作为初始关键点，将初始关键点记为s0。根据目标图像的第一卷积特征可以得到相对于初始关键点的位置偏移量，记为δs1，可以根据以下公式得到第一原始关键点s1＝s0+δs1，其中s1表示第一原始关键点。
(2)对第一原始关键点进行标准化转换，得到第一关键点。
根据转换函数对第一原始关键点进行标准化转化，得到第一关键点：t2(s1)＝t2(s0+δs1，)其中t2(s1)表示第一关键点，t2()表示人脸图像转换成标准姿态的转换函数，转换函数的转换规则及转换参数可以按照实际需求进行设定，本发明实施例不作具体限定。
由于基于第一关键点得到的目标关键点是标准化的关键点，为了得到与原始目标图像对应的关键点，该方法还包括将目标关键点进行逆标准化的步骤，具体为：
对目标人脸关键点进行逆标准化转换，得到原始人脸关键点。
可以按照如下公式进行逆标准化转换：st＝tt-1(tt(st-1)+δst)，其中，t表示的是第t个回归阶段，δst代表的是该阶段网络输出的关键点位置偏移量，t()表示的是人脸图像转换成标准姿态的转换函数，t-1()表示的是标准姿态转换的逆变换，st表示的是原始人脸关键点。
需要说明的是，原始人脸关键点是本阶段得到的原始图像上实际人脸关键点坐标。
需要说明的是，为了优化最终的关键点检测效果，可以在每一阶段检测后，根据该阶段生成的关键点调整标准姿态转换函数的参数值，相应的，标准姿态转换的逆变换也需要调整相关参数值，从而实现对标准姿态转换函数的迭代更新。
本发明实施例提供了一种多特征融合的人脸关键点检测方法及装置，参见图3所示的多阶段级联多特征融合的人脸关键点检测模型网络结构示意图，本发明实施例可以预先基于第一回归阶段生成的第一关键点得到用于第二阶段的标准化图像、人脸热图特征和第一卷积特征，基于上述特征，生成第二卷积特征，再基于第二卷积特征和第一关键点得到人脸结构特征，以根据人脸结构特征和第二卷积特征的融合特征计算出新的人脸关键点位置偏移量更新人脸关键点位置得到第二关键点。第二关键点作为第二阶段的输出，判断第二关键点是否满足预设标准，如果满足，第二阶段作为最后一个回归阶段，第二关键点作为目标人脸关键点，完成人脸对齐任务，如果不满足，将第二关键点作为第一关键点，再基于第二关键点生成新的标准化图像、新的人脸热图特征，将第二卷积特征作为第一卷积特征，进行下一阶段的回归，直至得到目标检测结果。本发明实施例在考虑人脸结构特征的基础上，通过对多维度人脸特征的融合，得到阶段性关键点，再对各阶段得到的关键点进行级联优化，得到最终的检测结果，提高了人脸关键点检测的准确性。
需要说明的是，为了实现本发明实施例的人脸关键点检测方法，可以按照如图2所示的多阶段级联多特征融合人脸关键点检测模型的构建方法流程示意图构建人脸关键点检测模型。具体包括以下步骤：
s1，基于传统的残差网络模型结构构建各阶段人脸关键点回归网络的前向传播模块，然后将该模块输出的人脸关键点坐标点作为各阶段多特征转换模块的输入，形成单阶段中多特征融合的人脸关键点检测模型，通过级联的连接方式形成最终的多阶段人脸关键点检测模型。
s2，获取指定数量的包含人脸及其对应人脸关键点标注的数字图像(例如可以根据需要从国际人脸关键点检测比赛中用到的300w公开测试数据集中获取一定数量的人脸数字图像)，将其作为训练数据集，并利用该训练数据集对s1中形成的级联多特征融合的人脸关键点检测模型进行训练，得到训练好的可用于人脸关键点检测的级联多特征融合的人脸关键点检测模型。
s3，获取指定数量的包含人脸及其对应人脸关键点标注的数字图像中根据需要获取一定数量的人脸数字图像，并扣取图片中的人脸图像并重新定义大小后作为测试数据集。利用测试数据集对训练后的级联多特征融合的人脸关键点检测模型进行测试，以获取符合指定标准的级联多特征融合的人脸关键点检测模型。
s4，判断测试结果是否符合指定标准；
其中，若测试结果不符合指定标准则，返回执行指定步骤s1中的迭代训练；
若测试结果符合指定标准，则执行s5，保存训练后的级联多特征融合的人脸关键点检测模型以用于人脸检测。其中的制定标准包括：检测的准确度高于一指定的值，以及检测时计算的复杂度低于一指定的值。
整个模型是由多个回归阶段组成的，每个阶段包含一个前向传播模块(feedforwadnn)和一个多特征转化模块(transformmodule)。其中，前向传播模块主要通过卷积层(feedforwadconv)实现人脸图像深度特征的提取，前向传播模块还可以根据融合、拼接后的特征实现人脸关键点坐标偏移量的计算。多特征转化模块的功能则是为下一个阶段生成神经网络需要的输入人脸特征信息。
模型第一个回归阶段的输入为人脸图像i和初始关键点位置坐标s0，而s0可以初始化在人脸检测框(boundingbox)的正中间。模型第一阶段可以用于生成本发明实施例中的第一关键点。除了第一个阶段，模型的其他阶段都有四个特征数据输入：转换成标准姿势形态的人脸图像t(i)、对应于关键点的人脸热力图h、两两关键点对应的局部人脸特征对关系特征p和上一阶段神经网络提取的人脸全局特征f。模型每一个阶段可以输出关键点位置坐标的偏移量，由于每个阶段开始之前都对图像进行了标准姿势形态的转化，所以每阶段计算得到的关键点位置都要经过标准化转换的逆变换才能得到原始人脸图像上的关键点位置。
参见图5所示的各回归阶段的前向传播模块网络结构示意图，网络中每一层都采用了批归一化操作来加快模型收敛速度，网络采用relu(rectifiedlinearunit,线性整流函数)函数作为激活函数。每个阶段的网络结构中在第一全连接层之前采用了随机失活(dropout层)来防止模型过拟合。
多特征转换模块由1个参数求解函数和5个特征转换函数构成，参见图4所示的多特征转换模块结构示意图，该模块具体包括：图中特征参数求解(transformestimation)函数实现的是图像标准化变换函数的参数求解，也就是上文中函数t()的参数求解，且tt+1-1＝m-1×st，其中st表示的是原人脸图像中的关键点坐标，m表示的是标准化处理之后的关键点坐标，t()就是标准化处理的函数。图像标准化(imagetransform)函数实现的是人脸图像姿态的标准化转换，每次计算得到的关键点位置都要经过标准化转换的逆变换才能得到原始人脸图像上的关键点位置。坐标转化(landmarktransform)函数实现的是标准化人脸图像上关键点坐标到原人脸图像上的关键点坐标转化，转化公式为：tt(st-1)。生成热图特征函数(heatmapgeneration)函数实现的是根据关键点预测生成对应的热图特征。生成全局特征函数(globalfeaturegeneration)函数实现的是人脸全局特征的获取，具体的，例如，可以是根据上个阶段网络中第一个全连接层提取到的人脸一维特征重新上采样为56×56的二维特征矩阵，然后再上采样为112×112的特征矩阵作为人脸全局特征参与人脸关键点检测任务。关键点对特征(pairwisefeaturegeneration)函数实现的是两两关键点对应的人脸局部图像对之间的结构特征提取。
本发明实施例还提供一种多特征融合的人脸关键点检测装置，参见图8所示的多特征融合的人脸关键点检测装置结构框图，该装置包括：
获取模块81，用于获取目标图像的第一关键点、标准化图像、人脸热图特征和第一卷积特征；第一关键点为对目标图像进行初步检测得到的关键点；特征模块82，用于根据标准化图像、人脸热图特征和第一卷积特征生成第二卷积特征，并基于第二卷积特征和第一关键点生成人脸结构特征；人脸结构特征中包括对称和/或相似的人脸信息；融合模块83，用于对第二卷积特征和人脸结构特征进行融合，并根据融合结果更新第一关键点，得到第二关键点；目标模块84，用于若第二关键点的准确度和计算复杂度满足预设标准，则将第二关键点作为目标人脸关键点。
特征模块，具体用于根据第一关键点确定第二卷积特征中的多个人脸局部特征向量；对人脸局部特征向量进行两两连接，得到多个结构向量；将多个结构进行组合，并对组合结果进行归一化处理，得到归一化向量；对归一化向量进行特征提取，得到人脸结构特征。
特征模块，还用于对标准化图像、人脸热图特征和第一卷积特征进行特征融合，得到融合图像特征；对融合图像特征进行卷积处理，得到第二卷积特征。
融合模块，具体用于根据第二卷积特征和人脸结构特征，利用目标神经网络层计算关键点偏移量；根据关键点偏移量更新第一关键点以得到第二关键点。
该装置还包括预处理模块，具体用于根据第一关键点按照预设规则生成热图值，并将热图值作为目标图像的人脸热图特征。
预处理模块，还用于根据目标图像的第一卷积特征对初始关键点进行更新得到第一原始关键点；按照预设规则对第一原始关键点进行标准化转换，得到第一关键点。
该装置还包括逆标准化模块，用于对目标人脸关键点进行逆标准化转换，得到原始人脸关键点。
本发明实施例还提供一种电子设备，参见图9所示的电子设备结构示意框图，该电子设备包括存储器91、处理器92，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种方法的步骤。
本发明实施例提供的电子设备，与上述实施例提供的多特征融合的人脸关键点检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述任一种方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！