一种人脸关键点的检测方法、装置、电子设备及存储介质与流程

本申请涉及图像处理技术领域，尤其涉及一种人脸关键点的检测方法、装置、电子设备及存储介质。

背景技术：

随着图像技术的发展和应用，越来越多的图像检测方法应运而生，人脸检测便是其中一种应用，根据采集到的人脸图像，对图像中的人脸进行识别、比对，从而对图像中的人物进行识别。

现阶段，在人脸图像识别的过程中，可能会由于采集机器的问题以及被采集人员的面部遮挡、自然光照等原因，导致在采集到的人脸图像模糊不清甚至无法完整的呈现全部人脸特征的同时，还会在人脸识别过程中重复识别人脸之外的干扰信息，从而影响基于采集到的信息对人脸进行识别的准确性。

技术实现要素：

有鉴于此，本申请实施例至少提供一种人脸关键点的检测方法、装置、电子设备及存储介质，可以提高人脸关键点检测的效率以及准确率。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供一种人脸关键点的检测方法，所述检测方法包括：

获取目标人脸图像；

将所述目标人脸图像输入特征提取网络，得到人脸特征图像；

将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像。

在一种可能的实施方式中，所述沙漏网络由顺序连接的至少两个子沙漏网络组成，每个子沙漏网络均包括顺序连接的滤波层和采样层；所述将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像，包括：

将所述人脸特征图像输入到首个子沙漏网络，得到第一中间关键点图像；

将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，若还存在下一个子沙漏网络，则将第二中间关键点图像作为第一关键点图像，并重新执行步骤将第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像；若不存在下一个子沙漏网络，则将最后一次得到的第二中间关键点图像作为带有关键点的所述目标人脸图像输出。

在一种可能的实施方式中，所述采样层包括上采样层和下采样层，所述将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，包括：

将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像；

将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第二中间关键点图像。

在一种可能的实施方式中，所述将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像，包括：

针对所述第一中间关键点图像中的每个像素点，使用该像素点的像素值和参考像素点的像素值的加权求和结果作为参考像素值；

针对每个像素点，使用该像素点的参考像素值替换该像素点的原像素值，以得到滤波后的第一中间关键点图像。

在一种可能的实施方式中，所述将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像，包括：

确定的图像缩小处理中最后一次图像缩小处理的感受野；

基于所述感受野以及所述第一中间关键点图像，确定所述缩小图像。

在一种可能的实施方式中，通过以下步骤确定所述感受野：

获取对滤波后的第一中间关键点图像进行每次图像缩小处理时，对所述第一中间关键点图像进行缩小处理的步长和卷积核大小；

基于每次缩小处理的步长和卷积核大小，确定每次图像缩小处理的感受野。

在一种可能的实施方式中，通过以下公式确定每次图像缩小处理的感受野：

rfi＝(rfi+1-1)×stridei+ksizei；

其中，所述rfi为第i次卷积时的感受野，rfi+1为第i+1次卷积时的感受野，stridei为第i次缩小处理的步长，ksizei为第i次缩小处理的卷积核，i为大于0的正整数。

在一种可能的实施方式中，每个子沙漏网还包括特征提取层，所述采样层包括上采样层和下采样层，所述将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，包括：

将所述第一中间关键点图像输入至所述滤波层和所述下采样层进行滤波和图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第三中间关键点图像；

将所述第三中间关键点图像输入至所述特征提取层，得到第二中间关键点图像。

第二方面，本申请实施例还提供一种人脸关键点的检测装置，所述检测装置包括：

获取模块，用于获取目标人脸图像；

第一确定模块，用于将所述目标人脸图像输入特征提取网络，得到人脸特征图像；

第二确定模块，用于将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像。

在一种可能的实施方式中，所述沙漏网络由顺序连接的至少两个子沙漏网络组成，每个子沙漏网络均包括顺序连接的滤波层和采样层；所述第二确定模块包括：

第一确定单元，用于将所述人脸特征图像输入到首个子沙漏网络，得到第一中间关键点图像；

第二确定单元，用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，若还存在下一个子沙漏网络，则将第二中间关键点图像作为第一关键点图像，并重新执行步骤将第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像；若不存在下一个子沙漏网络，则将最后一次得到的第二中间关键点图像作为带有关键点的所述目标人脸图像输出。

在一种可能的实施方式中，所述采样层包括上采样层和下采样层，所述第二确定单元在用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像时，所述第二确定单元用于：

将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像；

将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第二中间关键点图像。

在一种可能的实施方式中，所述第二确定单元在用于将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像时，所述第二确定单元用于：

针对所述第一中间关键点图像中的每个像素点，使用该像素点的像素值和参考像素点的像素值的加权求和结果作为参考像素值；

针对每个像素点，使用该像素点的参考像素值替换该像素点的原像素值，以得到滤波后的第一中间关键点图像。

在一种可能的实施方式中，所述第二确定单元在用于将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像时，所述第二确定单元用于：

确定的图像缩小处理中最后一次图像缩小处理的感受野；

基于所述感受野以及所述第一中间关键点图像，确定所述缩小图像。

在一种可能的实施方式中，所述第二确定单元用于通过以下步骤确定所述感受野：

获取对滤波后的第一中间关键点图像进行每次图像缩小处理时，对所述第一中间关键点图像进行缩小处理的步长和卷积核大小；

基于每次缩小处理的步长和卷积核大小，确定每次图像缩小处理的感受野。

在一种可能的实施方式中，所述第二确定单元用于通过以下公式确定每次图像缩小处理的感受野：

rfi＝(rfi+1-1)×stridei+ksizei；

其中，所述rfi为第i次卷积时的感受野，rfi+1为第i+1次卷积时的感受野，stridei为第i次缩小处理的步长，ksizei为第i次缩小处理的卷积核，i为大于0的正整数。

在一种可能的实施方式中，每个子沙漏网还包括特征提取层，所述采样层包括上采样层和下采样层，所述第二确定单元在用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像时，所述第二确定单元用于：

将所述第一中间关键点图像输入至所述滤波层和所述下采样层进行滤波和图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第三中间关键点图像；

将所述第三中间关键点图像输入至所述特征提取层，得到第二中间关键点图像。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的人脸关键点的检测方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的人脸关键点的检测方法的步骤。

本申请实施例中，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层特征提取相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种人脸关键点的检测方法的流程图；

图2示出了得到带有关键点的所述目标人脸图像的方法流程图；

图3示出了本申请实施例提供的一种人脸关键点的检测装置的功能模块图；

图4示出了图3中第二确定模块的功能模块图；

图5示出了本申请实施例提供的一种电子设备的结构示意图。

主要元件符号说明：

图中：300-人脸关键点的检测装置；310-获取模块；320-第一确定模块；330-第二确定模块；331-第一确定单元；332-第二确定单元；500-电子设备；510-处理器；520-存储器；530-总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“对人脸图像中关键点的检测”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。

本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行得到带有关键点的人脸图像的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的人脸关键点的检测方法及装置的方案均在本申请保护范围内。

值得注意的是，在本申请提出之前，现有方案中，在人脸图像识别的过程中，可能会由于采集机器的问题以及被采集人员的面部遮挡、自然光照等原因，导致在采集到的人脸图像模糊不清甚至无法完整的呈现全部人脸特征的同时，还会在人脸识别过程中重复识别人脸之外的干扰信息，从而影响基于采集到的信息对人脸进行识别的准确性。

针对上述问题，本申请实施例中，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层特征提取相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。

图1为本申请实施例所提供的一种人脸关键点的检测方法的流程图。如图1所示，本申请实施例提供的人脸关键点的检测方法，包括以下步骤：

s101：获取目标人脸图像。

在具体实施中，获取待检测的目标人脸图像。

这里，所述目标人脸图像可以是仅包含人脸的图像，也可以是除了人脸还包含其他内容的图像，当目标人脸图像是不止包含人脸的图像时，需要对获取到的图像进行人脸识别，确定出人脸区域，之后再进行下一步的人脸图像特征提取。

这样，通过过滤掉图像中不具有人脸的区域，可以从目标人脸图像中确定出人脸所在的区域，可以使得后续对人脸区域的处理更有针对性，减少对目标人脸图像进行识别的识别区域，有助于提高处理效率。

s102：将所述目标人脸图像输入特征提取网络，得到人脸特征图像。

在具体实施中，将步骤s101获取到的目标人脸图像输入至特征提取网络中，经过特征提取网络对目标人脸图像进行特征提取，得到表征人脸特征的人脸特征图像。

其中，特征提取网络可以是卷积神经网络(convolutionalneuralnetwork，cnn)，卷积神经网络是一种深度前馈人工神经网络，已被广泛应用于图像识别技术领域中，卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；其二为特征映射层，特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性，并且在使用过程中还包括卷积层，用来识别位移、缩放及其他形式扭曲不变性的二维图形。

这里，在本申请实施例中，为了保证对得到的人脸特征图像更加准确，特征提取网络可以包括多个子特征提取网络，每一个子特征提取网络也都可以是卷积层，获取的目标人脸图像依次进入到子特征提取网络中经过多次特征提取，得到人脸特征图像：

将所述目标人脸图像输入到首个子特征提取网络，得到第一中间特征图像；将所述第一中间特征图像输入至下一个子特征提取网络，得到第二中间特征图像，若还存在下一个子特征提取网络，则将第二中间特征图像作为第一中间特征图像，并重新执行步骤将第一中间特征图像输入至下一个子特征提取网络，得到第二中间特征图像；若不存在下一个子特征提取网络，则将最后一次得到的第二中间特征图像作为人脸特征图像输出。

这样，在经过多层子特征提取网络特征提取后，每一层子特征提取网络都可以对提取到的特征进行修正，有助于提高人脸特征图像的精确度。

s103：将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像。

在具体实施中，将步骤s102得到的人脸特征图像依次输入至沙漏网络中的滤波层和采样层，对人脸图像进行滤波处理以及采样处理，得到带有人脸关键点的目标人脸图像。

这里，人脸关键点包括人脸各个部位对应的关键点，人脸关键点比如鼻尖、眼角(内眼角和外眼角等)、眉尖、嘴角等，在得到的带有人脸关键点的目标图像上，对各个人脸关键点都进行了标注。

这里，沙漏网络是由多个子沙漏网堆叠而成的堆叠式沙漏网络，其中，每个子沙漏网络都包括滤除干扰的滤波层以及对图像进行特征提取的采样层。

每一个子沙漏网的内部分为两部分，第一部分包括滤波层以及下采样层，通过滤波层和下采样层将人脸特征图像缩小到较小的分辨率，得到缩小图像，再将缩小图像输入至子沙漏网中第二部分的上采样层，结合不同尺度的人脸特征信息将缩小图像的尺寸放大到与人脸特征图像的尺寸一致，得到带有关键点的目标人脸图像；其中，整个子沙漏网是对称的，在下采样层中获取低分辨率特征过程中每有一个处理网络，在上采样过程中相应就会有一个对应网络。

滤波层可以是利用高斯滤波，将高频率的像素点滤除掉，在形成图像的过程中，高频率的像素点在图像边缘会产生锯齿，将高频率的像素点滤除掉，可以有效地消除图像中的锯齿，从而达到图像边缘平滑的效果。

采样层包括上采样层和下采样层，每一个上采样层和下采样层中均包括至少一个卷积网络，用来对人脸特征图像进行多次特征提取，从而更加准确地确定人脸图像中的人脸关键点。

在本申请实施例中，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，通过采样层可以更加准确地确定出人脸关键点的位置，进而，可以提高人脸关键点检测的准确。

进一步地，请参阅图2，图2为得到带有关键点的所述目标人脸图像的方法流程图，其中，所述沙漏网络由顺序连接的至少两个子沙漏网络组成，每个子沙漏网络均包括顺序连接的滤波层和采样层；如图2所示，所述将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像，包括以下步骤：

s201、将所述人脸特征图像输入到首个子沙漏网络，得到第一中间关键点图像。

在具体实施中，将人脸特征图像输入到首个子沙漏网络。

这里，首个子沙漏网络可以是根据每一个子沙漏网络的位置与特征提取网络所在位置之间的距离确定，将位置距离特征提取网络最近的子沙漏网络，确定为首个子沙漏网络。

s202、将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，若还存在下一个子沙漏网络，则将第二中间关键点图像作为第一关键点图像，并重新执行步骤将第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像；若不存在下一个子沙漏网络，则将最后一次得到的第二中间关键点图像作为带有关键点的所述目标人脸图像输出。

在具体实施中，将步骤s202确定出的第一中间关键点图像输入至首个子沙漏网络中，得到第二中间点图像，在得到第二中间点图像后，检测是否还存在下一个子沙漏网络，如果还存在下一个子沙漏网络，则将第二中间关键点图像作为第一关键点图像，重新执行将第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像的步骤，如果不存一个子沙漏网络，则将最后一次得到的第二中间关键点图像作为带有关键点的所述目标人脸图像输出在。

这里，每个子沙漏网络均包括可以滤除高频率像素点的滤波层以及对图像进行特征提取的采样层。

其中，采样层包括上采样层和下采样层，上采样也称放大图像或是图像差值，主要目的是放大原图像，从而获得更高分辨率的图像，原理是采用内插值方法，在原有图像像素的基础上在像素点之间采用合适的插值算法插入新元素；下采样也称缩小图像或是降采样，主要目的是使得图像符合显示区域的大小并且生成对应图像的缩略图，原理是对于一幅图像尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的分辨率图像，其中s应为m和n的公约数；如果是矩阵形式的图像，可以把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。

其中，子沙漏网络的数量可以根据实际需要进行确定，也可以考虑得到的人脸关键点的准确度，以及处理图像的效率，优选将沙漏网络中的子沙漏网络设为4个。

这里，每一个子沙漏网只是对人脸特征图像进行更准确的特征点提取，不会更改人脸特征图像中包括的信息，并且每一个子沙漏网输出的中间关键点图像的尺寸是一致的。

这样，在经过多次关键点提取后，可以更加准确地提取人脸图像中每一个特征点，在人脸被遮挡(戴口罩、戴墨镜)、化妆、打光不均匀的情况下，可以尽可能地忽略这些客观因素的影响，从而根据人脸的整体结构确定出人脸关键点，提高了关键点确定的准确性。

进一步地，步骤s202中将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，包括以下步骤：

步骤a1：将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像。

在具体实施中，将第一中间关键点图像输入至滤波层，对第一中间关键点图像进行滤波处理，得到滤波后的第一中间关键点图像。

其中，进行滤波的意义是由于分辨率的制约，图像显示时，图像中的物体边缘总会或多或少的呈现三角形的锯齿，从而影响图像的显示效果，对图像进行滤波也是抗图像折叠失真，对图像边缘进行柔化处理，使图像边缘看起来更平滑，可以有效的消除多边形结合处的错位现象，降低了图像的失真度。

这里，可以采用高斯滤波来进行滤波处理，高斯滤波在图像处理概念下，将图像频域处理和时域处理相联系，作为低通滤波器使用，可以将低频能量滤去，起到图像平滑作用。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。

在图像处理中，高斯滤波一般有两种实现方式，一是用离散化窗口滑窗卷积，另一种通过傅里叶变换。最常见的就是第一种滑窗实现，只有当离散化的窗口非常大，用滑窗计算量非常大(即使用可分离滤波器的实现)的情况下，可能会考虑基于傅里叶变化的实现方法，本申请实施例中是以离散化窗口滑窗卷积对图像进行处理。

这样，可以有效地将像素值高的像素点滤除，即消除图像边缘锯齿中的齿尖部分，得到不包含杂质、图像边缘平滑的第一中间关键点图像。

进一步地，步骤a1中所述将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像，包括以下步骤：

步骤a11：针对所述第一中间关键点图像中的每个像素点，使用该像素点的像素值和参考像素点的像素值的加权求和结果作为参考像素值。

在具体实施中，遍历第一中间关键点图像中的每一个像素点，并确定每一个像素点的像素值，并确定与该像素点相关联的至少一个参考像素点的像素值，对该像素值以及至少一个参考像素点的像素值进行加权求和后确定参考像素值。

这里，与该像素点相关联的参考像素点可以是该像素点邻域内包括的全部像素点，邻域是指以该像素点为圆心以预设长度为半径，确定的一个圆形区域。

其中，对于预设长度的设定，是以尽可能包括更多不同像素值的像素点为基准来设定的。

这里，对于邻域中包含的每一个像素点来说，距离位于邻域中心的像素点越近，对应的权重系数越大。

步骤a12：针对每个像素点，使用该像素点的参考像素值替换该像素点的原像素值，以得到滤波后的第一中间关键点图像。

在具体实施中，将第一中间关键点图像中的每一个像素点都替换为步骤a11确定的参考像素值，从而得到滤波后的第一中间关键点图像。

这样，滤波处理后的第一中间关键点图像中，每一个像素值之间的像素差值都相差不大，在视觉上不会存在特别突出的尖锐部分，达到了平滑图像，消除图像中锯齿的抗锯齿效果。

步骤a2：将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像。

在具体实施中，将滤波图像输入至采样层的下采样层对滤波图像进行图像缩小处理，得到缩小后的缩小图像。

这里，在下采样层对图像进行缩小处理时，需要经过多次的缩小处理，以得到包含图像信息的缩小图像。

这里，将滤波后的第一中间关键点图像输入至下采样中的多个卷积块中，对第一中间关键点图像进行多次的图像缩小处理，得到缩小图像，其中，处理次数等于卷积块的数量。

这样，在对第一中间关键点图像进行多次图像缩小处理，可以多次根据第一中间关键点图像中的特征，确定第一中间关键点图像中的人脸特征，更多的获取第一中间关键点图像中人脸关键点的信息，提升处理后最终人脸关键点输出的准确性。

进一步地，步骤a2中所述将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像，包括以下步骤：

步骤a21：确定的图像缩小处理中最后一次图像缩小处理的感受野。

在具体实施中，确定图像缩小处理中，最后一次图像缩小处理对应的感受野。

这里，感受野指的是缩小后的图像中一个像素点对应原图像中多少个像素点的信息，假设，一个感受野为3*3，就是指经过处理后的图像中的一个像素点对应的是原图像中3个像素点的信息。

这里，对于图像缩小处理就是多次对图像进行卷积处理，输出的图像的大小是和最后一次的感受野有关的，输出的图像大小是由最后一次卷积操作的感受野大小决定的。

这里，传统的卷积操作只是根据同一卷积核，对第一中间关键点图像进行一次卷积操作，假设卷积操作的卷积核是3*3，那么第一中间关键点图像上的某一个3*3小方块会和卷积核的对应元素相乘再求和，得到缩小图像上的一个值，这一步卷积操作之后，输出有3*3的感受野。

在本申请中，为了获取更多的图像信息，采用的是多次卷积确定多个感受野的方法，可以获取到例如3*3、5*5、7*7、9*9的多个感受野。

一示例，以两次卷积为例，针对于原始图像来说，第一步卷积的卷积核是3*3，那么输出的缩小图像具有3*3的感受野；第二步的卷积核是3*3，那么第二次的缩小图像对第一次的缩小图像具有3*3的感受野，那也就是说，如果想找到第二次的缩小图像对原始图像的感受野大小，只需要知道第一次的缩小图像的3*3的宫格对原始图像所具有的感受野是多大就行。第一次的缩小图像的一个像素点对应着原始图像的3*3的像素点的信息，这个像素点往右滑动一个像素点，对应的感受野也会往右滑动一个像素点；再滑动一次，对应的感受野也会再滑动一个像素点。所以第一次的缩小图像的3*3的像素点集合只需要在原像素点集合的基础上，往下滑动两个像素点，往右滑动两个像素点，对应的感受野也是同样的操作，所以第二次的缩小图像所对应的原始图像的感受野就是(3+2)*(3+2)＝5*5。同理，还可以再经过多次卷积操作得到7*7、9*9的感受野。

这样，在经过多次卷积操作后，确定出多个感受野，可以更多的获取第一中间关键点图像上表征的人脸信息，同时使得关键点检测能够更加关注人脸的整体结构，从而忽略人脸上的一些细节不清楚或被遮挡后对人脸关键点检测的影响，提高了人脸关键点检测的准确性。

进一步地，步骤a21中通过以下步骤确定所述感受野：

步骤a211：获取对滤波后的第一中间关键点图像进行每次图像缩小处理时，对所述第一中间关键点图像进行缩小处理的步长和卷积核大小。

在具体实施中，确定在对滤波后的第一中间关键点图像进行图像缩小处理时，对所述第一中间关键点图像进行缩小处理的步长和卷积核大小。

这里，卷积核的大小代表感受野的大小，卷积核的步长(stride)代表提取的精度，就是卷积核在原图上每一步移动的距离，步长小，提取的图像的特征会更全面，不会遗漏太多信息。但同时可能造成计算量增大，甚至过拟合等问题；步长大，计算量会下降，但很有可能错失一些有用的特征。

其中，若大小为3的卷积核，如果步长为1，那么相邻感受野之间就会有重复区域；如果步长为2，那么相邻感受野不会重复，也不会有覆盖不到的地方；如果步长为3，那么相邻感受野之间会有一道大小为1的缝隙，从某种程度来说，这样就遗漏了原图的信息，在卷积网络中，每隔几层卷积网络卷积核的步长就设置为2，以此替代池化层来对图形的尺寸进行压缩，完成某种程度上的降维，同时减少计算量，而中间层卷积核的大小依然保持为1。

步骤a212：基于每次缩小处理的步长和卷积核大小，确定每次图像缩小处理的感受野。

在具体实施中，将确定出的缩小处理的次数、每次缩小处理的步长以及卷积核，代入公式中进行定量计算，确定出感受野的大小。

这里，用于计算的公式为rfi＝(rfi+1-1)×stridei+ksizei，在公式中，所述rfi为第i次卷积时的感受野，rfi+1为第i+1次卷积时的感受野，stridei为第i次缩小处理的步长，ksizei为第i次缩小处理的卷积核，i为大于0的正整数。

步骤a22：基于所述感受野以及所述第一中间关键点图像，确定所述缩小图像。

在具体实施中，根据感受野确定输出的缩小图像中一个像素点代表的第一中间关键点图像的多个像素点的信息，确定所述缩小图像的尺寸大小，以及所述缩小图像中每一个像素点的信息。

其中，所述缩小图像的尺寸等于最后一次缩小处理的感受野的尺寸。

步骤a3：将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第二中间关键点图像。

在具体实施中，将步骤a2确定出的缩小图像输入至采样层的上采样层进行图像放大处理，将缩小后的缩小图像的尺寸放大到与第一中间关键点图像尺寸一致后，确定得到第二中间关键点图像。

这里，图像放大基本都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素；插值算法还包括了传统插值，基于边缘图像的插值，还有基于区域的图像插值等。本申请可以采用基于边缘图像的插值，边缘保护的插值方法可以分为两类：基于原始低分辨图像边缘的方法和基于插值后高分辨率图像边缘的方法。基于原始低分辨率图像边缘的方法：(1)首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，对于像素点的像素频率较低的人脸图像中的人脸关键点之外的像素点，可以采用传统方法插值；对于人脸关键点的边缘区域的像素点，设计特殊插值方法，以达到更多地保留人脸关键点的信息目的。(2)基于插值后高分辨率图像边缘的方法这类插值方法：首先采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对人脸关键点的边缘及附近像素点进行特殊处理，以去除模糊，增强图像的边缘。

这里，在对缩小图像进行图像放大时，也需要经过多次卷积操作，并且对缩小图像的放大过程中的卷积操作次数与在对图像缩小处理的卷积操作次数一致，每一次卷积操作的放大倍数与缩小处理中对应的卷积操作的缩小倍数一致，即对第一中间关键点图像的缩小处理过程以及放大处理过程是完全对称的，这样，保证最终得到的第二中间关键点图像的尺寸与第一中间关键点图像尺寸相同。

这样，可以保证图像在缩小和放大的处理过程中信息完整，不丢失信息。

进一步地，每个子沙漏网还包括特征提取层，所述采样层包括上采样层和下采样层，步骤s202中所述将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，包括以下步骤：

步骤b1：将所述第一中间关键点图像输入至所述滤波层和所述下采样层进行滤波和图像缩小处理，得到缩小图像。

在具体实施中，将第一中间关键点图像输入至所述滤波层以及下采样层进行滤波和图像缩小处理，得到缩小图像。

进行滤波的意义是由于分辨率的制约，图像显示时，图像中的物体边缘总会或多或少的呈现三角形的锯齿，从而影响图像的显示效果，对图像进行滤波也是抗图像折叠失真，对图像边缘进行柔化处理，使图像边缘看起来更平滑，可以有效的消除多边形结合处的错位现象，降低了图像的失真度。

这里，可以采用高斯滤波来进行滤波处理，高斯滤波在图像处理概念下，将图像频域处理和时域处理相联系，作为低通滤波器使用，可以将低频能量滤去，起到图像平滑作用。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。

对于所述第一中间关键点图像进行高斯低通滤波的处理过程为：针对所述第一中间关键点图像中的每个像素点，使用该像素点的像素值和参考像素点的像素值的加权求和结果作为参考像素值；针对每个像素点，使用该像素点的参考像素值替换该像素点的原像素值，以得到滤波后的第一中间关键点图像。

这样，滤波处理后的第一中间关键点图像中，每一个像素值之间的像素差值都相差不大，在视觉上不会存在特别突出的尖锐部分，达到了平滑图像，消除图像中锯齿的抗锯齿效果。

这里，在下采样层对图像进行缩小处理时，需要经过多次的缩小处理，以得到包含图像信息的缩小图像，其中，所述缩小处理就是对图像进行卷积处理的过程。

具体处理过程为：确定的图像缩小处理中最后一次图像缩小处理的感受野；基于所述感受野以及所述第一中间关键点图像，确定所述缩小图像。

这样，在对第一中间关键点进行多次图像缩小处理，可以多次根据第一中间关键点中的特征，确定第一中间关键点中的人脸特征，更多的获取第一中间关键点中人脸关键点的信息，提升处理后最终人脸关键点输出的准确性。

步骤b2：将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第三中间关键点图像。

在具体实施中，将步骤b1确定出的缩小图像输入至采样层的上采样层进行图像放大处理，将缩小后的缩小图像的尺寸放大到与所述第一中间关键点图像尺寸一致后，确定得到第三中间关键点图像。

这里，图像放大基本都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素；插值算法还包括了传统插值，基于边缘图像的插值，还有基于区域的图像插值等。

这里，在对缩小图像进行图像放大时，也需要经过多次卷积操作，并且对缩小图像的放大过程中的卷积操作次数与在对图像缩小处理的卷积操作次数一致，每一次卷积操作的放大倍数与缩小处理中对应的卷积操作的缩小倍数一致，即对所述第一中间关键点图像的缩小处理过程以及放大处理过程是完全对称的。

这样，可以保证图像在缩小和放大的处理过程中信息完整，不丢失信息。

步骤b3：将所述第三中间关键点图像输入至所述特征提取层，得到第二中间关键点图像。

在具体实施中，将步骤b2确定的第三中间关键点图像输入值两个子沙漏网之间的特征提取层中，对第三中间关键点图像进行进一步的特征提取，确定包含更准确人脸特征第二中间关键点图像。

这样，对于人脸特征图像来说，在输入至一个子沙漏网经过处理后，会在人脸特征图像中的相应位置上标示出关键点，为了强调人脸特征以及关键点，需要再次对图像进行特征提取，以保证在输出的中间关键点图像中包含的特征和关键点的标示更明显的区分于图像中其他非特征部位。

本申请实施例中，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

基于同一申请构思，本申请实施例中还提供了与上述实施例提供的人脸关键点的检测方法对应的人脸关键点的检测装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的人脸关键点的检测方法相似，因此装置的实施可以参见方法的实施，重复之处再赘述。

如图3、图4所示，图3为本申请实施例提供的一种人脸关键点的检测装置300的功能模块图；图4为图3中第二确定模块330的功能模块图。

如图3所示，所述人脸关键点的检测装置300包括：

获取模块310，用于获取目标人脸图像；

第一确定模块320，用于将所述目标人脸图像输入特征提取网络，得到人脸特征图像；

第二确定模块330，用于将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像。

在一种可能的实施方式中，所述沙漏网络由顺序连接的至少两个子沙漏网络组成，每个子沙漏网络均包括顺序连接的滤波层和采样层；如图4所示，所述第二确定模块330包括：

第一确定单元331，用于将所述人脸特征图像输入到首个子沙漏网络，得到第一中间关键点图像；

第二确定单元332，用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像，若还存在下一个子沙漏网络，则将第二中间关键点图像作为第一关键点图像，并重新执行步骤将第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像；若不存在下一个子沙漏网络，则将最后一次得到的第二中间关键点图像作为带有关键点的所述目标人脸图像输出。

在一种可能的实施方式中，所述采样层包括上采样层和下采样层，如图4所示，所述第二确定单元332在用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像时，所述第二确定单元332用于：

将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像；

将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第二中间关键点图像。

在一种可能的实施方式中，如图4所示，所述第二确定单元332在用于将所述第一中间关键点图像输入至所述滤波层进行低通滤波处理，得到滤波后的第一中间关键点图像时，所述第二确定单元332用于：

针对所述第一中间关键点图像中的每个像素点，使用该像素点的像素值和参考像素点的像素值的加权求和结果作为参考像素值；

针对每个像素点，使用该像素点的参考像素值替换该像素点的原像素值，以得到滤波后的第一中间关键点图像。

在一种可能的实施方式中，如图4所示，所述第二确定单元332在用于将滤波后的第一中间关键点图像输入所述下采样层进行图像缩小处理，得到缩小图像时，所述第二确定单元332用于：

确定的图像缩小处理中最后一次图像缩小处理的感受野；

基于所述感受野以及所述第一中间关键点图像，确定所述缩小图像。

在一种可能的实施方式中，述第二确定单元332用于通过以下步骤确定所述感受野：

获取对滤波后的第一中间关键点图像进行每次图像缩小处理时，对所述第一中间关键点图像进行缩小处理的步长和卷积核大小；

基于每次缩小处理的步长和卷积核大小，确定每次图像缩小处理的感受野。

在一种可能的实施方式中，如图4所示，所述第二确定单元332用于通过以下公式确定每次图像缩小处理的感受野：

rfi＝(rfi+1-1)×stridei+ksizei；

其中，所述rfi为第i次卷积时的感受野，rfi+1为第i+1次卷积时的感受野，stridei为第i次缩小处理的步长，ksizei为第i次缩小处理的卷积核，i为大于0的正整数。

在一种可能的实施方式中，每个子沙漏网还包括特征提取层，所述采样层包括上采样层和下采样层，所述第二确定单元332在用于将所述第一中间关键点图像输入至下一个子沙漏网络，得到第二中间关键点图像时，所述第二确定单元332用于：

将所述第一中间关键点图像输入至所述滤波层和所述下采样层进行滤波和图像缩小处理，得到缩小图像；

将所述缩小图像输入至所述上采样层进行图像放大处理，得到与所述第一中间关键点图像尺寸相同的第三中间关键点图像；

将所述第三中间关键点图像输入至所述特征提取层，得到第二中间关键点图像。

本申请实施例中，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层特征提取相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

基于同一申请构思，参见图5所示，图5为本申请实施例提供的一种电子设备500的结构示意图，包括：处理器510、存储器520和总线530，所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过所述总线530进行通信，所述机器可读指令被所述处理器510运行时执行如上述实施例中任一所述的人脸关键点的检测方法的步骤。

具体地，所述机器可读指令被所述处理器510执行时可以执行如下处理：

获取目标人脸图像；

将所述目标人脸图像输入特征提取网络，得到人脸特征图像；

将所述人脸特征图像顺次输入沙漏网络中的滤波层和采样层，得到带有关键点的目标人脸图像。

本申请实施例中，本申请通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层特征提取相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的人脸关键点的检测方法的步骤。

具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述人脸关键点的检测方法，通过将获取到的目标人脸图像输入特征提取网络中，得到人脸特征图像，并将人脸特征图像顺次输入至沙漏网络中的滤波层以及采样层，处理后得到带有关键点的目标人脸图像。基于上述方式，基于特征提取网络的特征提取操作，可以提高特征提取的准确率，对特征提取后的人脸特征图像进行关键点的提取，可以提高关键点定位速度，通过将滤波层滤波和采样层相配合来对人脸特征图像中的人脸关键点进行提取，可以提升从人脸特征图像中确定人脸关键点的准确率，进而，可以提高人脸关键点检测的效率和准确率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。