一种人脸关键点检测方法、装置、电子设备及存储介质与流程

1.本发明涉及生物识别技术领域，特别是涉及一种人脸关键点检测方法、一种人脸关键点检测装置、一种电子设备和一种存储介质。


背景技术：

2.随着科学技术的发展，人脸识别技术在图像处理领域的应用也越来越普及。而人脸关键点检测是人脸识别和分析领域中的关键一步，它是自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。目前，现有的人脸关键点检测方法都是采用基于手工设计的卷积神经网络测算法，即人脸关键点检测需要设计并训练多个卷积神经网络，导致参数量巨大，步骤繁多，无法保证检测到的人脸关键点的准确性。


技术实现要素：

3.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人脸关键点检测方法、一种人脸关键点检测装置、一种电子设备和一种存储介质。
4.为了解决上述问题，本发明实施例公开了一种人脸关键点检测方法，包括：
5.将待检测图像进行升维处理，生成第一尺度特征图；
6.在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
7.融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
8.依据所述人脸关键点概率确定人脸关键点坐标。
9.可选地，所述方法还包括：
10.获取原始图像；
11.缩放所述原始图像，形成所述待检测图像。
12.可选地，所述在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图的步骤包括：
13.在所述预设多尺度搜索空间中，确定目标路径，所述目标路径包括多个阶段；
14.在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图。
15.可选地，所述预设多尺度搜索空间包括多个路径选择模块，所述在所述预设多尺度搜索空间中，确定目标路径的步骤包括：
16.对所述路径选择模块进行前向传播，得到评估指标；
17.从所述评估指标中确定目标评估指标；
18.组合所述目标评估指标对应的路径选择模块，生成所述目标路径。
19.可选地，所述阶段对应有分辨率和通道数；所述在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图的步骤包括：
20.按照所述通道数，对所述第一尺度特征图进行调整；
21.按照所述分辨率对调整后的第一尺度特征图进行采样；
22.根据预设路径参数对采样后的第一尺度特征图进行加权计算，生成融合特征图；
23.根据预设候选操作对所述融合特征图进行编码，生成所述第二尺度特征图。
24.可选地，所述预设候选操作包括跳转连接和输入残差网络；所述预设候选操作对应有操作参数；所述根据预设操作参数对所述融合特征图进行编码，生成所述第二尺度特征图的步骤包括：
25.对所述融合特征图进行跳跃连接以及输入残差网络操作；
26.根据所述操作参数对操作后的融合特征图进行加权求和，生成所述第二尺度特征图。
27.可选地，所述融合所述第二尺度特征图，生成人脸关键点热度图的步骤包括：
28.对所述第二尺度特征图进行采样，生成第一分辨率图像；
29.以所述预设多尺度搜索空间的通道为维度方向对所述第一分辨率图像进行融合；
30.将融合后第一分辨率图像进行通道压缩，生成所述人脸关键点热度图。
31.本发明实施例还公开了一种人脸关键点检测装置，包括：
32.升维模块，用于将待检测图像进行升维处理，生成第一尺度特征图；
33.转换模块，用于在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
34.融合模块，用于融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
35.确定模块，用于依据所述人脸关键点概率确定人脸关键点坐标。
36.本发明实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的人脸关键点检测方法的步骤。
37.本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸关键点检测方法的步骤。
38.本发明实施例包括以下优点：
39.本发明实施例通过将待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；通过对多尺度搜索空间自动搜索，根据参数量和准确率的权衡将第一尺度特征图进行转换，避免了人工设计并训练的多个神经网络；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标，实现对图像中人脸关键点的精确定位。
附图说明
40.图1是本发明实施例的一种人脸关键点检测方法的步骤流程图；
41.图2是本发明实施例的另一种人脸关键点检测方法的步骤流程图；
42.图3是本发明实施例的一种多尺度搜索空间示意图；
43.图4是本发明实施例的一种目标路径示例图；
44.图5是本发明示例的一种人脸关键点检测方法的流程图；
45.图6是本发明实施例的一种人脸关键点检测装置的结构框图。
具体实施方式
46.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
47.人脸关键点检测(定位)也称人脸对齐，是一种常见的基于人脸图像的视觉任务，目标是找到人脸图像中每一个语义关键点的坐标位置，比如鼻尖、嘴角等等。目前，对于人脸关键点检测的方法中，常采用卷积神经网络模型等用于分类的神经网络进行识别。通过人工设计并训练一个或多个卷积神经网络模型，并在训练完成后投入使用。但是，人工设计网络设计的参数量大，且人工设计步骤繁多，得到的神经网络存在一定的局限性，导致人脸关键点检测误差产生。进一步地，人工设计的网络在设计完成后，网络结构不变且参数固定，导致对不同任务的适应性较低，同样导致人脸关键点检测误差产生。
48.参照图1，示出了本发明的一种人脸关键点检测方法实施例的步骤流程图，具体可以包括如下步骤：
49.步骤101，将待检测图像进行升维处理，生成第一尺度特征图；
50.在实际应用中，可以将待检测图像进行升维处理，增加待检测图像的通道数，生成一张预设分辨率以及预设通道数的图像，作为第一尺度特征图。举例而言，预设分辨率可以是256
×
256像素，预设通道数可以是3通道，即第一尺度特征图为尺寸256
×
256像素的3通道图像。需要说明的是，多尺度是指多分辨率和多通道。
51.步骤102，在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
52.在发明实施例中，多尺度网络搜索空间即为多分辨率和多通道的网络搜索空间。多尺度搜索空间可以通过自动搜索技术训练得到。在预设多尺度网络搜索空间中，可以对第一尺度特征图进行多次的分类融合，转换成多个第二尺度特征图。其中，第二尺度特征图代表着第一尺度特征图经过多尺度搜索空间后得到的具有具体分辨率与通道数的特征图。第二尺度具体可以表示多个不同的尺度，举例而言，第一尺度特征图为3
×
256
×
256通道图像，经过多尺度搜索空间后转换得到36
×
128
×
128、72
×
64
×
64、144
×
32
×
32、288
×
16
×
16总共4个不同尺度的特征图，36
×
128
×
128、72
×
64
×
64、144
×
32
×
32、288
×
16
×
16都可以作为第二尺度。
53.步骤103，融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
54.将得到的多个第二尺度特征图进行融合，生成人脸关键点热度图，其中人脸关键点热度图中具有n通道，n为人脸关键点的数量，每一个通道的热度图代表当前关键点的预测概率图，预测概率图包括人脸关键点概率。
55.步骤104，依据所述人脸关键点概率确定人脸关键点坐标。
56.根据人脸关键点概率，选取最大概率值的人脸关键点对应的坐标导出，生成n个人脸关键点坐标。
57.本发明实施例通过将待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；通过对多尺度搜索空间自动搜索，根据参数量和准确率的权衡将第一尺度特征图进行转换，避免了人工设计并训练的多个神经网络；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标，实现对图像中人脸关键点的精确定位。
58.参照图2，示出了本发明的另一种人脸关键点检测方法实施例的步骤流程图，具体可以包括如下步骤：
59.步骤201，获取原始图像；
60.在实际应用中，可以先获取需要进行人脸关键点检测的原始图像，所述原始图像可以是实时获取地，也可以是从指定存储地址中读取。其中，执行存储地址可以是本地地址，还可以是外部地址，本发明实施例对此不作具体限定。
61.步骤202，缩放所述原始图像，形成所述待检测图像；
62.在得到原始图像后，由于不同的原始图像可能会存在多种分辨率，需要将其统一。因此，可以对原始图像进行缩放，缩放成指定分辨率的待检测图像。在本发明的一示例中，所述指定分辨率可以为256
×
256。即将原始图像都缩放成256
×
256的待检测图像。具体地，当原始图像的分辨率大于256
×
256时，可以对原始图像进行下采样。当原始图像的分辨率小于256
×
256时，可以对原始图像进行上采样。当原始图像的分辨率等于256
×
256时，可以直接将原始图像作为待检测图像，此时缩放的系数为1。
63.步骤203，将待检测图像进行升维处理，生成第一尺度特征图；
64.在实际应用中，可以将待检测图像进行升维处理，增加图像的通道数，生成第一尺度特征图。
65.此外，对于升维处理以及缩放，可以通过卷积神经网络中的输入模块进行，其包含一个步长(stride)为2的3
×
3卷积模块(卷积层+标准化层(batch normalization)+relu激活层)，将待检测图像输入至输出模块，经过3
×
3卷积模块进行卷积运算得到第一尺度特征图。
66.步骤204，在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
67.在本发明实施例中，多尺度网络搜索空间即为多分辨率和多通道的网络搜索空间。多尺度搜索空间的具体结构可以参考图3所示，搜索空间被定义为一个超网，主要包括输入模块、路径选择模块(path selection block)和输出模块。
68.其中，输入模块即为处理步骤203的输入模块，用于对输入图像进行升维以及缩放(下采样)。
69.路径选择模块：包含了特征融合层(feature fusion layers)和基础层(basic layers)，其中特征融合层的作用在于统一不同输入特征图的尺度大小并合并成一个新的特征图，而基础层的作用在于控制路径选择模块的深度。
70.输出模块：主要负责特征融合和人脸关键点预测
71.因此，在多尺度搜索空间中，可以将第一尺度特征图输入至路径选择模块，路径选择模块对第一尺度特征图进行特征融合和特征编码，转换为多个第二尺度特征图。
72.具体地，可以包括：
73.子步骤s2041，在所述预设多尺度搜索空间中，确定目标路径，所述目标路径包括多个阶段；
74.得益于多尺度搜索空间的设计，多尺度搜索空间中从输入到输出存在一个多路径架构，因此，可以根据参数量和准确率的权衡从中确定目标路径。其中，该目标路径包括多尺度搜索空间中的每个阶段中的至少一条路径选择模块。如图4所示，可以从图3的多尺度搜索空间，确定出一条目标路径，该目标路径经过了多尺度搜索空间的5个阶段；其中，第一个阶段选取256
×
128
×
128的路径选择模块，第二个阶段选取72
×
64
×
64的路径选择模块，第三个阶段选取144
×
32
×
32的路径选择模块，第四个阶段选取288
×
16
×
16的路径选择模块，第五个阶段选取36
×
128
×
128、144
×
32
×
32、288
×
16
×
16三个路径选择模块。可以看出，每一个阶段对应有分辨率和通道数。
75.在本发明的一优选实施例中，所述在所述预设多尺度搜索空间中，确定目标路径的步骤包括：
76.子步骤s20411，对所述路径选择模块进行前向传播，得到评估指标；
77.子步骤s20412，从所述评估指标中确定目标评估指标；
78.子步骤s20413，组合所述目标评估指标对应的路径选择模块，生成所述目标路径。
79.为了在多尺度搜索空间的超网中选取一个多路径架构。可以直接地评估每条路径的重要程度，以重要程度来确定目标路径。具体地可以通过评估指标(nme，normalize mean error)作为评估重要程度标准。在实际应用中，可以随机挑选一个路径选择模块，每次去掉该模块的一条输入路径，在验证集上对超网进行前向传播得到对应的nme，循环此过程，直至此模块上所有的输入路径对应的被评估完毕，保留nme最大的那条路径，其余连接均从超网中删除，然后经过5轮微调，重新更新架构参数和网络参数。循环以上过程，直至所有模块的输入路径被挑选完毕。至此，获得了一个多路径网络结构，每条路径对应一个nme，代表当前路径对整体网络的贡献度。采用了dijkstra算法来选取前k条对应的路径选择模块进行组合，生成目标路径。k可以根据需要进行选择，在本发明的一示例中，所述k可以为3。
80.子步骤s2042，在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图。
81.在每一个阶段中，按照该阶段对应的尺度要求对第一尺度特征图进行特征融合和特征编码，直至进行全部阶段的特征融合和特征编码生成的多个第二尺度特征图。
82.在本发明的一优选实施例中，所述在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图的步骤包括：
83.子步骤s20421，按照所述通道数，对所述第一尺度特征图进行调整；
84.首先可以按照该阶段下选取的路径选择模块中，对于通道数的设置，将第一尺度特征图的通道数进行调整，如以图3中的第4阶段第二个路径选择模块为例，该路径选择模块的通道数为72，则可以将第三阶段输出的特征图对应的通道数，通过一个3
×
3卷积模块(核)将通道数统一为72。
85.子步骤s20422，按照所述分辨率对调整后的第一尺度特征图进行采样；
86.在调整通道数后的第一尺度特征图，可以进一步地，通过上采样或下采样将其分辨率进行调整，以使其与路径选择模块的分辨率一致。其中，当第一尺度特征图的分辨率大
于路径选择模块的分辨率时，采用下采样操作；当第一尺度特征图的分辨率小于路径选择模块的分辨率时，采用上采样操作。举例而言，继续以图3中的第4阶段第二个路径选择模块为例，调整完通道数后，分辨率大小为32
×
32的特征图需进行上采样插值操作，而分辨率大小为128
×
128的特征图则需进行下采样操作。
87.子步骤s20423，根据预设路径参数对采样后的第一尺度特征图进行加权计算，生成融合特征图；
88.通道数以及分辨率都统一后，可以根据预设路径参数对第一尺度特征图进行加权求和，生成融合特征图。其中，路径参数β为多尺度搜索空间中的结构参数，采用softmax操作确定路径权重p
ij
，再根据路径权重进行加权求和，生成融合特征图。路径权重p
ij
的公式为：
[0089][0090]
路径权重表示第i个路径选择模块到第j个路径选择模块的概率，其中m表示第i个路径选择模块可输出的数量。
[0091]
子步骤s20424，根据预设候选操作对所述融合特征图进行编码，生成所述第二尺度特征图。
[0092]
得到融合特征图后，将融合特征图按照预设候选操进行编码，生成所述第二尺度特征图。
[0093]
在本发明的一优选实施例中，所述预设候选操作包括跳转连接和输入残差网络；所述预设候选操作对应有操作参数；所述根据预设操作参数对所述融合特征图进行编码，生成所述第二尺度特征图的步骤包括：
[0094]
子步骤s204241，对所述融合特征图进行跳跃连接以及输入残差网络操作；
[0095]
在实际应用中，对融合特征图在路径选择模块中的基础层中进行预定的跳跃连接，并将其输入至残差网络。其中，残差网络由两个级联的3
×
3卷积模块和一个恒等映射操作组成，将特征图将经过跳跃连接以及输入至残差网络进行处理控制神经网络的深度。
[0096]
子步骤204242，根据所述操作参数对操作后的融合特征图进行加权求和，生成所述第二尺度特征图。
[0097]
在进行跳跃连接，并将其输入至残差网络后的融合特征图，可以根据跳跃连接以及残差网络对应的操作参数确定操作权重wo，再根据操作权重wo进行加权求和，生成第二尺度特征图。其中，操作权重wo的公式为：
[0098][0099]
其中，o为当前候选操作，o
′
为采样后得到的两个候选操作，为所有候选操作集合。
[0100]
步骤205，融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
[0101]
得到第二尺度特征图后，可以将第二尺度特征图输入至多尺度搜索空间中的输出模块，融合全部的第二尺度特征图，生成各个人脸关键点的人脸关键点概率，对应的人脸关
键点概率热度图。
[0102]
具体地，可以对所述第二尺度特征图进行采样，生成第一分辨率图像；以所述预设多尺度搜索空间的通道为维度方向对所述第一分辨率图像进行融合；将融合后第一分辨率图像进行通道压缩，生成所述人脸关键点热度图。
[0103]
由于第二尺度特征图包含多种尺度，不同尺度之间对应位置关键点的具体位置描述并不相同。为此，对第二尺度特征图进行采样，采样包括上采样和下采样，将第二尺度特征图转换为具有第一分辨率的第一分辨率图像。对于第一分辨率，可以根据实际需求进行设置。在本发明的一示例中，第一分辨率可以为64
×
64。
[0104]
然后再将全部的第一分辨率图像以通道为维度，通过一个1
×
1卷积核将通道数压缩为n个，代表需要预测的n个人脸关键点进行通道压缩，生成一个尺度为n
×
64
×
64的人脸关键点热度图，其中n为人脸关键点的个数。
[0105]
步骤206，依据所述人脸关键点概率确定人脸关键点坐标。
[0106]
在全部通道的人脸关键点热度图中，选取每个人脸关键点对应的人脸关键点概率最高的人脸关键点热度图，以该人脸关键点热度图中该人脸关键点的坐标为人脸关键点对应的人脸关键点坐标，重复选取n个人脸关键点，生成n个人脸关键点坐标。
[0107]
本发明实施例通过获取原始图像，对其进行缩放生成待检测图像；待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标，实现对图像中人脸关键点的精确定位。并且由于操作参数和路径参数可变，使得网络架构具有更强的适用性。
[0108]
为了使本领域技术人员能够更好地理解本发明实施例，下面通过一个例子对本发明实施例加以说明：
[0109]
可以参照图5，示出了本发明示例的一种人脸关键点检测方法的流程图；下面将以图3所示的多尺度搜索空间为例进行说明。
[0110]
首先获取到用于训练和验证的人脸数据，其中用于模型训练的人脸数据为训练集，用于验证模型准确度的人脸数据为验证集。
[0111]
多尺度搜索空间定义为一个超网，包括输入模块、路径选择模块和输出模块。输入模块：包含一个步长(stride)为2的3
×
3卷积模块(卷积层+标准化层(batch normalization)+relu激活层)，负责对输入图像进行升维(增加通道数)和下采样(减小分辨率)。路径选择模块：包含了特征融合层(feature fusion layers)和基础层(basic layers)，其中特征融合层的作用在于统一不同输入特征图的尺度大小并合并成一个新的特征图。其中，对于基础层的堆叠层数在前四个阶段为7，最后一个阶段为0。
[0112]
然后为了使超网中离散的搜索空间能够松弛为一个连续化的可学习的搜索空间，引入了架构参数(即操作参数α和路径参数β)，并采用softmax操作)分别获得操作权重wo和路径权重p
ij
。其中，架构参数可以直接使用梯度下降算法参与到超网的训练中，并和网络参数一起进行交替更新。其中，架构参数可用于描述搜索空间中候选操作和候选路径的重要程度，而网络参数用于描述网络结构的可学习参数，其中前者用于网络结构搜索，后者用于网络结构学习。
[0113]
在超网训练中，为了减少内存开销，基于采样的方式更新参数，具体做法为：在架构参数更新阶段，采样了两个候选操作(跳跃连接和残差网络)，并使用adam优化器(lr＝3
×
10-4
，weight decay＝10-3
，beta1＝0.5，beta2＝0.999)在批次大小为8的验证集上对其进行迭代训练；在网络参数更新阶段，仅采样一个候选操作，并使用sgd(stochastic gradient descent)优化器(lr decay＝[0.1,1
×
10-4
]，momentum＝0.9，weight decay＝4
×
10-5
)在批次大小为16的训练集上对其进行迭代训练。在每一轮迭代中，先更新架构参数α和β，再优化网络参数，一共迭代40轮。
[0114]
搜索结束后，得到了一个收敛的超网，在验证集上对超网中随机的一个路径选择模块进行前向传播得到对应的nme，循环此过程，直至此模块上所有的输入路径被评估完毕，保留nme最大的路径，其余连接均从超网中删除，然后经过5轮微调，重新更新架构参数和网络参数。循环以上过程，直至所有模块的输入路径被挑选完毕。再采用了dijkstra算法来选取3条最优路径，得到多路径网络架构。
[0115]
在获取了多路径网络架构后，对多路径网络架构重新训练。其中，超网中的架构参数和网络参数均不会参与进重新训练阶段中。因此，对多路径网络进行初始化，然后使用adam优化器(lr＝10-4
)在批次大小为16的训练集上对搜索架构迭代训练60轮，并在批次大小为8的测试集上对其进行推理测试，得到一个收敛的多路径网络架构。
[0116]
在将测试图像进行升维以及采样，生成一张尺寸为3
×
256
×
256的图像，首先经过输入模块，生成一个尺度为256
×
128
×
128的特征图，然后通过阶段1-5包含的13个路径选择模块，分别对上一阶段不同尺度的特征图进行特征融合和特征编码，并由阶段5生成了36
×
128
×
128、72
×
64
×
64、144
×
32
×
32、288
×
16
×
16总共4个不同尺度的特征图，最后经过输出模块生成一个尺度为n
×
64
×
64的人脸关键点热度图，每一个通道的热度图代表当前关键点的预测概率图，通过选取最大概率值可以直接导出n个人脸关键点的坐标。
[0117]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0118]
参照图6，示出了本发明的一种人脸关键点检测装置实施例的结构框图，具体可以包括如下模块：
[0119]
升维模块601，用于将待检测图像进行升维处理，生成第一尺度特征图；
[0120]
转换模块602，用于在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
[0121]
融合模块603，用于融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
[0122]
确定模块604，用于依据所述人脸关键点概率确定人脸关键点坐标。
[0123]
在本发明的一可选实施例中，所述装置还包括：
[0124]
获取模块，用于获取原始图像；
[0125]
缩放模块，用于缩放所述原始图像，形成所述待检测图像。
[0126]
在本发明的一可选实施例中，所述在预设多尺度搜索空间中，所述转换模块602包
括：
[0127]
路径搜索子模块，用于在所述预设多尺度搜索空间中，确定目标路径，所述目标路径包括多个阶段；
[0128]
第一转换子模块，用于在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图。
[0129]
在本发明的一可选实施例中，所述预设多尺度搜索空间包括多个路径选择模块，所述路径搜索子模块包括：
[0130]
前向传播单元，用于对所述路径选择模块进行前向传播，得到评估指标；
[0131]
确定单元，用于从所述评估指标中确定目标评估指标；
[0132]
第一组合单元，用于组合所述目标评估指标对应的路径选择模块，生成所述目标路径。
[0133]
在本发明的一可选实施例中，所述阶段对应有分辨率和通道数；所述第一转换子模块包括：
[0134]
调整单元，用于按照所述通道数，对所述第一尺度特征图进行调整；
[0135]
采样单元，用于按照所述分辨率对调整后的第一尺度特征图进行采样；
[0136]
计算单元，用于根据预设路径参数对采样后的第一尺度特征图进行加权计算，生成融合特征图；
[0137]
融合单元，用于根据预设候选操作对所述融合特征图进行编码，生成所述第二尺度特征图。
[0138]
在本发明的一可选实施例中，所述预设候选操作包括跳转连接和输入残差网络；所述预设候选操作对应有操作参数；所述融合单元包括：
[0139]
操作子单元，用于对所述融合特征图进行跳跃连接以及输入残差网络操作；
[0140]
计算子单元，用于根据所述操作参数对操作后的融合特征图进行加权求和，生成所述第二尺度特征图。
[0141]
在本发明的一可选实施例中，所述融合模块603包括：
[0142]
第二转换子模块，用于对所述第二尺度特征图进行采样，生成第一分辨率图像；
[0143]
融合子模块，用于以所述预设多尺度搜索空间的通道为维度方向对所述第一分辨率图像进行融合；
[0144]
压缩子模块，用于将融合后第一分辨率图像进行通道压缩，生成所述人脸关键点热度图。
[0145]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0146]
本发明实施例还提供了一种电子设备，包括：
[0147]
处理器和存储介质，所述存储介质存储有所述处理器可执行的计算机程序，当电子设备运行时，所述处理器执行所述计算机程序，以执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
[0148]
本发明实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如本发明实施例任一项所述的方法。具体实现方式和技术效果与方法实施例部分类似，这里不再赘述。
[0149]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0150]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0151]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0152]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0153]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0154]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0155]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0156]
以上对本发明所提供的一种人脸关键点检测方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。