一种基于深度多特征融合级联回归的人脸关键点定位方法与流程

本发明属于人脸识别技术领域，具体涉及一种基于深度多特征融合级联回归的人脸关键点定位方法。

背景技术：

计算机视觉技术是一种研究如何使用计算机及其相关设备，对生物视觉进行模拟的技术。通过摄像机等成像设备采集的图片或视频进行处理，获得相应场景的三维信息，由计算机代替大脑完成处理和理解。该技术涉及多个学科，包括图像处理、模式识别、图像分析和图像理解等。目前，广泛应用于各个领域，如医疗图像处理、视频监控、电子卡口、虚拟现实、智能交通等。

随着计算机视觉技术的发展，人脸识别技术已经广泛应用于很多电子系统，如门禁系统、卡口系统、电子护照、公安、银行自助系统、信息安全等。但是在实际的人脸识别过程中，由于人脸角度、姿态各异，因此需要先对检测到的人脸进行对齐，其实也就是人脸关键点定位。人脸关键点定位的目的是针对一张给定的人脸图像，通过一定的方法计算出其五官(眉毛、嘴、眼睛、鼻子和脸颊)的n个关键点坐标(x,y)，如图1显示了n(68)个人脸关键点的相对位置。

人脸关键点定位的准确与否直接影响接下来的人脸识别、比对等任务。因此，目前已经有一些专利专门用于人脸关键点定位，例如：现有技术1：深圳大学于仕琪(cn104899563a)，该专利的核心步骤为：首先，通过预设的人脸关键点定位方法将得到的二维人脸关键点坐标输入到事先建立好的关键点维度转换模型中；其次，将二维人脸关键点坐标转换为三维坐标，并将得到的三维坐标投影到二维人脸图像上得到估计坐标。最后，通过估计坐标与二维位置坐标计算人脸关键点定位误差，如果误差小于给定的阈值t，则将该估计坐标作为人脸关键点。

另外，现有技术2：旷视科技(cn103824049a)采用了一种基于级联神经网络的人脸关键点定位方法。该专利的核心是将人脸分为：内脸(包括：眉毛、嘴、眼睛、鼻子)和外脸(脸轮廓)。然后将内脸和外脸分别通过一个深度神经网络进行人脸关键点定位，最后再将内、外脸网络预测得到的人脸关键点进行合并。值得一提的是，在进行内脸关键点定位时，该技术又提取了内脸中的眉毛、嘴、眼睛和鼻子区域，并对其进行了角度矫正。

由于实际环境存在一定的复杂性，虽然上述现有技术1和现有技术2在一定程度上缓解了人脸关键点定位的效率和准确率问题，但仍存在一些不足之处。现有技术1人脸关键点定位的精度严重依赖所用的“预设人脸关键点定位方法”和“关键点维度转换模型”，况且对于复杂场景，这两种技术的鲁棒性严重下降；另外，虽然现有技术1将人脸分为多个子区域进行人脸关键点定位，但是由于其需要对每个子区域进行校正，因此复杂性也明显提高。除此之外，由于人脸每个区域存在一定的几何位置关系，该方案将人脸拆分单独进行关键点定位的方式不能很好的利用人脸不同区域的位置关系。

技术实现要素：

本发明的目的是提出一种基于深度多特征融合级联回归的人脸关键点定位方法，旨在解决现有技术中复杂性及可操作性没有明显增加的情况下，相比单个深度网络关键点定位误差较大的问题。

本发明通过以下技术方案实现：

一种基于深度多特征融合级联回归的人脸关键点定位方法，包括步骤：

(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位；

(2)根据初步定位结果对其对应的人脸图像进行校正，同时计算初步定位结果的热力图；

(3)将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正；

(4)根据实际预测精度决定是否再次进行人脸关键点修正。

进一步，所述的步骤(1)中的初步定位包括步骤：

step1：准备训练网络所用的数据集；

step2：构建深度网络模型，并利用预训练好的网络模型进行权重初始化；

step3：人脸关键点初步定位，网络初始化完成后利用step1中准备好的数据进行深度网络训练，一直到网络收敛为止。

优选的，在所述的step1中采用的数据集为人脸关键点定位领域常用的数据集300w比赛数据集。

进一步，在所述的step1中，训练数据格式为(xi，yi)，其中xi表示图像，yi表示xi对应的关键点集合，i＝1,2,…,m，m为训练图像数量。

进一步，在所述的step3中，运用的监督函数是正则化后的欧氏损失，如下式所示：

其中，yij分别表示第i张图像的第j个预测及真实人脸关键点，di表示第i张图像中两眼的瞳孔距离，n表示关键点个数。

进一步，所述的步骤(2)中包括步骤：

step4：人脸图像校正；所述的step4中，首先，通过step3得到人脸关键点的初步位置然后，通过相似性变换计算与标准脸ys之间的相似性变换矩阵ti，进而可以得到校正后的人脸图像ti(xi)。

优选的，标准脸ys取所有训练数据集的平均值。

进一步，所述的步骤(2)中包括步骤：

step5：人脸关键点热力图计算；所述的step5中，首先计算所对应的校正后的人脸关键点然后通过下式计算所对应的热力图：

其中，

ti：第i级的关键点校正矩阵，

yi：第i级检测出的关键点，

对i级检测出的关键点进行校正后得到的关键点，

p：对第i级检测出的关键点进行校正后得到的关键点，

pxy：图像的所有坐标点，

α：热力图数值调整系数，

β：热力图数值调整系数，

λ：热力图数值调整系数，

r：阈值，其值为图像的宽度。

进一步，所述的步骤(3)中包括：

step6：将step4和step5得到的校正后图像及关键点热力图合并后，再次返回执行step2和step3进行人脸关键点修正。

进一步，所述的步骤(4)中包括：

setp7：如果训练误差error小于给定的阈值threshod，则训练结束；否则继续重复step6直到训练误差小于给定阈值为止。

与现有技术相比，本发明至少具有下述的有益效果或优点：

本发明提供的这种基于深度多特征融合级联回归的人脸关键点定位方法，在复杂性及可操作性没有明显增加的情况下，相比单个深度网络进一步降低关键点定位误差。通过将多级网络进行级联，该方案理论上可以无限逼近人脸关键点的真实位置；但是，在实际中鉴于运行效率及资源占用问题，一般级联两个或三个网络即可达到比较理想的定位效果。通过引入热力图，可以使得网络在训练的时候更加专注的学习人脸关键点周围的人脸特征，从而也相应的提高了关键点的定位精度。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1是现有技术中68个人脸关键点相对位置示意图；

图2-a是本发明的人脸关键点原始的位置图；

图2-b是本发明的人脸关键点校正后的位置图；

图2-c是本发明的人脸关键点校正后对应的热力图；

图3是本发明的整体流程图；

图4是本发明所用的深度网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于基于深度学习的人脸关键点定位方法来说，首先需要一种鲁邦的人脸表示方式。传统的手工特征提取方法只能提取人脸的某些浅层特征，不能充分反映人脸的本质。然而，深度网络可以通过一个多级的分层结构提取出目标对象的一些语义信息，这些信息能够较好的描述目标对象的本质特征。本发明首先将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位，其次根据定位结果将其对应的人脸图像进行校正，同时计算初步定位结果的热力图，然后将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正，最后根据实际预测精度决定是否再次进行人脸关键点修正。详细方案如下所述：

5.1、准备训练数据并进行人脸关键点初步定位

step1：准备训练网络所用的数据集。本方法中使用的是人脸关键点定位领域常用的数据集300w比赛数据集(包括：lfpw，helen，afw，ibug)。训练数据格式为(xi,yi)(i＝1,2,...,m)，其中xi表示图像，yi∈r^1x2n(n表示关键点个数)表示xi对应的关键点集合，m表示训练图像数量。

step2：构建深度网络模型(如附图4所示)，并利用预训练好的网络模型进行权重初始化。

step3：人脸关键点初步定位。网络初始化完成后利用step1中准备好的数据进行深度网络训练，一直到网络收敛为止；本方案中用到的监督函数是正则化后的欧氏损失，如下式所示：

其中，yij分别表示第i张图像的第j个预测及真实人脸关键点，di表示第i张图像中两眼的瞳孔距离。

5.2、人脸图像校正及人脸关键点热力图计算

step4：人脸图像校正。首先，通过step3可以得到人脸关键点的初步位置如图2-a所示。然后，通过相似性变换计算与标准脸ys(可通过取所有训练集平均得到)之间的相似性变换矩阵ti，进而可以得到校正后的人脸图像ti(xi)，如图2-b所示。

step5：人脸关键点热力图计算。为了计算人脸关键点热力图，首先需要计算所对应的校正后的人脸关键点然后通过下式计算所对应的热力图，如图2-c所示：

其中，

ti：第i级的关键点校正矩阵，

yi：第i级检测出的关键点，

对i级检测出的关键点进行校正后得到的关键点，

p：对第i级检测出的关键点进行校正后得到的关键点，

pxy：图像的所有坐标点，

α：热力图数值调整系数，默认为1，

β：热力图数值调整系数，默认为接近0的极小值，

λ：热力图数值调整系数，默认为1，

r：阈值，默认为图像的宽度。

5.3、人脸关键点修正

step6：将step4和step5得到的校正后图像及关键点热力图合并后，再次通过step2和step3进行人脸关键点修正。

setp7：如果训练误差error小于给定的阈值threshod，则训练结束；否则继续重复step6直到训练误差小于给定阈值为止(一般step6执行完后，精度即可达到要求)；整体流程图如图3所示。

本方案针对人脸关键点定位问题，通过将深度网络的多层特征进行融合，并进一步结合人脸关键点热力图及人脸图像校正手段，采用深度网络级联回归逐步求精的方式进行人脸关键点位置预测。

通过将多级网络进行级联，该方案理论上可以无限逼近人脸关键点的真实位置。但是，在实际中鉴于运行效率及资源占用问题，一般级联两个或三个网络即可达到比较理想的定位效果。该方案的核心点如下：

1、融合深度网络的多层特征用于人脸关键点位置预测；

2、先初步预测人脸关键点位置，然后在此基础上利用校正后的人脸图像和关键点热力图进一步修正人脸关键点位置。

综上所述，现有技术2的技术方案需要将人脸分成不同的子区域，并分别对每个子区域的人脸关键点分别进行预测。与本方案相似的地方在于该方案是对每个人脸子区域进行了校正，因此也进一步预测出了更加准确的关键点位置。通过本方案也证明，对人脸进行校正后再进行关键点预测确实可以带来一定的改善，但是本方案是对人脸整体进行校正，这样不但不会丢失不同人脸子区域中人脸关键点的几何位置，也使得实施起来更加方便。

除此之外，本方案中热力图的引入，在一定程度上也提高了人脸关键点的定位精度。因为引入热力图，可以使得网络在训练的时候更加专注的学习人脸关键点周围的人脸特征，从而也相应的提高了关键点的定位精度。

最后，本方案还有一个优点就是，通过多次修正本方案理论上可以无限接近关键点的真实位置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。