一种基于级联神经网络的人脸关键点检测方法
【专利摘要】本发明涉及一种基于级联神经网络的人脸关键点检测方法，其步骤包括：a)建立训练用人脸图像集，标注需要检测的关键点位置；b)构建第一层深度神经网络并训练人脸区域估计模型；c)构建第二层深度神经网络，做人脸关键点初步检测；d)对内脸区域继续做局部区域划分；e)对每个局部区域分别构建第三层深度神经网络；f)对每个局部区域估计其旋转角度；g)按照估计的旋转角度做矫正；h)对每个局部区域的矫正数据集构建第四层深度神经网络；i)任给一张新的人脸图像，采用上述四层深度神经网络模型进行关键点检测，得到最终的人脸关键点检测结果。本发明有效地提高了人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。
【专利说明】—种基于级联神经网络的人脸关键点检测方法
【技术领域】
[0001]本发明属于数字图像处理及人脸识别【技术领域】，具体涉及一种基于级联神经网络的人脸关键点检测方法。
【背景技术】
[0002]人脸关键点检测(facial landmark detection),即给定一张人脸图片，要从中准确定位出一系列关键点(如瞳孔，眼角，眉角，嘴角，唇沿等等)的位置。人脸关键点检测作为人脸对齐前最重要的一步，它将很大程度影响到人脸识别/分析/搜索系统的整体性能。
[0003]传统的人脸关键点检测算法主要可以分为两类:第一类将每个关键点作为独立的部分，每一个关键点根据其局部特征单独训练检测器；第二类将所有关键点放在一起训练，重点考虑关键点之间的相对位置关系，最后得到一个全局最优解。然而在实际应用中，这两类算法都有着自己极大的缺陷:1)对第一类算法，由于每个关键点被单独检测，人脸的全局几何信息被完全忽略了，这使得其对细微扰动非常敏感，对光照变化、姿态变化等都不够鲁邦。此外，该算法的时间复杂程度和关键点的个数成正比，待检测的关键点越多，所需的检测器就越多，这使得其在较密(60点+)关键点的应用中很难实施；2)而对第二类算法，由于人脸不同关键点的检测难度不同(例如，眼睛附近的关键点要远比人脸轮廓上的关键点简单，因为眼睛附近特征明显且不易受姿态变化影响)，用一个模型去求解所有关键点的位置往往会得出一个折中的结果，即那些比较容易的关键点被比较难的点所“拖累”，而其实它们单独做本可以做的更好。同时，这类算法使用了大量的冗余信息，就像用嘴和鼻子附近的特征去检测眼睛的关键点，这其实浪费了许多计算资源。
【发明内容】
[0004]本发明针对上述问题，提供一种基于级联神经网络的人脸关键点检测方法，能够有效地提高人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。
[0005]为实现上述目的，本发明采用的技术方案如下:
[0006]一种基于级联神经网络的人脸关键点检测方法，其步骤包括:
[0007]a)建立训练用人脸图像集，对其中每一张人脸标注需要检测的关键点位置；
[0008]b)构建第一层深度神经网络并训练人脸区域估计模型，此模型中任一张人脸被分为内脸区域与外脸区域两部分；
[0009]c)构建第二层深度神经网络，对步骤b)中输出的内脸区域和外脸区域分别做独立的人脸关键点初步检测；
[0010]d)根据步骤c)的初步检测结果，对内脸区域继续做局部区域划分；
[0011]e)对步骤d)得到的每个局部区域分别构建第三层深度神经网络，用来训练针对该局部区域的人脸关键点检测器；
[0012]f)根据步骤e)的人脸关键点检测器的关键点输出结果，对每个局部区域估计其旋转角度；[0013]g)将每个局部区域按照其估计的旋转角度做矫正，将矫正的图片收集作为新的训练集合；
[0014]h)对步骤g)中生成的每个局部区域的矫正数据集构建第四层深度神经网络，用来训练人脸关键点检测器；
[0015]i)任给一张新的人脸图像，采用经过上述步骤生成的四层深度神经网络模型进行关键点检测，并将最终生成的内脸区域、外脸区域、及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果。
[0016]进一步地，步骤b)所述内脸区域包括眉、眼、鼻、嘴，所述外脸区域包括完整人脸轮廓；步骤d)对内脸区域做局部区域划分时，划分成为眉、眼、鼻、嘴四个局部区域。
[0017]进一步地，每一层深度神经网络内部由三部分组成:卷积层，最大采样层及全连接层，对输入图像做多轮的卷积和采样，最终经过全连接层输出人脸区域或人脸关键点的坐标。
[0018]进一步地，步骤f)对每个局部区域采用最小二乘法估计其旋转角度:
[0019]
【权利要求】
1.一种基于级联神经网络的人脸关键点检测方法，其步骤包括: a)建立训练用人脸图像集，对其中每一张人脸标注需要检测的关键点位置； b)构建第一层深度神经网络并训练人脸区域估计模型，此模型中任一张人脸被分为内脸区域与外脸区域两部分； c)构建第二层深度神经网络，对步骤b)中输出的内脸区域和外脸区域分别做独立的人脸关键点初步检测； d)根据步骤c)的初步检测结果，对内脸区域继续做局部区域划分； e)对步骤d)得到的每个局部区域分别构建第三层深度神经网络，用来训练针对该局部区域的人脸关键点检测器； f)根据步骤e)的人脸关键点检测器的关键点输出结果，对每个局部区域估计其旋转角度； g)将每个局部区域按照其估计的旋转角度做矫正，将矫正的图片收集作为新的训练集合； h)对步骤g)中生成的每个局部区域的矫正数据集构建第四层深度神经网络，用来训练人脸关键点检测器； i)任给一张新的人脸图 像，采用经过上述步骤生成的四层深度神经网络模型进行关键点检测，并将最终生成的内脸区域、外脸区域、及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果。
2.如权利要求1所述的方法，其特征在于:步骤b)所述内脸区域包括眉、眼、鼻、嘴，所述外脸区域包括完整人脸轮廓。
3.如权利要求1所述的方法，其特征在于:步骤d)对内脸区域做局部区域划分时，划分成为眉、眼、鼻、嘴四个局部区域。
4.如权利要求1所述的方法，其特征在于:每一层深度神经网络内部由三部分组成:卷积层，最大采样层及全连接层，对输入图像做多轮的卷积和采样，最终经过全连接层输出人脸区域或人脸关键点的坐标。
5.如权利要求1所述的方法，其特征在于:步骤f)对每个局部区域采用最小二乘法估计其旋转角度:
6.如权利要求5所述的方法，其特征在于:步骤g)将每个局部区域按照其估计的旋转角度做矫正的方法为:
【文档编号】G06N3/02GK103824049SQ201410053321
【公开日】2014年5月28日 申请日期:2014年2月17日 优先权日:2014年2月17日
【发明者】姜宇宁, 印奇, 曹志敏 申请人:北京旷视科技有限公司