一种基于级联回归的人脸关键点定位方法
【专利摘要】本发明涉及一种基于级联回归的人脸关键点定位方法，其步骤包括：1）采集大量人脸图片数据，并标记初始关键点位置；2）通过对人脸图片数据进行训练，学习得到粗回归器，然后以粗回归器的输出作为输入，学习得到精回归器；3）给定待识别的人脸图片数据，通过粗回归器将人脸的初始形状回归到真实形状附近，然后以粗回归器的输出作为输入，通过精回归器得到人脸关键点的精确坐标。本发明提出的由粗到精的级联回归方法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大地提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度。
【专利说明】一种基于级联回归的人脸关键点定位方法【技术领域】
[0001]本发明属于数字图像处理和人脸识别【技术领域】，具体涉及一种基于级联回归的人脸关键点定位方法。
【背景技术】
[0002]人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。关键点定位在人脸识别领域有着很重要的作用，比如人脸识别、跟踪、表情分析和3D建模都依赖于关键点定位的结果。
[0003]传统的人脸关键点定位方法，是基于参数形状模型的方法，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标。
[0004]上述的人脸关键点定位方法，都严重依赖于图片的拍摄质量，人脸姿态。在遮挡、光照和姿态变化较大时，都不能得到准确的结果。同时，由于目前移动端需求的迅速发展，上述方法也不能通过手机等移动端实现实时处理。
【发明内容】
[0005]现有的人脸关键点定位方法对姿态、遮挡、光线非常敏感，精度和速度比较差，在成像条件差、且计算资源受限的手机等移动端上很难做到实时处理。本发明提出了一种快速、精确的由粗到精级联回归方法，通过对大量样本进行学习以及多特征融合、多回归器融合，很好地解决了人脸识别中的关键点定位问题。
[0006]本发明采用的技术方案如下:
[0007]—种基于级联回归的人脸关键点定位方法，其步骤包括:
[0008]I)采集大量人脸图片数据，并标记初始关键点位置(可通过人工标记)；
[0009]2)通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；
[0010]3)给定待检测的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。
[0011]进一步地，所述粗回归器设计成线性回归器，在所有关键点处提取SURF特征。该回归器能够表示3D姿态和SURF特征之间的关系。
[0012]进一步地，所述粗回归器包含多级级联的线性回归器，优选采用两级线性回归器，第一级的输出作为第二级的输入。通过这两级线性回归器构成的粗回归器，可以得到一个粗略的关键点位置和3D姿态。
[0013]进一步地，所述精回归器以上面的粗回归器的输出作为输入，使用随机蕨级联回归器，以像素差值作为特征。通过精回归器，可以将粗回归器给出的粗略结果回归成一个精确的结果。
[0014]进一步地，所述精回归器是一个两层结构，第一层，是一系列弱回归器{f\，f2，…，ft}的级联；第二层，是一系列随机蕨回归器的级联，构成一个弱回归器f。
[0015]进一步地，所述人脸关键点包括眼睛、鼻子、嘴巴、脸部轮廓等位置，更具体的，如瞳孔，眼角，眉角，嘴角，唇沿等位置。
[0016]本发明中提出了一种由粗到精的级联回归算法，设计了一个多回归器融合的级联回归器。该级联回归器分为两部分:①粗回归器，特点是速度快，能快速回归到正解的附近；
②精回归器，特点是每次回归的量较小，但能够得到更为精准的结果。根据设计的回归器的特点，让不同的回归器完成不同的任务(线性回归器和级联随机蕨回归器)，融合了多种特征(SURF和像素值差特征)。
[0017]本发明提出的由粗到精的级联回归算法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大的提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度，明显优于现有的其他算法。
【专利附图】
【附图说明】
[0018]图1是本发明的基于级联回归的人脸关键点定位方法的步骤流程图。
[0019]图2是本发明的级联回归器示意图。
[0020]图3是采用级联回归器将初始值回归到真实解的示意图。
[0021]图4是采用采用本发 明的方法进行人脸关键点定位的示意图。
【具体实施方式】
[0022]下面通过具体实施例和附图，对本发明做进一步说明。
[0023]本发明的基于级联回归的人脸关键点定位方法，其步骤流程如图1所示，主要包括两部分内容，一是建立由粗回归器部分和精回归器部分组成的级联回归器，二是利用建立的级联回归器对人脸图像数据进行处理以识别关键点。
[0024]1.建立由粗到精的级联回归器
[0025]本发明的整体框架是一个级联回归器。我们的目标是学习一个回归函数f，使它能够从初始的样本空间映射到解空间，能够使得均方差最小。遇到高维空间和复杂的线性关系时，如果只是学习一个回归器来表达这种映射关系并不现实。于是，我们提出了使用级联的方法，通过级联多个弱回归器，将他们组成一个回归能力更强的强回归器。本发明采用的级联回归方法，将回归函数f划分成t个简单的回归函数的级联{f\，f2,…，fj，每一级fk的输入都是它的前一级fki的输出，如图2所示，通过把Gf2,...，&相结合，得到的回归函数能够近似出初始形状到真实形状的复杂的非线性映射关系。
[0026]本发明的回归器遵循由粗到精的过程，级联回归器分为两个部分，粗回归器和精回归器。
[0027]如果只是按照上面的方法，采用简单的用几种弱回归器进行级联，首先效果不理想，因为图片的拍摄条件千差万别，姿态各异，要回归的形状也都不尽相同，要得到完美的效果，对回归器的要求太高。其次，如果级联级数过多，速度也会非常慢，满足不了对速度的要求。本发明中创新地提出了使用不同类型的回归器相级联，使之各司其职，相互促进，扬长避短。[0028]因此，我们将级联的回归器分为两部分，第一部分为粗回归器，把初始值回归到真实解的附近，完成大的回归目标，但是不关心细节。这一部分，完成的粗糙回归目标，速度非常快，为第二部分生成输入。第二部分为精回归器，只需要在细节上进行调节，逐步向真实解缓慢逼近，整个过程如图3所示。两个部分，构成了一个由粗到精的级联回归器，在速度和效果上，都有非常大的提升。
[0029]针对两部分的不同特性，本发明设计了不同的分类器和特征，可最大效率地完成回归目标。
[0030]第一部分的目标是快速的得到粗糙解，我们采用SURF特征，学习出来一个线性回归器，这一部分回归器，能够迅速将初始值映射到正解附近。具体实施步骤如下:
[0031]①在初始形状上每个关键点处提取初始的SURF特征,记作Φν真实回归目标记为Δ X* ；
[0032]②在训练过程中，由于真实形状X是已知，初始值Xtl是已知的，那么真实回归目标ΛΧ*即为已知，ΛΧ*=Χ-Χ。。线性回归器可以表达为ΛXq=Rq*Φ#。，目标就是让回归得到的估计量八\和真实回归目标ΛΧ*无限接近。这里要求的参数就是Rtl和Iv可通过最小化下式求得:
【权利要求】
1.一种基于级联回归的人脸关键点定位方法，其步骤包括: 1)采集大量人脸图片数据，并标记初始的关键点位置； 2)通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器； 3)给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。
2.如权利要求1所述的方法，其特征在于:所述粗回归器采用线性回归器，在所有关键点处提取SURF特征。
3.如权利要求2所述的方法，其特征在于:所述粗回归器是一个级联的线性回归器，前一级的输出作为后一级的输入。
4.如权利要求3所述的方法，其特征在于:使用SURF特征学习得到所述线性回归器，具体步骤包括: ①在初始形状上每个关键点处提取初始的SURF特征，记作Otl，真实回归目标记为Δ X* ； ②在训练过程中，由于关键点坐标X，初始值关键点坐标Xtl已知，那么关键点真实回归目标ΛΧ*即为已知，ΛΧ*=Χ-Χ。；线性回归器表达为OXfRfcl^+b。，其中的参数Rtl和bQ通过最小化下式求得:· 呢 mill W ΙΔχΙ — ΒηΦ?ι —
IJ- ?^^
象(! 1.0.1 ,λ
Cl.X| i, 其中，Cli为第i个人脸图片，X01为第i个人脸的初始形状，ΔΧ^为第i个人脸的真实回顾目标，O01为第i个人脸在初始形状Xc/处的SURF特征向量； ③根据得到的Rc^PIv得到估计的增量AXci=Rc^cDJbci, X+AX0作为新的训练集，记为X1 ;根据新的训练集，提取新的SURF特征O1，有Λ X1=R1^O Jb1，同理，根据上述方法求得R1和匕；以此类推，得到多级线性回归器。
5.如权利要求4所述的方法，其特征在于:所述粗回归器包含两级线性回归器。
6.如权利要求1或2所述的方法，其特征在于:所述精回归器采用随机蕨级联回归器，以像素差值作为特征。
7.如权利要求6所述的方法，其特征在于:所述精回归器是一个两层结构，第一层是一系列弱回归器的级联；第二层是一系列随机蕨回归器的级联，构成一个所述弱回归器。
8.如权利要求7所述的方法，其特征在于:生成所述两层结构的精回归器的步骤包括: ①提取每个样本的像素差值特征:随机取两个关键点，随机生成一个插值系数，得到两点连线中的一个位置，两个这样的位置上的像素差值作为特征； ②选取特征:生成一个随机的列向量，将真实回归目标矩阵映射到一个方向上，然后分别计算每个特征向量和这个投影向量的相关系数，使用随机蕨回归器选取相关系数最大的多组特征； ③弱回归器的生成:根据上一步提取的特征，把样本划分到原始随机蕨回归器的某个空间中，计算该空间中所有样本的平均真实形状增量Λ Xbin,将其加到当前空间中的每个估计形状上，得到新的估计形状，将得到的估计形状作为下一个原始随机蕨回归器的输入，传给下一个原始随机蕨回归器，保持特征不变，得到新的随机蕨回归器，将多个原始随机蕨回归器级联构成一个弱回归器； ④强回归器的生成:经过上述步骤，已经学习到弱回归器fk，对于一个初始集Xk，通过fk得到回归增量估计Λ Xk,新的初始集通过计算Xk+ Δ Xk得到，在新的估计形状基础上提取新的特征，按照上述方法得到下一个弱回归器，以此类推，级联多个弱回归器，构成一个二层的强回归器。
9.如权利要求8所述的方法，其特征在于:所述精回归器的弱回归器包含10个级联的原始随机蕨回归器，所述精回归器的强回归器包含100个级联的所述弱回归器。
10.如权利要求1所述的方法，其特征在于:所述人脸关键点包括眼睛、鼻子、嘴巴、脸部轮廓的位置 。
【文档编号】G06K9/00GK103824050SQ201410053323
【公开日】2014年5月28日 申请日期:2014年2月17日 优先权日:2014年2月17日
【发明者】印奇, 曹志敏, 姜宇宁, 何涛 申请人:北京旷视科技有限公司