一种自动化人脸五官与面部轮廓辨识方法
【专利摘要】本发明公开一种自动化人脸五官与面部轮廓辨识方法，包括：采用训练机制得到检测分类器模型；计算得出人脸部位轮廓定位模型；通过所述人脸部位轮廓定位模型得到精准的人脸轮廓位置。通过监督式人脸定位过程，避免传统人脸定位方式训练数据集不完善造成人脸定位精度低的缺点，提高脸部各部位的定位精准度，使得人脸识别，人脸化妆，人物表情分析等技术能够运用到更加精密的场合中，对于开拓现代化技术发展具有十分重要的意义。
【专利说明】一种自动化人脸五官与面部轮廓辨识方法
【技术领域】
[0001]本发明属于计算机视觉、智能安防，视频和图像分析【技术领域】，尤其涉及一种借助于机器学习技术的自动化人脸五官与面部轮廓辨识方法。
【背景技术】
[0002]人脸识别正在逐步的应用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域，伴随着人脸识别技术应用【技术领域】的范围增加，人们对于人脸识别技术的精度要求也越来越高。而面部结构的精准定位则是提高人脸识别技术精度的基础。现今，如何准确地对人脸各个部位进行定位是目前计算机视觉领域比较热门的一个课题，因为它对于人脸识别，人脸化妆，人物表情分析等具有十分重要的意义。这个方面从早期的主动形状模型(ASM, active shape model)方法一直发展到最新提出的显著人脸形状回归算法,它们均取得了积极成果。
[0003]但是这些方法仅仅是从人脸的形状入手，采用对大量人脸形状的训练和分析得到一些标注模型，然后将该模型应用于任何测试人脸图像中，是一种无监督的分析定位过程，存在了较大的不可避免的误差。且当训练数据集比较小，或者某个人的人脸与训练集中的数据差别比较大的时候，人脸轮廓定位将变得尤其不准确。
[0004]所以研发一种具有监督的分析定位过程的人脸定位系统，提高人脸各部位定位的精度显得尤为重要。
【发明内容】
[0005]为解决传统无监督式人脸各部位定位过程中，若训练数据集比较小，或者某个人的人脸与训练集中的数据差别比较大的时候，人脸各部位无法高精度定位的技术问题，本发明提供一种自动化人脸五官与面部轮廓辨识方法。
[0006]在一些可选的实施例中，所述自动化人脸五官与面部轮廓辨识方法，包括:采准备一组训练图像集，采用训练机制得到检测分类器模型；定义优化函数，计算得出人脸部位轮廓定位模型；对于给出的任意一副测试脸，通过所述检测分类器模型确定所述测试脸的中心位置；将所述人脸部位轮廓定位模型应用于所述测试脸，在所述人脸部位轮廓位模型的每一步级联应用中，相应的调整所述人脸部位轮廓位模型中的所述测试脸的定位轮廓，使得各个级联的结果中由所述定位轮廓决定的所述测试脸的中心位置与由所述检测分类器模型确定所述测试脸的中心位置的差值达到最小小于预定的阈值。
[0007]在一些可选的实施例中，所述人脸部位轮廓定位模型中的所述测试脸的定位轮廓包括:所述测试脸的人脸的测试定位轮廓、左眼的测试定位轮廓、右眼的测试定位轮廓和嘴巴的测试定位轮廓；在所述各个级联的结果中，由所述定位轮廓决定的所述测试脸的中心位置包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。
[0008]在一些可选的实施例中，所述采用训练机制得到检测分类器模型的过程包括:准备一组训练图像集，框出所述训练图像集中的训练脸的人脸位置区域，以及眼睛和嘴巴的中心区域；利用人脸检测算法的训练机制得到所述检测分类器模型。
[0009]在一些可选的实施例中，所述计算得出人脸部位轮廓定位模型的过程包括:标注所述训练图像集中的训练脸的轮廓点；选取一个标准脸模型，标注所述标准脸模型的轮廓点；从所述标准脸模型的轮廓点出发，进行变换得到所述任一训练脸的轮廓点过程中，不断利用所述优化函数进行优化，得出所述人脸部位轮廓定位模型回归函数的系数，所述优化函数如下:
[0010]Min(I S-f(S0) | + f(S0)_LeftEyeCenter-S_Detect_LeftEyeyCenter
[0011]+I f(S0)_RightEyeCenter-S_Detect_RightEyeyCenter
[0012]+1 I f (S0)_MouthEyeCenter-S_Detect_MouthEyeyCenter| |)
[0013]计算所述人脸部位轮廓定位模型的具体过程如下:
[0014]S1 = f (S0)；
[0015]S1 = S0 X R0+T0 ；
[0016]S2 = MS1) = T^eiX (S0XR0+T0)；
[0017]
[0018]S = TfRiX (Sh X Rh+Th)。
[0019]在一些可选的实施例中，通过所述检测分类器模型确定所述测试脸的中心位置之前还包括:对于给出的任意一副测试图像，判断所述测试图像中是否存在人脸，即所述测试脸；若存在所述测试脸，则通过所述分类器模型确定所述测试脸的中心位置。
[0020]在一些可选的实施例中，所述对于给出的任意一副测试脸，通过所述检测分类器模型确定所述测试脸的中心位置的过程包括:利用所述检测分类器模型得到所述测试脸的人脸的粗略轮廓、左眼的粗略轮廓、右眼的粗略轮廓和嘴巴的粗略轮廓；通过所述各个粗略轮廓计算得出所述测试脸的中心位置；所述由各个粗略轮廓计算得出所述测试脸的中心位置包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。
[0021]在一些可选的实施例中，所述检测分类器模型包括:人脸检测分类器模型、左眼检测分类器模型、右眼检测分类器模型和嘴巴检测分类器模型。
[0022]本发明的有益效果:通过监督式人脸定位过程，避免传统人脸定位方式训练数据集不完善造成人脸定位精度低的缺点，提高脸部各部位的定位精准度，使得人脸识别，人脸化妆，人物表情分析等技术能够运用到更加精密的场合中，对于开拓现代化技术发展具有十分重要的意义。
【专利附图】
【附图说明】
[0023]图1是本发明自动化人脸五官与面部轮廓辨识方法的流程示意图。
【具体实施方式】
[0024]下面结合附图，对本发明做进一步详细说明，并描述本发明较佳的实施例。
[0025]目前人脸检测的同时能够给出眼睛和嘴巴的中心位置，那么在进行人脸各部位轮廓定位的时候，眼睛和嘴巴的轮廓定义就要受到他们中心位置的限制，从而也将对人脸总体轮廓的位置进行必要的限制。本发明所给出的有监督下的人脸部位轮廓定位就是以这样的条件为基础的，它主要就是为了提高人脸各部位定位的精度。
[0026]在一些说明性的实施例中，如图1所示，本发明提供一种自动化人脸五官与面部轮廓辨识方法，该方法包括:
[0027]S1:准备一组训练图像集，采用训练机制得到检测分类器模型。步骤SI包括:
[0028]101:准备一组训练图像集，先用一个矩形框出所述训练图像集中的训练脸的人脸位置区域，再分别用2个很小的正方形框框出左右眼睛的中心区域，最后用一个很小的长方形框框出嘴巴的中心区域。
[0029]102:利用人脸检测算法的训练机制得到检测分类器模型。其中，所述检测分类器模型包括:人脸检测分类器模型、左眼检测分类器模型、右眼检测分类器模型和嘴巴检测分类器模型。
[0030]所述人脸检测算法是基于Haar特征的Adaboost算法的人脸检测技术，所述Adaboost算法是一种迭代算法，对于一组训练集，通过改变其中每个样本的分布概率，而得到不同的训练集，对于每一个训练集进行训练从而得到一个弱分类器，再将这些弱分类器根据不同的权值组合起来，就得到了强分类器。使用Adaboost算法可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。
[0031]S2:定义优化函数，计算得出人脸部位轮廓定位模型。步骤S2包括:
[0032]103:为了适应人脸轮廓定义的需要，同时需要对所述训练图像集中的训练脸各个部位的轮廓点进行标注，一般为68个点。
[0033]104:选取一个标准脸模型，标注所述标准脸模型的轮廓点，一般为68个点。
[0034]105:从所述标准脸模型的轮廓点出发,进行变换得到所述任一训练脸的轮廓点过程中，计算得出人脸部位轮廓定位模型。首先，定义一个优化函数，定义所述优化函数的目的就是计算出所述变化f回归函数的系数，如下:
[0035]Min(I S-f(S0) | + f(S0)_LeftEyeCenter-S_Detect_LeftEyeyCenter
[0036]+I f(S0)_RightEyeCenter-S_Detect_RightEyeyCenter
[0037]+I f(S0)_MouthEyeCenter-S_Detect_MouthEyeyCenter )
[0038]其中，S是每个训练图集中所述标准脸模型正确的人脸部位轮廓位置，S0是人脸检测程序得到的所述标准脸模型的初始位置，Min是指距离尽可能小，也就是任一所述训练脸从所述标准脸模型出发进行一定的变换f，在变换过程中不断利用所述优化函数进行优化，确保变换后的人脸部位轮廓位置与初始得到的人脸部位轮廓位置变化不大，而且由变换后的所述人脸部位轮廓位置所决定的左右眼，以及嘴巴的中心位置与所述人脸检测程序检测到的左右眼，以及嘴巴的中心位置最接近。而所述变化f的定义即为所述人脸部位轮廓定位模型，具体计算过程如下:
[0039]S1 = f (S0)；
[0040]S1 = SciXRfT0;
[0041]S2 = MS1) = T^eiX (S0XR0+T0)；
[0042]...
[0043]S = Tj+Rj X (Sh X R1-1+T^1)
[0044]其中，Ri是旋转矩阵，Ti是移动矩阵，由于是级联方式，所以就是要得到各个层次的Ri和Si。从而最后得到的f不是一个含有多级联的线性回归函数的组合。
[0045]S3:对于给出的任意一副测试图像，判断所述测试图像中是否存在人脸，即测试脸，若存在所述测试脸则执行步骤S4，若不存在所述测试脸，则不进行任何操作。
[0046]S4:对于给出的任意一副所述测试脸，通过所述检测分类器模型确定所述测试脸的位置。步骤S4包括:
[0047]106:首先利用所述人脸检测分类器模型得到所述测试脸的人脸的粗略轮廓，然后利用所述左眼检测分类器模型得到左眼的粗略轮廓，采用同样的方法，利用所述右眼检测分类器模型和嘴巴检测分类器模型得到右眼的粗略轮廓和嘴巴的粗略轮廓。
[0048]107:通过所述各个粗略轮廓计算得出所述测试脸的位置。所述由各个粗略轮廓计算得出所述测试脸的位置包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。所述测试脸的人脸的坐标位置为68个点的坐标集，所述左眼的粗略轮廓内所有点的位置的平均值为左眼中心位置，所述右眼的粗略轮廓内所有点的位置的平均值为右眼中心位置，所述嘴巴的粗略轮廓内所有点的位置的平均值为嘴巴中心位置。
[0049]S5:通过所述人脸部位轮廓定位模型得到精准的人脸轮廓位置。步骤S5包括:
[0050]将所述人脸部位轮廓定位模型f应用于所述测试脸，在所述人脸部位轮廓位模型的每一步级联应用中，相应的调整所述人脸部位轮廓位模型中的所述测试脸的定位轮廓。其中，具体调整方式为:利用牛顿梯度下降法计算轮廓点往哪个方向移动能使左右眼，以及嘴巴的定位轮廓所决定的中心位置与对所述测试脸进行检测得到的左右眼，以及嘴巴的中心位置更加接近。最终使得各个级联的结果中由所述定位轮廓决定的所述测试脸的位置与由所述检测分类器模型确定所述测试脸的位置的差值小于预定的阈值，具体的过程为:计算各个级联的结果中由所述定位轮廓决定的所述测试脸的位置与由所述检测分类器模型确定所述测试脸的位置的距离，如果距离大于所述预定的阈值，优化过程还要继续，直到之间的距离小于所述预定的阈值为止。其中，所述阈值由人脸光照的分布和强度，以及相机位置等因素决定，不是一个固定值，在上述调整过程中可调整所述阈值的数值。
[0051]其中，所述人脸部位轮廓定位模型中的所述测试脸的定位轮廓包括:所述测试脸的人脸的定位轮廓、左眼的定位轮廓、右眼的定位轮廓和嘴巴的定位轮廓。同理由所述各个定位轮廓可得到所述测试脸的位置，即包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。
[0052]以上描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。
【权利要求】
1.一种自动化人脸五官与面部轮廓辨识方法，其特征在于，包括: 准备一组训练图像集，采用训练机制得到检测分类器模型； 定义优化函数，计算得出人脸部位轮廓定位模型； 对于给出的任意一副测试脸，通过所述检测分类器模型确定所述测试脸的位置；将所述人脸部位轮廓定位模型应用于所述测试脸，在所述人脸部位轮廓位模型的每一步级联应用中，相应的调整所述人脸部位轮廓位模型中的所述测试脸的定位轮廓，使得各个级联的结果中由所述定位轮廓决定的所述测试脸的位置与由所述检测分类器模型确定所述测试脸的位置的差值小于预定的阈值。
2.根据权利要求1所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于， 所述人脸部位轮廓定位模型中的所述测试脸的定位轮廓包括:所述测试脸的人脸的定位轮廓、左眼的定位轮廓、右眼的定位轮廓和嘴巴的定位轮廓； 在所述各个级联的结果中，由所述定位轮廓决定的所述测试脸的位置包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。
3.根据权利要求1所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于，所述采用训练机制得到检测分类器模型的过程包括: 框出所述准备的训练图像集中的训练脸的人脸位置区域，以及眼睛和嘴巴的中心区域； 利用人脸检测算法的训练机制得到所述检测分类器模型。
4.根据权利要求1所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于，所述计算得出人脸部位轮廓定位模型的过程包括: 标注所述训练图像集中的训练脸的轮廓点； 选取一个标准脸模型，标注所述标准脸模型的轮廓点； 从所述标准脸模型的轮廓点出发，进行变换得到所述任一训练脸的轮廓点过程中，不断利用所述优化函数进行优化，得出所述人脸部位轮廓定位模型回归函数的系数，所述优化函数如下:
Min(I S-f(S0) I | + | f (S0)_LeftEyeCenter-S_Detect_LeftEyeyCenter
+ I I f(S0)_RightEyeCenter_S_Detect_RightEyeyCenterI
+ I f (S0)_MouthEyeCenter-S_Detect_MouthEyeyCenter ) 计算所述人脸部位轮廓定位模型的具体过程如下:
S1 = f(S0)；
51= S0XR0+T0 ；
52= f(S1) = T1VX (S0XR0+T0)； S = TfRiX (ShXRh+Th)。
5.根据权利要求1所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于，通过所述检测分类器模型确定所述测试脸的位置之前还包括: 对于给出的任意一副测试图像，判断所述测试图像中是否存在人脸，即所述测试脸； 若存在所述测试脸，则通过所述分类器模型确定所述测试脸的位置。
6.根据权利要求5所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于，所述对于给出的任意一副测试脸，通过所述检测分类器模型确定所述测试脸的位置的过程包括: 利用所述检测分类器模型得到所述测试脸的人脸的粗略轮廓、左眼的粗略轮廓、右眼的粗略轮廓和嘴巴的粗略轮廓； 通过所述各个粗略轮廓计算得出所述测试脸的位置； 所述由各个粗略轮廓计算得出所述测试脸的位置包括:所述测试脸的人脸的坐标位置、左眼中心位置、右眼中心位置和嘴巴中心位置。
7.根据权利要求1至6任一项所述一种自动化人脸五官与面部轮廓辨识方法，其特征在于，所述检测分类器模型包括: 人脸检测分类器模型、左眼检测分类器模型、右眼检测分类器模型和嘴巴检测分类器模型。
【文档编号】G06K9/64GK104361358SQ201410677445
【公开日】2015年2月18日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】熊伟华, 范澍斐, 李兵, 马燕军 申请人:江苏刻维科技信息有限公司