专利名称：数码照片中的人脸自动分割方法
技术领域：
本发明涉及计算机视觉、数字图像处理及模式识别等领域，具体是一种自动地实现图像中人脸外轮廓定位及人脸分割的技术方法。
背景技术：
实现图像中人脸的自动分割，就必须进行人脸外轮廓的精确定位。人脸轮廓是由人脸图像的部分边缘点连接起来的几何图形，用来表示图像中人脸的形状。人脸轮廓作为人脸特征的重要组成部分，它的提取不仅是人脸特征检测、人脸识别和人脸三维重建等人脸图像分析的重要前提，也是许多其他数字图像处理软件及艺术影像处理的基础。传统的人脸分割方法通常利用边缘检测算子得到图像边缘，然后根据人脸轮廓特点去除杂散的冗余边缘，最后进行边缘修补。这种方法得到人脸轮廓通常不连续，需要采用边缘连接算法把同一轮廓的各段边缘连接起来，误差较大，且对噪声比较敏感，算法鲁棒性不足，仅适合作为其它方法的补充。当前人脸轮廓检测方法主要分为如下三类1)结合人脸轮廓先验的知识，构建合适的模板，使人脸轮廓提取问题转化为模板匹配问题。^llie 等人使用变形模板提取脸部特征，模板通过动态地改变控制参量而将能量函数极小化，通过变形获得与图像的最佳匹配，但该方法面向特定姿态，需要大量的经验参数，抗噪能力较弱；2)利用统计模型实现人脸特征点先验知识的学习，进而实现人脸形状的拟合。Cootes 等人提出主动外观模型，实现了人脸的特征点定位和轮廓提取，由于训练样本及特征点数目的限制，无法灵活地实现任意姿态下人脸轮廓的准确定位；幻将人脸轮廓提取问题转化为动态曲线演化问题，利用活动轮廓模型(Active Contours)实现人脸轮廓定位。活动轮廓模型是20世纪80年代后期发展起来的一种图像处理方法，特别适用于提取任意形状的可变形轮廓，因此，活动轮廓模型成为解决人脸图像分割的一个极具潜力的工具。Harper和 Ifeilly采用局部能量几何活动轮廓模型成功的分割出视频中的人脸区域，但该方法易受结构性噪声干扰，仍难获得理想的分割效果；黄福珍提出一种在全局能量模型中加入椭圆约束的方法，实现了简单背景下的人脸分割。活动轮廓模型分为参数活动轮廓模型(又称Snake模型)和几何活动轮廓模型。 Snake模型存在对初始条件敏感、难以有效解决活动轮廓的拓扑变化等不足。近年来，水平集方法极大地推动了几何活动轮廓模型的发展，与Snake模型不同，几何活动轮廓模型主要的优点在于能在演化过程中自然地处理轮廓拓扑结构的变化；水平集的数值计算方法隐式地描述了活动轮廓的演化，避免了 Snake模型易陷于局部极值的问题。几何活动轮廓模型根据其能量泛函的定义又可以分为局部能量模型、全局能量模型以及局部和全局能量相结合的模型。综合上述，由于人脸的复杂性和易变性，实现自动、准确的人脸分割仍面临巨大挑战
发明内容
鉴于现有技术的以上不足，本发明提供一个整合多种能量模型进行优化的人脸轮廓检测及分割方法，使其性能稳定，尤其对复杂背景、光照姿态等变化因素具有很强的适应性，达到商业应用的要求。本发明主要包括如下几个步骤1、数码照片中的人脸自动分割方法，其特征在于包括以下步骤(1)对输入的照片进行人脸区域检测采用Adaboost方法实现人脸区域检测；(2)采用一个改良的肤色模型，在⑴所获人脸区域实现人脸轮廓的初步定位；所述肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ C1, Σ ^ ；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差Σ，直到参数收敛；(3)采用改良的活动轮廓模型，实现人脸初始轮廓向真实轮廓的不断演化，进而实现人脸准确分割，所述改良活动轮廓模型为融合了全局能量、边缘张力和肤色能量三种能量泛函
E^C^c^c,) = Eg(C^cout) +EXC^cl) +EXC^
2
_1] {E^C,C1) = A1^cUq(P)-C1 p dp
Es{C) = Xso j g(pfdp + Asl j \g{p)-g\dp
ou tside (C)inside (C)采用水平集方法对上式进行求解，得到演化公式Φ^=ΦΙ+Md-I(P)求解得到Φ的稳定值，其中Φ = 0的解就对应平面图像上的曲线，即为获得的人脸轮廓。与现有技术相比，采用本发明方法具有如下的优点(1)实现了相对准确的面部轮廓初定位。任何自动人脸轮廓检测方法的最终效果都依赖于初始位置，在肤色模型的基础上，本发明采用一个自适应的单高斯模型(Adaptive Single Gaussian Model，简称ASGM)，能够获得接近人脸实际轮廓的初始位置，可为后续实现精确的轮廓定位提供了良好的基础，并提高了方法的处理速度；(2)有效地克服了轮廓检测出现的孔洞(空洞)、凹陷等非真实轮廓曲线的现象。 当初始轮廓线在人脸内部时，全局能量模型因局部特征的干扰，会产生“孔洞”，借鉴局部能量模型的思路，根据演化曲线边缘点的邻域信息赋予边缘点外法向方向的张力，使得演化曲线能够克服脸部特征的影响，准确向人脸外轮廓方向演化。(3)结合肤色信息实现了轮廓快速、稳定的检测。面部肤色是人脸的重要特征，充分利用肤色信息，本发明采用一个肤色能量泛函，加快了演化速度并提高系统鲁棒性。所述技术( 根据演化曲线边缘点的邻域信息赋予边缘点一个外法向方向的张力能量，使得演化曲线能够克服脸部特征区域的影响，向人脸外轮廓方向演化。不同于局部能量模型，本发明仅利用邻域的外侧信息(演化曲线外部)；综合以上内容，本发明设计了一个张力能量、肤色能量与全局能量三者结合的统一能量模型，能够克服姿态、光照、复杂背景等因素的干扰，得到稳定、精确的人脸自动分割效果，可广泛应用于人脸识别、游戏、数码相机自动对焦等前期人脸图像处理。
图1为本发明进行人脸轮廓检测的流程2为本发明进行人脸轮廓初定位的流程图3为计算局部能量所采用的区域以及相关概念的示意4为根据人脸轮廓初定位及最终轮廓检测的结果示意图
具体实施例方式本发明包括三个步骤(1)人脸检测；( 轮廓初定位；(3)轮廓精确定位。过程见附图1。其中，第2、3步是本发明的核心特征。下面分步骤介绍具体实施方法1、人脸检测采用Adaboost算法实现人脸区域的初始定位，用矩形框将人脸区域进行标注，也可以将整张照片作为人脸区域看待。2、轮廓初定位采用一个基于单高斯模型SGM的改进算法，实现人脸皮肤区域检测，并采用对这部分区域进行椭圆拟合，作为下一步的初始轮廓线。具体实现步骤如下肤色在颜色空间的分布相当集中，而且会受到照明和人种的影响。为了减少肤色受照明强度影响，本发明将颜色由RGB空间转化到YCbCr颜色空间，然后放弃亮度分量Y， 仅使用Cb，Cr分量作为肤色训练和分类的信息，在一定程度上克服了光照的影响，下一步 (轮廓精确定位)中使用的混合高斯模型GMM也同样采用YCbCr颜色空间。采用SGM进行人脸肤色检测的基本过程首先采集大量脸部肤色训练样本(训练样本尽量包括不同光照、人种等情况)，用极大似然估计法计算该SGM的均值μ及方差Σ， 得到一个具有一般性的模型；然后用训练好的SGM模型计算测试图像中每一像素的PDF值， 通过一个阈值t对PDF值进行二值化，从而实现肤色分割。这种方法是通过训练集人脸肤色来估计测试人脸脸色区域，当训练样本不充分， 或者测试样本人脸光照条件比较特殊时，将会产生错误的结果。因此，本发明采用一个自适应的单高斯模型(Adaptive SGM,简称ASGM)，通过测试图片对SGM参数进一步调整，从而增加了肤色检测的鲁棒性，流程如附图2所示。方法具体描述如下A.初始化；(a)输入图像人脸区域(由第一步人脸检测获得的人脸矩形区域)；(b)计算SGM模型均值μ和方差Σ的初始值μ。，Σ。；(c)迭代计数器i = 0，设置最大迭代次数m。B.根据SGM获取肤色区域Ω。，令i = i+Ι ；C.更新SGM参数如果(i= 1)将Ω。中的所有像素当作样本，采用极大似然估计更新均值μ和方差Σ ；否则将Ω ^中的所有像素当作样本，更新均值μ。D.如果μ收敛或者i > m，转步骤E ；否则转步骤B ；
E.采用最小二乘法根据Ω ^中所有像素的位置进行椭圆拟合，得到轮廓Ctl，作为曲线演化的初始位置；F.将Ctl的轴缩小1/2，得到C1，其中的像素点颜色作为下一步GMM的训练样本。所述步骤A中均值μ和方差Σ的初始值为大量实验的经验值μ = [103.01， 140. 13]Τ，Σ= [242. 52，211· 56 ;211· 56，397· 32]τ，其中 μ 包括两个元素[Cb，Cr]的颜色值，Σ是这两个元素值在大量实验得到的方差。因多次更新方差会使方差收敛于0，会产生判定条件过于严格而导致有效肤色点过少的现象，因此所述步骤C在用SGM获取到人脸区域后，仅更新方差一次，而均值则通过多次迭代取其稳定值。所述步骤E中得到的人脸轮廓初始位置为单像素的椭圆线，也可以加粗显示以便观察。所述步骤F中在获得初始位置Ctl后，我们将Ctl的轴缩小1/2，得到C1，其内部区域的点作为下一步GMM的训练样本。没有直接采用Ctl的原因一方面减小背景出现在C1中的可能性，以避免误差；另一方面降低数据量，提高训练GMM参数的运算速度。3、轮廓精确定位采用一个融合全局能量、边缘张力和肤色能量的统一能量方法， 实现轮廓曲线的演化，求解最终的人脸轮廓位置。通过上一步得到初始位置曲线C后，需要进一步将初始C向真实人脸轮廓演化。在演化过程中，曲线C上的点并不一定是目标的轮廓点，为了区分二者，本发明中称当前演化曲线C上的点为边缘点，称后者为轮廓(点)。(1)全局能量Chan和Vese于2001年提出了一种经典的几何活动轮廓模型，Chan-Vese模型 (C-V模型)，又称无边缘活动轮廓模型。C-V模型不依赖图像局部梯度信息，是一种全局优化的算法。其基本概念如下令C为演化曲线，将整幅图像Utl分为两个区域Rin和R。ut。令每个区域的平均灰度值(对于多通道图像，则是一个向量，如平均RGB值)分别为Cin和c。ut。C-V模型通过最小化能量函数I (下标g标识该能量具有全局特性)来寻找最优分割线C，使其恰好在目标对象和背景的边界处。I的表达式如下
Es {C,cin,Coui) = ·Z(C) + ν · ^(C) + Im J \u0(x,y)-cm\2dxdy + Aout J \u0 (x,y)~ Cout^dxdy
insi de(C)outside {C)上式中，L(C)是闭合轮廓线C的长度；S(C)是C的内部区域面积；μ，V彡0，λ in， A。ut>0，是各个能量项权重系数的含义很明确，前两项是平滑项，后两项是实际图像与假定的“分片常数,像之间的偏离。最终分割轮廓线C的位置以及变量Cin和c。ut可经最优化上式得到，即{C°ZmZ0J= M Eg(QCvC2)
L,Cin,Cout(2)边缘张力能量首先给出边缘点P的外邻域O1的定义令Utl是定义域为ΩΕ硭上的一幅平面图像，被平面曲线C分为两部分Rin和R。ut。如附图3所示，以轮廓线C上的任意点P为中心，
6设置一个边长为a的正方形邻域ω p，该窗口同样被轮廓线C分为两部分内部区域ω“和外部区域ω。,ρ ；张力方向同曲线外法向量，在计算张力时仅用到外部区域《。。信息，称ω。, ρ为点P的外邻域，用《υ表示。从而，基于曲线边缘点外邻域的张力能量泛函定义如下E1 (C, C1) = A1/ c|u0 (p)-cljP|2dp其中，ρ e C是C上的任意一点，C1,p是ωι,ρ的灰度(颜色)均值，入1是张力的权重系数。(3)肤色能量对于图像分割问题，颜色信息仍然是最有效的知识，同样地，对于人脸分割问题， 最重要的信息是面部肤色，采用数学工具对肤色进行有效地学习可以提高人脸分割的鲁棒性，加快演化速度。本发明在张力能量基础上进一步设计了肤色能量Es
权利要求
1.数码照片中的人脸自动分割方法，其特征在于包括以下步骤(1)对输入的照片进行人脸区域检测采用Adaboost方法实现人脸区域检测；(2)采用一个改良的肤色模型，在(1)所获人脸区域实现人脸轮廓的初步定位；所述肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ ^， Σ ^ ；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差Σ，直到参数收敛；(3)采用改良的活动轮廓模型，实现人脸初始轮廓向真实轮廓的不断演化，进而实现人脸准确分割，所述改良活动轮廓模型为融合了全局能量、边缘张力和肤色能量三种能量泛函Em (C, c,, Cout ,Cl) = Eg{C, cin, Cout) + 马(C & ) + 足(C) < eI {C,C1) = Λ JcI^0 (ρ) - C1J dp Es{C) = Xso J g(p)2dp + Asi Joutside (C)inside (C)采用水平集方法对上式进行求解，得到演化公式求解得到Φ的稳定值，其中Φ = O的解就对应平面图像上的曲线，即为获得的人脸轮廓。
2.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，所述步骤(2) 的肤色模型中采用自适应的单高斯模型，首先通过训练样本计算SGM模型均值、方差初始值μ C1, Σ ^ ；利用初始参数进行人脸肤色点检测；然后根据检测得到的像素点集，采用极大似然估计更新均值μ和方差Σ，直到参数收敛。
3.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于(1)所述更新方差Σ仅更新一次，更新均值通过多次迭代取其稳定值；(2)所述肤色采用YCbCr颜色空间，放弃亮度分量Y，仅使用Cb，Cr分量作为肤色训练和分类的信息；均值和方差的初始值取值为μ = [103.01,140. 13]τ, Σ = [242.52， 211. 56 ；211. 56,397. 32]τ。
4.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，所述边缘张力方向同曲线外法向量，在计算张力时仅用外部区域ω。,ρ的信息。
5.根据权利要求1所述的数码照片中的人脸自动分割方法，其特征在于，肤色能量采用高斯混合模型GMM，其中模型个数为2，其训练样本像素采用样本自动获取方法获得，即为初始轮廓的1/2区域。
全文摘要
本发明公开了一种数码照片中的人脸自动分割方法。关键技术为(1)为避免局部最优，将边缘张力及肤色信息与全局能量结合，设计了一个基于统一能量泛函的几何活动轮廓模型；(2)设计一个基于单高斯模型的改进方法，能够估计出接近实际人脸外轮廓的初始位置；(3)根据演化曲线的邻域信息赋予边缘点向外的张力，使曲线能够克服面部特征及面部饰物的干扰，引导其向外轮廓方向演化；(4)鉴于肤色是面部最重要的特征，本发明设计肤色能量，进一步提高了模型的鲁棒性。本发明方法能够克服姿态、光照、复杂背景等因素的干扰，得到准确的分割效果，可广泛应用于人脸识别、游戏、数码相机自动对焦等前期人脸图像处理。
文档编号G06K9/00GK102254327SQ201110215738
公开日2011年11月23日 申请日期2011年7月29日 优先权日2011年7月29日
发明者李天瑞, 李昕昕, 龚勋 申请人:西南交通大学