专利名称：用于检测彩色图像中的脸部的方法和设备的制作方法
技术领域：
本发明涉及一种用于检测图像中的脸部的设备和方法。
背景技术：
脸部检测是许多视频应用中所遇到的问题，尤其是在图像索引系统和视频电话系统中，以便改善传输质量。
此外，脸部的检测主要是对其的自动识别。脸部的识别近年来已经得到了极大的发展，检测变得越来越值得期待。
-例如，在多媒体环境下，将脸部的检测与识别进行结合的技术通过使其能够发现其中出现过某人的所有照片，实现基于个人照片的彻底查询。
-这种技术对于电影或电视公司是非常有用的，以便根据细微下标准自动对视频进行归档。
更简单地，一种用于检测脸部的算法使其能够将个人照片分为几个类别没有脸部、具有1个脸部、具有几个脸部等。
针对脸部检测的问题，存在两种解决方案基于模型的方案和基于外观的方案。
模型方案试图以简单的方式，根据轮廓、颜色、光的变化、纹理来定义所寻找的物体。这些方法的缺点在于其难以根据规则来定义物体。如果所采用的规则过于严格，就不再检测只是稍微位于标准之外的物体。相反，如果规则过于含糊，则系统检测到许多不想要的物体。
但是，外观方案依赖于如神经网络等非参数确定方法(或分类器)。并未清楚地判定定义了要检测的物体的规则，但通过学习集合对这些规则进行学习。对图像、描述符(平均颜色、像素的颜色、小波变换等)进行测量。然后，分类器对学习集合的描述符进行加权，从而定义要检测的物体。于是，规则是基于描述符的统计平均。
这种解决方案的原理在于将输入图像分割为小片，并将这些片中的每一个提交给分类器，分类器确定某某片是否为脸部。问题在于决定所述片应当具有的尺寸。在识别照片类型的图像中，或者在一组照片中，脸部并不具有绝对相同的尺寸。于是，需要对每幅输入图像进行多分辨率分割，也就是说，将会把图像的每四分之一、每八分之一等提交给分类器。这就是使得该系统极其花费计算时间的原因。
发明内容
本发明提出了一种简单的方法，在于使用相当灵活的模型，以便将缩减的候选集合提供给非参数决定系统，使其能够省去多分辨率分割。
为此目的，本发明提出了一种用于检测图像中的脸部的方法，所述图像由多个像素组成。
根据本发明，所述方法包括以下步骤-检测图像中的肉色像素，-将图像分割为均匀颜色区域，-在均匀颜色区域中，选择其所包括的肉色像素数目大于第一预定阈值的区域，将所选择的区域称为肉色区域，-对相邻的肉色区域进行合并，直到合并代价达到第二预定阈值为止，合并代价对与区域的形状有关的合并代价以及与区域的颜色有关的合并代价进行线性加权，-排除错误的肯定结果。
通过对输入图像而不是对在完成检测肉色像素的步骤时所获得的概率图执行图像分割，在此限制内，可以使更好的精度成为可能。
此外，基于区域的形状和颜色的合并代价实现了对作为脸部的可能候选的区域的快速而有效的接近。
根据优选实施例，所述合并步骤包括以下子步骤-通过计算邻近区域之间颜色上的平均差，来计算与区域的颜色有关的合并代价，
-通过以下步骤来计算与形状有关的合并代价-计算区域的面积与具有与所述区域相同的重心并最好地覆盖了所述区域的椭圆的面积之间的重叠，-通过计算该区域在椭圆外部的像素数与椭圆在该区域外部的像素数的和与椭圆像素数的比值，来计算每个区域的椭圆特征，-计算两个相邻区域的椭圆特征的测量值的最大值与已合并区域的椭圆特征的测量值之间的差。
优选地，检测肉色像素的步骤在于以色度平面上的二维高斯概率定律的形式，定义脸部颜色模型。
根据优选实施例，排除错误的肯定结果的步骤在于将已合并区域的属性与脸部的特定属性进行比较，并排除其属性与脸部的属性相差甚远的区域。
根据优选实施例，从以下各项中选择所述属性-区域的大小，-区域的形状，-平均颜色，-亮度沿主轴的变化，以及这些属性的任意组合。
根据优选实施例，排除错误的肯定结果的步骤包括以下子步骤-相对于已合并区域，计算至少一个视觉描述符，-在包括脸部的示例图像和不包括任何脸部的示例图像之间的描述符空间中，确定最优的超平面，-排除其描述符并未位于超平面的正确侧的区域。
有利地，通过执行包围了已合并椭圆的最小矩形的小波变换，以及通过将通过对图像的分级分解而获得的十二幅细节图像中的小波系数的变化分配给描述符，来计算所述描述符。
本发明还涉及一种用于检测图像中的脸部的设备，所述图像由多个像素组成。根据本发明，所述设备包括-检测装置，检测图像中的肉色像素，
-分割装置，将图像分割为均匀颜色区域，-选择装置，在均匀颜色区域中，选择其所包括的肉色像素数目大于第一预定阈值的区域，将所选择的区域称为肉色区域，-合并装置，对相邻的肉色区域进行合并，直到合并代价达到第二预定阈值为止，合并代价对与区域的形状有关的合并代价以及与区域的颜色有关的合并代价进行线性加权，-排除装置，排除错误的肯定结果。
本发明还涉及一种计算机程序产品，包括当在计算机上执行所述程序时，用于执行根据权利要求1到7之一所述的用于检测脸部的方法的步骤的程序代码指令。
参照附图，借助于整个非限定性的有利典型实施例和实现模式，将更好地理解和描述本发明，其中图1示出了平面(Cb，Cr)中的肉色概率定律。
具体实施例方式
本方法包括检测图像中的肉色像素的步骤。
所使用的颜色空间是(Y，Cb，Cr)空间，其将亮度分量Y与描述蓝色(Cb)和红色(Cr)的两个分量相分离。
无论人种如何，其肤色均位于色度平面的精确部分中。
可以提出几种方法来构建肤色的模型。
在优选实施例中，根据肤色位于色度平面的特定平面中的假设，根据图1，以色度平面(Cb，Cr)中的二维高斯概率定律的形式，定义肤色模型。通过训练来确定此高斯概率定律的参数。
在其他实施例中，可以以非参数方案为基础。如果颜色直方图h(r，g)大于根据示例脸部依经验而选定的阈值，则将像素分类为具有肉色，r表示红色，而g表示绿色。
在识别了肉色像素时，将此图像分割为区域，从而识别均匀颜色区域，而不是像素。
可以应用几种分割方法。
对输入图像而不是对在完成检测肉色像素的步骤时所获得的概率图执行图像分割。这使其尤其能够在边界处获得更好的精度。
可以通过针对颜色均匀性的标准，将像素分簇，或者通过轮廓检测，使用本领域技术人员所公知的方法，来执行所述分割。
因此，第一步确定肉色像素，而第二步，可能与第一步并行执行，将输入图像分割为均匀颜色区域。
之后，在完成这两步时，其像素中预定百分比(例如，多于一半)为肉色的区域被称为“肉色区域”，并继续搜索脸部的其余步骤。
在已经将区域检测为肉色时，需要考虑这些区域的形状。
初始假设为脸部当然是椭圆形。
因此，下一步骤在于将宏观肉色区域的合并调整为椭圆形。
优选地，此步骤在于应用RSST(“回归最短生成树”的缩写)区域合并方法。Ertem Tuncel和Levent Onutal在IEEE transactionCSVT，2000年，卷10上发表的文献“utilization of the recursiveshortest spanning tree algorithm for video-object segmentationby 2-D affine motion modeling”描述了这种合并方法。
更新相邻区域间的链接列表，并按照增加的合并代价进行排序。重复合并其合并代价最低的两个区域，直到达到预定的最大合并代价为止。
该合并考虑了颜色和形状信息。
应用对与颜色有关的合并代价Ccolour和与形状有关的合并代价Cshape进行线性加权的代价函数C＝αcc×Ccolour+αf×Cshape例如，赋予形状的权重αf是赋予颜色的权重αc的两倍。
通过计算可合并区域间颜色的平均差，获得针对颜色而计算的合并代价。按照这种方式，已合并区域拥有颜色的均匀性。
在以下的等式中，(Y1，Cb1，Cr1)和(Y2，Cb2，Cr2)是两个相邻并因此可合并的区域R1和R2在空间YCbCr中的平均颜色矢量。如果在0和255之间，对颜色分量进行编码，分母用于将代价归一化在数值0和1之间。
Ccolour=13*2552[(Y‾1-Y‾2)2+(C‾b1-C‾b2)2+(C‾r1-C‾r2)2]]]>为了定义与形状有关的合并代价，首先定义对区域上椭圆特征的测量。
为此目的，如图2所示，确定具有与此区域相同重心的椭圆的特性。此椭圆具有至少等于该区域表面的面积，并最好地覆盖该区域。作为示例，可以使用本领域的技术人员所公知的所谓“矩方法”来确定此椭圆。
每个区域Ri与椭圆Ei相关联。
因此，通过测量区域及其相关椭圆的相互覆盖，来确定区域Ri的椭圆特征Eri计数该区域在椭圆外部的所有点以及在椭圆内部而在该区域外部的所有点，并以椭圆的面积对这二者的和进行归一化；此数值越大，则该区域越不椭圆。
与两个相邻区域R1和R2的形状相关的合并代价是两个可合并区域的椭圆特征的测量值Er1和Er2的最小值与已合并区域R1∪R2的椭圆特征的测量值之间的差。当已合并区域比其各部分更为椭圆时，此代价总是更小。例如，可以通过以下公式给出与形状有关的合并代价Cshape=12(1+Max(Er1,Er2)-Er1∪Er2)]]>在完成此步骤时，存在特定数目的椭圆形肉色区域，作为脸部的候选。
在这些区域中，一些并不是脸部，并被称为“错误的肯定结果”。因此，排除这些区域是重要的。
存在几种排除错误的肯定结果的方法。
描述两种方法，一种基于参数方案的方法，以及一种基于分类器的训练的方法。
参数方案测量椭圆形肉色合并区域的多种属性。
这些属性对于脸部来说是共同的。
可以提及的有-形状不应当太大或太小，或太拉长，-主轴并不离垂直太远，-平均颜色是肉色，-亮度沿主轴的变化不太大。
在其他实施例中，可以考虑其他的参数。
基于训练的方案在此可选方案中，针对每个候选椭圆，计算视觉描述符。
管理分类器能够区分脸部和非脸部。
在优选实施例中，使用SVM型(表示“支持矢量机”)分类器。
在其中向其提供示例和反示例基础的训练阶段的过程中，此分类器确定脸部和非脸部之间，在描述符空间中的最优超平面。脱机执行此训练阶段。一旦已经执行了此训练阶段，则分类器能够实时地确定从上述检测阶段得出的候选是否为脸部或非脸部。
在其他实施例中，可以使用k-means型分类器或神经网络。
可以使用几种描述符。
在优选实施例中，如图3所示，根据包围了在前述步骤中作为候选而检测到的候选椭圆的矩形的小波变换(或子带变换)，得出所使用的描述符。
如图4所示，根据通过分级分解图像而得到的12幅细节图像中的小波系数的变化得出所述描述符，所述12幅细节图像是以排除了阴影区域而表示的细节图像。
用于将图像分解为子带的电路是沿两个方向将图像滤波为低频和高频子带的滤波器的集合。
该电路包括四个连续的分级级别，用于根据四个分辨率级别，将图像分解为子带。
子带LL1包括图像信号沿两个方向的低频分量或系数。子带LH1包括沿第一方向的低频系数和沿另一方向的高频系数。子带HL1包括沿第一方向的高频系数和沿第二方向的低频系数。最后，子带HH1包括沿两个方向的高频系数。
之后，根据与上述相同的原理，将子带LL1分解为子带LL2、LH2、HL2、HH2。
之后，根据与上述相同的原理，将子带LL2分解为子带LL3、LH3、HL3、HH3。
之后，根据与上述相同的原理，将子带LL3分解为子带LL4、LH4、HL4、HH4。
此描述符能够捕获脸部纹理的特定属性。
在其他实施例中，可以使用表示亮度沿椭圆主轴的变化的描述符。
权利要求
1.一种用于检测图像中的脸部的方法，所述图像由多个像素构成，所述方法的特征在于包括以下步骤-检测图像中的肉色像素，-将图像分割为均匀颜色区域(Ri)，-在均匀颜色区域(Ri)中，选择其所包括的肉色像素数目大于第一预定阈值的区域(Ri)，将所选择的区域称为肉色区域(Ri)，-对相邻的肉色区域(Ri)进行合并，直到合并代价达到第二预定阈值为止，合并代价对与区域(Ri)的形状有关的合并代价以及与区域(Ri)的颜色有关的合并代价进行线性加权，-排除错误的肯定结果。
2.根据权利要求1所述的方法，其特征在于所述合并步骤包括以下子步骤-通过计算邻近区域(Ri)之间颜色上的平均差，来计算与区域(Ri)的颜色有关的合并代价，-通过以下步骤来计算与形状有关的合并代价-计算区域(Ri)的面积与具有与所述区域(Ri)相同的重心并最好地覆盖了所述区域的椭圆(Ei)的面积之间的重叠，-通过计算该区域在椭圆(Ei)外部的像素数与椭圆(Ei)在该区域(Ri)外部的像素数的和与椭圆(Ei)像素数的比值，来计算每个区域的椭圆特征，-计算两个相邻区域(Ri)的椭圆特征的测量值的最大值与已合并区域(Ri)的椭圆特征的测量值之间的差。
3.根据前述权利要求之一所述的方法，其特征在于检测肉色像素的步骤在于以色度平面上的二维高斯概率定律的形式，定义脸部颜色模型。
4.根据前述权利要求之一所述的方法，其特征在于排除错误的肯定结果的步骤在于将已合并区域(Ri)的属性与脸部的特定属性进行比较，并排除其属性与脸部的属性相差甚远的区域。
5.根据权利要求4所述的方法，其特征在于从以下各项中选择所述属性-区域的大小，-区域的形状，-平均颜色，-亮度沿主轴的变化，以及这些属性的任意组合。
6.根据权利要求1到3之一所述的方法，其特征在于排除错误的肯定结果的步骤包括以下子步骤-相对于已合并区域(Ri)，计算至少一个视觉描述符，-在包括脸部的示例图像和不包括任何脸部的示例图像之间的描述符空间中，确定最优的超平面，-排除其描述符并未位于超平面的正确侧的区域(Ri)。
7.根据权利要求6所述的方法，其特征在于通过执行包围了已合并椭圆的最小矩形的小波变换，以及通过将通过对图像的分级分解而获得的十二幅细节图像中的小波系数的变化分配给描述符，来计算所述描述符。
8.一种用于检测图像中的脸部的设备，所述图像由多个像素组成，其特征在于所述设备包括-检测装置，检测图像中的肉色像素，-分割装置，将图像分割为均匀颜色区域(Ri)，-选择装置，在均匀颜色区域(Ri)中，选择其所包括的肉色像素数目大于第一预定阈值的区域(Ri)，将所选择的区域称为肉色区域，-合并装置，对相邻的肉色区域(Ri)进行合并，直到合并代价达到第二预定阈值为止，合并代价对与区域(Ri)的形状有关的合并代价以及与区域(Ri)的颜色有关的合并代价进行线性加权，-排除装置，排除错误的肯定结果。
9.一种计算机程序产品，包括当在计算机上执行所述程序时，用于执行根据权利要求1到7之一所述的用于检测脸部的方法的步骤的程序代码指令。
全文摘要
本发明涉及一种用于检测彩色图像中的脸部的设备和方法。所述方法包括以下步骤检测图像中的肉色像素；将图像分割为均匀颜色区域(R
文档编号G06K9/00GK1577380SQ200410063758
公开日2005年2月9日 申请日期2004年7月7日 优先权日2003年7月8日
发明者贝特朗·许波, 樊尚·托尔卢, 于尔根·施陶德尔, 利昂内尔·瓦瑟 申请人:汤姆森许可贸易公司