专利名称：检测头发区域的方法
技术领域：
本申请涉及一种新型头发区域检测方法，通过该方法可精确快速地检测头发区 域。
背景技术：
因为各式各样的发型、头发颜色和亮度，造成头发检测成为一个非常具有挑战性 的研究主题。对于虚拟理发、虚拟人模型、虚拟形象等，头发检测是非常有用的技术。各大 公司已经对头发区域检测研究了很多年。在美国专利US2007025^97中，设计了一种具有 发光装置和图像传感器以检测头发区域的设备。尽管该设备通过使用特别设计的发光装置 解决了照度问题，但是它对皮肤颜色和清楚背景依赖程度很高。因此，该结果不是很稳定， 并且应用也受到了限制。在美国专利US2008215038中，采用了 2步法，首先在2D图像中定 位大致的头发区域，然后在激光扫描的3D图像中检测精确的头发区域。激光扫描仪非常昂 贵并且用户界面不友好。在美国专利671U86中，将产生的RGB和色调颜色空间相结合以检测皮肤颜色和 皮肤像素中的黄色的头发像素。该方法也会受到不稳定的颜色信息和背景区域的影响。在现有技术中，主要存在两个问题，一个问题在于先前的专利太依赖于皮肤颜色 和清楚的背景。皮肤颜色随着人、照度、相机和环境的不同而有很大变化；因此，所述检测头 发区域的方法很不稳定，并且不能获得稳定而精确的结果。第二个问题在于上述专利基于 局部信息，而用局部信息，不可能精确地确定像素是否属于头发区域。
发明内容
本发明提供了一种精确快速地检测头发区域的方法。该方法采用彩色相机(CCD/ CMOS)和深度相机，并将彩色相机的图像和深度相机的图像对准。所述方法能够结合皮肤和 头发颜色、频率、深度信息以检测头发区域，并利用全局最优化方法而非局部信息方法来从 噪声背景中分割出整个头发区域。根据本发明的一方面，提供了一种检测头发区域的方法，所述方法包括获得头部 区域的置信度图像；以及对获得的上述置信度图像进行处理以检测头发区域，其中，所述获 得头部区域的置信度图像的步骤包括对彩色图像的头部区域进行颜色分析以获得头发颜 色置信度图像。根据本发明的一方面，所述获得头部区域的置信度图像的步骤还包括对与彩色 图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像。根据本发明的一方面，所述获得头部区域的置信度图像的步骤还包括对与彩色 图像的头部区域相应的深度图像进行前景分析以计算前景区域置信度图像。根据本发明的一方面，所述获得头部区域的置信度图像的步骤包括对彩色图像 的头部区域进行颜色分析以获得非皮肤颜色置信度图像。根据本发明的一方面，所述对获得的上述置信度图像进行处理以检测头发区域的步骤包括基于为各个置信度图像分别设置的阈值，将各置信度图像中的像素值大于相应 阈值的像素设置为1，否则将其设置为0 ；然后针对各置信度图像中的相应像素进行与操 作，并将得到的像素值为1的区域确定为头发区域。根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括将各置信 度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加以计算各置 信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相应像素是否 属于头发区域。根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括根据获得 的各置信度图像使用通用二值分类器来确定像素是否属于头发区域。根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括将各置信 度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加以计算各置 信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相应像素是否 属于头发区域。根据本发明的一方面，所述对获得的置信度图像进行处理的步骤包括对于获得 各置信度图像使用全局最优化方法来确定像素是否属于头发区域。根据本发明的一方面，所述全局最优化方法是图割方法，其中，利用图割方法来使 下面的能量函数E (f)最小化，来将图像分割为头发区域和非头发区域E(f) = Edata (f)+Esmooth (f)其中，f表示所有像素的分类，所述类被划分为非头发像素类和头发像素类， Edata(f)表示把像素拉到所属类的外力产生的能量，Es_th(f)表示相邻像素之间的平滑度的 平滑度能量值。根据本发明的一方面，在置信度图像数是m的情况下，图像的每个像素值具有与 各置信度图像相应的m个置信度值；其中，如果在像素被标记为头发类的情况下，则该像素 的数据能量为分别与m个置信度值相应的m个能量的加权和；否则为(m-m个能量的加权 和)，其中，m大于等于2并且m小于等于4。根据本发明的一方面，所述方法还包括对彩色图像进行分割以获得彩色图像的 头部区域。根据本发明的一方面，根据彩色图像的头部区域的大小和位置来确定与彩色图像 相应的深度图像的头部区域。
下面结合附图和具体实施方式
对本发明作进一步详细说明图1是示出根据本发明的检测头发区域的方法的流程图；图2A示出了输入的RGB彩色图像和脸部/眼睛检测区域；图2B示出了彩色图像的头部区域；图3A示出了深度图像的头部区域；图;3B示出了深度图像的头部区域的置信度图像；图4A示出了头发颜色置信度图像；图4B示出了非皮肤颜色置信度图像；
图5A示出带通滤波器的设计；图5B示出了头发频率置信度图像；图6示意性地示出图割方法；图7示出检测的头发区域。
具体实施例方式图1是示出根据本发明的检测头发区域方法。该方法包括如下几个操作根据图 1所示的方法，在步骤S110，对RGB彩色图像进行分割以获得彩色图像的头部区域。在步骤 S120，根据获得的彩色图像的头部区域的位置和大小，获得对应于彩色图像的深度图像中 与彩色图像的头部区域相应的深度图像的头部区域。在步骤S130，对深度图像的头部区域 进行前景分析以计算前景区域置信度图像D。在步骤S140，对彩色图像的头部区域进行颜 色分析以获得头发颜色置信度图像H。在本发明的上述步骤中，步骤S120和S130都不是必 要的，可根据实际需要而省略上述步骤。另外，在步骤S140中，除了通过颜色分析获得头发 颜色的置信度图像H之外，还可根据需要而进行颜色分析以获得彩色图像的头部区域的非 皮肤颜色置信度图像N。此外，根据本发明所述的方法，还可包括步骤S150，在该步骤中，对 与彩色图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像F1。然 后，在步骤S160，对获得的置信度图像进行求精操作以检测头发区域。这里，所获得的置信 度图像是头发颜色置信度图像和头发频率置信度图像与前景区域置信度图像和非皮肤颜 色置信度图像中的至少一个的结合。在步骤S110，用脸部和眼睛检测方法，可精确定位头部区域。用脸部位置和大小来 确定所述头部区域的位置和大小。
x = xO-aO*WO y = y0-al*IV0i
W = a2*WQ H = a3*W0其中，坐标(x，y)表示头部区域左上角位置，W和H表示头部区域的宽度和高度， (χΟ,γΟ)表示左眼中心的位置，wO表示左右眼中心之间的距离，aO至a3表示常数值，其中， 通过在多个脸部图像中手工标注两眼中心和脸部区域，并根据标注结果来统计aO至a3的 平均值。图2A示出了输入的彩色图像和脸部/眼睛检测区域，图2B示出了彩色图像的头 部区域。在步骤S120，根据获得的彩色图像的头部区域的位置和大小，获得对应于彩色图像 的深度图像中与彩色图像的头部区域相应的深度图像的头部区域。图3A示出了相应的深 度图像的头部区域。在步骤S130中，通过在线训练方法建立高斯模型来计算深度图像的头部区域的 前景区域置信度图像D，在所述前景区域置信度图像D中，每个像素具有置信度值，这里，所 述置信度值表示该像素是前景区域的概率值。在这里，我们将对使用在线训练方法来建立高斯模型的方法简单地进行描述首 先，统计分割的深度图像中的深度的直方图，然后将直方图中大部分区域的深度信息作为 粗略前景区域，根据粗略前景区域的深度，计算用高斯模型对前景区域的概率值进行建模 的Ga O)中深度的均值3和方差σ，通过将每个像素的深度代入O)，得到该像素在前景区域置信度图像D中的置信度，即D (x, y) = G(d, σ )，其中，D(x，y)表示在前景区域置信度图像中坐标为(x，y)的像素是前景区域的概 率值，3和σ表示深度图像中前景区域的深度的均值和方差。用在线训练的高斯模型，可 计算前景区域置信度图像D，其结果如图:3Β所示。在步骤S140所示的颜色分析过程中，可通过为头发颜色建立高斯混合模型，而获 得如图4Α所示的头发颜色置信度图像H。另外，还可根据需要在该步骤中通过为皮肤颜色 建立高斯混合模型，而获得如图4Β所示的非皮肤颜色置信度图像N。头发颜色置信度图像 H表示图像H中每个像素是头发颜色的概率值，非皮肤颜色置信度图像N表示所述图像N中 每个像素不是皮肤颜色的概率值。其中，头发颜色的高斯混合模型具体训练方法为首先找一些人脸图像，并手工标 注头发区域，将标注的头发区域的各个像素作为样本，将RGB值转为HSV值，然后利用其中 的HS计算高斯混合模型的参数。另外，皮肤颜色的高斯混合模型具体训练方法为找一些 人脸图像，手工标注人脸中皮肤区域；将标注的皮肤区域的各个像素作为样本，将RGB值转 为HSV值，利用其中的HS计算高斯混合模型的参数。而非皮肤颜色高斯混合模型具体训练 方法为首先训练皮肤颜色高斯混合模型，然后利用(1.0-皮肤颜色高斯混合模型)可以得 到非皮肤颜色高斯混合模型。其中，高斯混合模型的一般公式为
MG{x) = YjWi^,
/=1其中，M表示高斯混合模型中包含的单高斯模型的数目，gi(y i，Oi, χ)表示一个 单高斯模型，μ i为均值，σ i为方差，X表示色调值，Wi表示& ( μ i，O i，X)的权重。步骤S150表示频率分析步骤。在频率空间，头发区域具有非常稳定的特征。在本 发明的频率分析过程中，如图5A所示来设计带通滤波器以计算头发频率置信度图像Fl。其 中，带通滤波器的上限值(4)和下限值(f；)通过离线训练得到。其训练方法如下所示首 先，采集头发区域图像，手工分割出头发区域，然后计算头发区域的频域图像，统计频域图 像中头发区域的直方图H(f)以使得&和f 满足如下所述的关系1=3^=^01^))(1()5)
和fu =argmax(H(f)<0.95) ’其中，上述两个式子分别表示只有5%的值小于&和只有5%的
值大于f 。在频率分析过程中，针对头发区域中的像素，建立头发频域值的高斯模型，其中， 高斯模型的参数是离线训练得到的。然后对每个像素，计算其频域值，代入高斯模型得到概 率值。在频率置信度图像Fl中，每个像素值表示该像素是头发频率的概率值。然后得到如 图5B所示的头发频率置信度图像Fl。步骤S160是求精步骤。在步骤S160中，将精确地确定哪个像素属于头发区域及 哪个像素不属于头发区域。这里，有四种确定方法。(1)阈值方法在该方法中，为获得的各个置信度图像不同地设置阈值，将每个置信度图像中的 像素分为两类头发像素和非头发像素，也即，如果某置信度图像中的像素的概率值大于为 该置信度图像设置的阈值，则将该头发像素确定为头发像素，其像素值用“1”表示；否则，将该像素确定为非头发像素，其像素值用“0”表示。然后在对各个置信度图像进行二值化 后，针对各个置信度图像中相应像素进行与操作，并将进行与操作之后得到的像素值为1 的区域确定为头发区域。(2)分值结合方法与阈值方法不同，在该方法中，计算前面所述的步骤中得到的各个置信度图像的 加权的和图像。其与阈值方法的不同之处在于不同的置信度图像具有不同权值，然后将权 值与相应置信度图像的(i，j)像素的置信度值相乘并将各个置信度图像的相乘结果相加 来得到和图像的(i，j)像素是头发像素的概率值。这些权值表示其在分割头发区域的稳定 性和性能。举例来说，对于获得了 D、H、N和Fl四个置信度图像的情况下，通过下述公式来 获得(i，j)处的像素是头发像素的概率值s(i，j) =ffnXn(i, j)+fffXf(i, j)+ffhXh(i, j)+ffdXd(i, j)其中，Wn、Wf、Wh和％分别表示置信度图像N、F1、H和D的权值，n(i，j)、f(i，j)、 h(i，j)和d(i，j)分别表示置信度图像N、F1、H和D中的(i，j)像素是头发像素的概率值， 而s(i，j)表示置信度图像N、F1、H和D的和图像中(i，j)像素是头发像素的概率值。在获得了和图像的像素的概率值s(i，j)之后，将获得的s(i，j)与设置的阈值相 比较，如果大于阈值就属于头发区域；否则，则不属于头发区域。(3)通用二值分类器方法在通用二值分类器方法中，像素(i，j)具有nK4>m>》维特征，其中，m等于获 得的置信度图像的个数，而(i，j)处像素的特征可根据获得的置信度图像的类型和个数而 改变。例如，如果Hi = 4，则像素(i，j)具有[d(i，j),n(i, j)，h(i，j)，f(i，j)]的特征， 其中，d(i，j)、n(i，j)、h(i，j)和f(i，j)分别表示所获得的置信度图像D、N、H和Fl中的 (i，j)像素是头发像素的概率值。当然，如果获得的置信度图像是N、H和Fl的情况下，像 素(i，j)具有[n(i，j)，h(i，j)，f(i，j)]的特征，而如果获得的置信度图像是D、H和Fl的 情况下，像素(i，j)具有[d(i，j)，h(i，j)，f(i，j)]的特征。一些比如支持向量机(SVM) 和线性鉴别分析(lineardiscriminative analysis,LDA)的通用二值分类器可被直接用于 确定(i，j)像素是否是头发像素。(4)全局最优化方法前面的三种方法都是基于局部信息，只用局部信息，很难确定像素是否属于头发 区域。全局最优化方法整合整个图像信息以实现全局最优化。图割(graph cut)、马尔科夫 随机场(Markov Random Field)、置信度传播(BeliefPropagation)是目前常用的全局最 优化方法。在本发明中，采用如图6所示的图割方法。在图6的示意性示图中，各个顶点表 示图像中的各个像素，F表示将该顶点拉到所属的类所需要的外力。在图7中，各相邻顶点 之间示意性地用弹簧连接，其中，如果相邻像素属于同一类，他们之间的弹簧就处于松弛状 态，没有附加能量；否则，弹簧被拉伸，额外附加一个能量。在该方法中，建立了下面所示的全局能量函数E(f)E(f) = Edata (f)+Esmooth (f)其中，f表示所有像素的分类，所述类被划分为非头发像素类和头发像素类， Edata(f)表示把像素拉到所属类的外力产生的能量。Es_th(f)表示相邻像素之间的平滑度 的平滑度能量值。通过使用全局最优化方法，即使用一个置信度图像，也可精确地分割头发区域。对于获得了 πΚ4≥m≥2)置信度图像的情况，图像中每个像素都包含分别与获得 的各个置信度图像中的相应像素相应的m个置信度值。具体来讲，如果某像素属于头发类， 则其数据能量为分别与其m个置信度值相应的m个数据能量的加权和；否则为(m-m个数据 能量的加权和)。在本发明中，某置信度图像中的像素值越大，也就是说，该像素的概率值越大，则 该像素属于头发区域所需要的能量越小。通过最优化能量函数，如图7所示，图像可被分割 为两部分头发区域和非头发区域。通过使用根据本发明的方法，可精确快速地检测头发区域。通过使用头部区域分 割过程，可从一个大图像中分割出头部区域。通过前景分析过程，可获得前景区域置信度图 像。通过颜色分析过程，可获得非皮肤颜色置信度图像和头发颜色置信度图像。通过频率 分析过程，可获得头发频率置信度图像。而求精过程通过使用置信度图像而能够更精确快 速地分割头发区域。
权利要求
1.一种检测头发区域的方法，所述方法包括获得头部区域的置信度图像；以及对获得的置信度图像进行处理以检测头发区域，其中，所述获得头部区域的置信度图像的步骤包括对彩色图像的头部区域进行颜色 分析以获得头发颜色置信度图像。
2.如权利要求1所述的方法，其特征在于，所述获得头部区域的置信度图像的步骤还 包括对与彩色图像的头部区域相应的灰度图像进行频率分析以获得头发频率置信度图像。
3.如权利要求2所述的方法，其特征在于，所述获得头部区域的置信度图像的步骤还 包括对与彩色图像的头部区域相应的深度图像进行前景分析以计算前景区域置信度图像。
4.如权利要求3所述的方法，其特征在于，所述获得头部区域的置信度图像的步骤包 括对彩色图像的头部区域进行颜色分析以获得非皮肤颜色置信度图像。
5.如权利要求4所述的方法，其特征在于所述对获得的置信度图像进行处理以检测头 发区域的步骤包括基于为各个置信度图像分别设置的阈值，将各置信度图像中的像素值 大于相应阈值的像素设置为1，否则将其设置为0 ；然后针对各置信度图像中的相应像素进 行与操作，并将得到的像素值为1的区域确定为头发区域。
6.如权利要求4所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包 括将各置信度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加 以计算各置信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相 应像素是否属于头发区域。
7.如权利要求4所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包 括根据获得的各置信度图像使用通用二值分类器来确定像素是否属于头发区域。
8.如权利要求4所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包 括将各置信度图像的像素值与为各置信度图像设置的权值分别相乘并将相乘的结果相加 以计算各置信度图像的和图像的相应像素的像素值，然后基于预定阈值来确定和图像的相 应像素是否属于头发区域。
9.如权利要求4所述的方法，其特征在于所述对获得的置信度图像进行处理的步骤包 括对于获得各置信度图像使用全局最优化方法来确定像素是否属于头发区域。
10.如权利要求9所述的方法，其特征在于所述全局最优化方法是图割方法，其中，利 用图割方法来使下面的能量函数E (f)最小化，来将图像分割为头发区域和非头发区域E(f) = Edata (f)+Esmooth (f)其中，f表示所有像素的分类，其特征在于所述类被划分为非头发像素类和头发像素 类，Edata(f)表示把像素拉到所属类的外力产生的能量，Esmooth(f)表示相邻像素之间的平滑 度的平滑度能量值。
11.如权利要求10所述的方法，其特征在于在置信度图像数是m的情况下，图像的 每个像素值具有与各置信度图像相应的m个置信度值；其中，如果在像素被标记为头发类 的情况下，则该像素的数据能量为分别与m个置信度值相应的m个能量的加权和；否则为 (m-m个能量的加权和)，其中，m大于等于2并且m小于等于4。
12.如权利要求1所述的方法，其特征还在于所述方法还包括对彩色图像进行分割以 获得彩色图像的头部区域。
13.如权利要求12所述的方法，其特征在于根据彩色图像的头部区域的大小和位置来 确定与彩色图像相应的深度图像的头部区域。
全文摘要
本发明提供了一种检测头发区域的方法，所述方法包括获得头部区域的置信度图像；以及对获得的上述置信度图像进行处理以检测头发区域。所述方法能够结合皮肤和头发颜色、频率、深度信息以检测头发区域，并利用全局最优化方法而非局部信息方法来从噪声背景中分割出整个头发区域。
文档编号G06K9/00GK102147852SQ20101011292
公开日2011年8月10日 申请日期2010年2月4日 优先权日2010年2月4日
发明者任海兵 申请人:三星电子株式会社, 北京三星通信技术研究有限公司