基于肤色分割和小波变换的人脸检测方法与流程

文档序号：11920450阅读：237来源：国知局

本发明属于计算机视觉和图像处理技术领域，特别是涉及一种综合肤色信息和纹理信息的基于模板匹配的人脸检测方法。

背景技术：

随着当今人工智能和机器视觉领域的快速发展，由于人脸识别具有非接触性的特点，因此在人机交互方面有着广阔的应用前景。人脸检测作为人脸识别的基础，在图像或视频中如何快速精准地检测人脸的位置仍是当今的研究热点。

目前，主流的人脸检测方法主要有三种：(1)基于肤色、边缘、几何关系等人脸特征的检测方法，该类方法一般运算速度较快，但缺点是受局部特征影响较大。(2)基于模板匹配的检测方法，该类方法一般运算量较大，匹配时间较长。(3)基于数据的检测方法，该类方法通过统计知识提取人脸特征，优点是检测精度较高，但需要很大的数据集和较长的时间去训练，且该方法是一种黑盒算法，无法直观地从内部理解人脸检测的原理。

基于肤色特征的人脸检测方法属于上述第一种方法，该方法利用肤色的聚类性筛选肤色区域，其计算量小，能够快速地将人脸的待测区域分割出来。但肤色特征易受到类肤色背景和非人脸肤色区域干扰。

基于模板匹配的人脸检测方法有两个难点：一是模板的选择。模板匹配要求模板所含的信息简单有效，目前大多采用K-L变换后的“本征脸”作为检测模板，但K-L变换中特征值分解的运算量较大。二是模板匹配的扫描次数。模板匹配需要不断变换模板的大小对输入图像进行滑窗扫描，然而由于模板大小不确定，只能采取变换模板大小多次扫描的方式，因此其检测时间会变长。这两点都会严重影响检测性能。

杨等[Yang Y,Xie C,Du L,et al.A new face detection algorithm based on skin color segmentation[C]//Chinese Automation Congress.IEEE,2015.]将肤色特征提取之后，通过判别每块肤色区域是否满足一定的对称性来判断是否是人脸，虽然该方法简便但准确性较低，没有深层次地去挖掘人脸图像的特征。中国专利CN103632132A将肤色分割与模板匹配结合来进行人脸检测，并使用连通区域标记，其模板匹配也具有一定的自适应性。但在进行模板匹配时，是采用直接计算各肤色连通区域的特征值，其运算量较大，且易受大片非人脸肤色区域的影响，从而造成检测率较低。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种基于肤色分割和小波变换的人脸检测方法。

为了达到上述目的，本发明提供的基于肤色分割和小波变换的人脸检测方法包括按顺序进行的下列步骤：

1)输入图像肤色分割：对输入图像进行光照补偿，然后将光照补偿后的图像从RGB彩色空间转换到YCbCr彩色空间，通过设定阈值区间对肤色区域进行分割，然后对分割后的区域进行去噪处理和连通区域标记；

2)输入图像特征提取：对输入图像进行小波变换，取小波变换后的图像中水平频率分量和垂直频率分量两个次高频信息重构图像的类边缘特征，然后对该重构图像进行中值滤波，最终得到低维图像；

3)变长模板匹配：将步骤1)中得到的连通区域对步骤2)中得到的低维图像进行掩模运算，然后通过统计步骤1)中标记的各连通区域的大小，针对不同连通区域制作不同大小的模板来对得到的连通区域进行变长模板匹配，最终通过判断与模板相关性的大小来完成人脸检测过程。

在步骤1)中，所述的输入图像肤色分割的具体步骤如下：

(1.1)光照补偿

选取输入图像亮度的前百分之五的平均值作为亮度补偿参考值，利用该值作为系数与输入图像相乘，由此对输入图像进行光照补偿，其公式为：

其中I_ori表示输入图像，sort_0.05(·)表示取输入图像前百分之五的亮度成分，mean(·)表示取平均运算，ref为亮度补偿参考值，I为光照补偿后的图像；

(1.2)色彩空间转换和肤色分割

将上述光照补偿后的图像从RGB彩色空间转换到YCbCr彩色空间，色彩空间转换公式为：

光照补偿后的图像中每一点的像素点I^(i,j)经式(2)转换后由I_Y^(i,j)I_Cr^(i,j)I_Cb^(i,j)表示，其中i和j表示该像素点所在的行和列，然后通过式(3)将肤色区域筛选出来并用二值图像表示，其中黑色表示“0”，白色表示“1”；

由此完成肤色分割；

(1.3)去噪和连通区域标记

所述的去噪和连通区域标记方法的具体步骤如下：

1.3.1)填补空洞：将上述分割后的区域中的小空洞填补好；

1.3.2)开运算去除细小毛刺：本发明共进行了两次开运算操作，分别采用5×5和9×9的方形算子作为开运算单元，5×5算子用于去除一些细小的噪声点，9×9算子用于分割有微弱连接的连通区域，便于后续的连通区域标记；

1.3.3)连通区域标记：该步骤在整个去噪筛选过程中共使用两次，第一次连通区域标记在开运算后，第二次连通区域标记在完成所有去噪和筛选后作为肤色分割的输出；

1.3.4)去除长宽比异常的连通区域：经连通区域标记得到连通区域Q_i后，计算连通区域Q_i的最大外接矩形的长l_i和宽w_i；由于人脸的正常长宽比例大约是4:3，通过设置长宽比：

来剔除部分不合理区域，当长宽比不合理时，可判断该区域非人脸，从而剔除该区域；考虑到脖子与人脸部分常连接在一起，本发明将T＞3和T＜0.33作为长宽比异常的区间；

1.3.5)去除面积较小的区域：计算每个连通区域的面积S_i＝sum(Q_i)，即统计每个连通区域像素点的个数，设置与各连通区域的平均面积相关的门限来剔除较小的连通区域；连通区域的平均面积为：

本发明采用0.3倍的连通区域的平均面积S_ave作为剔除小块区域的阈值；

1.3.6)去除面积结构不合理的区域：计算连通区域的面积S_i与最大外接矩形面积的比值本发明设置比值r_i的阈值为r_i≥0.5，将结构不合理的区域剔除，完成筛选；

最终对经上述去噪筛选后的连通区域重新进行标记而得到Q′_i，总的连通区域面积为：

在步骤1.3.1)中，所述的填补空洞的步骤为：

1.3.1.1)遍历二值图像，将I^(i,j)＝0的像素点值标记为待定点，并标记为Wait；

1.3.1.2)遍历二值图像，将靠近边界的待定点标记为False，即不进行填补操作；

1.3.1.3)循环遍历二值图像，当标记为Wait的待定点的四邻域点有False的标记时，将此待定点标记为False，直到标记为Wait的待定点不再增加时，结束遍历；

1.3.1.4)将标记为Wait的待定点置为1，标记为False的靠近边界的待定点不改变原来的像素值。

在步骤1.3.3)中，所述的连通区域标记的步骤为：

1.3.3.1)从左至右，从上到下扫描开运算后的图像；

1.3.3.2)如果像素点为1，则：

a.若像素点上面点或左面点只有一个标记，则复制该标记；

b.若两点有相同的标记，则复制该标记；

c.若两点有不同标记，则复制上面点的标记且将这两个标记输入等价表中构成等价标记集；

d.否则给该像素点分配一个新的标记并将这一标记输入等价表；

1.3.3.3)若考虑更多的点，则回到步骤1.3.3.2)；

1.3.3.4)在等价表的每一等价标记集中找到最低的标记；

1.3.3.5)扫描二值图像，用等价表中每个等价标记集的最低标记取代每一标记；

经连通区域标记后的各个连通区域由Q_i表示，其中i为连通区域的标号，最终标记好的连通区域个数为n。

在步骤2)中，所述的输入图像特征提取的方法为：

用Haar小波对输入图像I进行小波分解而得到小波图像，为了便于显示，将小波图像的细节系数取绝对值并八倍放大；仅利用水平分量和垂直分量完成小波重构，最终得到图像的类边缘特征信息，对重构后的图像进行中值滤波而使图像模糊化，最后得到低维图像并记为W。

在步骤3)中，所述的变长模板匹配的具体步骤如下：

3.1)掩模运算

将步骤1)中肤色分割后得到的连通区域Q′对步骤2)中得到的低维图像W进行掩模运算；

3.2)模板匹配

3.2.1)模板制作

具体方法为：在网上选取69张1寸免冠照片，并按照下述规则截取照片人脸区域作为模板制作的来源，其规则为：将两个外侧眼角间的距离作为截取部分的宽，并将长度方向位置固定；截取部分长和宽满足长宽比4:3，鼻子下边缘线对应长的0.618的位置，以此来确定宽度方向的位置；最后将截取部分的图像大小转换成40×30像素；按照上述规则，得到了69张大小相同、位置近似的人脸；随后，将这69张照片进行前述的小波变换和重构，然后将重构后的照片累加，通过中值滤波将相加后的图像模糊化，随后进行归一化，最终得到人脸匹配的模板；

3.2.2)变长模板匹配

变长模板匹配方法是对步骤1)中得到的已标记的多个连通区域Q_i分别进行自适应滑窗扫描；通过参考标记后各个连通区域Q_i的长和宽，选择4种与连通区域Q_i大小相关的模板进行匹配；本发明默认一个连通区域Q_i中只有一个人脸，其步骤为：

3.2.2.1)将标号为i的连通区域Q′_i置1，其他标号为非i的连通区域置-100，；

3.2.2.2)计算连通区域Q′_i的长l_i和宽w_i，并将连通区域Q_i中上、下、左、右边界所处的位置记录下来；

3.2.2.3)取连通区域Q′_i的长l_i和宽w_i值中的最小值：当取长为最小值时，令宽为长的3/4倍；当取宽为最小值时，令长为宽的4/3倍，使长宽比满足固定的4:3，最终得到的长和宽为和

3.2.2.4)根据和W_i^*将原模板转换成4种不同尺寸的匹配模板，分别为：

3.2.2.5)从连通区域Q′_i的起始位置和开始进行滑窗扫描，共执行四次，每次扫描都变换一次扫描大小，且大小与步骤3.2.2.4)中的模板大小相同；每一次扫描所扫到的区域都与变换后相同大小的模板进行相关运算，比较两者的相似度；最终把四次扫描后相关值ρ_i最大的位置P_i、区域大小和相关值ρ_i记录下来，重新跳转到步骤3.2.2.1)；

相关值ρ值的计算公式为：

其中，μ_A、σ_A和μ_B、σ_B是向量A和向量B的均值和标准差，这里的向量A和向量B是由矩阵形式转化的；

通过变长模板匹配后，每个连通区域Q′_i都有一个相关值ρ_i最大的标定区域，且其面积为相关值为ρ_i；将每一个面积相关值ρ_i都除以其对应子集{ρ_i}的中值得选择在阈值区间为内的区域为人脸区域。

本发明提供的基于肤色分割和小波变换的人脸检测方法具有如下有益效果(1)提出了一种新的图像特征提取方式。通过对图像进行小波分解，将图像的两个次高频成分提取出来重新构造图像，并对重构图像采用中值滤波进行模糊，最终可以得到一种新的低维人脸特征。(2)本发明在肤色分割中去噪阶段，从图像结构出发，剔除了大部分不合理非人脸的肤色区域，减少了运算量。(3)在模板匹配时，将肤色分割的连通区域大小考虑进来，针对不同大小的连通域设置不同的模板，实现了模板匹配的自适应。

附图说明

图1为本发明提供的基于肤色分割和小波变换的人脸检测方法流程图。

图2(a)、(b)分别为肤色分割前的图像和肤色分割后的二值图像。

图3为本发明中去噪和连通区域标记流程图。

图4为本发明中经去噪和连通区域标记后的效果图。

图5为本发明中输入图像特征提取方法示意图。

图6为本发明中掩模运算效果图。

图7为本发明中模板制作过程步骤图。

图8为本发明中变长模板匹配过程示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于肤色分割和小波变换的人脸检测方法进行详细说明。

如图1所示，本发明提供的基于肤色分割和小波变换的人脸检测方法包括按顺序进行的下列步骤：

所述的输入图像肤色分割的具体步骤如下：

(1.1)光照补偿

光照补偿可提高肤色分割的准确性，本发明选取输入图像亮度的前百分之五的平均值作为亮度补偿参考值，利用该值作为系数与输入图像相乘，由此对输入图像进行光照补偿，其公式为：

其中I_ori表示输入图像，sort_0.05(·)表示取输入图像前百分之五的亮度成分，mean(·)表示取平均运算，ref为亮度补偿参考值，I为光照补偿后的图像；

(1.2)色彩空间转换和肤色分割

由于肤色在YCbCr彩色空间中具有良好的聚类性，且肤色与亮度成分无关，本发明将上述光照补偿后的图像从RGB彩色空间转换到YCbCr彩色空间，色彩空间转换公式为：

光照补偿后的图像中每一点的像素点I^(i,j)经式(2)转换后由I_Y^(i,j)I_Cr^(i,j)I_Cb^(i,j)表示，其中i和j表示该像素点所在的行和列，然后通过式(3)将肤色区域筛选出来并用图2所示的二值图像表示，其中黑色表示“0”，白色表示“1”。

由此完成肤色分割。

(1.3)去噪和连通区域标记

由于上述步骤(1.2)中得到的二值图像存在很多细小的噪点和一些非人脸区域，因此需对上述分割后的区域进行去噪和连通区域标记。

如图3所示，所述的去噪和连通区域标记方法的具体步骤如下：

1.3.1)填补空洞：将上述分割后的区域中的小空洞填补好，步骤为：

1.3.1.1)遍历二值图像，将I^(i,j)＝0的像素点值标记为待定点，并标记为Wait；

1.3.1.2)遍历二值图像，将靠近边界的待定点标记为False，即不进行填补操作；

1.3.1.3)循环遍历二值图像，当标记为Wait的待定点的四邻域点有False的标记时，将此待定点标记为False，直到标记为Wait的待定点不再增加时，结束遍历；

1.3.1.4)将标记为Wait的待定点置为1，标记为False的靠近边界的待定点不改变原来的像素值。

1.3.2)开运算去除细小毛刺：本发明共进行了两次开运算操作，分别采用5×5和9×9的方形算子作为开运算单元，5×5算子用于去除一些细小的噪声点，9×9算子用于分割有微弱连接的连通区域，便于后续的连通区域标记。

1.3.3)连通区域标记：该步骤在整个去噪筛选过程中共使用两次，第一次连通区域标记在开运算后，第二次连通区域标记在完成所有去噪和筛选后作为肤色分割的输出，其步骤为：

1.3.3.1)从左至右，从上到下扫描开运算后的图像；

1.3.3.2)如果像素点为1，则：

a.若像素点上面点或左面点只有一个标记，则复制该标记；

b.若两点有相同的标记，则复制该标记；

c.若两点有不同标记，则复制上面点的标记且将这两个标记输入等价表中构成等价标记集；

d.否则给该像素点分配一个新的标记并将这一标记输入等价表；

1.3.3.3)若考虑更多的点，则回到步骤1.3.3.2)；

1.3.3.4)在等价表的每一等价标记集中找到最低的标记；

1.3.3.5)扫描二值图像，用等价表中每个等价标记集的最低标记取代每一标记。

经连通区域标记后的各个连通区域由Q_i表示，其中i为连通区域的标号，最终标记好的连通区域个数为n。

1.3.4)去除长宽比异常的连通区域：经连通区域标记得到连通区域Q_i后，计算连通区域Q_i的最大外接矩形的长l_i和宽w_i。由于人脸的正常长宽比例大约是4:3，通过设置长宽比：

来剔除部分不合理区域。当长宽比不合理时，可判断该区域非人脸，从而剔除该区域。考虑到脖子与人脸部分常连接在一起，本发明将T＞3和T＜0.33作为长宽比异常的区间。

1.3.5)去除面积较小的区域。计算每个连通区域的面积S_i＝sum(Q_i)，即统计每个连通区域像素点的个数。主观上可知，连通区域较大的部分应属于人脸，小的部分应属于开运算无法剔除的小块噪声，因此可以设置与各连通区域的平均面积相关的门限来剔除较小的连通区域。连通区域的平均面积为：

本发明采用0.3倍的连通区域的平均面积S_ave作为剔除小块区域的阈值。

1.3.6)去除面积结构不合理的区域。计算连通区域的面积S_i与最大外接矩形面积的比值正常结构的人脸肤色区域应占据其外接矩形的大部分，比值r_i应较大，而某些非人脸区域分布奇特，虽然外接矩形较大，但整体面积占矩形区域的比例较小，因此本发明设置比值r_i的阈值为r_i≥0.5，将结构不合理的区域剔除，完成筛选；

最终对经上述去噪筛选后的连通区域重新进行标记而得到Q′_i，总的连通区域面积为：

经上述去噪和连通区域标记后的效果见图4，图中从左至右为经上述6个步骤后获得的效果图。

本发明采用Haar小波作为输入图像特征提取的工具，Haar小波函数的定义为：

其尺度函数为：

尺寸为M×N的函数f(x,y)的二维离散小波变换是：

对应反变换为

如图5所示，所述的输入图像特征提取的方法为：

用Haar小波对输入图像I进行小波分解而得到小波图像，为了便于显示，将小波图像的细节系数取绝对值并八倍放大。本发明剔除和分量，仅利用水平分量和垂直分量完成小波重构，最终得到图像的类边缘特征信息，但重构后的图像中有许多距离相距较近的集群点，若直接用这些集群点去匹配，会降低模板匹配的准确率。因此为了将大面积分布的点转换成面，提高对集群点的匹配效果，这里对重构后的图像进行中值滤波而使图像模糊化，最后得到低维图像并记为W。

所述的变长模板匹配的具体步骤如下：

3.1)掩模运算

将步骤1)中肤色分割后得到的连通区域Q′对步骤2)中得到的低维图像W进行掩模运算，效果图见图6。通过将两者结合起来，可以提高模板匹配检测的准确率。

3.2)模板匹配

3.2.1)模板制作

由于步骤2)中的输入图像特征提取方法是本发明的一个创新点，并没有类似的模板可以直接套用，因此本发明自行制作模板，具体制作过程见图7。具体方法为：在网上选取69张1寸免冠照片，并按照下述规则截取照片人脸区域作为模板制作的来源，其规则为：将两个外侧眼角间的距离作为截取部分的宽，并将长度方向位置固定；截取部分长和宽满足长宽比4:3，鼻子下边缘线对应长的0.618的位置，以此来确定宽度方向的位置。最后将截取部分的图像大小转换成40×30像素。按照上述规则，得到了69张大小相同、位置近似的人脸。随后，将这69张照片进行前述的小波变换和重构，然后将重构后的照片累加，通过中值滤波将相加后的图像模糊化，随后进行归一化，最终得到人脸匹配的模板。由图7可以看出，模板峰值主要分布在人眼、鼻子和嘴巴位置，且人眼相对其他部位较高。

3.2.2)变长模板匹配

变长模板匹配方法是对步骤1)中得到的已标记的多个连通区域Q_i分别进行自适应滑窗扫描。通过参考标记后各个连通区域Q_i的长和宽，选择4种与连通区域Q_i大小相关的模板进行匹配，从而大大减少了普通模板匹配的运算量。本发明默认一个连通区域Q_i中只有一个人脸。

如图8所示，其步骤为：

3.2.2.1)将标号为i的连通区域Q′_i置1，其他标号为非i的连通区域置-100，；

3.2.2.2)计算连通区域Q′_i的长l_i和宽w_i，并将连通区域Q_i中上、下、左、右边界所处的位置记录下来；

3.2.2.4)根据和W_i^*将原模板转换成4种不同尺寸的匹配模板，分别为：

3.2.2.5)从连通区域Q′_i的起始位置和开始进行滑窗扫描，共执行四次，每次扫描都变换一次扫描大小，且大小与步骤3.2.2.4)中的模板大小相同。考虑到相邻像素的区域相似性较高，为了减少运算量，选取扫描的方式为隔行匹配，具体跃过的行数由区域大小决定。每一次扫描所扫到的区域都与变换后相同大小的模板进行相关运算，比较两者的相似度。最终把四次扫描后相关值ρ_i最大的位置P_i、区域大小和相关值ρ_i记录下来，重新跳转到步骤3.2.2.1)。