专利名称：基于高斯模型和最小均方差的人脸检测方法
技术领域：
本发明涉及一种人脸识别技术，尤其是涉及一种在复杂背景、侧面、遮挡物、多人 脸的情况下彩色图像人脸的快速检测方法。
背景技术：
人脸检测是指对于任意的一幅给定图像，采用一定的策略对其进行搜索以确定其 中是否存在人脸，如果存在则进一步确定人脸的位置、大小和姿态等信息。随着电子商务与 人们安全意识的增强，人们对确认个人身份有着更高的要求，利用生物特征来识别个人身 份的技术也被赋予了很高的期望。而人脸识别技术因人脸获取比指纹虹膜更容易被人们接 受，成为最有潜力待测生物身份验证手段。目前，人脸检测广泛应用于视频会议、基于对象 的编码、应用视觉系统(如安全检查、保安管理等)、Web搜索、三维人脸合成、视频检索、基 于内容的图像检索等。人脸检测是一个具有很大的复杂性、挑战性问题，其主要的难点可归纳为(1)、图 像中是否存在人脸如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图 像，如何在复杂的背景下准确的提取人脸的特征等；( 、检测不同表现形式的人脸人脸 可能以不同视角出现在图像中，在一幅图像中的人脸大小也可能相差巨大，也可能被其它 的物体所遮挡，比如在存在多个人的场景下，遮挡情况就更容易出现，造成某些用于检测而 需提取的人脸特征不可见；(3)、图像的影响图像中存在噪声，由于成像时亮度、对比度等 因素的影响而使图像不清晰，人脸与背景区别不大，给检测带来一定的困难；对于彩色图 像来说，如果图像有偏色等情况的出现，将使对基于彩色的人脸检测方法带来很大的影响； G)、人脸自身的因素人脸有不同的姿态(正面、45°角或者侧面等)，使得人脸模式的变 化非常大，某些姿态甚至会遮挡住脸部器官(例如眼睛和鼻子等)，特殊的脸部结构信息， 比如脸部的眼镜和胡须等；脸部的不同表情对人脸模式的影响也很大。上述因素都为解决人脸检测问题造成了难度，如果能够找到一些相关的算法并能 在应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪等应用系统 提供保证。近年来提出的人脸检测方法可以分为四类基于知识方法，基于模板匹配方法， 基于外观形状的方法和基于特征的方法。目前人脸检测的主流方法有①、模板匹配首先建立存储一些人脸模板作为标 准，这些模板可以是人脸或者单独的眼睛、鼻子、嘴或者具有弹性的模板，然后利用一些算 法来计算各待测区域与标准模板的相似程度或相关性，以此来判断，某一区域是否为人脸 或相应特征；优缺点基于模板匹配的算法在针对正面单人脸的运用中取得了较好的效 果，对于复杂背景的人脸检测，建立一个能很好的区分背景干扰同时又代表各种差异人脸 的模板是问题的关键点。有着很好区分背景干扰的模板，难以代表各种人脸模板，而能代 表各种人脸的模板又不能很好地区分背景，也即人脸检测中存在的普遍问题，准确率与漏 检率始终是一对矛盾，并且模板匹配的计算复杂度偏高，定位的实时效果也不好，对侧面的 检测效果也不好。②、神经网络依靠统计分析和机器学习技术，构造出神经网络系统作为
4分类器，使用大量的人脸和非人脸样本对系统进行训练，让系统自动学习两类样本复杂的 类条件密度；优缺点具有较高的准确性、容错性、鲁棒性，避免了复杂的特征提取工作，通 过学习过程获得其他方法难以实现的关于人脸识别规律的隐性表达，神经网络方法虽然理 论上十分可行，但却需要进行大量的样本训练，相对速度较慢，检测结果受样本的影响也较 大。③、肤色检测利用数字图像的彩色信息，先分割出可能的人脸候选区，然后在各个候选 区进行判别，确定候选区是否为人脸；优缺点肤色定位方法的关键是寻找一个合适的色 系坐标系，它能使得肤色的变化集中在某二维上，由此设定阈值以确定肤色，使得在此阈值 范围内的非肤色越少越好，检测速度相对较快，基本能做到实时检测并不受人脸旋转或人 侧转的影响，漏检率很低。中国专利CN101667245公开一种基于支持矢量新颖检测分类器级联的人脸检测 方法，主要解决的是人脸检测过程中计算复杂度过大导致检测时间过长的问题，其检测过 程是训练样本集的预处理及提取样本特征；利用支持矢量新颖检测算法对已提取特征的 训练样本进行训练，并得到分类器模型；根据在已有测试集的检测的正检和误检率来优化 算法参数并挑选合适三个合适的子分类器级联成一个强分类器；用此级联强分来器对灰度 图片进行人脸的检测并标出。该发明具有检测速度快的优点，可用于机器学习和模式识别 范畴内的人脸检测。中国专利CN101957909A公开一种基于DSP平台的人脸检测方法。此方法通过对 动态视频截取图像，并利用图像处理手段，以模型整体属性为主，考虑人脸整体与各部分之 间的拓扑关系，提取并利用关键信息来寻找特征点，从而完成整体人脸检测。系统硬件部分 由以下三部分组成前端图像采集部分采用带红外摄像功能的CCD摄像头；信息处理部分 采用BF533处理器；后端将电视与DSP平台相连接直接显示人脸检测结果。软件部分采用 Visual ？ DSP++开发环境进行编程实现数据搜集、处理、输出控制。
发明内容
本发明的目的在于针对现有的算法存在的缺陷和人脸检测的难点，提供一种在复 杂背景、侧面、遮挡物、多人脸的情况下的基于高斯模型和最小均方差的人脸检测方法。本发明包括以下步骤1)建立YCbCr高斯模型根据采集的肤色样本数据建立人脸肤色分布的YCbCr高 斯模型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色 色度分量；在步骤1)中，所述根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模 型，是根据采集的肤色样本数据，统计出样本的均值m和方差c，利用m与c参数拟合肤色分 布的YCbCr高斯模型；所述对图像进行光线补偿，是为了抵消整个图像中存在着色彩偏差， 将整个图像中所有像素的亮度从高到低进行排列，取前5%的像素，如果这些像素的数目足 够多(例如大于100)，就将它们的亮度作为“参考白”(Reference White)，即将它们的色彩 的R、G、B分量值都调整为最大的255。2)运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；在步骤幻中，所述运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分 割的具体步骤可为根据采集的肤色样本数据，建立KL空间，确定肤色在KL空间的阈值；利用YCbCr高斯模型计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分 割；最后将利用KL空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从 而得到由最小均方差和YCbCr高斯模型的肤色混合模型。3)对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散 的点；在步骤幻中，所述对肤色区域的二值化，可使用基于YCbCr高斯模型和最小均方 差相结合的肤色混合模型，若一个像素即满足KL空间的肤色阈值，同时也属于YCbCr高斯 模型与自适应阈值分割出来的像素点，则判断该点为肤色点，否则为背景点；所述开运算， 可将肤色分割后的二值化图像进行开运算，即先腐蚀后膨胀的过程；腐蚀的方法是，拿结构 元素S的原点和X上的点一个一个地对比，若S上的所有点都在X的范围内，则S的原点对 应的点保留，否则将该点去掉；膨胀的方法是，拿结构元素S的原点和X上的点一个一个地 对比，若S上有一个点落在X的范围内，则S的原点对应的点就保留，否则将该点去掉；经过 开运算处理，能够去除孤立的小点、毛刺和小桥(即连通两块区域的小点)。4)根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框 标记人脸位置。在步骤4)中，所述根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区 域，可根据人脸在图像中的先验知识，剔除类肤色或肤色的非人脸区域；所述人脸在图像中 的先验知识可包括人脸在图像中应该占有的比例(即像素点的多少)、人脸的长宽比以及 人脸区域的密集度(人脸像素点的占有率)等；所述标记人脸，可根据先验知识剔除类肤色 或肤色的非人脸区域后，剩下的区域就是所谓的人脸区域，用矩形框圈出来。所述基于YCbCr高斯模型和最小均方差相结合的肤色混合模型，是指先根据采集 的自然光照下肤色样本、阴影下肤色样本、室内外光照不足等不同条件下的不同种族人脸 图像的肤色数据，绘制肤色在KL空间的分布图，从而确定人脸肤色在KL空间的阈值；并且 统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型，计算得到 肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将KL空间的阈值得到 肤色区域与YCbCr高斯模型得到的肤色区域相与，从而得到人脸的肤色区域。所述去除类肤色或肤色的非人脸模块，是指经过开运算的处理后，接下来对各个 肤色区域进行标记，并计算各个区域的长、宽和像素点及整个区域所占的像素点，然后利用 人脸的先验知识剔除一些类肤色或肤色的非人脸区域，其中人脸的先验知识包括①一张 人脸最少的像素个数不低于600，其中宽不低于20，长不低于30 ；②人脸外接矩形的高宽比 ratio,0. 8 < ratio < 2 ；③人脸的像素个数占外接矩形不低于45%;根据以上3个条件剔 除非人脸区域。本发明是一种在复杂背景、侧面、遮挡物、多人脸的情况下彩色图像人脸的快速检 测方法，在实现一个人脸检测系统时，首先应该收集足够多的人脸肤色样本，根据采集的大 量肤色样本建立人脸肤色分布的YCbCr高斯模型(YCbCr其中Y是指亮度分量，Cb指蓝色 色度分量，而Cr指红色色度分量)以及确定肤色在KL空间的分布范围；接下来按照图1流 程，对图像进行光线补偿，运用建立的YCbCr高斯模型与最小均方差对图像进行快速的肤 色分割，然后对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除一些小桥或 离散的点，然后根据人脸的先验知识(肤色区域的大小，长宽比，填充率)剔除类肤色或肤色的非人脸区域，最后用矩形(人脸的外接矩形)框准确的圈出人脸位置。由此可见，本发明的突出优点是针对现有的算法存在的缺陷和人脸检测的难点， 本发明提出了一种基于最小均方差与YCbCr高斯模型相结合的肤色混合模型，准确的将肤 色区域进行快速的分割，然后对分割出来的肤色区域进行形态学处理(即开运算)，经过形 态学处理后，运用人脸的先验知识对处理完的肤色区域进行筛选，提出一些类肤色或肤色 的非人脸区域，最后标记出人脸位置。另外，本发明利用基于YCbCr的高斯肤色模型，成功的将亮度信息与色彩信息分 离，并且具有较高肤色检测率；通过最小均方差，可以减小每个分量的均方差，将高斯模型 和最小均方差相结合，就进一步缩小了肤色过滤的范围。同时，本发明所用的肤色检测主要是利用肤色在色彩空间的聚类性，并且符合二 维高斯分布，通过采集到的肤色样本，统计肤色在色彩空间的聚类区域，并用数学的方法建 立高斯模型得到一个函数。本发明在复杂背景、侧面、遮挡物、多人脸的等情况下可以快速 定位人脸的位置，解决了目前人脸检测的部分难点以及现有算法的部分缺陷，鲁棒性强，而 且具有较高的检测速度和检测率，因此具有广泛的应用前景。实验结果表明，这种区域模型融合高斯模型似然图的分割效果比只采用任何一种 方法好，这是至今未见报道的方法。
图1为人脸检测系统流程图。在图1中，流程为打开图像，光线补偿，KL变换、基 于YCbCr高斯变换，二值化，开运算(先腐蚀后膨胀)，去假脸区域，标记人脸。图2为拟合后肤色分布高斯模型。在图2中，横坐标分别为Cb分量和C；分量，纵 坐标为概率分布。图3为腐蚀运算示例。图3为XY坐标，在图3中，左侧为X，中间为S，右侧为X-S。图4为膨胀运算示例。图4为XY坐标，在图4中，左侧为X，中间为S，右侧为X+S。图5为本发明所采用的结构元素S。图5为XY坐标。图6为基于先验知识去除非人脸区域的流程图。在图6中，流程为基于YCbCr的 高斯肤色模型与KL变换相结合，候选人区域(二值图)，区域标记，统计各区域的长、宽和像 素点及整个区域所占的像素，计算肤色区域大小、计算区域的长宽比、计算区域的填充率， 标记人脸。
具体实施例方式一种在复杂背景、侧面、遮挡物、多人脸的情况下彩色图像人脸的快速检测方法， 在实现一个人脸检测系统时，首先应该收集足够多的人脸肤色样本，根据采集的大量肤色 样本建立人脸肤色分布的YCbCr高斯模型(YCbCr其中Y是指亮度分量，Cb指蓝色色度分 量，而Cr指红色色度分量)以及确定肤色在KL空间的分布范围；接下来按照图1流程， 对图像进行光线补偿，运用建立的YCbCr高斯模型与最小均方差对图像进行快速的肤色分 割，然后对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除一些小桥或离散 的点，然后根据人脸的先验知识(肤色区域的大小，长宽比，填充率)剔除类肤色或肤色的 非人脸区域，最后用矩形(人脸的外接矩形)框准确的圈出人脸位置。
A、肤色建模先根据采集的自然光照下、阴影下、室内外光照不足等不同条件下的不同种族人 脸图像的肤色数据，绘制肤色在KL空间的分布图，从而确定人脸肤色在KL空间的阈值；并 且统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高斯模型，计算得 到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将KL空间的阈值得 到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由YCbCr高斯模型和最小 均方差相结合的肤色混合模型。本发明采用的基于YCbCr高斯模型和最小均方差的肤色混合模型为(1)最小均方差把图像中的像素点依据(1-1)变换到KL空间中，当图像中像素点在KL空间中满 足(1-2)时，则该像素点为属于肤色区域，否则不属于肤色区域，其中式(1-2)是由采集的 样本数据确定的。从RGB空间到KL空间的转换公式
权利要求
1.基于高斯模型和最小均方差的人脸检测方法，其特征在于包括以下步骤1)建立YCbCr高斯模型根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模 型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度 分量；2)运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；3)对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散的占.4)根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框标记 人脸位置。
2.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤1)中，所述根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，是根据采集 的肤色样本数据，统计出样本的均值m和方差c，利用m与c参数拟合肤色分布的YCbCr高 斯模型。
3.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤1)中，所述对图像进行光线补偿，是为了抵消整个图像中存在着色彩偏差，将整个图像 中所有像素的亮度从高到低进行排列，取前5 %的像素，如果这些像素的数目大于100，就 将它们的亮度作为“参考白”，即将它们的色彩的R、G、B分量值都调整为最大的255。
4.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤2)中，所述运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割的具体步骤 为根据采集的肤色样本数据，建立KL空间，确定肤色在KL空间的阈值；利用YCbCr高斯模 型计算得到肤色的似然度图像，然后利用自适应阈值方法对图像进行分割；最后将利用KL 空间的阈值得到肤色区域与YCbCr高斯模型得到的肤色区域相结合，从而得到由最小均方 差和YCbCr高斯模型的肤色混合模型。
5.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤3)中，所述对肤色区域的二值化，使用基于YCbCr高斯模型和最小均方差相结合的肤色 混合模型，若一个像素即满足KL空间的肤色阈值，同时也属于YCbCr高斯模型与自适应阈 值分割出来的像素点，则判断该点为肤色点，否则为背景点。
6.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤3)中，所述开运算，是将肤色分割后的二值化图像进行开运算，即先腐蚀后膨胀的过程； 腐蚀的方法是，拿结构元素S的原点和X上的点一个一个地对比，若S上的所有点都在X的 范围内，则S的原点对应的点保留，否则将该点去掉；膨胀的方法是，拿结构元素S的原点和 X上的点一个一个地对比，若S上有一个点落在X的范围内，则S的原点对应的点就保留，否 则将该点去掉；经过开运算处理，能够去除孤立的小点、毛刺和小桥。
7.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤4)中，所述根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，是根据人脸 在图像中的先验知识，剔除类肤色或肤色的非人脸区域。
8.如权利要求7所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于所述 人脸在图像中的先验知识包括人脸在图像中应该占有的比例、人脸的长宽比以及人脸区域 的密集度。
9.如权利要求1所述的基于高斯模型和最小均方差的人脸检测方法，其特征在于在步 骤4)中，所述标记人脸，是根据先验知识剔除类肤色或肤色的非人脸区域后，剩下的区域 就是所谓的人脸区域，用矩形框圈出来。
全文摘要
基于高斯模型和最小均方差的人脸检测方法，涉及一种人脸识别技术。提供一种在复杂背景、侧面、遮挡物、多人脸的情况下的基于高斯模型和最小均方差的人脸检测方法。建立YCbCr高斯模型根据采集的肤色样本数据建立人脸肤色分布的YCbCr高斯模型，对图像进行光线补偿，所述YCbCr中，Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量；运用建立的YCbCr高斯模型与最小均方差对图像进行肤色分割；对肤色区域进行二值化，并运用开运算对二值图像进行处理，去除小桥或离散的点；根据人脸的先验知识剔除检测出的类肤色或肤色的非人脸区域，最后用矩形框标记人脸位置。
文档编号G06K9/36GK102096823SQ201110036818
公开日2011年6月15日 申请日期2011年2月12日 优先权日2011年2月12日
发明者吴坤清, 孔祥平, 林和志, 黄联芬 申请人:厦门大学