专利名称：利用快速人脸检测对新闻被采访者进行脸部遮挡的方法
技术领域：
本发明涉及图像处理，特别涉及利用快速人脸检测对新闻被采访者进行脸部自动遮挡的方法。
背景技术：
在新闻采访时，为了保护被采访者的隐私权等，有时需要把被采访者的脸部图像进行遮挡处理(或图像模糊处理)。一般的做法是在人脸位置的设定一个区域，该区域内的图像按照一定的块大小求取均值，达到模糊的效果。然而，由于人脸是活动的，所以要不停地手工拖动模糊窗口区域，工作量大，而且有时由于窗口覆盖不准确而暴露了隐私，达不到理想的模糊效果，或者模糊的区域过大影响画面的质量。
发明内容
本发明的目的是提供一种利用人脸图像检测和跟踪技术准确地检测出人脸图像的轮廓，然后在轮廓的区域内进行模糊处理的方法。
为实现上述目的，利用快速人脸检测对新闻被采访者进行脸部遮挡的方法包括步骤a)检测人脸的位置和大小；b)利用肤色信息进行验证和补偿；c)利用人脸肤色直方图进行人脸跟踪；d)利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理。
本发明的自动的人脸检测和遮挡技术，不用肤色信息可以达到88％的正确检测率。如果结合肤色信息，人脸几乎可以全部被覆盖。因此，本发明可以相当大地减轻工作强度，提高工作效率。
图1是人脸图像检测方法框图；图2是人脸图像预处理框图；图3是人脸原图像；图4是人脸的Mosaic图像；图5是提取Mosaic图像水平边缘图；图6是求取Mosiac图像的边缘的重心图；图7是四类人脸重心模板；图8是人脸重心模板匹配图；图9是灰度特征检查图；图10是边特征检查图；图11是YUV色彩空间中的灰度信号适量图；图12是基于肤色模型的彩色图像分割，其中，图(a)，(c)是含人脸的彩色视频图像，(b)，(d)是肤色区域域轮廓的检测。
图13是用于跟踪平移和旋转人脸的肤色直方图统计的环状和带状区域；图14是用于跟踪的人脸邻域；图15是本发明的流程图。
具体实施例方式
如图1所示，人脸检测的整个框架包括4部分预处理、重心模板匹配、灰度检查和边缘检查。输入一帧图像，当在一个规定的最大尺度下完成上述4步后，该尺度对应的人脸应该可以被检测出来，输出是人脸的位置和区域大小。然后进入循环，每一循环检测的尺度都依次缩小，直到到达最小检测尺度为止。
预处理如图2所示，包括生成Mosaic图像，提取Mosaic边和计算Mosaic重心三部分。
参见图3的示例图像，预处理首先将当前帧图像转变成一定尺度下的Mosiac图像(图4)，然后在Mosaic图像上提取水平边缘(图5)，最后计算这些水平边缘的重心(图6)。
提取Mosaic横边的操作用于提取人脸上的器官的位置。这些器官包括双眉、双眼、鼻和嘴，它们都有一个共性，当所观察的人脸保持正直(在图像平面内的旋转角度在-5°～+5°之间)时，上述六个器官成水平平行分布，在水平方向上长度不等，但在竖直方向上宽度近似。这一特性为我们提取这六个器官的位置特征提供了便利。而且，即便正视人脸在水平面内有一定旋转角度(-45°～+45°)，在垂直平面内有一定仰/俯视旋转角度(-30°～+30°)，这一特性仍保持不变。
参看图4所示的Mosaic图，上述六个器官落入的Mosaic单元的灰度值比较明显地低于四周单元的灰度值。如果用一种适合于提取这种特征的边缘检测器，就能用边缘表示的方法方便的定位这六个器官。这样的一个检测器就是拉普拉斯边缘检测算子。一个用于检测水平边缘的拉普拉斯算子当前Mosaic单元mosaic_image[i，j]及其上下相邻单元mosaic_image[i-1，j]、mosaic_image[i+1，j]的运算定义为L(i，j)＝1×mosaic_image[i-1，j]-2×mosaic_image[i，j]+1×mosaic_image[i+1，j]，则边缘检测的结果是 这里T为一个边阈值，例如，可取T＝10×Mosaic单元边长×Mosaic单元边长。所提取出的Mosaic边缘如图5中的由方格排成的线段所示，其中一个方格表示一个边缘单位。可以看到，有这样一些Mosaic线段，他们对应的是人脸上的器官。
由于一副图像上有多少个人脸，各个人脸大小尺寸进而人脸上的器官的尺寸都是未知的，所以对于原图像往往要生成多个不同单元尺度的Mosaic图以利于分别提取出大小不同的人脸的器官。而且，显而易见的是，在一般情况下，Mosaic单元的尺度越接近于人脸器官的竖直方向上的平均尺度(即宽度)，提取的效果越好。
为了进一步简化特征，求取每个Mosaic边缘线段的重心作为这些线段的代表。如果这样的Mosaic线段对应的是人脸上的器官的话，则这些重心点也就代表了这些器官的位置(如图6)。
根据所提重心特点，如图7所示，可设计四类人脸重心模板第一类人脸模板上的六个重心点对应于人脸的双眉、双眼、鼻和嘴；第二类人脸模板上有五个重心点，缺少一个对应于人脸鼻的重心点；第三类人脸模板上也只有五个重心点，缺少一个对应于人脸眉或眼的重心点；第四类人脸模板只有四个重心点对应于人脸的双眼、鼻和嘴。
所设计的人脸模板是一种动态可伸缩的人脸模板，其宽W和高H有一定的伸缩范围，在本实验中，W设定为6～14个Mosaic单元，H设定为7～23个单元；高宽比范围为3/4～5/3。模板内重心点之间的相对位置由d×1～d×4、dy1～dy4共8个参数约束。
由此可在Mosaic重心图上用人脸重心模板搜索和匹配人脸。如图8所示，具体方法是扫描图上的每一个重心点，对右下方一块矩形区域进行试探性的其他重心点的搜索并将它们与人脸重心模板上的重心点匹配以确定是否存在人脸。人脸重心模板上的重心反映了人脸各器官的在二维平面内的相对位置，是一种非固定的动态的长宽可伸缩的矩形模板。根据图像上所提取的重心用动态重心模板试探性的匹配，这一方法解决了在复杂图像上定位大小未知的人脸的问题。
如图9所示，在这一步系统面向Mosaic图像，利用人脸的灰度特征识别人脸的真假。将候选人脸区域按提取的重心点所对应器官分布划分为1~9这九个子区域，分别对应于1左眼/眉区、2右眼/眉区、3鼻区、4嘴区、5鼻上区、6、8左颊区、7、9右颊区。各区的平均灰度的分布有这样一些规律1、2、3、4区的平均灰度高于其他区的平均灰度；1、2、4区的平均灰度值相近。
此外人脸的灰度在水平和垂直方向上的投影亦有规律。令整个脸区域向水平方向上投影，令1-5-2上脸区域、6-3-7中脸区域、8-4-9下脸区域分别向垂直水平方向上投影。可以看出，向水平方向上投影有3-4处极小值，分别对应于眉、眼、鼻及嘴部的投影；上、中、下脸向垂直方向上的投影有极大值和极小值，分别对应于鼻上眉间区、鼻及嘴部的投影。
如图10所示，对经过灰度特征检查的候选人脸区域仍作类似上一步的9区域划分。对人脸区域做像素级别的边缘提取并统计每个子区域内的横向和纵向像素点的数目，记第i个子区域内横向像素点的数目为Ei，系统将要测试如下不等式是否满足E1E2,E2E1>b0]]>E5E1+E5,E5E5+E2<b1]]>E6E6+E3,E7E3+E7<b2]]>E8E8+E4,E9E4+E9<b3]]>上式反映了人脸边缘特征的这样一些统计规律左右眼/眉区的横向像素点数目近似相等；鼻上左右眼/眉间隔区相对于左右眼/眉区、左右面颊上半区相对于鼻区、左右面颊下半区相对于嘴区，它们的比值各小于一个临界值。
参见图15，本发明涉及的肤色信息处理技术包括人脸的肤色验证、检测、人脸轮廓提取、直方图统计和跟踪匹配。
彩色电视的信号传递中，通常采用YUV空间来描述彩色信息。Y表示彩色的亮度。RGB空间到YUV空间的转换用矩阵表示如下YUV=0.2990.5870.114-0.147-0.2890.4360.615-0.515-0.100RGB]]>图11是YUV色彩空间中的色度信号矢量图。U和V是平面上的两个相互正交的矢量，色度信号(即U与V之和)是一个二维矢量，称之为色度信号矢量。每一种颜色对应一个色度信号矢量，它的饱和度由模值Ch表示，色调由相位角θ表示。
Ch=|U|2+|V|2]]>θ＝tan-1(|V|/|U|)白色和黑色都由原点(0，0)表示，模值等于0，为任意相位角。
一般的，在YUV空间的UV平面上，人脸肤色的色调介于红与黄之间。根据对大量人脸图像的彩色分析，可以确定人脸肤色的色调θ的变化范围[θmin，θmax]。这样，采用YUV空间的相位角θ确定人脸肤色在色度信息上的分布范围。即彩色图像的象素p由RGB空间变换到YUV空间，如果满足条件θp∈[θmin，θmax]，则p是肤色点。
首先，将原图像中每点的象素值由(R，G，B)转换为对应的色调值，得到色调图像；然后，按照色调范围阈值化色调图像，得到粗略的包含人脸侯选区和背景的二值分割图，其中，白色代表人脸候选区，黑色代表背景，对二值分割图进行平滑处理；最后，通过一个区域合并与标号的算法，可以计算求出二值分割图中有多少个白色连通区域，以及每个白色连通区域的位置、面积，从而得到了肤色区域，作为人脸侯选区域。图12是对彩色图像采用基于肤色分割处理的两个实例。(b)和(d)分别是(a)和(c)的分割结果，图中的白色矩形表示的是人脸候选区，“+”是人脸候选区的中心。如果在图像上已找到人脸，并且人脸的区域属于肤色所覆盖的区域，则在对该位置的肤色区域进行模糊处理；如果没有检测出人脸，则对所有的肤色区域进行模糊处理。通过这两种策略，来实现被采访者的面部遮挡。
对检测到的人脸肤色区域划分成如图13的环状和带状子区域，分别对这些子区域上的图像彩色信息做色调信息的直方图。这两种直方图可以用来跟踪平移、旋转的人脸。跟踪匹配的原理如图14所示利用上一帧已检测到的人脸位置，在下一帧图像中该位置的一个邻域里进行如图13的直方图统计，如果在某一位置处的直方图与已统计到的人脸色调信息的直方图类似，那么就判定该位置为人脸变化以后新位置。以此来实现人脸的跟踪。
权利要求
1.一种利用快速人脸检测对新闻被采访者进行脸部遮挡的方法，包括步骤a)检测人脸的位置和大小；b)利用肤色信息进行验证和补偿；c)利用人脸肤色直方图进行人脸跟踪；d)利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理。
2.如权利要求1所述的方法，其特征在于所述检测人脸的位置和大小包括步骤a)对图像做不同分辨率的变换，形成多个尺度下Mosaic图像；b)根据人脸面部器官的水平走向提取相应的水平边缘特征；c)计算水平边缘的重心，并依据人脸对应的重心分布模式进行人脸粗检；d)依据人脸对应的重心分布模式进行人脸粗检；e)利用灰度分布和投影信息以及边缘分布信息进行人脸细检。
3.如权利要求1所述的方法，其特征在于所述利用肤色信息进行验证和补偿包括步骤a)如果有人脸被检测到，在检测到的人脸区域内进行色调信息的提取，检查是否是肤色；b)如果没有检测到人脸，则在整个图像区域进行肤色区域检测，视所有被检测出的区域为人脸区域；
4.如权利要求1所述的方法，其特征在于所述利用人脸肤色直方图进行人脸跟踪包括步骤a)如果有人脸被检测到，在检测到的人脸区域内进行环状和带状的直方图统计；b)在下一帧图像对应已检测到的人脸区域的邻域内，进行环状和带状的直方图统计，并与已记录到的人脸直方图进行比对，如果类似，则确定出人脸被跟踪到的位置和区域；
5.如权利要求1所述的方法，其特征在于所述利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理包括步骤a)如果有人脸被检测到，在检测到的人脸区域内进行肤色区域的二值化域合并处理，区域边界形成人脸的自然轮廓，对轮廓内的人脸区域进行模糊处理以实现自动遮挡；b)如果没有人脸被检测到，则对所有被检测出的肤色区域进行模糊处理以实现对可能漏检的人脸的遮挡；
全文摘要
一种利用快速人脸检测对新闻被采访者进行脸部遮挡的方法，包括步骤a)检测人脸的位置和大小；b)利用肤色信息进行验证和补偿；c)利用人脸肤色直方图进行人脸跟踪；d)利用人脸的位置、区域和肤色信息进行轮廓提取和模糊处理。本发明的自动的人脸检测和遮挡技术，不用肤色信息可以达到88％的正确检测率。如果结合肤色信息，人脸几乎可以全部被覆盖。因此，本发明可以相当大地减轻工作强度，提高工作效率。
文档编号G06K9/46GK1492379SQ0214700
公开日2004年4月28日 申请日期2002年10月22日 优先权日2002年10月22日
发明者高文, 苗军, 高 文 申请人:中国科学院计算技术研究所