专利名称：：复杂场景中单个人脸的实时跟踪方法
技术领域：
：本发明涉及人机界面交互以及视频监控领域，特别是对复杂场景中单个人脸的实时追踪。具体是一种综合考虑多特征、利用新型反向投影图的连续均值漂移方法。
背景技术：
：在人机交互和视频监控等应用中，作为识别个人身份的显著特征之一，对人脸的检测和跟踪效果将直接关系到系统的整体性能。数十年来，已有无数学者对人脸跟踪问题作过广泛的研究和讨论，其中主要分为基于人脸模型、基于特征匹配、基于运动信息以及基于肤色的方法。然而，由于存在诸如头部转动，光照、阴影及遮挡物等诸多因素的影响，导致实际复杂环境中的人脸跟踪向来都难以有效实现。对现有技术性文献的査阅可知，在各种跟踪方法中，连续均值漂移算法比较令人满意。它由G.R.Bradski.在1998年Intel技术季刊上发表的一篇名为《ComputerVisionFaceTrackingforUseinaPerceptualUserInterface》的文章中提出并成功应用于计算机游戏人机交互界面中机器视觉对人脸运动的捕捉。文章以均值漂移算法为基础，利用搜索区域内在H色彩通道中的直方图统计计算视频序列后续各帧像素与肤色概率的相似程度，并以此为特征对人脸进行跟踪。然而，在H色彩通道对搜索区域进行直方图统计过程中易受搜索区域内背景像素的干扰，影响计算像素类肤色概率的准确度，进而不能达到良好的跟踪效果。同时，文中的初始搜索区域必须手动设定。
发明内容本发明的目的在于克服上述已有技术的不足，提供一种复杂场景中单个人脸的实时跟踪方法，以人脸检测的二值化结果表征图像中像素类肤色的概率，并以此为特征对人脸进行跟踪。同时，利用首帧图像的人脸检测结果自动确定初始搜索区域，使算法自动运行。为达到上述目的，本发明采用下述技术方案一种针对复杂场景中单个人脸的实时跟踪方法，其步骤包括-(1)画面预处理为减少环境光照和图像噪声的影响，本发明首先对图像实施分段灰度线形变换和高斯滤波，目的在于减少环境光照和图像噪声的干扰(2)利用肤色特征进行人脸检测利用肤色在YCrCb色彩空间中的聚合性进行人脸检测，并通过形态学操作去除检测噪声；(3)类肤色区域的消除针对类肤色区域，结合面积域值和人脸高、宽比限制条件进一4步消除，通过计算人脸区域的空间权重来确定面部区域的中心点，并以其为中心设定初始搜索区域；(4)人脸跟踪将人脸检测二值化结果作被跟踪特征，利用连续自适应均值偏移方法实现跟踪。实验结果表明本方法不需人工干预即可自动对画面中的人脸进行实时跟踪，准确率可达90%以上。以下对各步骤作进一步说明(1)画面预处理包括灰度线形变换和高斯模板滤波。由于环境中复杂光照的影响，会使面部出现一些高光或昏暗的区域，而这些区域都会对肤色的判断产生影响。因此需要将画面的亮度进行线形调整，以使其达到整体均匀的效果。而由于视频捕获设备的硬件原因，难免会在图像中出现噪声，这同样会对像素类肤色区域的判断产生影响。利用高斯模板对图像进行巻积，可以在保持边缘的前提下较好地去除噪声。(2)利用肤色特征进行人脸检测在各种色彩空间中，YCrCb中的Cr、Cb通道内的肤色具有良好的聚合性，通过实验观测数据可得到比较理想的分割阈值，进而产生良好的肤色分割结果。同时对初始检测结果进行形态学操作，消除一些细小空洞和检测噪声。(3)类肤色区域的消除利用肤色信息对面部进行检测固然存在诸多优势，然而仅凭借此单一信息总会受到类肤色区域的干扰，而这些区域是无法单纯依靠形态滤波消除掉的。因为有些类肤色区域较大，需要多次腐蚀才能消除，而多次处理的同时又会导致面部区域萎縮。本方法结合人脸面积和几何特征对这类区域进一步消除。首先是当区域小于一定面积时，认为此区域不属于人脸；其次是对人脸区域长、短轴比进行限定，不在此范围内的区域都将被消除，以尽可能减少类肤色区域的影响。同时，在检测出的人脸区域内计算重心位置，并以其为中心设定初始搜索区域，使算法自动运行。(4)人脸跟踪以人脸检测结果作为新型反向投影图，对搜索窗口内的空间矩进行迭代，使当前搜索框中的特征趋向于目标特征的分布模式，从而指导连续均值漂移法自动调整搜索窗口的位置及长轴角度以预测出目标在下一帧中的信息，使跟踪算法持续进行，在保证良好跟踪效果的同时还兼具简单的计算量。上述的画面预处理的具体实现方法如下(l)线性变换设一幅图像的亮度由/(x,"表示，Oc,力代表图像像素的空间位置，M"[/(;c,;;)]、Ma4/tx，:^为线性变换的最大、最小域值，则经过线性变换后的图像亮度G(x,;;:)为:G(X，力:<formula>formulaseeoriginaldocumentpage6</formula>(2)高斯模版滤波滤波过程采用离散化高斯模板对图像进行巻积，离散化高斯模板如下<formula>formulaseeoriginaldocumentpage6</formula>上述的利用肤色特征进行人脸检测的具体实现方法如下数字图像由RGB到YCrCb色彩空间的转换公式如下，其中R、G、B、Y、、C^分别代表像素在相应色彩通道中的像素值y=0.299x+0.587xG+0.114x5O=i—F,O=5-7之后利用如下公式，将满足条件的像素值设置为255，否则将像素值设置为0，以此得到人脸初步检测结果。其中C^代表数字图像在相应通道内的像素值，G^、CVm"限定了像素属于人脸区域时(^所满足的最大值、最小值范围；CA、GAM、Cw,"所代表含义同理。(C/"M"<C/<C/"Mu:)门(C歸h<C6<C6Mjjc^，上述的类肤色区域的消除具体实现方法如下(1)综合考虑人脸面积和几何特征消除类肤色区域对各独立区域求其面积，在数字图像中即为区域中的像素个数，当区域面积小于100时就将其从初步检测结果中消除；同时，对剩余的独立区域分别计算长、短轴比，根据面部特征和观测经验，将长、短轴比不在1.0-2.3范围内变化的区域进一步消除。(2)初始搜索区域的确定初始搜索区域由如下公式确定-<formula>formulaseeoriginaldocumentpage7</formula>其中，k。，；^J为初始搜索区域的中心，(x，y)代表人脸检测二值化图像像素的空间位置，/(;C，j;)为其在(;;C,W处的像素值；以(x:。,y。)为中心，设定一个200X100的矩形窗口作为初始搜索区域。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点-本发明的人脸跟踪方法在具有较低计算量的同时可对复杂场景中人脸的旋转、倾斜等情况成功实现跟踪，当跟踪失败后也能自动重新进行，且对诸如手部类肤色区域的干扰不明显。同时，本发明还实现了初始搜索区域的自动设定，使整个过程可在无人干涉的情况下自动进行。本发明结合多重特征提取人脸并实现跟踪，效果稳定且计算复杂度低，可广泛应用于视频监控、人机交互界面等领域。图i为本发明的流程框图。图2为本发明中对初始检测结果进行形态学操作前后的比较。图3为本发明利用的Cr、Cb色彩通道内的肤色聚合特性展示。图4为本发明的最终跟踪效果展示。具体实施例方式本发明的一个优选实施例结合如下参见图l，本针对复杂场景中单个人脸的实时跟踪方法，其步骤包括(1)画面预处理对视频捕获的画面进行图像线性变换和高斯模板滤波；(2)利用肤色特征进行人脸检测利用肤色在YCrCb色彩空间的聚合性在CrCb通道中对人脸进行检测，并利用形态学操作初步去除检测后的噪声；(3)类肤色区域的消除针对场景中的类肤色区域，结合人脸区域面积和几何特征进一步消除，计算人脸区域质心，并以其为中心设定初始搜索区域；(4)人脸跟踪将人脸检测结果作为新型反向投影图，利用连续自适应均值偏移法实现人脸跟踪。上述画面预处理的实现方法如下-在对人脸进行检测之前，需要对画面进行预处理。具体包括灰度线性变换和高斯模版巻积。其中灰度线性变换目的在于将画面的整体亮度调整均匀。调整过程按照公式(1)进行计算<formula>formulaseeoriginaldocumentpage8</formula>(1)其中，/(x,W代表原始图像中的灰度值，Oc，W代表图像像素的空间位置，G(u)是线形变换后的灰度值。M/[/tx,_y)]、M欲[/(x,"]为所设定的最大、最小域值。之后，采用如下的高斯模板与原始图像进行巻积，以消除由视频捕获设备带来的噪声。<table>tableseeoriginaldocumentpage8</column></row><table>上述利用肤色特征进行人脸检测的实现方法如下在各种色彩空间中，YOCb中的Cr、Cb通道内的肤色具有良好的聚合性(见图3为一个肤色块在Cr、Cb通道内聚合性展示)，因此需要将图像从RGB转换到YCrCb色彩空间，其中R、G、B、Y、Cr、Cb分别代表像素在相应通道中的像素值，转换公式如公式(2):<formula>formulaseeoriginaldocumentpage8</formula>(2)如表l,根据实验观测表明，在不同时段、光照条件下，通过设定不同的域值，可利用公式(3)在Cr、Cb通道中对人脸进行检测，并将满足条件的像素值置为255，否则将像素值置为0，以此得到人脸初步检测结果广<广(广表l<C6<c)(3)CrCrCbCb腐蚀膨胀MinMaxMinMax次数次数10点1141551031241215点138160941201322点13014511113023阴天1361779513011之后按照表1对初始检测结果进行形态学操作，消除一些细小空洞和检测噪声(形态学操作结果展示见图2)。上述类肤色区域的消除的实现方法如下当利用肤色特征完成人脸初步检测后，包括人脸区域在内会产生一些像素值为255的区域，要将这些类肤色区域消除首先对各独立区域求其面积(在数字图像中即为区域中的像素个数)，当区域面积小于100时就将其从初步检测结果中消除。其次，再对剩余的独立区域分别计算长、短轴比。根据面部几何特征和观测经验，将长、短轴比不在1.0~2.3范围内变化的区域进一步消除。经过上述处理，绝大多数类肤色区域都能被顺利消除。设定初始搜索区域-为使跟踪过程自动运行，利用公式(4)计算面部区域质心并以其为中心自动设定初始搜索区域(4)x。=s丄/M乂H:/")其中，(x。,凡)为人脸区域的中心，0^)代表人验检测二值化图像像素的空间位置，*,》为其在(x,"处的亮度值。以(^。,j;。)为中心，设定一个200X100的矩形窗口作为初始搜索区域。上述人脸跟踪的实现方法如下通过上述处理，人脸跟踪便可自动运行。这是一个迭代的计算过程，具体计算过程如下(a)在视频帧序列的第一帧中进行人脸检测，若检测成功，则自动确定初始搜索区域；反之则继续对下一帧进行检测，直到检测人脸成功为止(b)在人脸检测的二值化图中，利用均值漂移算法通过一次或多次迭代计算区域的(T2阶矩，用以确定跟踪窗口的位置、长轴偏转角度(C)保持跟踪窗口尺寸不变，改变搜索框的中心位置及偏转角度，将其移动到由(b)确定的位置(d)对后续每帧图像重复进行(b)、(c)步骤，直到窗口位置收敛，实现人脸跟踪。图4为本发明的最终跟踪效果展示，结果显示本发明不仅成功实现了对正脸的跟踪，对侧脸及头部偏转情况下也有良好的跟踪效果，除此之外，对诸如手部等类肤色区域的千扰也具有较强的鲁棒性。权利要求1.一种针对复杂场景中单个人脸的实时跟踪方法，其步骤包括a.画面预处理对视频捕获的画面进行图像线性变换和高斯模板滤波；b.利用肤色特征进行人脸检测利用肤色在YCrCb色彩空间的聚合性在CrCb通道中对人脸进行检测，并利用形态学操作初步去除检测后的噪声；c.类肤色区域的消除针对场景中的类肤色区域，结合人脸区域面积和几何特征进一步消除，计算人脸区域质心，并以其为中心设定初始搜索区域；d.人脸跟踪将人脸检测结果作为新型反向投影图，利用连续自适应均值偏移法实现人脸跟踪。2.根据权利要求1所述的针对复杂场景中单个人脸的实时跟踪方法，其特征在于所述画面预处理的具体实现方法如下(l)线性变换设一幅图像的亮度由/Oc,少)表示，(;c,y)代表图像像素的空间位置，M/4/t^,x)]、Moxl/(;c,:v)]为线性变换的最大、最小域值，则经过线性变换后的图像亮度G(jc，少)为<formula>formulaseeoriginaldocumentpage2</formula>(2)高斯模版滤波滤波过程采用离散化高斯模板对图像进行巻积，离散化高斯模板如下<table>tableseeoriginaldocumentpage2</column></row><table>3.根据权利要求1所述的针对复杂场景中单个人脸的实时跟踪方法，其特征在于所述利用肤色特征进行人脸检测的具体实现方法如下数字图像由RGB到YCrCb色彩空间的转换公式如下，其中R、G、B、Y、、(76分别代表像素在相应色彩通道中的像素值<formula>formulaseeoriginaldocumentpage3</formula>之后利用如下公式，将满足条件的像素值设置为255，否则将像素值设置为0，以此得到人脸初步检测结果。其中CV代表数字图像在相应通道内的像素值，Gm^、C^限定了像素属于人脸区域时C所满足的最大值、最小值范围；GA、C7m^、C"所代表含义同理。(C<C<C7"M^)。(C磁"<C6<CM/ta)°4.根据权利要求1所述的针对复杂场景中单个人脸的实时跟踪方法，其特征在于所述类肤色区域的消除的具体实现方法如下(1)综合考虑人脸面积和几何特征消除类肤色区域对各独立区域求其面积，在数字图像中即为区域中的像素个数，当区域面积小于100时就将其从初步检测结果中消除；同时，对剩余的独立区域分别计算长、短轴比，根据面部特征和观测经验，将长、短轴比不在1.02.3范围内变化的区域进一步消除；(2)初始搜索区域的确定初始搜索区域由如下公式确定<formula>formulaseeoriginaldocumentpage3</formula>其中，(j。,少」为初始搜索区域的中心，(x，力代表人脸检测二值化图像像素的空间位置，/(x,少)为其在(x,力处的像素值；以(x。,jj为中心，设定一个200X100的矩形窗口作为初始搜索区域。全文摘要本发明涉及一种针对复杂场景中单个人脸的实时跟踪方法。本方法步骤为(1)画面预处理对视频捕获的画面进行线形变换和高斯模板滤波；(2)利用肤色特征进行人脸检测利用肤色在YCrCb色彩空间中的聚合性对人脸进行检测并进行形态学操作；(3)类肤色区域的消除结合人脸的面积和几何特征对非人脸类肤色区域进行消除，得到理想的人脸区域后，借其计算人脸区域的重心，并以其为中心设定初始搜索区域；(4)人脸跟踪将人脸检测结果作为新型反向投影图，以其为特征利用连续自适应均值偏移法实现人脸跟踪。本发明结合多重特征提取人脸并实现跟踪，效果稳定且计算复杂度低，可广泛应用于视频监控、人机交互界面等领域。文档编号G06K9/00GK101377813SQ200810200310公开日2009年3月4日申请日期2008年9月24日优先权日2008年9月24日发明者超寇,王华红,王少波,琮白,陈泉林申请人:上海大学