专利名称：一种人脸跟踪的方法和装置的制作方法
技术领域：
本发明涉及计算机技术领域，特别涉及一种人脸跟踪的方法和装置。
背景技术：
IMdnstant Messaging，即时通讯)发展到今天，已经被大多数的网民用户所接 受。用户无论是在生活还是工作中，都会大量使用IM软件实现与朋友，同事以及同学、客户 等的交流与沟通，使得IM软件逐渐成为用户日常生活中不可缺少的工具之一。在IM软件的众多用途中，IM视频因其方便、快捷等优点而被大多数的网民所使 用。现有的IM视频可以理解为A和B进行视频聊天，A为被拍摄者，B为观察者。其中， B可以通过网络观察到A的图像，B观察到的图像为A的视频拍摄设备直接采集的图像，没 有经过调整的图像。这种现有的IM视频存在如下缺点在某些情况下，当A用户离视频拍 摄设备较远、或者不在拍摄的主要范围等情况，用户B所观察到的A的图像的效果就不会很 好，例如人脸模糊、距离较远看不清楚等。对于这些情况，用户B可以选择以人脸为视频主 要内容的显示模式，当用户A的IM客户端接收到用户B的上述选择信号时，自动启动人脸 跟踪技术，A与B之间的网络通讯无需传递原始大小帧，而是可以传递自定义大小(通常小 于原始大小)的人脸图像，因此可以降低传输数据。这样，即使在网络环境差的场合也可以 达到相对流畅的视频效果；并可以同时将跟踪获得的人脸动态图像作为用户B的IM客户端 窗口中用户A的动态头像。现有的人脸跟踪技术领域的主流方法有粒子滤波(Particle Filtering)和Mean Shift两种技术；粒子滤波由于受粒子数目影响较大，使得当应用于视频窗口的人脸跟踪 时速率相对低下，因此在远距离视频聊天时，画面不连续，难以应用；Mean Shift算法(以 Intel OpenCV库为例)迭代速率很快，但其基于肤色特征，使得肤色接近的颈脖区域往往 容易被错误地检测，因此不能得到比较准确的人脸区域，如图1所示。
发明内容
为了在IM视频中获得更为准确的、以人脸为主体的视频图像，本发明实施例提供 了一种人脸跟踪的方法和装置。所述技术方案如下一种人脸跟踪的方法，所述方法包括获得待跟踪人脸的初始化图像；统计所述初始化图像的像素分布特征，所述像素分布特征至少包括所述初始化图 像的色彩直方图和所述初始化图像的边缘直方图；根据所述色彩直方图获得所述待跟踪人脸的色彩概率图像；将所述色彩概率图像的中心调整至所述色彩概率图像的重心，得到调整后的色彩 概率图像；根据所述初始化图像的边缘直方图与所述调整后的色彩概率图像的边缘直方图， 获得人脸跟踪的窗口；
将所述获得的人脸跟踪的窗口作为下一帧图像的待跟踪人脸的初始化图像。所述获得待跟踪人脸的初始化图像，具体包括采用运动目标检测技术，根据人体头肩部比例关系，获得近似头部区域；采用人脸检测分类器对所述近似头部区域的图像进行智能人脸检测，获得待跟踪 人脸的初始化图像。所述获得近似头部区域之后，所述方法还包括将所述近似头部区域进行放大；相应的，所述采用人脸检测分类器对所述近似头部区域的图像进行智能人脸检 测，具体包括采用人脸检测分类器对放大后的近似头部区域进行智能人脸检测。所述将所述色彩概率图像的中心调整至所述色彩概率图像的重心，具体包括计算所述色彩概率图像的重心；判断所述中心与所述重心之间的差值是否小于等于预先设定的阀值；如果是，则所述色彩概率图像的中心已调整至所述色彩概率图像的重心；如果否，将所述中心按照预先设定的步长朝着所述重心移动一个步长，并执行判 断所述中心与所述重心的差值是否小于等于预先设定的阀值的步骤。根据所述初始化图像的边缘直方图与调整后的所述色彩概率图像的边缘直方图， 获得人脸跟踪的窗口，具体包括统计调整后的所述色彩概率图像的边缘直方图，并归一化所述初始化图像的边缘 直方图；利用所述归一化以后的初始化图像的边缘直方图，与调整后的色彩概率图像的边 缘直方图计算巴氏距离，获得相似程度最高的人脸窗口。所述相似程度最高具体为所述巴氏距离小于等于预设值。一种人脸跟踪的装置，所述装置包括初始化图像获得模块，用于获得待跟踪人脸的初始化图像；像素分布特征统计模块，用于统计所述初始化图像的像素分布特征，所述像素分 布特征至少包括所述初始化图像的色彩直方图和所述初始化图像的边缘直方图；色彩概率图像获得模块，用于根据所述色彩直方图获得所述待跟踪人脸的色彩概 率图像；中心调整模块，用于将所述色彩概率图像的中心调整至所述色彩概率图像的重 心，得到调整后的色彩概率图像；人脸跟踪窗口获得模块，用于根据所述初始化图像的边缘直方图与所述调整后的 色彩概率图像的边缘直方图，获得人脸跟踪的窗口 ；将所述获得的人脸跟踪的窗口作为下 一帧图像的待跟踪人脸的初始化图像。所述初始化图像获得模块具体包括近似头部区域获得单元，用于采用运动目标检测技术，根据人体头肩部比例关系， 获得近似头部区域；初始化图像获得单元，用于采用人脸检测分类器对所述近似头部区域的图像进行 智能人脸检测，获得待跟踪人脸的初始化图像。
初始化图像获得模块还包括放大单元，用于将所述近似头部区域获得单元中获得的近似头部区域进行放大；相应的，所述初始化图像获得单元具体用于采用人脸检测分类器对放大后的近 似头部区域进行智能人脸检测。中心调整模块具体包括计算单元，用于计算所述色彩概率图像的重心；判断单元，用于判断所述中心与所述重心之间的差值是否小于等于预先设定的阀 值；中心调整单元，用于如果所述判断单元的判断结果为是时，不调整所述中心；如果 所述判断单元的判断结果为否时，将所述中心按照预先设定的步长朝着所述重心移动一个 步长，并启动判断单元。人脸跟踪窗口获得模块具体包括计算单元，用于统计调整后的所述色彩概率图像的边缘直方图，并归一化所述初 始化图像的边缘直方图；获得单元，用于利用归一化以后的初始化图像的边缘直方图，与调整后的色彩概 率图像的边缘直方图计算巴氏距离，获得相似程度最高的人脸窗口。本发明实施例提供的技术方案带来的有益效果是通过智能人脸检测技术得到初始人脸区域，并通过统计人脸区域像素分布特征， 即颜色统计信息，并根据区域重心变化迭代计算其与区域中心的差值，得到变化后的区域， 并且，对于实时得到的人脸图形求取人脸边缘图，通过每帧与变化后的区域进行模版匹配， 得到每帧最终的准确人脸区域，并实时更新人脸模版，最终得到了较为精确的人脸跟踪结 果，克服了现有技术的缺点。
图1是应用现有技术进行人脸跟踪的结果示意图；图2是本发明实施例1中提供的人脸跟踪的方法流程图；图3是本发明实施例2中提供的人脸跟踪的方法流程图；图4是本发明实施例2中应用现有技术进行人脸跟踪的结果示意图；图5是利用本发明实施例2中提供的人脸跟踪的方法进行人脸跟踪的结果示意 图；图6是本发明实施例3中提供的人脸跟踪的装置示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。实施例1为了在IM视频中获得更为准确的、以人脸为主体的视频图像，本实施例提供了一 种人脸跟踪的方法，参见图2，该方法包括201 获得待跟踪人脸的初始化图像；
其中，可以采用运动目标检测技术，根据人体头肩部比例关系，获得近似头部区 域；再采用人脸检测分类器对近似头部区域的图像进行智能人脸检测，获得待跟踪人脸的 初始化图像。在获得近似头部区域之后，该方法还包括将近似头部区域进行放大；相应的，再采用人脸检测分类器对放大后的近似头部区域进行智能人脸检测。202:统计初始化图像的像素分布特征，像素分布特征至少包括初始化图像的色彩 直方图和初始化图像的边缘直方图；203 根据色彩直方图获得待跟踪人脸的色彩概率图像；204:将色彩概率图像的中心调整至色彩概率图像的重心，得到调整后的色彩概率 图像；其中包括计算色彩概率图像的重心；判断中心与重心之间的差值是否小于等于预先设定的阀值；如果是，则色彩概率图像的中心已调整至色彩概率图像的重心；如果否，将中心按照预先设定的步长朝着重心移动一个步长，并执行判断中心与 重心的之间的差值是否小于等于预先设定的阀值的步骤。205:根据初始化图像的边缘直方图与调整后的色彩概率图像的边缘直方图，获得 人脸跟踪的窗口 ；将获得的人脸跟踪的窗口作为下一帧图像的待跟踪人脸的初始化图像。统计调整后的色彩概率图像的边缘直方图，并归一化初始化图像的边缘直方图；利用归一化以后的初始化图像的边缘直方图，与调整后的色彩概率图像的边缘直 方图计算巴氏距离，获得相似程度最高的人脸窗口。其中，相似程度最高具体为巴氏距离小于预设值。通过智能人脸检测技术得到初始人脸区域，并通过统计人脸区域像素分布特征， 即颜色统计信息，并根据区域重心变化迭代计算其与区域中心的差值，得到变化后的区域， 并且，对于实时得到的人脸图形求取人脸边缘图，通过每帧与变化后的区域进行模版匹配， 得到每帧最终的准确人脸区域，并实时更新人脸模版，最终得到了较为精确的人脸跟踪结 果，克服了现有技术的缺点。实施例2为了在IM视频中获得更为准确的、以人脸为主体的视频图像，本发明实施例提供 了一种人脸跟踪的方法，以执行主体为IM客户端所在的主机为例，参见图3，该方法包括301 对实时采集到的视频图像进行智能人脸检测，得到初始人脸区域；其中，进行视频图像实时采集的设备可以为摄像机、摄像头等具有拍摄功能的设备。需要说明的是，智能人脸检测，即为在当前输入图像或者视频中检测出人脸区域。 目前较为成熟的人脸检测技术主要采用人脸Haar特征描述实现，2001年Viola提出的基于 人脸特征的快速人脸检测算法被广为采用，并集成入htel OpenCV库(开源BSD协议)。 人脸检测的示意图可以如图4所示。在本发明实施例中，以采用^itel OpenCV实现的人脸 检测分类器实现智能人脸的检测，从而得到初始人脸区域。还需要说明的是，对于较低分辨率的拍摄设备所采集到的视频图像，本发明实施例在对其进行智能人脸检测之前，采用了运动目标检测技术，运用背景减方法检测出摄像 头视窗中的运动区域(人体)，根据人体头肩部的比例关系，获得近似头部区域；并对于获 得的近似头部区域进行放大之后，再采用上述分类器进行智能人脸检测。这样做的有益效 果在于(1)原OpenCV中的人脸分类器在分辨率不高、或者人脸特征并不是特别突出的情 况下，几乎无法检测出人脸；而通过预先的运动目标检测等手段，可以逐步缩小检测范围， 并用多尺度处理思想，在较大尺度上进行检测，可以立即得到当前人脸区域；(2)原OpenCV中的人脸分类器基于人脸面部对称等五官分布特征检测，而当摄像 头场景中某背景(实验中如带方格的柜子，假面等)和人脸这种特征比较近似时，很容易发 生错误检测；而运用运动检测的算法直接排除了这些静止的背景目标，因此可以比较准确 的检测出真人。302 统计初始人脸区域的像素分布特征；其中，统计初始人脸区域的像素分布特征具体可以包括计算初始人脸区域的色 彩直方图，并统计其边缘直方图，将色彩直方图转化成色彩概率图像。其中，需要说明的是，可以使用如下方法进行色彩直方图的计算，例如将原彩色 图像转至HSV (hue、saturation ,value,色调、饱和度、明度)颜色空间，提取色调分量，统计 该分量直方图。可以采用如下方法进行边缘直方图的统计，例如将初始人脸图像转至单通 道图像，计算出边缘图像，统计该图像直方图。进一步的，将色彩直方图转化为色彩概率图像具体指的是将RGB (red、green、blue，红、绿、蓝)颜色空间的图像转换到HSV颜色空间，并提取 HSV颜色空间中图像的色调分量，根据提取出的色调分量统计直方图，然后对直方图进行反 向投影，即得到色彩概率图像。色彩概率图像中每个像素值为原HSV中色调分量在直方图 中对应的累计值。因此，在初始人脸区域中，如果某颜色值出现较多，则其在概率图像中的 反应较为明显。303 计算像素分布特征中色彩概率图像的重心位置；其中，需要说明的是，色彩概率图像的重心根据图像区域的矩特征得到，反应了该 图像颜色聚集程度。由于色彩概率图像重心位置可以使用很多现有技术进行计算，故此不 做赘述。304 将色彩概率图像的中心调整至其重心位置；其中，需要说明的是，图像的中心具体指的是图像画面的中心点；将色彩概率图像 的中心调整至其重心位置具体可以为以下操作判断中心位置与重心位置之间的距离(即差值)是否小于等于预先设定的阀值；如果是，说明色彩概率图像的中心已经在可允许误差范围内被调整至重心位置， 则继续执行步骤305 ；如果否，说明色彩概率图像的中心尚未在可允许误差范围内被调整至重心位置， 则将中心位置以预先设定的步长朝向重心位置移动，每移动一个单位步长，返回执行判断 中心位置与重心位置之间的差值是否小于等于预先设定的阀值的步骤。举例说来，设色彩概率图像的中心位置坐标为(xl，yl)，重心位置为(x2，y2)，则 预先设定的步长为(dx，dy)，其中，dx、dy既可以是正数，又可以是负数。首先计算(xl，yl)与(x2，y2)之间的差值是否小于等于预先设定的阀值，如果是，则执行步骤305;如果 否，则将中心位置朝着(x2，y2)移动一个单位步长，此时中心位置的坐标即变更为(xl+dx， yl+dy)，计算(xl+dx，yl+dy)与(x2，y2)之间的差值是否小于等于预先设定的阀值；如果 小于等于，则执行步骤305 ；如果大于，则继续将中心位置朝着(x2，W)移动一个单位步长， 如此反复，直至中心位置与中心位置之间的差值小于等于预先设定的阀值。305 统计调整中心位置后的色彩概率图像的边缘直方图，并归一化步骤302中得 到的人脸边缘直方图；其中，需要说明的是，归一化人脸边缘直方图具体指的是将每个像素值出现的次 数除以所有像素出现的次数和，得到归一化边缘直方图。306 将归一化后得到的人脸边缘直方图在步骤305中获得的新边缘直方图中进 行迭代匹配，获得相似程度最高的人脸图像；其中，可以使用直方图巴氏距离计算归一化的人脸边缘直方图与新边缘直方图之 间的相似程度，当巴氏距离小于等于某一预设值时，归一化的人脸边缘直方图与新边缘直 方图之间的相似程度最高。307:将获得的相似程度最高的人脸图像窗口作为下一帧图像的初始窗口，继续应 用本方法进行视频图像中人脸的智能跟踪。图5为应用本发明实施例提供的智能人脸跟踪方法所获得的跟踪结果，从图5中 可以看出，通过应该本发明实施例所提供的方案，可以比较精确地对聊天摄像头的视频场 景进行人脸跟踪。本发明实施例提供了一种人脸跟踪方法，该方法通过智能人脸检测技术得到初始 人脸区域，并通过统计人脸区域像素分布特征，即颜色统计信息，并根据区域重心变化迭代 计算其与区域中心的差值，得到变化后的区域，并且，对于实时得到的人脸图像求取人脸边 缘图，通过每帧与变化后的区域进行模版匹配，得到每帧最终的准确人脸区域，并实时更新 人脸模版，最终得到了较为精确的人脸跟踪结果，克服了现有技术的缺点；并且，在复杂环 境下采用智能人脸检测技术时，还采用了运动目标检测技术，进一步提高了人脸检测的准 确率和速率。实施例3为了在IM视频中获得更为准确的、以人脸为主体的视频图像，本发明实施例提供 了一种人脸跟踪的装置，参见图6，该装置包括初始化图像获得模块601，用于获得待跟踪人脸的初始化图像；像素分布特征统计模块602，用于统计初始化图像的像素分布特征，像素分布特征 至少包括初始化图像的色彩直方图和初始化图像的边缘直方图；色彩概率图像获得模块603，用于根据色彩直方图获得待跟踪人脸的色彩概率图 像；中心调整模块604，用于将色彩概率图像的中心调整至色彩概率图像的重心；人脸跟踪窗口获得模块605，用于根据初始化图像的边缘直方图与调整后的色彩 概率图像的边缘直方图，获得人脸跟踪的窗口 ；将获得的人脸跟踪的窗口作为下一帧图像 的待跟踪人脸的初始化图像。其中，一种实施方式下，初始化图像获得模块601具体包括9
近似头部区域获得单元，用于采用运动目标检测技术，根据人体头肩部比例关系， 获得近似头部区域；初始化图像获得单元，用于采用人脸检测分类器对近似头部区域的图像进行智能 人脸检测，获得待跟踪人脸的初始化图像。进一步的，初始化图像获得模块601还包括放大单元，用于将近似头部区域获得单元中获得的近似头部区域进行放大；相应的，初始化图像获得单元具体用于采用人脸检测分类器对放大后的近似头 部区域进行智能人脸检测。其中，一种实施方式下，中心调整模块604具体包括计算单元，用于计算色彩概率图像的重心；判断单元，用于判断中心与重心之间的差值是否小于等于预先设定的阀值；中心调整单元，用于如果判断单元的判断结果为是时，不调整中心；如果判断单元 的判断结果为否时，将中心按照预先设定的步长朝着重心移动一个步长，并启动判断单元。其中，一种实施方式下，人脸跟踪窗口获得模块605具体包括计算单元，用于统计调整后的色彩概率图像的边缘直方图，并归一化初始化图像 的边缘直方图；获得单元，用于利用归一化以后的初始化图像的边缘直方图，与调整后的色彩概 率图像的边缘直方图计算巴氏距离，获得相似程度最高的人脸窗口。其中，相似程度最高指的是巴氏距离小于等于预设值。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种人脸跟踪的方法，其特征在于，所述方法包括获得待跟踪人脸的初始化图像；统计所述初始化图像的像素分布特征，所述像素分布特征至少包括所述初始化图像的 色彩直方图和所述初始化图像的边缘直方图；根据所述色彩直方图获得所述待跟踪人脸的色彩概率图像；将所述色彩概率图像的中心调整至所述色彩概率图像的重心，得到调整后的色彩概率 图像；根据所述初始化图像的边缘直方图与所述调整后的色彩概率图像的边缘直方图，获得 人脸跟踪的窗口；将所述获得的人脸跟踪的窗口作为下一帧图像的待跟踪人脸的初始化图像。
2.如权利要求1所述的人脸跟踪的方法，其特征在于，所述获得待跟踪人脸的初始化 图像，具体包括采用运动目标检测技术，根据人体头肩部比例关系，获得近似头部区域；采用人脸检测分类器对所述近似头部区域的图像进行智能人脸检测，获得待跟踪人脸 的初始化图像。
3.如权利要求2所述的人脸跟踪的方法，其特征在于，所述获得近似头部区域之后，所 述方法还包括将所述近似头部区域进行放大；相应的，所述采用人脸检测分类器对所述近似头部区域的图像进行智能人脸检测，具 体包括采用人脸检测分类器对放大后的近似头部区域进行智能人脸检测。
4.如权利要求1所述的人脸跟踪的方法，其特征在于，所述将所述色彩概率图像的中 心调整至所述色彩概率图像的重心，具体包括计算所述色彩概率图像的重心；判断所述中心与所述重心之间的差值是否小于等于预先设定的阀值；如果是，则所述色彩概率图像的中心已调整至所述色彩概率图像的重心；如果否，将所述中心按照预先设定的步长朝着所述重心移动一个步长，并执行判断所 述中心与所述重心的差值是否小于等于预先设定的阀值的步骤。
5.如权利要求1所述的人脸跟踪的方法，其特征在于，所述根据所述初始化图像的边 缘直方图与调整后的所述色彩概率图像的边缘直方图，获得人脸跟踪的窗口，具体包括统计调整后的所述色彩概率图像的边缘直方图，并归一化所述初始化图像的边缘直方图；利用归一化以后的初始化图像的边缘直方图，与调整后的色彩概率图像的边缘直方图 计算巴氏距离，获得相似程度最高的人脸窗口。
6.如权利要求5所述的人脸跟踪的方法，其特征在于，所述相似程度最高具体为所述 巴氏距离小于等于预设值。
7.—种人脸跟踪的装置，其特征在于，所述装置包括初始化图像获得模块，用于获得待跟踪人脸的初始化图像；像素分布特征统计模块，用于统计所述初始化图像的像素分布特征，所述像素分布特征至少包括所述初始化图像的色彩直方图和所述初始化图像的边缘直方图；色彩概率图像获得模块，用于根据所述色彩直方图获得所述待跟踪人脸的色彩概率图像；中心调整模块，用于将所述色彩概率图像的中心调整至所述色彩概率图像的重心，得 到调整后的色彩概率图像；人脸跟踪窗口获得模块，用于根据所述初始化图像的边缘直方图与所述调整后的色彩 概率图像的边缘直方图，获得人脸跟踪的窗口 ；将所述获得的人脸跟踪的窗口作为下一帧 图像的待跟踪人脸的初始化图像。
8.如权利要求7所述的人脸跟踪的装置，其特征在于，所述初始化图像获得模块具体 包括近似头部区域获得单元，用于采用运动目标检测技术，根据人体头肩部比例关系，获得 近似头部区域；初始化图像获得单元，用于采用人脸检测分类器对所述近似头部区域的图像进行智能 人脸检测，获得待跟踪人脸的初始化图像。
9.如权利要求8所述的人脸跟踪的装置，其特征在于，初始化图像获得模块还包括 放大单元，用于将所述近似头部区域获得单元中获得的近似头部区域进行放大；相应的，所述初始化图像获得单元具体用于采用人脸检测分类器对放大后的近似头 部区域进行智能人脸检测。
10.如权利要求7所述的人脸跟踪的装置，其特征在于，中心调整模块具体包括 计算单元，用于计算所述色彩概率图像的重心；判断单元，用于判断所述中心与所述重心之间的差值是否小于等于预先设定的阀值； 中心调整单元，用于如果所述判断单元的判断结果为是时，不调整所述中心；如果所 述判断单元的判断结果为否时，将所述中心按照预先设定的步长朝着所述重心移动一个步 长，并启动判断单元。
11.如权利要求7所述的人脸跟踪的装置，其特征在于，人脸跟踪窗口获得模块具体包括计算单元，用于统计调整后的所述色彩概率图像的边缘直方图，并归一化所述初始化 图像的边缘直方图；获得单元，用于利用归一化以后的初始化图像的边缘直方图，与调整后的色彩概率图 像的边缘直方图计算巴氏距离，获得相似程度最高的人脸窗口。
全文摘要
本发明公开了一种智能人脸跟踪的方法，涉及计算机技术领域。所述方法包括获得待跟踪人脸的初始化图像；统计所述初始化图像的像素分布特征，所述像素分布特征至少包括所述初始化图像的色彩直方图和所述初始化图像的边缘直方图；根据所述色彩直方图获得所述待跟踪人脸的色彩概率图像；将所述色彩概率图像的中心调整至所述色彩概率图像的重心；根据初始化图像的边缘直方图与调整后的色彩概率图像的边缘直方图，获得人脸跟踪的窗口；将获得的人脸跟踪的窗口作为下一帧图像的待跟踪人脸的初始化图像。相应的，还提供了一种智能人脸跟踪的装置。通过本发明提供的技术方案，可以为IM视频获得更为准确的以人脸为主体的视频跟踪图像。
文档编号G06K9/48GK102054159SQ200910208510
公开日2011年5月11日 申请日期2009年10月28日 优先权日2009年10月28日
发明者孙炜, 龙一民 申请人:腾讯科技(深圳)有限公司