一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法与流程

本发明属于视觉目标检测与跟踪技术领域，尤其涉及到一种融合人脸肤色与轮廓特征的人脸自适应检测与跟踪方法。

背景技术：

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在几十年中得到了飞速的发展。人脸作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，成为了自动身份验证的最理想依据之一。人脸的检测与跟踪技术是近年来图像处理领域研究比较热门的课题之一。随着研究的不断深入，该领域的研究取得了长足的发展。与其他识别方法相比，人脸具有直接、友好、方便的特点，又由于使用者无任何心理障碍，易于为用户所接受，故得到了广泛的研究与应用。当前的人脸识别技术主要被应用到了刑侦破案、证件验证、视频监控、人流量统计及表情分析等方面。此外，人脸识别技术在医学、档案管理、人脸动画、人脸建模、视频会议等方面也有着巨大的应用前景。

人脸检测是指在输入图像中确定所有人脸位置以及对其尺度信息进行参数化描述，是人脸识别、人机交互和人像摄影等应用中的重要环节。现有的人脸检测方法大致可分为基于人脸特征的人脸检测以及基于统计学习的人脸检测两类。基于人脸特征的检测方法又包括：基于肤色和头发颜色建立分布描述模型、基于局部二进制特征、模板匹配等，基于人脸特征的检测方法的精度都易受光照、相似背景颜色及人脸姿态的影响；基于统计学习的人脸检测方法包括：人工神经网络、支持向量机、Adaboost等，然而其学习性能十分依赖于样本库对人脸的代表能力及模型的准确程度，检测的计算量较大。

Meanshift算法是现有的人脸检测与目标跟踪方法中的一种，因具备无参数、快速匹配的特点，被广泛应用，但当目标出现较大尺度变化时，会导致其定位不准确；Camshift算法是由Meanshift算法推导而来的方法，很好地弥补了Meanshift算法这些缺点，但其在面对相似颜色及复杂背景时，易出现目标丢失、识别错误等情况，而Kalman滤波算法和Camshift算法相结合的方法对快速运动目标和遮挡现象具有很好的效果，但是该方法本身为半自动跟踪，需要人为对目标框定，对相似背景的抗干扰能力差。

综上所述，现有的人脸检测与目标跟踪方法都存在很多不足之处，如何快速准确地在视频图像中进行人脸检测与跟踪已经成为了一项复杂的、具有挑战性的研究课题。

技术实现要素：

针对已有人脸检测与跟踪方法中存在的缺陷或不足，即人脸检测算法在视频图像序列中运算时间长、易出现人脸误检区域，跟踪算法易受相似背景和障碍物遮挡而出现跟踪丢失，本发明提出一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法。

为了实现上述任务，本发明采取如下的技术解决方案：

一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法，采用如下步骤：

(1)获取视频图像；

(2)基于级联强决策树从所述视频图像中检测出人脸区域；

(3)基于肤色特性从所述人脸区域中筛选候选人脸；

(4)基于轮廓特性从步骤(2)输出的候选人脸图像中进一步筛选候选人脸；

(5)对步骤(4)输出的候选人脸图像进行灰度处理，得到运动人脸的直方图模板，根据所述运动人脸的直方图模板确定跟踪的人脸区域图像；

(6)基于所述步骤(5)确定跟踪的人脸区域图像，自适应调整人脸跟踪窗口。

进一步的，所述步骤(2)包括以下过程：

(2.1)选定n个输入训练样本集合：S＝{(F₁,e₁),(F₂,e₂),…,(F_n,e_n)}，F_i是指第i个输入图像，e_i表示图像样本的结构标识，e_i∈{0,1}，当e_i＝0时，表示F_i为反比例样本向量，即非人脸样本；当e_i＝1时，表示F_i为正比例样本向量，即为人脸样本；

(2.2)针对训练样本S上的任意样本图像F_i构建特征k的弱决策树d_k(F_i)，k∈[1，K]，K为特征总数，则有

当d_k(F_i)＝1时，弱决策树判断样本图像F_i为人脸，否则判断为非人脸；其中，g_k(F_i)表示第k个特征在图像F_i上的特征值，Th_k是第k个特征的阈值，N_T，N_F分别表示人脸和非人脸样本数目，v_T和v_F为当前特征在所有人脸及非人脸样本图像上的平均特征值，C_k的作用是控制不等式的方向，当v_T<Th_k时，C_k＝-1，当v_T≥Th_k时，C_k＝+1；

(2.3)初始化训练样本S的权重π_z(z＝1)，并进行Z轮训练，且

(2.4)在第z轮训练中，对于任意特征k，k∈[1，K]，训练一个只使用该特征的弱决策树d_k(F_i)，并计算该决策树产生的分类错误

(2.5)选出第z轮训练中分类错误最小的弱决策树d^z(F_i)，并将其最小分类错误记为更新各个样本的权值π_z+1(F_i)，其中，

(2.6)z＝z+1，归一化样本权重π_z：

判定z是否小于等于Z，当z小于等于Z时，转(2.4)，当z大于Z时，转(2.7)。

(2.7)基于对正反比例样本的分析，选出误差最小的Z个弱决策树，最终优化成一个强决策树D(F_i)：

当D(F_i)＝1时，强决策树判断样本图像F_i为人脸，否则判断为非人脸；

(2.8)经过一级一级的强决策树的决策，输出候选人脸区域图像F^c。

进一步的，所述步骤(3)包括以下过程：

(3.1)输入所述步骤(2.8)输出的候选人脸区域图像F^c；

(3.2)采用映射关系将所述候选人脸区域图像F^c从RGB颜色空间转换到YIQ颜色空间，获得YIQ候选人脸区域彩色图像；

(3.3)提取所述YIQ候选人脸区域彩色图像的各个像素点的色度分量信息I和Q；

(3.4)依据置信区间对所述YIQ候选人脸区域彩色图像进行二值化，将在置信区间内的像素的值置为1，为肤色像素，否则，置为0，为非肤色像素，得到肤色区域与非肤色区域；

(3.5)剔除所述YIQ候选人脸区域彩色图像中不含肤色像素点的区域，并输出候选人脸的二值化图像F^b。

进一步的，所述步骤(4)包括以下过程：

(4.1)输入所述二值化图像F^b；

(4.2)对所述二值化图像F^b进行M次膨胀运算再进行N次腐蚀运算，还原受光线影响的肤色区域；

(4.3)遍历所述二值化图像F^b中的肤色像素点，获取肤色区域的上、下、左、右边界B_t、B_b、B_l、B_r，并重新确定所述二值化图像F^b中的人脸区域的大小获得待检测区域；

(4.4)计算所述待检测区域内白色像素的总个数：其中，A_s表示所述待检测区域内的肤色面积，n为所述待检测区域内的总像素个数，α_i表示第i个像素点的属性，当α_i值为1时，该像素点为肤色像素点，当α_i值为0时，该像素点为背景像素点；

(4.5)采用人脸轮廓的约束条件对所述待检测区域进行区域筛选，进一步排除误检的人脸区域，获得有效的人脸区域图像F^e。

进一步的，所述步骤(5)包括以下过程：

(5.1)输入所述有效的人脸区域图像F^e；

(5.2)计算出人脸区域中心位置O₀，在包含所述人脸区域中心位置O₀的矩形跟踪区域中，对所有的像素点位置{o₁，o₂，…，o_n}进行归一化处理；

(5.3)将归一化后的人脸区域作为运动人脸的直方图模板；

为归一化系数，κ(·)为核函数，t(o_i)为o_i像素点对应直方图中的灰度索引值，m为直方图中的灰度索引值，δ为Kronecker delta函数；

(5.4)按照步骤(5.1)至(5.3)的方式计算出当前帧的候选人脸的颜色直方图

其中，为归一化系数，为候选人脸区域对应的归一化像素位置，j表示迭代的次数，当j＝0时，O_j＝O₀，否则O_j为上一次迭代的人脸区域中心位置，h表示带宽；

(5.5)计算每个像素点的权值ω_i和下一帧图像中人脸区域中心位置O_j+1；

其中，g(·)为κ(·)一阶导数的相反数；

(5.6)判定||O_j+1-O_j||是否小于等于ε，当||O_j+1-O_j||小于等于ε时，结束匹配均值漂移向量，并确定跟踪的人脸区域图像F^f；当||O_j+1-O_j||大于ε时，j＝j+1，转步骤(5.4)。

进一步的，所述步骤(6)的过程包括：

(6.1)输入所述确定跟踪的人脸区域图像F^f；

(6.2)计算当前帧j帧的人脸跟踪窗口F^sw的零阶矩和x与y的一阶矩

其中，F^sw(x,y)为人脸跟踪窗口F^sw中点(x,y)处的像素值，(x_i,y_i)∈F^sw；

(6.3)获取人脸区域的质心：

(6.4)取所述人脸区域的质心与步骤(5)中匹配人脸均值漂移向量所得中心O_j的均值作为人脸中心(x_jc,y_jc)；

(6.5)计算人脸跟踪窗口F^sw的二阶矩，得到人脸的长轴l_j、短轴w_j和方向角θ_j；

其中，a_j、b_j、c_j为长轴、短轴和方向角的相应计算参数，分别为人脸跟踪窗口F^sw中xy的一阶矩及x和y的二阶矩；

(6.6)将获取的所述长轴、短轴与上一帧人脸区域的长和宽进行加权计算，获取当前帧的人脸区域的大小：

其中，W_j和H_j分别表示当前帧人脸区域的长和宽。

进一步的，所述方法，先对视频图像中的第一帧依次进行步骤(2)、(3)、(4)的处理，输出候选人脸图像；然后依次执行步骤(5)、(6)来对步骤(4)输出的候选人脸图像的候选人脸进行连续n₀帧的自适应跟踪；当连续n₀帧跟踪结束后再按照步骤(2)、(3)、(4)对跟踪的候选人脸区域进行框选和筛选以修正人脸位置。

与现有技术相比，本发明的技术方案具有以下有益效果：

利用级联强决策树(即级联强分类器)的方式从视频图像中获取人脸区域，然后利用人脸的肤色和轮廓特性进行候选人脸的筛选，能够有效排除误检的人脸；利用灰度和匹配均值漂移向量的方法进行检测后的人脸区域跟踪，能够大大提高本发明的技术方案在视频应用中的实时性；利用于灰度作为跟踪目标的特征描述，能够提高跟踪速率与精度；此外，该方法还能自适应调整跟踪窗口的大小，能够在保证视频人脸检测与跟踪的快速性的同时，具有更低的误检率和漏检率。

附图说明

图1是本发明具体实施例的人脸自适应检测与跟踪方法的总流程图；

图2是本发明具体实施例的基于级联强决策树检测人脸区域的流程图；

图3是本发明具体实施例的基于肤色特性筛选候选人脸的流程图；

图4是本发明具体实施例的基于轮廓特性筛选候选人脸的流程图；

图5是本发明具体实施例的基于灰度进行人脸跟踪的流程图；

图6是本发明具体实施例的自适应调整人脸跟踪窗口的流程图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。

如图1所示，本实施例提供一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法，为了提高视频中人脸检测和跟踪的实时性，本发明方法流程采用了复交叉运行的方式，即先对视频中第一帧分别采用基于级联强决策树的候选人脸区域框选，以及基于肤色和轮廓特性的候选人脸筛选；然后对筛选人脸进行连续n₀帧的自适应跟踪。当跟踪结束后再对候选人脸区域进行框选和筛选以修正人脸位置，这样周而复始，以达到人脸快速、准确且自适应的检测与跟踪。具体采用如下步骤：

(1)获取视频图像；

(2)基于级联强决策树从所述视频图像中检测出人脸区域；

(3)基于肤色特性从所述人脸区域中筛选候选人脸；

(4)基于轮廓特性从步骤(2)输出的候选人脸图像中进一步筛选候选人脸；

(5)对步骤(4)输出的候选人脸图像进行灰度处理，得到运动人脸的直方图模板，根据所述运动人脸的直方图模板确定跟踪的人脸区域图像；

(6)基于所述步骤(5)确定跟踪的人脸区域图像，自适应调整人脸跟踪窗口；

(7)判定跟踪帧数是否达到设定帧数n₀，若是，则转步骤(2)；若否，则转步骤(5)，可选地，所述设定帧数n₀为5。

如图2所示，所述步骤(2)基于级联强决策树的方式，从输入的视频图像中检测出人脸区域，将这些人脸区域作为候选人脸区域，具体流程如下：

(2.1)选定n个输入训练样本集合：S＝{(F₁,e₁),(F₂,e₂),…,(F_n,e_n)}，F_i是指第i个输入图像，e_i表示图像样本的结构标识，e_i∈{0,1}。当e_i＝0时，表示F_i为反比例样本向量，即非人脸样本；当e_i＝1时，表示F_i为正比例样本向量，即为人脸样本。

(2.2)针对训练样本S上的任意样本图像F_i构建特征k的弱决策树d_k(F_i)，k∈[1，K]，K为特征总数：

当d_k(F_i)＝1时，弱决策树判断样本图像F_i为人脸，否则判断为非人脸，g_k(F_i)表示第k个特征在图像F_i上的特征值；Th_k是第k个特征的阈值；N_T，N_F分别表示人脸和非人脸样本数目；v_T和v_F为当前特征在所有人脸及非人脸样本图像上的平均特征值；C_k的作用是控制不等式的方向，若v_T<Th_k，则C_k＝-1；若v_T≥Th_k，则C_k＝+1。

(2.3)初始化训练样本S的权重π_z(z＝1)，并进行Z轮训练，且

(2.4)在第z轮训练中，对于任意特征k，训练一个只使用该特征的弱决策树d_k(F_i)，并计算该决策树产生的分类错误

(2.5)选出第z轮训练中分类错误最小的弱决策树d^z(F_i)，并将其最小分类错误记为更新各个样本的权值π_z+1(F_i)：

(2.6)z＝z+1，归一化样本权重π_z

判定z≤Z？当是，则转(2.4)，当否，则转(2.7)。优选地，所述Z取200。

(2.7)基于对正反比例样本的分析，选出误差最小的Z个弱决策树，最终优化成一个强决策树D(F_i)：

当D(F_i)＝1，强决策树判断样本图像F_i为人脸，否则判断为非人脸。

(2.8)经过一级一级的强决策树的决策，输出候选人脸区域图像F^c。即基于级联强决策树获取候选人脸区域时，先采用由较简单的特征组成的强决策树排除显然不是人脸的区域，然后将较难区分的区域送给下一个强决策树检测，这样一级一级地排除非人脸区域，最终的剩余区域则为人脸，最终输出了候选人脸区域图像F^c。

如图3所示，为了保证检测人脸的准确性，步骤(3)采用肤色特征对候选人脸进行筛选，首先在YIQ颜色空间中建立人脸模型，然后将聚类的思想应用于人脸模型中，初步筛选出候选人脸区域中的有效人脸区域，具体流程如下：

(3.1)输入基于级联强决策树检测的候选人脸区域图像F^c；

(3.2)采用映射关系将图像从RGB颜色空间转换到YIQ颜色空间，获得YIQ候选人脸区域彩色图像，即在YIQ颜色空间中建立人脸模型；

(3.3)提取所述YIQ候选人脸区域彩色图像的各个像素点的色度分量信息I和Q；

(3.4)依据置信区间对所述YIQ候选人脸区域彩色图像进行二值化，将在置信区间内的像素的值置为1，为肤色像素，否则，置为0，为非肤色像素，得到肤色区域与非肤色区域；

(3.5)剔除所述YIQ候选人脸区域彩色图像中不含肤色像素点的候选人脸区域，并输出二值化图像F^b。

如图4所示，为了进一步排除误检的人脸区域，步骤(4)采用人脸轮廓特性对候选人脸区域进行进一步地筛选，以再进一步地筛选出候选人脸区域中的有效人脸区域，具体流程如下：

(4.1)输入二值化图像F^b。

(4.2)对二值化图像F^b进行M次膨胀运算再进行N次腐蚀运算，还原受光线影响的肤色区域，可选地，所述膨胀运算次数M和腐蚀次数N都可取为9。

(4.3)遍历所述二值化图像F^b中的候选人脸区域的肤色像素点，获取肤色区域的上、下、左、右边界B_t、B_b、B_l、B_r。并重新确定候选人脸区域的大小获得待检测区域。

(4.4)计算所述待检测区域内白色像素的总个数：其中，A_s表示待检测区域内的肤色面积，n为待检测区域内的总像素个数，α_i表示第i个像素点的属性，当其值为1，则为肤色像素点，当其值为0，则为背景像素点。

(4.5)采用人脸轮廓的约束条件对所述待检测区域进行区域筛选，进一步排除检测算法误检的人脸区域，获得有效的人脸区域图像F^e。

如图5所示，为了提高人脸跟踪速率与精度，步骤(5)中将灰度作为目标的特征描述，创建概率密度函数，利用相似度函数来度量人脸运动模型与候选人脸运动模型的相似性，并在人脸区域窗口的位置下，获取相似性最大的运动人脸均值漂移向量，通过不断迭代来搜索人脸的位置，具体流程如下：

(5.1)输入有效的人脸区域图像F^e。

(5.2)计算出所述有效的人脸区域图像F^e中的人脸区域中心位置O₀，并在包含所述人脸区域中心位置O₀(即目标)的矩形跟踪区域中，对所有的像素点位置{o₁，o₂，…，o_n}进行归一化处理。

(5.3)将归一化后的人脸区域作为运动人脸的直方图模板：

其中，

为归一化系数，κ(·)为核函数，t(o_i)为o_i像素点对应直方图中的灰度索引值，m为直方图中的灰度索引值，δ为Kronecker delta函数。

(5.4)按照步骤(5.1)至(5.3)的计算方式计算出当前帧候选人脸的颜色直方图：

其中，

为归一化系数，为候选人脸区域对应的归一化像素位置，j表示迭代的次数，当j＝0，O_j＝O₀，否则O_j为上一次迭代的人脸区域中心位置，h表示带宽。

(5.5)计算每个像素点的权值ω_i和下一帧中新窗口的中心O_j+1(即下一帧视频图像的人脸区域中心位置)：

其中，g(·)为κ(·)一阶导数的相反数。

(5.6)将筛选后的人脸区域进行均值漂移向量的匹配，即判定||O_j+1-O_j||是否小于等于ε？当是，则结束匹配均值漂移向量，并确定跟踪的人脸区域图像F^f；当否，则j＝j+1，转步骤(5.4)。

如图6所示，为了进一步准确地框选出人脸位置，步骤(6)中采用取均值与加权的方式来自适应调整人脸跟踪窗口，具体流程如下：

(6.1)输入确定跟踪的人脸区域图像F^f。

(6.2)计算当前帧(第j帧)人脸跟踪窗口F^sw的零阶矩和x与y的一阶矩

其中，F^sw(x,y)为人脸跟踪窗口F^sw中点(x,y)处的像素值，(x_i,y_i)∈F^sw。

(6.3)获取人脸区域的质心：

(6.4)取人脸区域的质心与匹配人脸均值漂移向量所得中心O_j的均值作为人脸中心(x_jc,y_jc)。

(6.5)计算人脸跟踪窗口F^sw的二阶矩，得到人脸的长轴l_j、短轴w_j和方向角θ_j：

其中，a_j、b_j、c_j为长轴、短轴和方向角的相应计算参数，分别为人脸跟踪窗口中xy的一阶矩及x和y的二阶矩。

(6.6)将获取的长轴与短轴与上一帧人脸区域的长和宽进行加权计算，获取当前帧的人脸区域(即人脸窗口)的大小：

其中，W_j和H_j分别表示当前帧人脸窗口的长和宽。

步骤(7)是为了提高视频中人脸检测和跟踪的实时性，而采用的复交叉运行的方式运行步骤(1)至(6)，以实现视频图像序列中人脸的有效检测与跟踪，即先对步骤(1)的视频图像中的第一帧依次经过步骤(2)、(3)、(4)的处理，即对视频图像的初始帧图像分别采用基于级联强决策树的候选人脸区域框选(即步骤(2))，以及基于肤色和轮廓特性的候选人脸筛选(即步骤(3)、(4))；然后对筛选人脸进行连续n₀帧的自适应跟踪(执行n次步骤(5)和(6))。当连续n₀帧跟踪结束后再对候选人脸区域经过步骤(2)、(3)、(4)的处理，即当连续n₀帧跟踪结束后再对候选人脸区域进行基于级联强决策树的框选和基于肤色和轮廓特性的候选人脸筛选以修正人脸位置，这样周而复始，以达到人脸快速、准确且自适应的检测与跟踪。可选地，所述设定帧数n₀为5。

为了具体说明本发明的技术方案的技术效果，进行了不同环境背景下的测试，试验选取三种环境：第一种环境是室内多人且有日灯光干扰的环境；第二种环境是人脸肤色与背景颜色相近的环境；第三种环境是夜间多人的环境。第一种环境中，虽然有日关灯干扰，且存在人员遮挡，但人脸照常能被检测出；第二种环境中虽然人脸肤色与人背后的窗帘肤色非常接近，但同样能单独检测出人脸；第三种环境中在夜晚且周围有日关灯的情况下，各个人脸都能有效被检测出。三种环境的检测结果有效验证了本发明的有效性和鲁棒性。

为了进一步验证本发明的方法的技术效果，还利用常用的Adaboost人脸检测方法、Kanlman和Camshift联合检测方法对上述三种环境的视频分别进行了相应的人脸检测，并与本发明的方法的实验效果进行比较，具体如下表所示：

由上表可以看出，虽然Kalman和Camshift联合检测的速度最快，检测时间最短，但是其检测率最低，误检率最高，主要适用于单一场合检测，而Adaboost的人脸检测率最高，误检率要明显优于Kalman和Camshift联合检测，但检测时间最长。而本发明的方法的检测率较高且与Adaboost方法相近，误检率是三种算法中最低的，检测时间也较短，且与Kalman和Camshift联合检测近似，因此，综合而言，本发明的方法的检测效果是最佳的，在满足高检测率、低误检率的同时也保证了检测的实时性，可以适用于多种场合。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。