专利名称：一种人脸检测与跟踪方法及装置的制作方法
技术领域：
本发明涉及模式识别和图像处理技术领域，具体涉及一种人脸检测与跟踪方法及
>J-U ρ α装直。
背景技术：
人脸检测与跟踪是两个相互独立又密不可分的问题。人脸检测是人脸跟踪实现的基础和前提，人脸跟踪又可以看作是在人脸检测的基础上进行的，两者相互关联。近几年来，随着网络的发展，视频中人脸检测与跟踪有着广泛的应用前景，比如说视频会议、远程教育、视频监控等。人脸检测的主要目的是把输入图像分成为两部分:人脸区域和非人脸区域。根据检测原理的不同，常用的人脸检测方法分为:基于人脸特征的检测方法和基于统计模型的检测方法。人脸包含颜色特征，轮廓特征，几何特征等丰富多样的特征信息。基于人脸特征的检测方法就是根据人脸已知的特征来进行检测。基于人脸特征的方法又可分为基于先验知识的方法、基于特征不变性的方法和基于模板匹配的方法。基于统计学习的方法作为一种整体属性的方法，是当今人脸检测算法的主流算法。总的来说，基于统计学习的方法是将人脸问题看作“人脸”与“非人脸”两种模式的分类问题，通过大量的人脸和非人脸样本建立一个分类器，它能够正确分辨这两种不同的图像模式，再利用训练好的分类器在待测图像中检测人脸。这类方法的优势是不再使用人脸的特征信息等先验知识，也无需设定模板参数等操作，避免了不精确或者不完整的知识造成的误判。在统计过程中采用了实例学习的方法获取模型参数，统计意义上更为可靠，同时它可以通过增加学习的实例扩充检测模型范围，使检测结果更具鲁棒性。基于统计学习的检测方法包括子空间方法，神经网络方法，支持向量机方法，隐马尔可 夫模型方法以及目前较新的AdaBoost学习法等。与人脸检测不同，人脸跟踪处理的是视频序列。人脸跟踪就是根据已定位的人脸，在后续图像序列中确定该人脸的运动轨迹及大小变化的过程。人脸跟踪研究是目标跟踪研究的一个分支，根据跟踪算法中所运用方法的侧重点的不同，我们将人脸跟踪方法大体上分为基于匹配的跟踪和基于运动特性的跟踪。基于匹配的跟踪算法根据提取目标的特征不同又可分为区域匹配跟踪、模型匹配跟踪和特征匹配跟踪。基于运动特性的跟踪又分为基于光流的跟踪和运动预测跟踪。目前的人脸检测及跟踪方法及系统中仍存在问题，例如光照变化、表情变化、遮挡等，这其中又以光照变化带来的干扰最为严重。在户外日光等不能控制光照的环境下，人脸特征受光照方向和光照强度的影响明显产生非线性变化，使人脸检测变得很困难。相同人脸在不同光照条件下的差别，有时比不同人脸在相同光照条件下的差别还要大。因此，提高人脸检测及跟踪系统对光照的鲁棒性，从学术和实际应用的角度都有非常重要的意义。
发明内容
本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择为此，本发明的一个目的在于提出一种光照条件下鲁棒的人脸检测与跟踪方法。根据本发明实施例的人脸检测与跟踪方法，包括:S1:输入人脸图像或视频；S2:光照预处理；S3:利用AdaBoost算法进行人脸检测，确定人脸初始位置；以及S4:利用MeanShift算法进行人脸跟踪。可选地，所述步骤S2进一步包括:S21:计算每一帧图像的平均亮度值，将所述平均亮度值与预设的亮度阈值作比较，对过暗图像进行对数变换，对过亮图像进行指数变换；以及S22:对亮度变换后的图像计算梯度模，将所述梯度模的数值与预设的梯度模阈值作比较，对过小梯度值的图像区域进行局部细节调整，否则无需调整。可选地，所述步骤S3进一步包括:S31:离线地收集大量不同光照条件下的人脸正样本及非人脸负样本；S32:离线地利用所述人脸正样本及非人脸负样本训练分类器，其中，采用积分图的快速算法计算图像各个区域的像素和，用于计算设计好的不同Haar-Like特征值，利用AdaBoost算法挑选出分类能力强的特征作为弱分类器，计算出弱分类器阈值，再将挑选出的弱分类器组成一个强分类器，计算出强分类器阈值，最后将强分类器级联成一个多层分类器；以及S33:利用训练的分类器对输入图像或视频检测人脸，并将检测到的人脸位置作为人脸跟踪的初始位置。可选地，所述步骤S4进一步包括:S41:对输入的图像或视频所述分别计算梯度直方图、颜色直方图和纹理直方图；S42:将所述梯度直方图、颜色直方图和纹理直方图进行融合，获得目标融合直方图；S43:利用与步骤S41和步骤S42的方法计算候选区域的候选目标融合直方图；S44:计算所述目标融合直方图和所述候选目标融合直方图之间的相似度；S45:通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代，并最终收敛到目标的真实位置，达到目标跟踪的目的。可选地，所述计算纹理直方图进一步包括:计算LBP描述子，统计局部二值模式特征；计算LBP方差描述子，统计局部对比度变化特征；以及利用融合策略，将局部二值模式特征和局部对比度变化特征有效融合，共同表示纹理特征。本发明的另一个目的在于提出一种光照条件下鲁棒的人脸检测与跟踪装置。根据本发明实施例的人脸检测与跟踪装置，包括:输入模块，所述输入模块用于输入人脸图像或视频；预处理模块，所述预处理模块对所述人脸图像或视频进行光照预处理；人脸检测模块，所述人脸检测模块利用AdaBoost算法进行人脸检测，确定人脸初始位置；以及人脸跟踪模块，所述人脸跟踪模块利用MeanShift算法进行人脸跟踪。可选地，所述预处理模块进一步包括:亮度修正模块，所述亮度修正模块首先计算每一帧图像的平均亮度值，然后将所述平均亮度值与预设的亮度阈值作比较，对过暗图像进行对数变换，对过亮图像进行指数变换；以及梯度修正模块，所述梯度修正模块首先对亮度变换后的图像计算梯度模，然后将所述梯度模的数值与预设的梯度模阈值作比较，对过小梯度值的图像区域进行局部细节调整，否则无需调整。可选地，所述人脸检测模块进一步包括:人脸样本库，所述人脸样本库存储有离线收集到的大量不同光照条件下的人脸正样本及非人脸负样本；分类器训练模块，所述分类器训练模块用于离线地利用所述人脸正样本及非人脸负样本训练分类器，其中，采用积分图的快速算法计算图像各个区域的像素和，用于计算设计好的不同Haar-Like特征值，利用AdaBoost算法挑选出分类能力强的特征作为弱分类器，计算出弱分类器阈值，再将挑选出的弱分类器组成一个强分类器，计算出强分类器阈值，最后将强分类器级联成一个多层分类器；以及所述分类器，所述分类器经过训练后对输入图像或视频检测人脸，并将检测到的人脸位置作为人脸跟踪的初始位置。可选地，所述人脸追踪模块进一步包括:梯度直方图计算模块、颜色直方图计算模块以及纹理直方图计算模块，用于计算输入的图像或视频的梯度直方图、颜色直方图和纹理直方图，以及计算候选区域的梯度直方图、颜色直方图和纹理直方图；直方图融合模块，所述直方图融合模块用于将所述梯度直方图、颜色直方图和纹理直方图进行融合，获得目标融合直方图和候选目标融合直方图；相似度计算模块，所述相似度计算模块计算所述目标融合直方图和所述候选目标融合直方图之间的相似度；以及迭代求解模块，所述迭代求解模块通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代，并最终收敛到目标的真实位置，达到目标跟踪的目的。可选地，所述纹理直方图计算模块进一步包括:LBP计算模块，用于计算LBP描述子，统计局部二值模式特征；LBP方差计算模块，用于计算LBP方差描述子，统计局部对比度变化特征；以及纹理特征融合模块，用于利用融合策略，将局部二值模式特征和局部对比度变化特征有效融合，共同表示纹理特征。根据本发明实施例的人脸检测与跟踪方法及装置，具有以下优点:(I)针对强光和背光等不同的光照条件下人脸检测效果变差的情况，提出使用对数变换或指数变换对图像进行光照补偿，同时利用梯度模值作为判别阈值，对图像信息损失处进行局部对比度增强。该算法用对数函数作为基函数，使变换后的图像更加符合人类的视觉特点。引入自适应局部对比度增强算法来增强图像细节，使变换后的图像更清晰。(2)针对LBP算子的特征提取过程忽略了灰度值强度变化的问题，提出了利用LBP局部对比度信息和传统局部二值模式相结合的方法共同表示人脸纹理特征，使人脸纹理特征更加丰富。(3)将纹理特征和梯度特征集成到传统基于颜色的Meanshift跟踪算法中，把目标的颜色特征和纹理特征、梯度特征结合起来，充分利用了目标的特征信息，可有效解决传统Meanshift算法易受光照强度影响的问题。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:图1是本发明实施例的人脸检测与跟踪方法的流程框图；图2是本发明实施例的人脸检测与跟踪方法的光照预处理步骤的流程框图；图3是本发明实施例的人脸检测与跟踪方法的AdaBoost人脸检测步骤的流程框图；图4是本发明实施例的人脸检测与跟踪方法的MeanShift人脸跟踪步骤的流程框图5是本发明实施例的人脸检测与跟踪装置的结构示意图；图6是本发明实施例的人脸检测与跟踪装置的预处理模块的结构示意图；图7是本发明实施例的人脸检测与跟踪装置的人脸检测模块的结构示意图；图8是本发明实施例的人脸检测与跟踪装置的人脸跟踪模块的结构示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。下面将参照附图来说明本发明的人脸检测及跟踪方法。如图1所示，本发明实施例的人脸检测与跟踪方法可以包括如下步骤:S1:输入人脸图像或视频。S2:对人脸图像或视频进行光照预处理。具体地，如图2所示，进一步包括:S21:计算每一幅图像的平均亮度值，对于灰度图像，亮度值即为灰度值，对于彩色图像来说，亮度值即为HSI颜色空间中的亮度值，然后将平均亮度值与预设的亮度阈值作比较，对过暗图像进行对数变换，对过亮图像进行指数变换；以及S22:对亮度变换后的图像计算梯度模，将梯度模的数值与预设的梯度模阈值作比较，对过小梯度值的图像区域进行局部细节调整，否则无需调整。其中，步骤S22中对变换后图像计算梯度模，判断梯度模的数值是否小于一定阈值，如果小于，进行局部细节调整，否则无需调整。具体公式如下:
权利要求
1.一种人脸检测与跟踪方法，其特征在于，包括以下步骤: 51:输入人脸图像或视频； 52:对所述人脸图像或视频进行光照预处理； S3:利用AdaBoost算法进行人脸检测，确定人脸初始位置；以及 S4:利用MeanShift算法进彳了人脸跟踪。
2.如权利要求1所述的方法，其特征在于，所述步骤S2进一步包括: S21:计算每一帧图像的平均亮度值，将所述平均亮度值与预设的亮度阈值作比较，对过暗图像进行对数变换，对过亮图像进行指数变换；以及 S22:对亮度变换后的图像计算梯度模，将所述梯度模的数值与预设的梯度模阈值作比较，对过小梯度值的图像区域进行局部细节调整，否则无需调整。
3.如权利要求1所述的方法，其特征在于，所述步骤S3进一步包括: 531:离线地收集大量不同光照条件下的人脸正样本及非人脸负样本； 532:离线地利用所述人脸正样本及非人脸负样本训练分类器，其中，采用积分图的快速算法计算图像各个区域的像素和，用于计算设计好的不同Haar-Like特征值，利用AdaBoost算法挑选出分类能力强的特征作为弱分类器，计算出弱分类器阈值，再将挑选出的弱分类器组成一个强分类器，计算出强分类器阈值，最后将强分类器级联成一个多层分类器；以及 533:利用训练的分类器对 输入图像或视频检测人脸，并将检测到的人脸位置作为跟踪的初始位置。
4.如权利要求1所述的方法，其特征在于，所述步骤S4进一步包括: 541:对输入的图像或视频所述分别计算梯度直方图、颜色直方图和纹理直方图； 542:将所述梯度直方图、颜色直方图和纹理直方图进行融合，获得目标融合直方图； 543:利用与步骤S41和步骤S42的方法计算候选区域的候选目标融合直方图； 544:计算所述目标融合直方图和所述候选目标融合直方图之间的相似度；以及 545:通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代，并最终收敛到目标的真实位置，达到目标跟踪的目的。
5.如权利要求4所述的方法，其特征在于，所述计算纹理直方图进一步包括:计算LBP描述子，统计局部二值模式特征；计算LBP方差描述子，统计局部对比度变化特征；以及利用融合策略，将局部二值模式特征和局部对比度变化特征有效融合，共同表示纹理特征。
6.一种人脸检测与跟踪装置，其特征在于，包括以下部分: 输入模块，所述输入模块用于输入人脸图像或视频； 预处理模块，所述预处理模块对所述人脸图像或视频进行光照预处理； 人脸检测模块，所述人脸检测模块利用AdaBoost算法进行人脸检测，确定人脸初始位置；以及 人脸跟踪模块，所述人脸跟踪模块利用MeanShift算法进行人脸跟踪。
7.如权利要求6所述的装置，其特征在于，所述预处理模块进一步包括: 亮度修正模块，所述亮度修正模块首先计算每一帧图像的平均亮度值，然后将所述平均亮度值与预设的亮度阈值作比较，对过暗图像进行对数变换，对过亮图像进行指数变换；以及梯度修正模块，所述梯度修正模块首先对亮度变换后的图像计算梯度模，然后将所述梯度模的数值与预设的梯度模阈值作比较，对过小梯度值的图像区域进行局部细节调整，否则无需调整。
8.如权利要求6所述的装置，其特征在于，所述人脸检测模块进一步包括: 人脸样本库，所述人脸样本库存储有离线收集到的大量不同光照条件下的人脸正样本 及非人脸负样本； 分类器训练模块，所述分类器训练模块用于离线地利用所述人脸正样本及非人脸负样本训练分类器，其中，采用积分图的快速算法计算图像各个区域的像素和，用于计算设计好的不同Haar-Like特征值，利用AdaBoost算法挑选出分类能力强的特征作为弱分类器，计算出弱分类器阈值，再将挑选出的弱分类器组成一个强分类器，计算出强分类器阈值，最后将强分类器级联成一个多层分类器；以及 所述分类器，所述分类器经过训练后对输入图像或视频检测人脸，并将检测到的人脸位置作为跟踪的初始位置。
9.如权利要求6所述的装置，其特征在于，所述人脸追踪模块进一步包括: 梯度直方图计算模块、颜色直方图计算模块以及纹理直方图计算模块，用于计算输入的图像或视频的梯度直方图、颜色直方图和纹理直方图，以及计算候选区域的梯度直方图、颜色直方图和纹理直方图； 直方图融合模块，所述直方图融合模块用于将所述梯度直方图、颜色直方图和纹理直方图进行融合，获得目标融合直方图和候选目标融合直方图； 相似度计算模块，所述相似度计算模块计算所述目标融合直方图和所述候选目标融合直方图之间的相似度；以及 迭代求解模块，所述迭代求解模块通过求最大相似度来获得目标的MeanShift向量，该向量使得目标从初始位置向最可能的候选目标位置不断迭代，并最终收敛到目标的真实位置，达到目标跟踪的目的。
10.如权利要求9所述的装置，其特征在于，所述纹理直方图计算模块进一步包括: LBP计算模块，用于计算LBP描述子，统计局部二值模式特征； LBP方差计算模块，用于计算LBP方差描述子，统计局部对比度变化特征；以及纹理特征融合模块，用于利用融合策略，将局部二值模式特征和局部对比度变化特征有效融合，共同表示纹理特征。
全文摘要
本发明提出一种人脸检测与跟踪方法及装置，其中该方法包括输入人脸图像或视频；对所述人脸图像或视频进行光照预处理；利用AdaBoost算法进行人脸检测，确定人脸初始位置；以及利用MeanShift算法进行人脸跟踪。本发明的方法及装置，在图像预处理阶段，本发明提出自适应局部对比度增强方法来增强图像细节信息；在人脸检测阶段，采用AdaBoost算法，为了提高在不同光照下算法的鲁棒性，在训练样本中增加不同光照的人脸正样本，提高人脸检测的准确性；在人脸跟踪阶段，采用MeanShift跟踪算法，为了克服该算法使用颜色特征的单一性，融合梯度特征和局部二值模式LBP纹理特征，其中LBP纹理特征还考虑了利用LBP局部方差表示图像对比度信息的变化，提高了人脸检测和跟踪的准确性。
文档编号G06K9/00GK103116756SQ20131002561
公开日2013年5月22日 申请日期2013年1月23日 优先权日2013年1月23日
发明者王瑜, 蔡强, 张慧妍 申请人:北京工商大学