专利名称：采用级联分类器的人脸检测方法及其装置的制作方法
技术领域：
本发明涉及视频监控领域，特别涉及视频监控领域中的人脸检测技术。
背景技术：
随着安全需求的提高，人流量统计、人员特征识别、人脸识别等技术的商业价值已 经开始显露，并逐步开始应用，而人脸检测作为这些任务的首要环节，具有非常重要的作用 和意义，近年来，研究人员在这一领域投入了大量的时间和精力，致力于开发出一种快速准 确的人脸检测方法。基于神经网络的方法是人脸检测最早期的一个非常成功的方法，其检测效果非常 好，但是缺点同样非常明显检测速度太慢。直到2001年，才由Paul Viola等人提出了第 一个真正实时的基于类Haar特征和Boosted级联结构的人脸检测方法，目前常用的人脸检 测算法都是类似于这一方法，该算法的核心思想就是通过迭代挑选出多个具有不同分类能 力的弱分类器进行组合形成强分类器，其中分类能力较强的弱分类器具有更大的决策权， 多个强分类器先后顺序组合起来形成级联结构的分类器，作为最终的人脸检测器。该类方 法训练的正面人脸检测器，在较小分辨率(CIF)的视频上基本达到了实时效果。然而，由于在检测过程中，由于人脸可能处于图像中不同的位置，大小也不一样， 因此需要遍历图像中的每一个不同大小不同位置的矩形窗口，使用分类器判断该窗口是否 包含人脸。采用传统的级联结构分类器对单个检测窗口的判断过程如图1所示，一个待检 测窗口被分类为人脸需要逐级通过各个强分类器，如果有一级未通过，则该待检测窗口将 被分类为非人脸，每一级能够去掉一部分非人脸窗口。也就是说，对每个待检测窗口，级联结构分类器必须在计算出一个强分类器中所 有弱分类器结果后方可去除部分非人脸，而一张图像中往往含有大量的待检测窗口，因此 在视频分辨率更高、甚至两百万高清的情况下，无法达到实时检测的效果。再进一步，将正 面人脸扩展到准正面(即平面外旋转不超过60°的人脸)情况下，由于训练样本更加多样 化，使用类Haar特征训练过程中，迭代训练过程中收敛速度更慢，最终得到的人脸检测器 其检测速度也更慢，也就更难实现准正面的人脸检测。
发明内容
本发明的目的在于提供一种采用级联分类器的人脸检测方法及其装置，提高人脸 检测速度，从而实现在百万高清视频上对人脸的实时检测。为解决上述技术问题，本发明的实施方式提供了一种采用级联分类器的人脸检测 方法，包含以下步骤采用每一级均为一个弱分类器的轻型级联结构分类器，对当前待检测图像中的不 同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口 ；其中，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分 类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口 为非人脸的检测结果；如果该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类 为人脸，则输出该矩形窗口为人脸的检测结果；轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器 的基础上训练得到。本发明的实施方式还提供了一种采用级联分类器的人脸检测装置，包含轻型级联结构分类器训练模块，用于训练得到每一级均为一个弱分类器的轻型级 联结构分类器，其中，轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所 有弱分类器的基础上训练得到；图像获取模块，用于获取当前待检测图像；矩形窗口获取模块，用于从当前待检测图像中获取不同位置和不同大小的各矩形 窗口 ；人脸窗口检测模块，用于触发所述轻型级联结构分类器对不同位置和不同大小的 各矩形窗口进行人脸检测，检测出人脸窗口 ；其中，轻型级联结构分类器在对每个矩形窗口进行人脸检测时，轻型级联结构分 类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，当该矩形窗口被一级 弱分类器分类为非人脸时，停止下一级弱分类器对该矩形窗口的分类，输出该矩形窗口为 非人脸的检测结果；当该矩形窗口被轻型级联结构分类器中的每一级弱分类器均分类为人 脸时，输出该矩形窗口为人脸的检测结果。本发明实施方式与现有技术相比，主要区别及其效果在于采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形 窗口进行人脸检测，检测出人脸窗口。该轻型级联结构分类器的每一级均为一个弱分类器， 在进行矩形窗口的人脸检测时，每一级弱分类器逐一对该矩形窗口进行是否为人脸的分 类，如果该矩形窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口 的分类，输出该矩形窗口为非人脸的检测结果；如果该矩形窗口被所述轻型级联结构分类 器中的每一级弱分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果。由于对于一 张图像中大量的待检测窗口，相对于非人脸窗口，其中包含的人脸窗口极少。因此相对于级 联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸 的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以通 过少量的弱分类器进行更加快速的判断，达到更快的检测速度，进而实现在百万高清视频 上对人脸的实时检测，甚至可以实现快速的准正面人脸检测。进一步地，使用分块局部二值模式特征作为Gentle Adaboost训练算法的输入特 征，训练得到级联结构分类器，进而根据级联结构分类器中包含的所有弱分类器，作为弱分 类器池，训练得到轻型级联结构分类器。其中，分块局部二值模式特征为将图像中的一个分 块中像素值的和当做一个像素值来计算局部二值模式的特征值。相比于使用类Haar特征 进行训练，训练过程中，该分块局部二值模式特征更容易收敛，分辨能力更强，且训练出来 的弱分类器检测时速度更快，因此可以进一步提高轻型级联结构分类器对各矩形窗口的检 测速度，保证了在百万高清视频上实现实时人脸检测。进一步地，根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像；其中，差值大于阈值的像素点在掩膜图像中的像素值为1，差值小于或等于阈值的像素点在 掩膜图像中的像素值为0。判断不同位置和不同大小的各矩形窗口的左上角的像素点，在掩 膜图像中对应位置的像素值是否为1，仅对在掩膜图像中对应位置的像素值为1的矩形窗 口，采用轻型级联结构分类器进行人脸检测。由于在检测过程，利用帧间差分算法计算运动 点，仅对掩膜图像中像素值为1的区域进行是否是人脸的判断，从而进一步加快了检测速 度。进一步地，在生成掩膜图像时，将掩膜图像中的预测人脸区域内的所有像素点的 像素值均设置为1，该预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在掩膜图 像中相对应的区域。为了处理有人脸静止不动的情况，对于前一帧中有检测到人脸的区域， 将掩膜图像中对应的区域内所有像素点的值设置为1。也就是说，通过对无运动点的处理， 可有效减少静止人脸的漏检。
图1是根据现有技术中级联结构分类器对单个检测窗口的人脸检测示意图；图2是根据本发明第一实施方式的采用级联分类器的人脸检测方法流程图；图3是根据本发明第一实施方式中的级联结构分类器的训练流程图；图4是根据本发明第一实施方式中的分块局部二值模式特征的计算示意图；图5是根据本发明第一实施方式中的轻型级联结构分类器的训练流程图；图6是根据本发明第一实施方式中的采用轻型级联结构分类器对单个检测窗口 的人脸检测示意图；图7是根据本发明第二实施方式中的采用轻型级联结构分类器进行人脸检测的 流程图；图8是根据本发明第三实施方式的采用级联分类器的人脸检测装置结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本 领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化 和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施 方式作进一步地详细描述。本发明第一实施方式涉及一种采用级联分类器的人脸检测方法。在本实施方式 中，需要预先准备正样本和负样本，用于训练级联结构分类器和轻型级联结构分类器。为描 述方便，传统的每一级均为一个强分类器，每个强分类器包含多个弱分类器的结构在本发 明中统称为级联结构分类器；采用每一级均为一个弱分类器的结构在本发明中统称为轻型 级联结构分类器。在每次需要进行人脸检测时，采用轻型级联结构分类器，对当前待检测图 像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。具体流程如图2所示，在步骤210中，准备正样本和负样本。比如说，正样本为各 种长宽为对女M像素大小的人脸图像，样本量约为70000个，负样本为不含人脸的任意大 小图像，训练过程中将从这些图像中使用bootstrap的方法截取与正样本同样大小的负样
8本。接着在步骤220中，训练级联结构分类器。比如说，使用70000个正样本中的50000 样本训练级联结构分类器。在本实施方式中，训练算法使用Gentle Adaboost，训练特征使 用分块局部二值模式特征。具体地说，如图3所示，在步骤301中，准备样本。比如说，准备约50000个像素大 小为M女24的人脸样本，以及大量的不含人脸的图像，每次需要更新负样本时就从这些图 像中裁剪出与正样本同样大小的图像。接着，在步骤302中，初始化训练样本权重。针对上述案例，从50000个人脸样本 中取出部分样本作为训练本级强分类器的正样本，设正样本个数为A，负样本个数为B，则 每个正样本权重设置为1Λ2Α)，每个负样本权重设置为1Λ2Β)。接着，在步骤303中，计算所有样本的分块局部二值模式特征。分块局部二值模式 特征为将图像中的一个分块中像素值的和当做一个像素值来计算局部二值模式的特征值。具体地说，一个分块局部二值模式特征是图像中的一个区域，该区域的分块局部 二值模式特征值计算方式如图4所示，将该区域分为9个同等大小的3 * 3的矩形块，先计 算各个矩形块内部的像素值总和，然后将中心块的和跟其8个邻域块的和进行大小比较， 如果某邻域块的和大于等于中心块的值和，则该邻域块的值设为1，否则为0，最后将这一 串0或1连接起来(本实施方式中是以顺时针的方式连接，但在实际应用中也可以是逆时 针或其他方式连接)，形成一个8位的二进制串，该二进制串的十进制值即作为该区域的特 征值，该特征值为离散值，范围为W，255]，具体计算公式如下LBP = YjSigl-Sc)!1
i=l
Γ , if χ>0其中&表示邻域块像素值总和，仏表示中心快像素值总和，Λ ’ Λ。在 接着，在步骤304中，利用前面步骤计算出的所有样本的所有特征值，使用Gentle AdaBoost训练算法，对每一个特征训练出一个弱分类器，从中选取一个分类效果最佳的弱 分类器，并将该弱分类器加入到该级强分类器中。不同于类Haar特征值，分块局部二值模 式特征值是离散的，因此使用类Haar特征时用基于桩的弱分类器，而使用分块局部二值模 式特征使用基于区间的弱分类器；训练出的弱分类器为f (X)，Χ为输入的特征值，输出为特 征值对应的置信度，具体为
N
YjW^iSixi =x)f(X) =气-
i=0其中，N = A+B为总样本数，正样本yi = 1，负样本yi = -1，Xi表示第i个样 本的特征值，Wi表示第i个样本的权重。一般来说，对于正样本置信度大于0，而对于 负样本置信度小于0，并且该置信度绝对值越大表明置信度越高；每一级强分类器则为
权利要求
1.一种采用级联分类器的人脸检测方法，其特征在于，包含以下步骤采用每一级均为一个弱分类器的轻型级联结构分类器，对当前待检测图像中的不同位 置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口；其中，所述轻型级联结构分类器在对每个所述矩形窗口进行人脸检测时，所述轻型级 联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，如果该矩形 窗口被一级弱分类器分类为非人脸，则停止下一级弱分类器对该矩形窗口的分类，输出该 矩形窗口为非人脸的检测结果；如果该矩形窗口被所述轻型级联结构分类器中的每一级弱 分类器均分类为人脸，则输出该矩形窗口为人脸的检测结果；所述轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所有弱分类器 的基础上训练得到。
2.根据权利要求1所述的采用级联分类器的人脸检测方法，其特征在于，通过以下方 式训练得到所述轻型级联结构分类器Al、将所有样本的响应初始化为0，所述所有样本包含所有的正样本和所有的负样本， 并将根据Gentle Adaboost训练算法得到的级联结构分类器中包含的所有弱分类器，作为 弱分类器池；A2、对于弱分类器池中的每一个弱分类器，将该弱分类器对每一个样本的置信度加入 到该样本的响应上得到当前该样本的响应，并将所有正样本的响应之和减去所有负样本的 响应之和得到一个差值，将差值最大的弱分类器作为区分性最强的分类器； A3、从所述弱分类器池中选出区分性最强的弱分类器，并更新样本； A4、将更新后的所有样本的响应，更新为当前所有被选出的弱分类器的置信度之和； A5、在所述弱分类器池中去掉已经被选出的弱分类器，回到所述步骤A2，直至弱分类器 池中已不存在弱分类器；所述轻型级联结构分类器由所述选出的弱分类器按选出的先后顺序组合而成。
3.根据权利要求2所述的采用级联分类器的人脸检测方法，其特征在于，在所述根 据Gentle Adaboost训练算法得到级联结构分类器时，将分块局部二值模式特征作为所述 Gentle Adaboost训练算法的输入特征，训练得到所述级联结构分类器；其中，所述分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素 值来计算局部二值模式的特征值。
4.根据权利要求3所述的采用级联分类器的人脸检测方法，其特征在于，通过以下方 式计算图像中一个区域的所述分块局部二值模式特征将一个所述区域分为9个同等大小的3女3的矩形块；计算各个矩形块内部的像素值总和，然后将中心块的像素值总和，与其8个邻域块的 像素值总和进行大小比较；如果邻域块的像素值总和大于或等于所述中心块的像素值总和，则该邻域块的值设为 1 ；如果邻域块的像素值总和小于所述中心块的像素值总和，则该邻域块的值设为O ；将得到的8个邻域块值连接起来，形成一个8位的二进制串，将该二进制串的十进制值 即作为所述区域的分块局部二值模式特征。
5.根据权利要求1所述的采用级联分类器的人脸检测方法，其特征在于，还包含以下 步骤根据当前待检测图像与背景图像的对应像素值的差值，生成掩膜图像；其中，所述差值 大于阈值的像素点在所述掩膜图像中的像素值为1，所述差值小于或等于所述阈值的像素 点在所述掩膜图像中的像素值为0 ；在所述对矩形窗口进行人脸检测的步骤中，包含以下子步骤判断所述不同位置和不同大小的各矩形窗口的左上角的像素点，在所述掩膜图像中对 应位置的像素值是否为1 ；仅对在所述掩膜图像中对应位置的像素值为1的矩形窗口，采用所述轻型级联结构分 类器进行人脸检测；其中，所述背景图像初始为所有像素点的值均为0的图像，在每完成一帧的人脸检测 后，将当前图像复制到背景图像中完成背景图像的更新。
6.根据权利要求5所述的采用级联分类器的人脸检测方法，其特征在于，在所述生成 掩膜图像的步骤中，还包含以下子步骤将所述掩膜图像中的预测人脸区域内的所有像素点的像素值均设置为1，所述预测人 脸区域为前一帧的检测图像中有检测到人脸的区域，在所述掩膜图像中相对应的区域。
7.根据权利要求1至6中任一项所述的采用级联分类器的人脸检测方法，其特征在于， 在检测出人脸窗口后，还包含以下步骤将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合并的所有矩形窗 口的位置和大小进行平均，得到最终的人脸窗口。
8.根据权利要求7所述的采用级联分类器的人脸检测方法，其特征在于，所述合并条 件为两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。
9.一种采用级联分类器的人脸检测装置，其特征在于，包含轻型级联结构分类器训练模块，用于训练得到每一级均为一个弱分类器的轻型级联结 构分类器，其中，所述轻型级联结构分类器中的每一级弱分类器在本级弱分类器之前的所 有弱分类器的基础上训练得到；图像获取模块，用于获取当前待检测图像；矩形窗口获取模块，用于从所述当前待检测图像中获取不同位置和不同大小的各矩形窗口 ；人脸窗口检测模块，用于触发所述轻型级联结构分类器对所述不同位置和不同大小的 各矩形窗口进行人脸检测，检测出人脸窗口 ；其中，所述轻型级联结构分类器在对每个所述矩形窗口进行人脸检测时，所述轻型级 联结构分类器中的每一级弱分类器逐一对该矩形窗口进行是否为人脸的分类，当该矩形窗 口被一级弱分类器分类为非人脸时，停止下一级弱分类器对该矩形窗口的分类，输出该矩 形窗口为非人脸的检测结果；当该矩形窗口被所述轻型级联结构分类器中的每一级弱分类 器均分类为人脸时，输出该矩形窗口为人脸的检测结果。
10.根据权利要求9所述的采用级联分类器的人脸检测装置，其特征在于，所述轻型级 联结构分类器训练模块包含以下子模块响应初始化子模块，用于将所有样本的响应初始化为0，所述所有样本包含所有的正样 本和所有的负样本；级联结构分类器训练子模块，用于根据Gentle Adaboost训练算法，训练得到级联结构分类器；弱分类器池获取子模块，用于将所述级联结构分类器训练子模块得到的级联结构分类 器中包含的所有弱分类器，作为弱分类器池；弱分类器选取子模块，用于对于弱分类器池中的每一个弱分类器，将该弱分类器对每 一个样本的置信度加入到该样本的响应上得到当前该样本的响应，并将所有正样本的响应 之和减去所有负样本的响应之和得到一个差值，将差值最大的弱分类器作为区分性最强的 分类器，并从所述弱分类器池中选出区分性最强的弱分类器；样本更新子模块，用于在所述弱分类器选取子模块选出区分性最强的弱分类器后更新 样本；响应更新子模块，用于将更新后的所有样本的响应，更新为当前所有被选出的弱分类 器的置信度之和；弱分类器池更新子模块，用于在所述弱分类器池中去掉已经被选出的弱分类器，并重 新触发所述弱分类器选取子模块，直至弱分类器池中已不存在弱分类器组合子模块，用于将所述选出的弱分类器按选出的先后顺序组合成所述轻型级联结构 分类器。
11.根据权利要求10所述的采用级联分类器的人脸检测装置，其特征在于，所述级联 结构分类器训练子模块在所述根据Gentle Adaboost训练算法得到级联结构分类器时，将 分块局部二值模式特征作为所述Gentle Adaboost训练算法的输入特征，训练得到所述级 联结构分类器；其中，所述分块局部二值模式特征为将图像中的一个分块中像素值的和当做一个像素 值来计算局部二值模式的特征值。
12.根据权利要求11所述的采用级联分类器的人脸检测装置，其特征在于，所述级联 结构分类器训练子模块通过包含以下子单元，计算图像中一个区域的所述分块局部二值模 式特征划分子单元，用于将一个所述区域分为9个同等大小的3 * 3的矩形块；像素值总和计算子单元，用于计算各个所述矩形块内部的像素值总和；比较子单元，用于将中心块的像素值总和，与其8个邻域块的像素值总和进行大小比较；设置子单元，用于对于像素值总和大于或等于所述中心块的像素值总和的邻域块，将 该邻域块的值设为1 ；对于像素值总和小于所述中心块的像素值总和的邻域块，将该邻域 块的值设为O ；连接子单元，用于将得到的8个邻域块值连接起来，形成一个8位的二进制串，将该二 进制串的十进制值即作为所述区域的分块局部二值模式特征。
13.根据权利要求9所述的采用级联分类器的人脸检测装置，其特征在于，所述采用级 联分类器的人脸检测装置还包含掩膜图像生成模块，用于根据当前待检测图像与背景图像的对应像素值的差值，生成 掩膜图像；其中，所述差值大于阈值的像素点在所述掩膜图像中的像素值为1，所述差值小 于或等于所述阈值的像素点在所述掩膜图像中的像素值为O ；其中，所述背景图像初始为 所有像素点的值均为O的图像，在每完成一帧的人脸检测后，将当前图像复制到背景图像中完成背景图像的更新；矩形窗口判断模块，用于判断所述不同位置和不同大小的各矩形窗口的左上角的像素 点，在所述掩膜图像中对应位置的像素值是否为1 ；所述矩形窗口判断模块指示所述轻型级联结构分类器仅对判定结果为在所述掩膜图 像中对应位置的像素值为1的矩形窗口，采用所述轻型级联结构分类器进行人脸检测。
14.根据权利要求13所述的采用级联分类器的人脸检测装置，其特征在于，所述掩膜 图像生成模块还用于在生成掩膜图像时，将所述掩膜图像中的预测人脸区域内的所有像素 点的像素值均设置为1，所述预测人脸区域为前一帧的检测图像中有检测到人脸的区域，在 所述掩膜图像中相对应的区域。
15.根据权利要求9至14中任一项所述的采用级联分类器的人脸检测装置，其特征在 于，所述采用级联分类器的人脸检测装置还包含合并模块，用于将满足合并条件的检测出人脸的矩形窗口进行合并，合并时将参与合 并的所有矩形窗口的位置和大小进行平均，得到最终的人脸窗口。
16.根据权利要求15所述的采用级联分类器的人脸检测装置，其特征在于，所述合并 条件为两个不同的矩形窗口的重叠面积，大于其中任意一个矩形窗口的1/4。
全文摘要
本发明涉及视频监控领域，公开了一种采用级联分类器的人脸检测方法及其装置。本发明中，采用轻型级联结构分类器，对当前待检测图像中的不同位置和不同大小的各矩形窗口进行人脸检测，检测出人脸窗口。该轻型级联结构分类器的每一级均为一个弱分类器。由于对于一张图像中大量的待检测窗口，因此相对于级联结构的分类器必须在计算出一个强分类器中所有弱分类器结果后方可去除部分非人脸的方案而言，轻型级联结构分类器的每一个弱分类器都可以去除部分非人脸，从而可以达到更快的检测速度，进而实现在百万高清视频上对人脸的实时检测。
文档编号G06K9/00GK102129572SQ20111004721
公开日2011年7月20日 申请日期2011年2月25日 优先权日2011年2月25日
发明者张文聪, 浦世亮, 胡扬忠, 蔡巍伟, 谭文明, 贾永华, 邬伟琪 申请人:杭州海康威视软件有限公司