人体上半身检测方法和系统的制作方法

专利名称：人体上半身检测方法和系统的制作方法
技术领域：
本发明涉及人体检测技术，特别涉及一种人体上半身检测方法以及一种 人体上半身检测系统。
背景技术：
各类视频监控关注的目标主要包括两类， 一类是作为交通监控目标的汽 车，另一类则是作为室内室外监控目标的人。
在现有技术中，检测并识别监控场景中的某个目标是否为人，可以基于 目标的轮廓、长宽等特征来实现，这类监测并识别目标是否为人的方法较简 单，但对于监控场景较为复杂、且目标较多的情况则难以适用。
或者，现有技术可以通过只检测人头的方法来判断监控场景中的某个目 标是否为人，但是，由于人头的信息有限，因而只检测人头难以精确地识别 出监控场景中的某个目标是否为人。
由此，为了提高检测精度，现有技术还可以通过检测人体的方法来判断 监控场景中的某个目标是否为人。然而，该方法需要整个人体均在图像中显 示，对于例如室内场景等部分人数较多的监控场景来说，室内的人与人之间 频繁遮挡，且通常只能显示到人的上半身、即头部和肩部，因而该方法虽然 精度高但却难以适用。
可见，现有技术在通过检测人体的方法来判断监控场景中的某个目标是 否为人时，必需要求整个人体均在图像中显示，因而虽然精度高但却难以适 用。

发明内容
有鉴于此，本发明提供了一种人体上半身检测方法以及一种人体上半身检测系统，能够实现对人体上半身的检测。
本发明提供的一种人体上半身检测方法，包括
在输入的图像中搜索得到候选窗口 ；
利用预先根据人体上半身正样本和反样本训练得到的第 一级分类器，从
搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，然后依据抽取的Haar微特征和灰度均值特征，对搜索得到的所有候选窗口进行第一级纟企测过滤；
对第 一级检测过滤后剩余的候选窗口进行灰度归一化处理；
利用预先根据人体上半身正样本和反样本训练得到的第二级分类器，从灰度归一化处理后的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤；
利用预先根据人体上半身正样本和反样本训练得到的第三级分类器，从第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤；
将第三级纟企测过滤后剩余的候选窗口确定为包括人头和肩部的人体上半身。
所述第一级分类器和所述第二级分类器抽取的Haar微特征包括
第一类Haar微特征，表示左右相邻的一个黑色区域与一个白色区域之间的像素灰度均值差；
第二类Haar微特征，表示上下相邻的一个黑色区域与一个白色区域之间的像素灰度均值差；
第三类Haar微特征，表示一个黑色区域分别与其左右两侧相邻的各一个白色区域之间的像素灰度均值；
第四类Haar微特征，表示两个对角相连的黑色区域与相邻两个对角相连的白色区域之间的像素灰度均值差；
第五类Haar微特征，表示一个黑色区域与其右上侧对角相连的一个白色区域之间的像素灰度均值差；
第六类Haar微特征， 一个黑色区域与其左上侧对角相连的一个白色区域之间的像素灰度均值差。
所述第三级分类器抽取的Haar微特征包括第一、二、五、六类Haar微特征，且所述第三级分类器抽取的Haar微特征的分布规律包括
候选窗口中任意区域内的第一类Haar微特征绝对值之和与该区域内的第一 、二 、五、六类Haar孩i特征绝对值总和的商；
候选窗口中任意区域内的第二类Haar微特征绝对值之和与该区域内的第一、二、五、六类Haar微特征绝对值总和的商；
候选窗口中任意区域内的第五类Haar微特征绝对值之和与该区域内的第一 、二 、五、六类Haar微特征绝对值总和的商；
候选窗口中任意区域内的第六类Haar微特征绝对值之和与该区域内的第一、二、五、六类Haar孩i特征绝对值总和的商。
该方法预先设置一人体上半身模版，所述人体上半身模版包括背景区域和头肩区域；
所述第一级分类器和所述第二级分类器利用所述人体上半身模版，仅抽取至少 一 半像素点位于所述头肩区域内的第 一 至第六类H a ar微特征；
所述第三级分类器利用所述人体上半身模版，仅抽取至少一半像素点位于所述头肩区域内的第一、二、五、六类Haar微特征。
所述在输入的图像中搜索得到候选窗口包括对输入的图像进行预设比例的缩放、预设角度的旋转；在输入的图像、以及进行所述缩放、所述旋转后的图像中，以穷举的方式搜索得到不同尺寸的若干候选窗口；将不同尺寸的若干候选窗口进行尺寸归一化处理，得到预设标准尺寸的若干候选窗口；
其中，所述预设标准尺寸，与训练所述第一级分类器、第二级分类器、以及第三级分类器的人体上半身正样本和人体上半身反样本一 致。
所述将第三级检测过滤后剩余的候选窗口确定为包括人头和肩部的人体上半身之前，该方法进一步包括将第三级检测过滤后剩余的所有候选窗口中，相邻的多个候选窗口合并为一个；
所述将第三级检测过滤后剩余的候选窗口确定为包括人头和肩部的人 体上半身包括仅将所述合并得到的候选窗口确定为包括人头和肩部的人体 上半身。
所述相邻的多个候选窗口包括相互之间的尺寸差异小于预设第二阈 值、和/或位置差异小于预设第三阈值、和/或重叠面积大于预设第四阈值的 多个候选窗口 。
本发明提供的一种人体上半身检测系统，包括 窗口搜索单元，用于在输入的图像中搜索得到候选窗口；
预先根据人体上半身正样本和反样本训练得到的第一级分类器，用于从 搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，并依据 抽取的Haar微特征和灰度均值特征，对搜索得到的所有候选窗口进行第一 级才企测过滤；
灰度归一化单元，用于对第一级检测过滤后剩余的候选窗口进行灰度归 一化处理；
预先根据人体上半身正样本和反样本训练得到的第二级分类器，用于从 灰度归 一化处理后的所有候选窗口中分别抽取Haar微特征，然后依据抽取 的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤；
预先根据人体上半身正样本和反样本训练得到的第三级分类器，用于从 第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据 抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口 进行第三级检测过滤；
结果判定单元，用于将第三级检测过滤后剩余的候选窗口确定为包括人 头和肩部的人体上半身。
所述第一级分类器和所述第二级分类器抽取的Haar微特征包括
第一类Haar微特征，表示左右相邻的一个黑色区域与一个白色区域之 间的像素灰度均值差；
10第二类Haar微特征，表示上下相邻的一个黑色区域与一个白色区域之 间的像素灰度均值差；
第三类Haar微特征，表示一个黑色区域分别与其左右两侧相邻的各一 个白色区域之间的像素灰度均值；
第四类Haar微特征，表示两个对角相连的黑色区域与相邻两个对角相 连的白色区域之间的像素灰度均值差；
第五类Haar微特征，表示一个黑色区域与其右上侧对角相连的一个白 色区域之间的像素灰度均值差；
第六类Haar微特征， 一个黑色区域与其左上侧对角相连的 一个白色区 域之间的像素灰度均值差。
所述第三级分类器依据的Haar微特征分布规律包括
候选窗口中任意区域内的第一类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar孩i特征绝对值总和的商；
候选窗口中任意区域内的第二类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar樣t特征绝对值总和的商；
候选窗口中任意区域内的第五类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；
候选窗口中任意区域内的第六类Haar ^E特征绝对值之和与该区域内的 第一 、二 、五、六类Haar眷i特征绝对值总和的商。
所述第一级分类器、第二级分类器、以及所述第三级分类器中进一步设 置有人体上半身模版，所述人体上半身模版包括背景区域和头肩区域；
所述第一级分类器和所述第二级分类器利用所述人体上半身模版，仅抽 取至少一半像素点位于所述头肩区域内的第一至第六类Haar微特征；
所述第三级分类器利用所述人体上半身模版，仅抽取至少 一半像素点位 于所述头肩区域内的第一、二、五、六类Haar微特征。
所述窗口搜索单元包括
图像变换子单元，用于对输入的图像进行预设比例的缩放、预设角度的旋转；
穷举搜索子单元，用于在输入的图像、以及进行所述缩放、所述旋转后
的图像中，以穷举的方式搜索得到不同尺寸的若干候选窗口 ；
尺寸归一化子单元，用于将不同尺寸的若干候选窗口进行尺寸归一化处 理，得到预设标准尺寸的若干候选窗口；
其中，所述预设标准尺寸，与训练所述第一级分类器、第二级分类器、 以及第三级分类器的人体上半身正样本和人体上半身反样本一致。
该系统在所述第三级分类器与所述结果判定单元之间，进一步包括窗口 合并单元，用于将第三级检测过滤后剩余的所有候选窗口中，相邻的多个候 选窗口合并为一个；
且，所述第三级分类器仅将所述合并得到的候选窗口确定为包括人头和 肩部的人体上半身。
所述相邻的多个候选窗口包括相互之间的尺寸差异小于预设第二阈 值、和/或位置差异小于预设第三阈值、和/或重叠面积大于预设第四阈值的 多个候选窗口。
由上述技术方案可见，本发明预先根据人体上半身正样本和反样本训练 得到第一级、第二级、以及第三级分类器，并利用第一级分类器通过Harr 微特征对搜索得到的所有候选窗口进行第一级检测过滤；此后，对第一级检 测过滤后剩余的候选窗口进行灰度归 一化处理，并利用第二级分类器通过 Harr微特征对灰度归一化处理后的所有候选窗口进行第二级;险测过滤；然 后，再利用第三级分类器通过Haar微特征的分布规律，对第二级检测过滤 后剩余的所有候选窗口进行第三级检测过滤，以过滤掉不满足人体上半身中 头部与肩部的位置形状规律的非人体上半身图像，从而能够实现对人体上半 身的检测。
而且，由于第 一级分类器进行第 一级检测过滤的候选窗口未进行灰度归 一化处理，因而能够检测过滤掉大量灰度分布较为复杂的非人体上半身图 像，从而能够减少第二级分类器和第三级分类器的处理，进而提高人体上半身4企测的效率。
进一步地，第一级分类器、第二级分类器、和第三级分类器均可利用预 先设置的人体上半身模版进行Harr微特征的提取，以避免提取背景区域内 的无用Haar微特征，再进一步地提高人体上半身检测的效率。
此外，本发明还可以先合并相邻的多个候选窗口 ，从而避免了同一个人 体上半身对应多个候选窗口，进一步提高了人体上半身检测的准确性；且， 由于真实的人体上半身才可能对应多个候选窗口 、而虛警的出现往往比较孤 立，因此，本发明如果将合并得到的候选窗口确定为包括人头和肩部的人体 上半身，则能够避免将图像中的虚警误检测为人体上半身，从而进一步提高 了人体上半身检测的准确性。


图1为本发明实施例中第一级和第二级分类器的组成示意图2为本发明实施例中Haar微特征的示例性结构图3为本发明实施例中人体上半身检测方法的示例性流程图4为本发明实施例中人体上半身模版的示意图5为本发明实施例中人体上半身检测系统的示例性结构图6为本发明实施例人体上半身检测系统中窗口搜索单元的结构示意图。
具体实施例方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举 实施例，对本发明进一步详细说明。
由于在例如室内场景等部分人数较多的监控场景中通常只能显示到人 的上半身、即头部和肩部，因此，为了能够有效判断出这类监控场景中的某 个目标是否为人，本实施例提出了人体上半身的检测方法和系统，这样，只 要人的头部和肩部在图像中显示、即可识别出该目标为人并识别出该目标的位置。
具体来说，在本实施例中，对从输入图像中搜索得到的所有候选窗口采 用三级检测过滤。其中，第一级检测过滤利用"人体上半身/非人体上半身，， 的二类分类器来实现，并针对未经灰度归一化处理的候选窗口 、通过哈尔
(Haar)微特征进行第一级检测过滤；第二级检测过滤也利用"人体上半身 /非人体上半身，，的二类分类器来实现，针对经灰度归一化处理的候选窗口、 通过Haar微特征进行第二级检测过滤；而第三级还是利用人体上半身/非人 体上半身"的二类分类器来实现，针对第二级检测过滤后的候选窗口、但通 过Haar微特征的分布规律而不是Haar微特征本身来进行第三级检测过滤。 上述"人体上半身/非人体上半身"的二类分类器可以确定某个尺度的 矩形候选窗口是否是人体上半身。设矩形候选窗口长为m，宽为n,则相应 地，人体上半身检测的流程可以为在输入的图像中穷举搜索和判别所有大 小为附xw像素的窗口作为候选窗口 ，将各个候选窗口输入到"人体上半身/
非人体上半身，，分类器中，即可留下识别为人体上半身的候选窗口。"人体 上半身/非人体上半身，，的二类分类器在本文中简称为"分类器，，。
本实施例所需的第一级分类器、第二级分类器、第三级分类器均可利用 现有人脸检测技术中成熟的Adaboost理论来实现。
具体来说，AdaBoost理论是一种将任意强于随机猜测的弱分类器组合 成强分类器的通用算法，因此，本实施例结合基于AdaBoost理论的一种Haar 微特征选择的现有方法，将多个基于单个特征的弱分类器组成为一个强分类 器，然后将多个强分类器级联成一个完整的"人体上半身/非人体上半身，， 的二类分类器，即本实施例所需的第一级分类器、第二级分类器、第三级分 类器。
参见图1,第一级分类器、第二级分类器、第三级分类器由n层上述强 分类器级联而成，在第一级分类器、第二级分类器、第三级分类器检测时， 如果n层强分类器中的某一层强分类器判别一个候选窗口为(False)假，则 排除此窗口而不进行进一步的判别，如果输出为(True)真，则使用下一层更复杂的强分类器对该窗口进行判别。
也就是说，每一层强分类器都能让几乎全部人体上半身的正样本通过， 而拒绝大部分非人体上半身的反样本。这样输入低层强分类器的候选窗口就 多，而输入高层的候选窗口大大减少。
此外，对于上述结构的第一级分类器、第二级分类器、第三级分类器，
需要说明的是，第 一级分类器可以是通过从多个人体上半身正样本和多
个人体上半身反样本中抽取Haar微特征和灰度均值特征、并基于Adaboost 算法识别抽取的Haar微特征和灰度均值特征而训练得到的；由于第二级分 类器针对的是经灰度归一化处理的候选窗口 ，因此，第二级分类器的训练无 需灰度均值特征，而可以是只通过从多个人体上半身正样本和多个人体上半 身反样本中抽取Haar微特征、并基于Adaboost算法识别抽取的Haar微特 征而训练得到；而第三级分类器可以是通过从多个人体上半身正样本和多个 人体上半身反样本中抽取Haar微特征、并基于Adaboost算法识别抽取的 Haar微特征的分布规律而训练得到。
较佳地，在本实施例中，第一级分类器和第二级分类器所抽取的Haar 微特征，包括如图2左侧的所示的6种Haar微特征，而第 一级分类器所抽 取的灰度均值特征则为如图2最右侧所示的1种灰度均值特征。上述6种 Haar樣i特征在图2中从左至右依次为
第一类Haar微特征，表示左右相邻的一个黑色区域与一个白色区域之 间的像素灰度均值差(在图2中黑色区域位于右侧，但实际不限于此)；
第二类Haar微特征，表示上下相邻的一个黑色区域与 一个白色区域之 间的像素灰度均值差(在图2中黑色区域位于下侧，但实际不限于此)；
第三类Haar微特征，表示一个黑色区域分别与其左右两侧相邻的各一 个白色区域之间的像素灰度均值(当然，也可以是一个白色区域分别与其左 右两侧相邻的各一 个黑色区域之间的像素灰度均值)；
第四类Haar微特征，表示两个对角相连的黑色区域与相邻两个对角相连的白色区域之间的像素灰度均值差；
第五类Haar微特征，表示一个黑色区域与其右上侧对角相连的一个白 色区域之间的像素灰度均值差；
第六类Haar微特征， 一个黑色区域与其左上侧对角相连的一个白色区 域之间的像素灰度均值差。
对于如图2所示的6种Haar微特征，本实施例计算图像中对应黑色区 域和白色区域内像素灰度均值的差值得到特征；对于灰度均值特征，本实施 例则计算矩形框内所有像素的均值。
其中，上述黑色区域通常表示人体上半身的背景图像，而上述白色区域 则通常表示人体上半身；且，如图2所示的6种组微特征中，黑色区域或者 白色区域的长、宽可以任意选择，只需不超过候选窗口的尺寸即可。
与第一级分类器和第二级分类器不同的是，本实施例中的第三级分类器 所抽取的6种Haar微特征，则可以只包括上述6种Haar微特征中的第 一类、 第二类、第五类、以及第六类Haar微特征；且，第三级分类器还考虑了候 选窗口中任意划分的每一个区域内在不同方向的Haar微特征分布规律，该 Haar微特征分布能够反应人体上半身的某个区域内在各个方向的边界强度。 相应地，第三级分类器抽取的Haar微特征分布规律包括
候选窗口中任意区域内的第 一类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar微特征绝对值总和的商；
候选窗口中任意区域内的第二类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar ^t特征绝对值总和的商；
候选窗口中任意区域内的第五类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；
候选窗口中任意区域内的第六类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商。
上述分布规律还可以采用如下表示方式
假设在候选窗口中的任意区域内，第 一类Haar微特征绝对值之和、第
16二类Haar微特征绝对值之和、第五类Haar微特征绝对值之和、以及第六类Haar微特征Haar微特征绝对值之和表示为&。。力'),/= 0，1，2，3 ,则该区域内的上
述四个特征分布规律则表示为，/ = o,i,2,3。
其中，本实施例中所选的区域的长、宽可任意选择，只需不超过候选窗口的尺寸即可。
被处理时处于同等条件，在进行训练之前可以先设定样本搜索窗口的尺寸，例如19x19,然后由第一级分类器和第二级分类器利用设定尺寸的样本搜索窗口对所有人体上半身正样本和人体上半身反样本进行裁剪和尺寸归一化处理，得到尺寸相同的人体上半身正样本和人体上半身反样本。
另外，本实施例为增强第一级分类器、第二级分类器、第三级分类器对倾斜或旋转一定角度的不同姿态人体上半身、或不同大小的人体上半身检测的鲁棒性，在对所有人体上半身正样本和人体上半身反样本进行裁剪和尺寸
行镜像、例如± IO度等任意角度的旋转、例如1.05倍的尺寸放大、例如0.95倍的尺寸缩小等处理，以扩充人体上半身正样本和人体上半身反样本的数
下面，基于上述的第一级分类器.
第二级分类器、以及第三级分类器，系统进行详细说明。.流程图。如图3所示，本实施例中的人体上半身检测方法包括
步骤301,在输入的图像中搜索得到候选窗口。
较佳地，为了尽可能保证输入图像中所有可能的候选窗口不会被遗漏，本步骤中的处理过程可具体包括
al、对输入的图像进行预设比例的缩放、预设角度的旋转；a2、在输入的图像、以及进行所述缩放、所述旋转后的图像中，以穷举
的方式搜索得到不同尺寸的若干候选窗口 ；
a3、将不同尺寸的若干候选窗口进行尺寸归一化处理，得到预设标准尺寸的若干候选窗口。
这样，经上述步骤al、 a2的处理，即可最大限度地避免不同角度或不同大小的候选窗口被遗漏；经上述a3的处理，还可保证在后续的处理过程中，对所有候选窗口采用同等条件的处理。
步骤302，利用第一级分类器从搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，然后依据抽取的Haar孩i特征和灰度均值特征，对搜索得到的所有候选窗口进行第一级检测过滤。其中，本步骤所利用的第一级分类器可以是按照如前所述的方式预先构成并训练得到的；且本步骤中抽取的Haar微特征可以为如前所述的第一类至第六类的Haar微特征。
较佳地，在执行本步骤时，本实施例可以启用一假设条件，即当前输入的图像来自视频监控场景，而拍摄输入图像的摄像头的自动曝光参数为一个正常的数值，使得整个图像的亮暗适中、亮度均匀，这就意味着，场景中人体上半身背景图像一般是黑色的，而人体上半身正面的人脸不会太黑，也不会过亮。当然，本步骤仅仅是对于上述假设条件能够产生更好的效果，但并不仅限于上述假设条件。
由于所有候选窗口经灰度归一化处理后，有可能存在某些非人体上半身的候选窗口与实际为人体上半身的候选窗口在人脸部分的灰度分布相类似，区分较为困难，因此，本步骤先不对所有候选窗口进行灰度归一化处理、并通过第一级检测过滤将上述的某些非人体上半身的候选窗口排除掉，以减少后续为区分上述的某些非人体上半身的候选窗口的处理，因而能够提高人体上半身检测的效率。
需要说明的是，本步骤中从每个候选窗口抽取的Harr微特征中黑色区域或者白色区域的长、宽可以任意选择，只需不超过候选窗口的尺寸即可，例如lxl、 3xl、 1x3、 1x5、 5xl、 2x2、 2x4、 4x2、 3x3等；Harr微特征的位置也可任意选择。
步骤303，对第一级检测过滤后剩余的候选窗口进行灰度归一化处理。
步骤304,利用第二级分类器从灰度归一化处理后的所有候选窗口中分别抽取Haar孩i特征，然后依据抽取的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤。其中，本步骤所利用的第二级分类器可以是按照如前所述的方式预先构成并训练得到的；且本步骤中抽取的Haar微特征可以为如前所述的第一类至第六类的Haar微特征。
较佳地，在执行本步骤时，也可启用步骤302中所提及的假设条件。当然，本步骤仅仅是对于步骤302中所提及的假设条件能够产生更好的效果，但并不仅限于上述假设条件。
虽然所有候选窗口经灰度归一化处理后，有可能存在某些非人体上半身的候选窗口与实际为人体上半身的候选窗口在人脸部分的灰度分布相类似、区分较为困难，但由于上述的某些非人体上半身的候选窗口已在第一次检测过滤时被排除掉，因此，从本步骤开始的后续步骤均避免了对上述的某些非人体上半身的候选窗口的处理，从而提高了人体上半身检测的效率。
需要说明的是，本步骤中从每个候选窗口抽取的Harr微特征中黑色区域或者白色区域的长、宽可以任意选择，只需不超过候选窗口的尺寸即可，例^口 lxi、 3xl、 1x3、 1x5、 5xl、 2x2、 2x4、 4x2、 3 x 3等；Harr微特征的位置也可任意选择。
步骤305，利用第三级分类器，从第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤。其中，本步骤所利用的第三级分类器可以是按照如前所述的方式预先构成并训练得到的；且本步骤中抽取的Haar微特征可以为如前所述的第一、二、五、六类的Haar微特征。
较佳地，在执行本步骤时，也可启用步骤302中所提及的假设条件。当然，本步骤仅仅是对于步骤302中所提及的假设条件能够产生更好的效果，
19但并不仅限于上述假设条件。
步骤306,将第三级检测过滤后剩余的所有候选窗口中相邻的多个候选窗口合并为一个。
本步骤所述的相邻可以是指相互之间的尺寸差异小于预设尺寸差异阈值、和/或位置差异小于预设位置差异阈值、和/或重叠面积大于预设重叠面积阈〃f直。
由于从输入图像中搜索得到的某些相邻候选窗口，实际上可能对应的是该输入图像中的同一个人体上半身，因此，为了避免对应同一个人体上半身的多个相邻候选窗口被分别识别为不同的人体上半身，由本步骤将相邻的多个候选窗口合并为一个、并由后续步骤仅针对合并后的候选窗口进行处理，以提高人体上半身检测的准确性；且，由于真实的人体上半身才可能对应多个候选窗口、而虚警的出现往往比较孤立，因此，如果后续步骤仅针对合并后的候选窗口进行处理，则能够避免将图像中的虚警误检测为人体上半身，从而能够再进一步地提高人体上半身检测的准确性。
当然，由于本步骤的作用主要是提高人体上半身检测的准确性，如果不执行本步骤仅仅是降低人体上半身检测的准确性、而不会妨碍人体上半身检测的实现，因而实际应用中本步骤为可选的、而非必须批^亍的步^^，并在图3中表示为虚线框。
步骤307,将第三级检测过滤后剩余的候选窗口确定为包括人头和肩部的人体上半身。
需要说明的是，由于步骤306为可选的步骤，因此，当执行完步骤305后、不执行步骤306而直接执行本步骤时，本步骤可以直接将第三级4企测过滤后剩余的所有候选窗口均确定为包括人头和肩部的人体上半身。
本步骤之后，还可以进一步输出所有检测到的人体上半身的位置、大小等信息。
至此，本流程结束。身正样本和反样本训练得到第一级、第二级、以及第三级分类器，并利用第
一级分类器通过Harr微特征对搜索得到的所有候选窗口进行第一级检测过滤；此后，对第一级检测过滤后剩余的候选窗口进行灰度归一化处理，并利用第二级分类器通过Harr微特征对灰度归一化处理后的所有候选窗口进行第二级检测过滤；然后，再利用第三级分类器通过Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤，以过滤掉不满足人体上半身中头部与肩部的位置形状规律的非人体上半身图像，从而能够实现对人体上半身的检测。
而且，由于第 一级分类器进行第 一级检测过滤的候选窗口未进行灰度归一化处理，因而能够检测过滤掉大量灰度分布较为复杂的非人体上半身图像，从而能够减少第二级分类器和第三级分类器的处理，进而提高人体上半身检测的效率。
此外，为了减少第一级分类器、第二级分类器、以及第三级分类器的处理量，本实施例在执行如图3所示的上述流程之前，可以进一步设置一如图4所示的人体上半身模版，如图4所示的该人体上半身模版包括背景区域401(图4中的黑色区域)和头肩区域402 (图4中的白色区域)。
然后在执行步骤302和步骤304时，可以分别由第一级分类器和第二级分类器利用如图4所示的该人体上半身模版，仅抽取至少一半像素点位于头肩区域402内的第一至第六类Haar微特征；而在执行步骤305时，则由第三级分类器则利用如图4所示的该人体上半身模版，仅抽取至少一半像素点位于头肩区域402内的第一、二、五、六类Haar微特征。这样，能够避免提取背景区域401内的无用Haar微特征，再进一步地提高人体上半身检测的效率。
图5为本发明实施例中人体上半身检测系统的示例性结构图。如图5所示，本实施例中的人体上半身检测系统包括
窗口搜索单元501，用于在输入的图像中搜索得到候选窗口 ；第一级分类器502，该第一级分类器502可以是按照如前所述的方式预先构成并训练得到的，并用于从搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，并依据抽取的Haar微特征和灰度均值特征，对搜索得到的所有候选窗口进行第一级检测过滤；其中，第一级分类器502所抽取的Haar微特征可以包括图2中所示的第一类至第六类Haar微特征；
灰度归一化单元503，用于对第一级4全测过滤后剩余的候选窗口进行灰度归一化处理；
第二级分类器504,该第二级分类器504可以是按照如前所述的方式预先构成并训练得到的，并用于从灰度归一化处理后的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤；其中，第二级分类器504所抽取的Haar微特征可以包括图2中所示的第一类至第六类Haar微特征；
第三级分类器505，该第三级分类器505可以是按照如前所述的方式预先构成并训练得到的，并用于从第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤；其中，第三级分类器505所抽取的Haar微特征可以包括图2中所示的第一、二、五、六类Haar微特征；
结果判定单元507，用于将第三级检测过滤后剩余的候选窗口确定为包
括人头和肩部的人体上半身。
如图6所示，在上述系统中，窗口搜索单元501可具体包括图像变换子单元511，用于对输入的图像进行预设比例的缩放、预设角
度的旋转；
穷举搜索子单元512，用于在输入的图像、以及进行所述缩放、所述旋转后的图像中，以穷举的方式搜索得到不同尺寸的若干候选窗口 ；
尺寸归一化子单元513,用于将不同尺寸的若干候选窗口进行尺寸归一化处理，得到预设标准尺寸的若干候选窗口，即与训练第一级分类器和第二级分类器所使用的人体上半身正样本和所述人体上半身反样本的图像尺寸一致。
此外，仍参见图5,可选地，为了提高人体上半身检测的准确性，上述
系统在第三级分类器505与结果判定单元507之间，还可以进一步包括如图 5中虚线框所示的窗口合并单元506，用于将第三级检测过滤后剩余的所有 候选窗口中，相邻的多个候选窗口合并为一个；其中，这里所述的相邻可以 是指相互之间的尺寸差异小于预设尺寸差异阈值、和/或位置差异小于预设 位置差异阈值、和/或重叠面积大于预设重叠面积阈值。
对于进一步包括了窗口合并单元506的情况，结果判定单元507仅将合 并得到的候选窗口确定为人体上半身。
可见，本实施例中的人体上半身检测系统具有预先根据人体上半身正样 本和反样本训练'得到的第一级分类器502、第二级分类器504、以及第三级 分类器505,并由第一级分类器502通过Harr微特征对搜索得到的所有候选 窗口进行第一级检测过滤；此后，对第一级检测过滤后剩余的候选窗口进行 灰度归一化处理，并由第二级分类器504通过Harr微特征对灰度归一化处 理后的所有候选窗口进行第二级检测过滤；然后，再由第三级分类器505通 过Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行 第三级检测过滤，以过滤掉不满足人体上半身中头部与肩部的位置形状规律 的非人体上半身图像，从而能够实现对人体上半身的检测。
而且，由于第一级分类器502进行第一级检测过滤的候选窗口未进行灰 度归一化处理，因而能够检测过滤掉大量灰度分布较为复杂的非人脸图像， 从而能够减少第二级分类器504和第三级分类器505的处理，进而提高人体 上半身检测的效率。
此外，为了减少第一级分类器502、第二级分类器504、以及第三级分 类器505的处理量，本实施例人体上半身检测系统中的第一级分类器502、 第二级分类器504、以及第三级分类器505中可以进一步设置有如图4所示 的人体上半身模版。
这样，第一级分类器502和第二级分类器504利用如图4所示的该人体上半身模版，仅抽取至少一半像素点位于头肩区域402内的第一至第六类
Haar微特征；而第三级分类器505则利用如图4所示的该人体上半身模版， 仅抽取至少一半像素点位于头肩区域402内的第一、二、五、六类Haar微特征。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等， 均应包含在本发明的保护范围之内。
权利要求
1、一种人体上半身检测方法，其特征在于，该方法包括在输入的图像中搜索得到候选窗口；利用预先根据人体上半身正样本和反样本训练得到的第一级分类器，从搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，然后依据抽取的Haar微特征和灰度均值特征，对搜索得到的所有候选窗口进行第一级检测过滤；对第一级检测过滤后剩余的候选窗口进行灰度归一化处理；利用预先根据人体上半身正样本和反样本训练得到的第二级分类器，从灰度归一化处理后的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤；利用预先根据人体上半身正样本和反样本训练得到的第三级分类器，从第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤；将第三级检测过滤后剩余的候选窗口确定为包括人头和肩部的人体上半身。
2、 如权利要求1所述的方法，其特征在于，所述第一级分类器和所述 第二级分类器抽取的Haar微特征包括第一类Haar微特征，表示左右相邻的一个黑色区域与一个白色区域之 间的像素灰度均值差；第二类Haar微特征，表示上下相邻的一个黑色区域与一个白色区域之 间的像素灰度均值差；第三类Haar微特征，表示一个黑色区域分别与其左右两侧相邻的各一 个白色区域之间的像素灰度均值；第四类Haar微特征，表示两个对角相连的黑色区域与相邻两个对角相连的白色区域之间的像素灰度均值差；第五类Haar微特征，表示一个黑色区域与其右上侧对角相连的一个白 色区域之间的像素灰度均值差；第六类Haar微特征， 一个黑色区域与其左上侧对角相连的一个白色区 域之间的像素灰度均值差。
3、 如权利要求2所述的方法，其特征在于，所述第三级分类器抽取的 Haar微特征包括第一、二、五、六类Haar微特征，且所述第三级分类器抽 取的Haar樣i特征的分布规律包括候选窗口中任意区域内的第 一类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第二类Haar孩t特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第五类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第六类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar微特征绝对值总和的商。
4、 如权利要求3所述的方法，其特征在于，该方法预先设置一人体上 半身模版，所述人体上半身模版包括背景区域和头肩区域；所述第一级分类器和所述第二级分类器利用所述人体上半身模版，仅抽 取至少一半像素点位于所述头肩区域内的第一至第六类Haar微特征；所述第三级分类器利用所述人体上半身模版，仅抽取至少一半像素点位 于所述头肩区域内的第一、二、五、六类Haar微特征。
5、 如权利要求1至4中任一项所述的方法，其特征在于， 所述在输入的图像中搜索得到候选窗口包括对输入的图像进行预设比例的缩放、预设角度的旋转；在输入的图像、以及进行所述缩放、所述旋转 后的图像中，以穷举的方式搜索得到不同尺寸的若干候选窗口；将不同尺寸 的若干候选窗口进行尺寸归一化处理，得到预设标准尺寸的若干候选窗口；其中，所述预设标准尺寸，与训练所述第一级分类器、第二级分类器、 以及第三级分类器的人体上半身正样本和人体上半身反样本一致。
6、 如权利要求5所述的方法，其特征在于，所述将第三级检测过滤后 剩余的候选窗口确定为包括人头和肩部的人体上半身之前，该方法进一步包括将第三级检测过滤后剩余的所有候选窗口中，相邻的多个候选窗口合并 为一个；所述将第三级检测过滤后剩佘的候选窗口确定为包括人头和肩部的人 体上半身包括仅将所述合并得到的候选窗口确定为包括人头和肩部的人体 上半身。
7、 如权利要求6所述的方法，其特征在于，所述相邻的多个候选窗口 包括相互之间的尺寸差异小于预设第二阈值、和/或位置差异小于预设第 三阈值、和/或重叠面积大于预设第四阈值的多个候选窗口 。
8、 一种人体上半身检测系统，其特征在于，包括 窗口搜索单元，用于在输入的图像中搜索得到候选窗口； 预先根据人体上半身正样本和反样本训练得到的第 一级分类器，用于从搜索得到的所有候选窗口中分别抽取Haar微特征和灰度均值特征，并依据 抽取的Haar微特征和灰度均值特征，对搜索得到的所有候选窗口进行第一 级4全测过滤；灰度归 一化单元，用于对第 一级检测过滤后剩余的候选窗口进行灰度归 一化处理；预先根据人体上半身正样本和反样本训练得到的第二级分类器，用于从 灰度归一化处理后的所有候选窗口中分别抽取Haar微特征，然后依据抽取 的Haar微特征，对灰度归一化处理后的所有候选窗口进行第二级检测过滤；预先根据人体上半身正样本和反样本训练得到的第三级分类器，用于从 第二级检测过滤后剩余的所有候选窗口中分别抽取Haar微特征，然后依据 抽取的Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口 进行第三级检测过滤；结果判定单元，用于将第三级检测过滤后剩余的候选窗口确定为包括人 头和肩部的人体上半身。
9、 如权利要求8所述的系统，其特征在于，所述第一级分类器和所述第二级分类器抽取的Haar微特征包括第一类Haar微特征，表示左右相邻的一个黑色区域与 一个白色区域之 间的像素灰度均值差；第二类Haar微特征，表示上下相邻的一个黑色区域与 一个白色区域之 间的像素灰度均值差；第三类Haar微特征，表示一个黑色区域分别与其左右两侧相邻的各一 个白色区域之间的像素灰度均值；第四类Haar樣i特征，表示两个对角相连的黑色区域与相邻两个对角相 连的白色区域之间的像素灰度均值差；第五类Haar微特征，表示一个黑色区域与其右上侧对角相连的一个白 色区域之间的像素灰度均值差；第六类Haar微特征， 一个黑色区域与其左上侧对角相连的一个白色区 域之间的像素灰度均值差。
10、 如权利要求9所述的系统，其特征在于，所述第三级分类器依据的 Haar微特征分布规律包括候选窗口中任意区域内的第一类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第二类Haar微特征绝对值之和与该区域内的 第一、二、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第五类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar微特征绝对值总和的商；候选窗口中任意区域内的第六类Haar微特征绝对值之和与该区域内的 第一 、二 、五、六类Haar微特征绝对值总和的商。
11、 如权利要求10所述的系统，其特征在于，所述第一级分类器、第二级分类器、以及所述第三级分类器中进一步设置有人体上半身模版，所述人体上半身模版包括背景区域和头肩区域；所述第一级分类器和所述第二级分类器利用所述人体上半身模版，仅抽 取至少一半像素点位于所述头肩区域内的第 一至第六类Haar微特征；所述第三级分类器利用所述人体上半身模版，仅抽取至少一半像素点位 于所述头肩区域内的第一、二、五、六类Haar微特征。
12、 如权利要求8至11中任一项所述的系统，其特征在于，所述窗口 搜索单元包括图像变换子单元，用于对输入的图像进行预设比例的缩放、预设角度的 旋转；穷举搜索子单元，用于在输入的图像、以及进行所述缩放、所述旋转后 的图像中，以穷举的方式搜索得到不同尺寸的若干候选窗口 ；尺寸归 一化子单元，用于将不同尺寸的若干候选窗口进行尺寸归 一化处 理，得到预设标准尺寸的若干候选窗口；其中，所述预设标准尺寸，与训练所述第一级分类器、第二级分类器、 以及第三级分类器的人体上半身正样本和人体上半身反样本一致。
13、 如权利要求12所述的系统，其特征在于，该系统在所述第三级分 类器与所述结果判定单元之间，进一步包括窗口合并单元，用于将第三级检 测过滤后剩余的所有候选窗口中，相邻的多个候选窗口合并为一个；且，所述第三级分类器仅将所述合并得到的候选窗口确定为包括人头和 肩部的人体上半身。
14、 如权利要求13所述的系统，其特征在于，所述相邻的多个候选窗 口包括相互之间的尺寸差异小于预设第二阈值、和/或位置差异小于预设 第三阈值、和/或重叠面积大于预设第四阈值的多个候选窗口 。
全文摘要
本发明公开了一种人体上半身检测方法和系统。本发明预先根据人体上半身正样本和反样本训练得到第一级、第二级、以及第三级分类器，并利用第一级分类器通过Harr微特征对搜索得到的所有候选窗口进行第一级检测过滤；此后，对第一级检测过滤后剩余的候选窗口进行灰度归一化处理，并利用第二级分类器通过Harr微特征对灰度归一化处理后的所有候选窗口进行第二级检测过滤；然后，再利用第三级分类器通过Haar微特征的分布规律，对第二级检测过滤后剩余的所有候选窗口进行第三级检测过滤，以过滤掉不满足人体上半身中头部与肩部的位置形状规律的非人体上半身图像，从而能够实现对人体上半身的检测。
文档编号G06K9/00GK101477625SQ200910076258
公开日2009年7月8日 申请日期2009年1月7日 优先权日2009年1月7日
发明者邓亚峰, 飞 高, 英 黄 申请人:北京中星微电子有限公司