头部检测方法和设备,头部检测及类别判断方法和装置的制作方法

专利名称：头部检测方法和设备,头部检测及类别判断方法和装置的制作方法
技术领域：
本发明总体上涉及模式识别及计算机视觉技术领域，并且特别涉及一种用于从图 像和视频等中检测出其中所包括的头部(以及根据需要进一步对头部检测结果进行分类) 的方法、设备和/或系统。
背景技术：
在现有的各种视频监控系统和/或方法中，主要以检测运动的对象为目标。然而， 这种系统和/或方法存在两个明显的缺陷。一个缺陷在于，它只适用于对运动对象的检测。 当视频中出现处于静止状态的人，或者视频中的人在一段时间内一直处于静止状态时，将 无法确保正确地检测到监控目标。另一个缺陷在于，要应对人的身体形变问题。人类的身 体是一个典型的非刚性体，因此，人体检测不可避免地要面对由于姿势、朝向、动作等变化 而造成的形变问题，这无疑会增加监控的困难程度，从而降低了监控系统和/或方法的可 靠性。相对于人的身体而言，头部具有比较稳定的特征，不易发生形变。因此，为了提高人 体检测的可靠性，头部检测越来越多地引起了研究人员的关注，并以此来辅助或代替人体 检测。目前，头部检测的方法一般来说可以分为两大类。第一类是基于模板匹配的方 法，例如，可以参见 A. Broggi、M. Bertozzi、A. Fascioli 禾口 M. Sechi 所著的"Shape—based Pedestrian Detection，，(参 见 Proceedings of the IEEE Intelligent Vehicles Symposium 2000，第 215 220 页，2000 年 10 月)，以及Xinyu Xu和 Baoxin Li 所著的“Head Tracking Using Particle Filter with Intensity Gradient and Color Histogram，，(参 见IEEEInternational Conference on Multimedia and Expo 2005(ICME 2005)，第888 891页，2005年)等。在这类基于模板匹配的方法中，首先定义一个头部匹配模板(例如椭 圆形模板、圆环模板等)，然后利用该模板在待检测图像中进行各种不同尺度的扫描，寻找 其中与模板的匹配程度比较高的区域作为头部区域。该类方法具有算法简单、计算速度快 等优点，但是这类方法只适用于简单背景下的规则头部的检测，例如适合于室内场景的监 控等，而对于复杂背景下的不规则头部得检测，该类方法存在稳定性差、漏检率高等缺点。近年来被应用得日益广泛的另一类头部检测的方法是基于统计学习的方法，例 如，可以参见 C. Papageorgiou 禾口 T. Poggio 所著的"A Trainable System for Object Detection”(参见 International Journal of Computer Vision, 2000 年第 38 卷第 15-33 页)，以及 Yi Sun、Yan Wang 禾 P Yinghao He 所著的 “Head-and—Shoulder Detection in Varying Pose，，(参见 International Conference on Natural Computation, 2005 年，第 12 20页)等。该类方法可分为学习阶段和检测阶段。在学习阶段中，对包含头部图像 的各种正样本以及不包含头部图像的各种负样本进行特征提取，以提取出能够区别头部图 像和非头部图像的各种有用的特征向量，然后利用机器学习算法通过对这些样本的特征学 习得到用于分类头部图像和非头部图像的分类器。在检测阶段，首先提取出待检测图像的 特征向量，然后利用训练好的分类器判断其是否是头部图像。这类方法具有较好的可靠性，
7对于复杂背景下的不规则头部也具有很好的检测能力，但是对于类似头部形状的物体，该 类方法常常会造成误检。因此，对于复杂环境下的头部检测，该类方法的误检率往往会比较
尚o在视频监控分析等的模式识别应用中如何在确保低漏检率的同时尽可能地降低 误检率并尽可能地提高检测速度，仍然是目前急待解决的问题之一。

发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。为了解决现有技术的上述问题，本发明的一个目的是提供一种用于从输入的原始 图像中检测出原始图像中所包含的头部图像的头部检测方法和/或设备，其可以在保证低 漏检率的同时提高头部检测的准确度。本发明的另一个目的是提供一种用于从输入的原始图像中检测出原始图像中所 包含的头部图像并对其进行进一步的类别判断的头部检测方法和/或设备，其可以通过类 别判断进一步从先前检测出的“头部图像”中剔除实际上被误检的非头部图像，从而进一步 提高了头部检测的准确度，而且还可以提供了头部分类信息，从而可以为视频监控分析等 模式识别过程提供更丰富的信息。本发明的再一个目的是提供用于实现本发明的上述方法的计算机程序、其上存储 有所述计算机程序的计算机可读存储介质、和/或计算机程序产品。为了实现上述目的，根据本发明的一个方面，提供了一种用于从输入的原始图像 中检测出原始图像中所包含的头部图像的头部检测方法，其包括以下步骤基于原始图像 生成具有多个指定图像大小的扫描检测窗口(R0I)图像，从而得到R0I图像序列；从R0I图 像序列中所包含的每一个R0I图像中提取基于模板的梯度特征(TGF)；针对每一个R0I图 像，基于所提取的该R0I图像的TGF特征执行第一级头部检测，以确定该R0I图像是否为头 部图像；从经过第一级头部检测被确定为头部图像的每一个R0I图像中提取形状特征；针 对经第一级头部检测后被确定为头部图像的每一个R0I图像，基于所提取的该R0I图像的 形状特征，执行第二级头部检测，以确定该R0I图像是否为头部图像；在头部图像候选集中 存储经过第二级头部检测被确定为是头部图像的R0I图像；以及对头部图像候选集中存储 的R0I图像进行后处理，以基于R0I图像的TGF特征确定原始图像中所包含的头部图像，其 中，R0I图像的TGF特征通过以下方式获得以与预先存储的头部边缘模板相同的扇区划分 方式对该R0I图像进行扇区划分，计算每一个扇区内的每一个像素点的图像梯度在从扇区 划分中心点到该像素点的方向向量上的投影并求和，然后将得到的各个扇区的梯度投影之 和组合成一个向量，即为TGF特征。根据本发明的另一个方面，还提供了一种用于从输入的原始图像中检测出原始图 像中所包含的头部图像的头部检测设备，其包括两级头部检测器和检测后处理器，其中， 所述两级头部检测器进一步包括扫描检测窗口(R0I)图像序列生成器，用于基于原始图 像生成具有多个指定图像大小的R0I图像，从而得到R0I图像序列；基于模板的梯度特征
8(TGF)提取器，用于从R0I图像序列中所包含的每一个R0I图像中提取TGF特征；第一级头 部检测器，用于针对每一个R0I图像，基于所提取的该R0I图像的TGF特征执行第一级头部 检测，以确定该R0I图像是否为头部图像；形状特征提取器，用于从被第一级头部检测器确 定为头部图像的每一个R0I图像中提取形状特征；第二级头部检测器，用于针对被第一级 头部检测器确定为头部图像的每一个R0I图像，基于所提取的该R0I图像的形状特征，执行 第二级头部检测，以确定该R0I图像是否为头部图像；以及头部图像候选集存储器，用于存 储被第二级头部检测器确定为是头部图像的R0I图像，所述检测后处理器用于对头部图像 候选集存储器中存储的R0I图像进行后处理，以基于R0I图像的TGF特征确定原始图像中 所包含的头部图像，其中，所述TGF特征提取器通过以下方式提取R0I图像的TGF特征以 与预先存储的头部边缘模板相同的扇区划分方式对该R0I图像进行扇区划分，计算每一个 扇区内的每一个像素点的图像梯度在从扇区划分中心点到该像素点的方向向量上的投影 并求和，然后将得到的各个扇区的梯度投影之和组合成一个向量，即为TGF特征。根据本发明的另一个方面，还提供了 一种用于对利用上述头部检测方法从输入的 原始图像中检测出的头部图像进行类别判断的头部检测与分类方法，其包括以下步骤对 于利用上述头部检测方法从输入的原始图像中检测出的头部图像中的每一个图像，提取由 图像的颜色和纹理特征构成的头部分类特征；以及基于所提取的头部分类特征，利用预先 训练好的头部类别判断器，判断该图像是正面头部图像、背面头部图像或侧面头部图像，还 是被所述头部检测方法误检为头部图像的非头部图像。根据本发明的另一个方面，还提供了一种用于经过两级头部检测从输入的原始图 像中检测出头部图像并对检测出的头部图像进行类别判断的头部检测与分类装置，其包 括如上所述的用于从输入的原始图像中检测出头部图像的头部检测设备；头部分类特征 提取器，用于从所述头部检测设备所检测出的头部图像中的每一个图像中提取由图像的颜 色和纹理特征构成的头部分类特征；以及头部类别判断器，用于针对所述头部检测设备所 检测出的头部图像中的每一个图像，基于所提取的该图像的头部分类特征，判断该图像是 正面头部图像、背面头部图像或侧面头部图像，还是被所述头部检测设备误检为头部图像 的非头部图像。依据本发明的其它方面，还提供了相应的计算机可读存储介质和计算机程序产品。本发明的一个优点在于，在根据本发明实施例的头部检测方法和/设备中，通过 基于TGF特征的第一次头部检测，可以快速地从R0I图像序列中初步确定头部图像从而剔 除大量明显的非头部图像，然后通过对被确定为头部图像的R0I图像进行基于形状特征的 第二次头部检测，可以进一步从R0I图像序列中确定头部图像从而剔除那些被确定为不是 头部图像的R0I图像，因此，可以在保证低漏检率的同时提高头部检测的准确度，从而降低 了误检率(尤其是在复杂环境下更是如此)。本发明的又一个优点在于，在根据本发明实施例的头部检测与分类方法和/设备 中，可以进一步对利用上述头部检测方法检测出的所谓“头部图像”进行进一步的类别判 断，以确定所述“头部图像”是正面头部图像、背面头部图像或侧面头部图像，还是实际上被 错误地检测为“头部图像”的非头部图像，从而可以进一步去除在两次头部检测中可能出现 的错误检测结果，因此，进一步提高了头部检测的准确度，降低了误检率，而且还能够为模式识别过程(例如，图像和视频监控分析等)提供更丰富的检测信息。通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。


本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 发明的优选实施例和解释本发明的原理和优点。在附图中图1示出了根据本发明实施例的一种用于从输入的待检测图像或视频中检测出 其中所包含的人体头部图像的方法的示意性流程图；图2示出了根据本发明的实施例所使用的、预先存储的人体头部边缘模板；图3示出了根据本发明实施例的、一种用于对利用如图1所示的方法从输入的图 像或视频中检测出的头部图像进行进一步的类别判断的方法的示意性流程图；图4示出了采用图1所示的方法步骤对输入的原始图像进行头部检测后得到的结 果，其中在原始图像的相应位置上用矩形框标识出了所检测到的头部图像；图5示出了采用图3所示的方法对输入的原始图像进行两次头部检测然后再进行 类别判断而得到的结果，其中在原始图像上用带有数字0 3的矩形框标识出经两次头部 检测后得到的头部检测结果及其类别判断结果；图6示出了根据本发明实施例的一种用于从人体头部图像训练集中得到人体头 部边缘模板的方法的示意性流程图；图7示出了在利用图6所示的方法得到人体头部边缘模板并对其进行扇区划分的 过程所涉及的头部图像训练集及处理结果；图8示出了根据本发明实施例的、用于从输入的待检测图像或视频中检测出头部 图像的头部检测设备的示意性方框图；图9示出了根据本发明实施例的、用于从输入的待检测图像或视频中检测出头部 图像并对其进行进一步的类别判断的头部检测及类别判断设备的示意性方框图；以及图10示出了在其中可以实现根据本发明实施例的方法和/或设备的通用个人计 算机的示例性结构的框图。本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本发明实施例的理解。
具体实施例方式以下将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说 明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的 过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与 系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改 变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容
10的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。图1示出了根据本发明实施例的一种用于从输入的待检测图像或视频中检测出 所述图像或视频中包含的人体头部图像的方法100的示意性流程图。如图1所示，方法100在步骤S105中，基于所接收到的输入图像或视频，生成具有 指定图像大小的扫描检测窗口图像(也可以称之为感兴趣区域图像，以下简称R0I图像) 序列。在一个示例中，以每次预定像素数目(例如2个像素)的步长，按照从左至右、从 上至下的顺序，从输入的图像、或者输入的视频中所提取的当前帧图像(为了方便起见，以 下将二者合称为原始图像)中，依次截取具有指定图像大小的R0I图像，从而得到R0I图像 序列。其中，截取的R0I图像的图像大小与预先存储的人体头部边缘模板的图像大小相同， 在此假设为32X32像素。而在另一个示例中，考虑到原始图像中头部区域的大小可能与预先存储的头部边 缘模板的大小不一致，因此，在生成R0I图像序列时，可以先对原始图像进行缩放，然后再 从中截取R0I图像。具体来说，当输入为一幅待检测的图像时，将该图像按缩放因子列表{Sl，s2，...， sn}中的缩放比例进行缩放，得到图像序列队，込，…丄}，而当输入为视频时，从视频中提 取当前帧图像，并将其按缩放因子列表{Sl，s2，. . .，sj中的缩放比例进行缩放，得到图像序 列{Ii，12，...，IJ。其中缩放因子的选取规则如下所示
=0.5\sn=2
s^ / — 1 1，i — 3, “ *, ti
e即，将原始的图像1(即，输入的待检测图像，或者输入的视频中的当前帧图像)从 缩小一倍的图像(即1/2大小的图像)起以每次1. 1倍的比例进行放大，直至约放大一倍 的图像(即2倍大小的图像)，从而得到图像序列。然后，对图像序列中的每一个图像Ii(i = 1,2,......，n)，以每次2个像素的步长
从左至右、从上至下依次截取具有指定图像大小(例如假设为32X32像素)的R0I图像， 从而得到R0I图像序列。接下来，如图1所示，在步骤S110中，从R0I图像序列中的第一个R0I图像(S卩i = 1)开始，提取第i个R0I图像的基于模板的梯度特征(Template Based Gradient Feature) (以下简称TGF特征)。假设如上所述的预先存储的人体头部边缘模板如图2所示是经过二值化处理后 得到的模板。此外，还假设预先存储有如下的模板扇区划分方式如图2所示，模板的上面 5/8图像高度的区域被视为头部区域，下面3/8图像高度的区域被视为肩部区域(在如上 所述假设模板的图像大小为32X32像素时，头部区域高20个像素，而肩部区域高12个像 素)，并且头部区域以模板的中心0为原点、按照45°角被划分为8个扇区(分别用(1) ⑶表示)，而肩部区域则以模板的底部中心0’为原点、按照45°角被划分为4个扇区(分别用(9) (12)表示)。其中，模板的中心点O和模板的底部中心点0，可以被统称为扇区 划分中心点。在下文中将结合图6和图7来说明如何依据其中包含人体头部的人体头部图 像训练集获得人体边缘图像模板。假设ROI图像中像素点A(x，y)的灰度值用I(x，y)表示(如果ROI图像为彩色图 像，则I (χ，y)是将彩色图像转换为灰度图像后的灰度值)，则该像素点A的水平梯度Ix(χ， y)和垂直梯度Iy (χ，y)可以分别被定义如下
<formula>formula see original document page 12</formula>
像素点A的图像梯度G可以被定义如下
<formula>formula see original document page 12</formula>其梯度方向θ (x，y)(它的取值范围为
)和幅值Grad (x，y)分别为
<formula>formula see original document page 12</formula>ROI图像按照与如图2所示的模板扇区划分相同的方式也被划分为12个扇区。 然后，分别在每一个扇区内计算该扇区内的每一个像素点的梯度在从扇区划分中心点到 该像素点的方向向量上的投影并求和，从而得到每个扇区的梯度投影之和(假设用vl、 v2、.......vl2 表不)ο假设如图2中所示位于头部区域内的扇区(1)中的像素点A(x，y)的梯度为G，从 中心点0到该像素点A的方向向量为OP (X，y)，则按照下式计算像素点A的梯度在OP方向 的投影M (G)(而对于肩部区域内的4个扇区中的每一个像素点，在计算该像素点点的梯度 的投影时向0’ P方向上投影)
<formula>formula see original document page 12</formula>将每一个扇区的梯度投影之和vl、v2........vl2合并为一个向量[vl，v2，...，
vl2]，该向量即为该ROI图像的TGF特征。返回参见图1，在步骤SllO中提取了第i个ROI图像的TGF特征之后，在步骤S115 中，基于所提取的TGF特征，利用预先训练好的第一级头部检测器，对该ROI图像进行第一 级头部检测，然后在步骤S120中基于第一级头部检测的结果确定该ROI图像是否为头部图像。如果经第一级头部检测确定该ROI图像为头部图像，则方法100的处理流程进行 到步骤S125，在其中提取该ROI图像的形状特征，例如，梯度直方图特征(Histograms of Oriented Gradients, HOG)(以下简称HOG特征)，或者图像距(moment)特征等。有关HOG特征的更多细节可以参见例如Navneet Dalai和Bill Triggs所著的 "Histograms of Oriented Gradients for Human Detection，， (IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005 年，第 886 893 页)，而有关图像距(moment)特征的更多细节可以参见例如Athanasios Papoulis所著的 "Probability, Random Variables, and Stochastic Processes，，(McCraw-Hi 11 出版社， 1991年第3版，ISBN号0070484775)，因此在此为了简洁起见就不再详述了。
然而，如果步骤S120确定当前ROI图像不是头部图像，则方法100的处理流程使 i = i+1并返回到步骤S110，然后重复以上步骤SllO S120，以判断ROI图像序列中的下 一个图像是否为头部图像。然后，如图1所示，在步骤S130中，基于所提取的形状特征，利用预先训练好的第 二级头部检测器，对所述ROI图像进行第二级头部检测，然后在步骤S135中基于第二级头 部检测的结果确定所述ROI图像是否为头部图像，并且在确定当前ROI图像为头部图像时， 方法100的处理流程进行到步骤S140，将确定为头部图像的ROI图像存储在头部图像候选集中。如果步骤S135中确定当前ROI图像不是头部图像，则方法100的处理流程使i = i+1并返回到步骤S110，然后重复以上步骤SllO S135，从而经过一次或者两次头部检测 来确定ROI图像序列中的下一个ROI图像是否为头部图像，并且在步骤S140中将在经过两 次头部检测后确定是头部图像的ROI图像存储在头部图像候选集中。在一个应用示例中，在存储确定为是头部图像的ROI图像(也可以将其称之为正 例ROI图像)时，可以通过记录每一个正例ROI图像在原始图像上的位置P = (x, y，w, h) 来得到头部图像候选集{P1; P2，...，PM}，其中，χ是该ROI图像在原始图像上所处的矩形区 域(即矩形框)的左上角的横坐标，y是该矩形框的左上角的纵坐标，w是该矩形框的宽度， h是该矩形框的高度，而M是头部图像候选集中存储的正例ROI图像的个数。在步骤S140之后，方法100的处理流程进行到步骤S145，在其中判断当前处理的 第i个ROI图像是否是所述ROI图像序列中的最后一个ROI图像，如果不是的话，则方法 100的处理流程使i = i+1并返回到步骤S110，然后重复以上步骤SllO S145，直到所述 ROI图像序列中的所有ROI图像都经过了上述头部检测处理为止。然后，如图1所示，在步骤S150中，对头部图像候选集中存储的正例ROI图像进行 头部检测后处理，以得到头部检测结果集。具体来说，将头部图像候选集依据其中所存储的 各个正例ROI图像在原始图像上的位置而划分为T个子集，其分别被表示如下<formula>formula see original document page 13</formula>其中在每个子集中所包含的正例ROI图像在原始图像上所处的矩形框的中心 间距离小于该子集中的所有正例ROI图像的矩形框的平均宽度，然后，对于每一个子集
= ^ 2,…，Γ)，对算该子集中的每个正例ROI图像的TGF特征的范数，并确定 出每一个子集中TGF特征的范数最大的那个正例ROI图像矩形框。接下来，在步骤S155中，将在步骤S150中计算确定的每一个子集中TGF特征的范 数最大的那个正例ROI图像矩形框存储下来，从而得到头部检测结果集{Ρ1，Ρ2，...，Ρτ}，并 且可以根据需要输出该头部检测结果集。该头部检测结果集中所存储的各个矩形框即为如 上所述经过第一和第二次头部检测从原始图像中检测到的头部图像矩形框，在原始图像上 的与所述头部图像矩形框相对应的各个区域内的图像即为从原始图像中检测出的头部图 像。图4示出了采用上述方法步骤对输入的原始图像进行头部检测后得到的结果，其中在原始图像的相应位置上用矩形框标识出了所检测到的头部图像。以上结合图1和2所给出的根据本发明实施例从输入的待检测图像或视频中检测 出人体头部区域的方法的描述仅仅是示例性的，并不对本发明构成限制，本领域技术人员完全可以根据实际需要对其进行细节和形式上的修改而不背离本发明的精神和实质。例如，生成ROI图像序列的方式、人体头部边缘模板及ROI图像的扇区划分方式等，都不局限 于以上所描述的那些。在以上所描述的方法100中，通过基于TGF特征的第一次头部检测，可以快速地从 ROI图像序列中初步地确定头部图像从而剔除大量明显的非头部图像，然后通过对被确定 为头部图像的ROI图像进行基于形状特征的第二次头部检测，进一步从ROI图像序列中剔 除那些被确定为不是头部图像的ROI图像，从而在保证低漏检率的同时提高了头部检测的 准确度，降低了复杂环境下的误检率。为了进一步提高在头部检测的准确度和降低误检率，以及为模式识别过程(例 如，图像和视频监控分析等)提供更丰富的检测信息，可以进一步对利用图1所示的方法 100获得的头部检测结果集进行分类处理，以确定经头部检测后确定的所谓“头部图像”是 正面头部图像、背面头部图像或侧面头部图像，还是实际上被错误地检测为“头部图像”的 非头部图像，从而可以去除在两次头部检测中可能出现的错误检测结果。图3示出了根据本发明实施例的、一种用于对利用如图1所示的方法100从输入 的原始图像中检测出的头部图像进行进一步的类别判断的方法300的示意性流程图。如图3所示，方法300的处理流程包括如图1所示的方法步骤S105 S155，并且 在步骤S155之后进行到步骤S310。在步骤S310中，对于从原始图像中利用图1所示的方法100检测确定的每一个 “头部图像”(即，原始图像中的、与在步骤S155中得到的头部检测结果集中的每一个图像 矩形框相对应的区域内的图像)，提取头部分类特征，例如由图像的颜色和纹理特征构成的 组合特征。然后，在步骤S320中，针对头部检测结果集中的每一个所谓“头部图像”，基于所 提取的头部分类特征，利用预先训练好的头部类别判断器，判断所谓的“头部图像”是正面 头部图像、背面头部图像或侧面头部图像，还是实际上被误检的非头部图像。接下来，在步骤S330中，输出头部类别判断结果。在方法300的一个示例中，可以使用局部二值模式(Local Binary Pattern,LBP) 特征或者Gabor特征来描述图像纹理特征，使用HSV颜色空间中的HS直方图特征(或者RGB 颜色空间中的RGB直方图特征)来描述图像颜色特征。这样，在步骤S310中，对头部检测 结果集中的每一个ROI图像分别提取LBP特征(或者Gabor特征)和HS直方图特征(或 者RGB直方图特征)，并将其组合得到ROI图像的组合特征，作为头部分类特征。其中，有关LBP特征的细节可以参见例如Timo Ojala、Matti PietikSinen和 Topi M^enpMS 所著的“ Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns" ( JAL IEEE Transactions on Pattern Analysis and Machine Intelligence，2002 年 7 月，第 24 卷，第 7 期，第 971 987 页)； 有关Gabor特征的细节可以参见例如I.Fogel和D. Sagi所著的“Gabor filters as texture discriminator，，(Biological Cybernetics, Springer 出片反社，第 61 卷第 102 113页，1989年)；有关RGB直方图特征的细节可以参见例如E.Ardizzone、M. La Cascia 禾口 D· Molinelli 所著的 “Motion and Color-Based Video Indexing and Retrieval，，(见 13th International Conference on Pattern Recognition (ICPRr 96)，1996 年，第 3 卷第135页)；有关HS直方图特征的细节可以参见例如SaWney，H.S.和HafnenJ.L.所著的 "Efficient Color Histogram Indexing，，(参见Proceedings of the IEEE International Conference on Image Processing 1994， ICIP-94))。图5示出了采用上述方法300对输入的原始图像进行两次头部检测然后再进行类 别判断而得到的结果。如图5中所示，在原始图像上用带有数字0 3的矩形框标识出经 上述头部检测后得到的头部检测结果及其类别判断结果，其中，0表示在经上述头部检测后 被确定为所谓“头部图像“中的、经上述头部类别判断后确定的非头部图像，1表示正面头 部图像，2表示侧面头部图像，3表示背面头部图像。下面结合图6和图7来描述如何从人体头部图像训练集中得到人体头部边缘模板 并将其划分为12个扇区的过程。图6示出了根据本发明实施例的一种用于从人体头部图像训练集中得到人体头 部边缘模板的方法600的示意性流程图，而图7示出了在利用图6所示的方法得到人体头 部边缘模板并对其进行扇区划分的过程所涉及的头部图像训练集及处理结果。如图6所示，在步骤S610中，接收头部图像训练集。在此，假设头部图像训练集中 包含N个具有指定图像大小(例如，32X32像素)的人体头部图像，例如如图7中的(a)所
7J\ ο然后，在步骤S620中，对于头部图像训练集中的每一个图像，计算图像中各个像 素点的图像梯度G。在该步骤中，计算像素点的图像梯度的方式与以上结合图1的步骤SllO 所描述的计算梯度的方式相同，因此为了说明书的简洁起见，在此就不再详述了。接下来，在步骤S630中，统计头部图像训练集中各个图像的梯度幅值在每一像素 点上出现的频率，并生成归一化的频率图像。具体而言，假设头部图像训练集中的所有N个图像在同一像素点位置A(x，y)上的 梯度幅值为Gradi (x, y)，其中i = 1,2, ...，N，则在生成的频率图像上的同一像素点位置 A(x,y)上的频率值如下所示
<formula>formula see original document page 15</formula>然后，按照下式对所得到的频率图像进行归一化，从而得到归一化的频率图像 -f(x ) f(x,y)-MIN(f(x,y))MAX(f(x, y)) _ MIN(f(x, y))
ο在图7的(b)中示出了如上所述对在图7的(a)中所示的头部图像训练集进行 处理后得到的归一化的频率图像。如图所示，在所生成的归一化的频率图像中，/(X,力的值 (在归一化的频率图像中反映为图像的灰度值)越大，表明在像素点位置(X，y)上图像梯 度出现的频率越大。接着参见图6，在步骤S640中，通过如下式所示对所生成的归一化的频率图像 /(U)进行二值化处理，得到头部边缘模板T(X，y)(其如图7中的(c)所示)<formula>formula see original document page 15</formula> 其中阈值Threshold通过下面的等式来确定
Threshold = W1* MAX(f(x, j；)) + W2 * MIN(f(x, y))，其中，W1和W2是权重值。在一个示例中，W1 = 0.8，W2 = 0.2。随后，在步骤S650中，如图7中的(d)所示的那样将步骤S640中得到的头部边缘 模板划分为12个扇区。通过对头部图像训练集中的人体头部图像的分析可以看出，人体头部图像中的头 部区域和肩部区域具有近似5 3的比例。因此，将头部边缘模板的上面5/8图像高度的 区域被视为头部区域，下面3/8图像高度的区域被视为肩部区域。如上所述假设模板的图 像大小为32X 32像素，因此头部区域高20个像素，而肩部区域高12个像素。然后，将头部 区域以头部边缘模板的中心0为原点、按照45°角划分为8个扇区，将肩部区域以头部边缘 模板的底部中心0’为原点、按照45°角划分为4个扇区。当然，也可以根据需要采用不同的扇区划分方式。例如，可以按照90°角将头部区 域划分为4个扇区，将肩部区域划分为2个扇区；或者可以按照22. 5°角将头部区域划分 为16个扇区，将肩部区域划分为8个扇区；等等。在根据本发明的一个应用示例中，以上所述的第一级头部检测器和第二级头部检 测器可以分别是基于TGF特征的支持向量机(Support Vector Machine, SVM)分类器和基 于形状特征(例如，HOG特征，图像距特征等)的SVM分类器，并且它们可以是预先利用头 部图像训练集(即，多个具有指定图像大小的、其中包含人体头部的图像)和非头部图像训 练集(例如，多个具有同样指定图像大小的、其中不包含人体头部的任意背景图像等)通过 分别计算TGF特征和形状特征来训练好的，分别用于基于ROI图像的TGF特征来检测确定 ROI图像是否为头部图像，以及用于基于ROI图像的形状特征来检测确定ROI图像是否为头 部图像。在这种情况下，以上结合图6和7所描述的生成头部边缘模板的过程可以在对SVM 分类器进行训练时执行。有关SVM分类器的更多细节可以参见例如N. Cristianini和J. Shawe-Taylor所 著的"An introduction to support Vector Machines and other kernel-based learning methods”(剑桥大学出版社，2000年3月，第一版，ISBN号为0521780195)，因此，在此为了 说明书的简洁起见就不再详述了。在根据本发明的另一个应用示例中，以上所述的头部类别判断器可以是一个基于 图像的纹理特征和颜色特征的多类SVM分类器，并且它可以是预先利用三种类别(正面、侧 面和背面)的头部图像训练集和非头部图像训练集训练好的，以便能够同时完成正面、侧 面、背面和非头部四个类别的分类判断。然而，本发明中的第一级头部检测器、第二级头部检测器和/或头部类别判断 器并不仅仅局限于SVM分类器，而是也可以使用其他的基于特征统计分布的分类器， 例如线性鉴别分析(linear discriminant analysis，LDA)分类器。有关LDA分类器 的细节可以参见例如 Geoffrey J. McLachlan 所著的"Discriminant Analysis and Statistical Pattern Recognition" (Wiley Interscience 出版社，2004 年 8 月，ISBN 号 为9780471691150)，因此，在此为了说明书的简洁起见就不再详述了。虽然以上结合图1 图7对根据本发明实施例的、对输入的图像或者视频中的人 体头部图像进行检测(以及根据需要还对检测结果进行进一步的类别判断)的方法的处理流程进行了描述，但是本领域技术人员应当明白，上述描述仅仅是示例性的，而且可以根据实际情况和需要对处理流程进行各种修改或改进而没有背离本发明的实质和范围。例如，在以上所述的根据本发明的应用示例中，可以定期地远程更新其中所使用 的第一和第二级头部检测器(例如，SVM分类器)的判别参数和/或头部边缘模板(及其 扇区划分方式)。其中，所述第一和第二级头部检测器的判别参数以及头部边缘模板可以由 产品供应商通过定期地更新头部检测器中用到的图像训练集并执行相应的处理(例如，重 新计算头部边缘模板和确定扇区划分方式，对头部检测器进行训练等)而得到，并定期地 提供给用户。当然，还可以有其他的修改或改进方式，在此就不再一一说明了。图8示出了根据本发明实施例的、用于从输入的待检测图像或视频中检测出头部 图像的头部检测设备800的示意性方框图。该头部检测设备800可以执行以上结合图1和 图2所描述的方法100。如图8所示，头部检测设备800包括两级头部检测器810和检测后处理器820。其 中，两级头部检测器810用于从输入的图像或者视频中经过两级头部检测而检测出其中包 含头部的头部图像。如图8所示，两级头部检测器810进一步包括R0I图像序列生成器811，ROI图像 序列生成器811用于基于所接收到的输入图像或视频，生成具有指定图像大小的ROI图像 序列；TGF特征提取器812，用于从所生成的ROI图像序列中所包含的每一个ROI图像中提 取TGF特征；第一级头部检测器813，用于针对每一个ROI图像，基于所提取的该ROI图像的 TGF特征执行第一级头部检测，以确定该ROI图像是否为头部图像；形状特征提取器814， 用于从经第一级头部检测后被确定为头部图像的每一个ROI图像中提取形状特征(例如， HOG特征、图像距特征等)；第二级头部检测器813，用于针对经第一级头部检测后被确定为 头部图像的每一个ROI图像，基于所提取的该ROI图像的形状特征执行第二级头部检测，以 确定该ROI图像是否为头部图像；以及头部图像候选集存储器816，用于存储被第二级头部 检测器813确定为是头部图像的ROI图像(也可以将其称之为正例ROI图像)，例如，可以 存储该ROI图像在原始图像上的位置P = (x, y，w, h)等。检测后处理器820用于将头部图像候选集中存储的正例ROI图像依据其在原始图 像上的位置而划分为T个子集，计算每一个子集中的每个正例ROI图像的TGF特征的范数， 并确定出每一个子集中TGF特征的范数最大的那个正例ROI图像，即为在该子集中的所检 测到的头部图像，从而可以得到头部检测结果集。由于在上文中已经参照方法的流程图对两级头部检测器810中的各个装置或模 块以及检测后处理器820的具体处理过程进行了描述，因此，在此为了避免重复，就不再对 它们的操作和处理过程进行详述了。在头部检测设备800的一个应用示例中，如上所述，第一级头部检测器813和第二 级头部检测器814可以分别是预先训练好的、基于TGF特征的统计分布的分类器(例如， SVM分类器、LDA分类器等)和基于形状特征的统计分布的分类器(例如，SVM分类器、LDA 分类器等)。图9示出了根据本发明实施例的、用于从输入的待检测图像或视频中检测出头部 图像并对其进行进一步的类别判断的头部检测及类别判断设备900的示意性方框图。该头 部检测及类别判断设备900可以执行以上结合图3所描述的方法300。
如图9所示，头部检测及类别判断设备900包括两级头部检测器910，检测后处 理器920，头部分类特征提取器930，以及头部类别判断器940。其中，两级头部检测器910 和检测后处理器920可以分别与参考图8所描述的两级头部检测器810和检测后处理器 820具有相同的结构和功能，因此在此也不再详述了。头部分类特征提取器930用于针对从输入的图像或者视频中经过两级头部检测器910和检测后处理器920检测确定的每一个“头部图像”，提取头部分类特征，例如由图像 的颜色和纹理特征构成的组合特征。头部类别判断器940用于针对所述每一个“头部图像”，基于所提取的头部分类特 征，判断该“头部图像”是正面头部图像、背面头部图像或侧面头部图像，还是实际上被误检 的非头部图像。由于在上文中已经参照方法的流程图对头部分类特征提取器930和头部类别判 断器940的具体处理过程进行了描述，因此，在此为了避免重复，就不再对它们的操作和处 理过程进行详述了。其中，所述图像纹理特征可以使用LBP特征或者Gabor特征，而图像颜色特征可以 使用HSV颜色空间中的HS直方图特征或者RGB颜色空间中的RGB直方图特征。然而，显然 本发明的原理不仅仅局限于此。在头部检测及类别判断设备900的一个应用示例中，如上所述，头部类别判断器 940可以是一个基于图像的纹理特征和颜色特征的多类SVM分类器，并且它可以是预先利 用三种类别(正面、侧面和背面)的头部图像训练集和非头部图像训练集训练好的，能够同 时完成正面、侧面、背面和非头部四个类别的分类判断。在以上所描述的根据本发明实施例的方法和/或设备中，所述输入图像可以是任 何图像格式的静态图像或动态图像。另外，虽然在上文中结合附图对根据本发明实施例的、用于从输入的图像或者视 频中检测出人体头部图像(并根据需要对其进行进一步的头部类别判断)的方法和/或设 备进行了描述，但是本领域技术人员应当明白，本发明的原理不仅仅局限于对人体的头部 图像进行检测和类别判断，而是可以适用于对所有动物的头部图像进行检测(并根据需要 进行类别判断)，只要预先存储有动物的头部图像的头部边缘模板及其划分方式、并且预先 利用动物的头部图像训练集和非头部图像训练集将所述第一和第二级头部检测器以及头 部类别判断器训练好了即可。通过以上的描述不难看出，在根据本发明实施例的头部检测方法和/或设备中， 通过基于TGF特征的第一次头部检测，可以快速地从ROI图像序列中剔除大量明显的非头 部图像，然后通过对被确定为头部图像的ROI图像进行基于形状特征的第二次头部检测， 可以进一步从ROI图像序列中剔除那些被确定为不是头部图像的ROI图像，从而在保证低 漏检率的同时提高了头部检测的准确度，降低了复杂环境下的误检率。另外，在根据本发明实施例的头部检测及类别判断方法和/或设备中，在后的头 部类别判断过程对经过在先的两级头部检测过程得到的头部检测结果采用不信任机制，通 过提取图像的、与两级头部检测过程中所使用的TGF特征和形状特征构成互补的纹理和颜 色特征，对头部检测的正例结果进行进一步的验证和分类，因此进一步提高了头部检测的 准确度，降低了误检率，而且可以提供更为丰富的检测信息(即，头部类别信息)。
通过阅读以上关于根据本发明原理的方法和/或设备的描述，它们的其他更多优点将会是显然的，在此就不再一一赘述了。此外，显然，根据本发明的上述方法的各个操作过程也可以以存储在各种机器可 读的存储介质中的计算机可执行程序的方式实现。本发明的目的也可以通过下述方式实现将存储有上述可执行程序代码的存储 介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元 (CPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本发 明的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执 行的程序或者提供给操作系统的脚本程序等。另外，所述用于实现本发明的程序也可以例如采用一个或更多个信号的形式，所 述信号可以是可从互联网站点下载的数据信号，或是在载波信号上提供的数据信号，或是 以任何其它形式的数据信号。此外，例如图10所示的通用个人计算机700之类的计算机通过连接到互联网上的 相应网站，并且将依据本发明的计算机程序代码下载和安装到计算机中然后执行该程序， 也可以实现本发明。图10是示出了在其中可以实现根据本发明实施例的方法和/或设备的通用个人 计算机700的示例性结构的框图。如图10所示，中央处理单元(CPU)701根据只读存储器 (ROM) 702中存储的程序或从存储部分708加载到随机存取存储器(RAM) 703中的程序执行 各种处理。在RAM703中，也根据需要存储当CPU 701执行各种处理等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口 705也连 接到总线704。下述部件连接到输入/输出接口 705 输入部分706，包括键盘、鼠标等等；输出部 分707，包括显示器，比如阴极射线管(CRT)和液晶显示器(LCD)等，以及扬声器等；存储部 分708，包括硬盘等；以及通信部分709，其包括网络接口卡比如LAN(局域网)卡、调制解调 器等。通信部分709经由网络、例如互联网执行通信处理。根据需要，驱动器710也连接到输入/输出接口 705。可拆卸介质711比如磁盘、 光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机 程序根据需要被安装到存储部分708中。在如上所述通过软件实现本发明的情况下，从网络、例如互联网或者存储介质、例 如可拆卸介质711中向计算机700中安装所述软件的程序。本领域的技术人员应当理解，上述存储介质不局限于图10所示的其中存储有程 序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子可以 包含磁盘(包含软盘)、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光 盘(包含迷你盘(MD)和半导体存储器等。或者，存储介质也可以是ROM 702、存储部分708 中包含的硬盘等，其中存有程序，并且与包含它们的设备一起被分发给用户。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺 序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。最后，还需要说明的是，在本文中，诸如左和右、第一和第二等之类的关系术语仅 仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其 他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不 仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、
物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的
要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实 施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可 以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的 范围仅由所附的权利要求及其等效含义来限定。
权利要求
一种用于从输入的原始图像中检测出原始图像中所包含的头部图像的头部检测方法，包括以下步骤基于原始图像生成具有多个指定图像大小的扫描检测窗口(ROI)图像，从而得到ROI图像序列；从ROI图像序列中所包含的每一个ROI图像中提取基于模板的梯度特征(TGF)；针对每一个ROI图像，基于所提取的该ROI图像的TGF特征执行第一级头部检测，以确定该ROI图像是否为头部图像；从经过第一级头部检测被确定为头部图像的每一个ROI图像中提取形状特征；针对经第一级头部检测后被确定为头部图像的每一个ROI图像，基于所提取的该ROI图像的形状特征，执行第二级头部检测，以确定该ROI图像是否为头部图像；在头部图像候选集中存储经过第二级头部检测被确定为是头部图像的ROI图像；以及对头部图像候选集中存储的ROI图像进行后处理，以基于ROI图像的TGF特征确定原始图像中所包含的头部图像，其中，ROI图像的TGF特征通过以下方式获得以与预先存储的头部边缘模板相同的扇区划分方式对该ROI图像进行扇区划分，计算每一个扇区内的每一个像素点的图像梯度在从扇区划分中心点到该像素点的方向向量上的投影并求和，然后将得到的各个扇区的梯度投影之和组合成一个向量，即为TGF特征。
2.根据权利要求1所述的头部检测方法，其中，所述ROI图像序列通过以下方式生成 按照从左至右、从上至下的顺序，以每次预定像素数目的步长，从以预定缩放比例对原始图像进行缩放后的图像中依次截取具有指定图像大小的ROI图像，从而得到ROI图像序 列。
3.根据权利要求1或2所述的头部检测方法，其中，在所述后处理步骤中通过以下方式 确定原始图像中所包含的头部图像将头部图像候选集中所存储的ROI图像依据其在原始图像上的位置而划分为T个子 集，计算每一个子集中的每个ROI图像的TGF特征的范数，确定每一个子集中TGF特征的范 数最大的那个ROI图像，即为在该子集中的所检测到的头部图像，从而检测和确定出原始 图像中所包含的头部图像。
4.根据权利要求1至3中任何一项所述的头部检测方法，其中，第一级头部检测是利用 预先训练好的、基于TGF特征的统计分布的分类器来执行的。
5.根据权利要求4所述的头部检测方法，其中，所述基于TGF特征的统计分布的分类 器是支持向量机(SVM)分类器或线性鉴别分析(LDA)分类器，是预先利用头部图像训练集 和非头部图像训练集通过计算TGF特征来训练的，用于基于ROI图像的TGF特征来确定ROI 图像是否为头部图像。
6.根据权利要求1至5中任何一项所述的头部检测方法，其中，第二级头部检测是利用 预先训练好的、基于形状特征的统计分布的分类器来执行的。
7.根据权利要求6所述的头部检测方法，其中，所述基于形状特征的统计分布的分类 器是SVM分类器或LDA分类器，是预先利用头部图像训练集和非头部图像训练集通过计算 形状特征来训练的，用于基于ROI图像的形状特征来确定ROI图像是否为头部图像，以及其中所述形状特征是梯度直方图(HOG)特征或图像距特征。
8.根据权利要求1至7中任何一项所述的头部检测方法，其中，所述原始图像是输入的 静态图像或动态图像，或者是从输入的视频中提取的帧图像。
9.根据权利要求1至8中任何一项所述的头部检测方法，其中，所述头部边缘模板是预 先通过以下方式从头部图像训练集得到的对于头部图像训练集中的每一个图像，计算图像中各个像素点的图像梯度，统计各个 图像的梯度幅值在每一像素点上出现的频率，并生成归一化的频率图像，然后对归一化的 频率图像进行二值化处理，从而得到头部边缘模板。
10.根据权利要求9所述的头部检测方法，其中，所述头部边缘模板具有如下的扇区划分按照预定比例将头部边缘模板划分为位于上部的头部区域和位于下部的肩部区域，头 部区域被以头部边缘模板的中心为原点按照预定角度划分为多个扇区，而肩部区域被以头 部边缘模板的底部中心为原点按照所述预定角度划分为多个扇区。
11.根据权利要求1至10中任何一项所述的头部检测方法，进一步包括定期地远程更新所述头部边缘模板及其扇区划分方式、所述第一级头部检测器的判别 参数、和所述第二级头部检测器的判别参数中的一个或者多个。
12.一种用于从输入的原始图像中检测出原始图像中所包含的头部图像的头部检测设 备，包括两级头部检测器和检测后处理器，其中，所述两级头部检测器进一步包括扫描检测窗口(ROI)图像序列生成器，用于基于原始图像生成具有多个指定图像大小 的ROI图像，从而得到ROI图像序列；基于模板的梯度特征(TGF)提取器，用于从ROI图像序列中所包含的每一个ROI图像 中提取TGF特征；第一级头部检测器，用于针对每一个ROI图像，基于所提取的该ROI图像的TGF特征执 行第一级头部检测，以确定该ROI图像是否为头部图像；形状特征提取器，用于从被第一级头部检测器确定为头部图像的每一个ROI图像中提 取形状特征；第二级头部检测器，用于针对被第一级头部检测器确定为头部图像的每一个ROI图 像，基于所提取的该ROI图像的形状特征，执行第二级头部检测，以确定该ROI图像是否为 头部图像；以及头部图像候选集存储器，用于存储被第二级头部检测器确定为是头部图像的ROI图像，所述检测后处理器用于对头部图像候选集存储器中存储的ROI图像进行后处理，以基 于ROI图像的TGF特征确定原始图像中所包含的头部图像，其中，所述TGF特征提取器通过以下方式提取ROI图像的TGF特征以与预先存储的头 部边缘模板相同的扇区划分方式对该ROI图像进行扇区划分，计算每一个扇区内的每一个 像素点的图像梯度在从扇区划分中心点到该像素点的方向向量上的投影并求和，然后将得 到的各个扇区的梯度投影之和组合成一个向量，即为TGF特征。
13.根据权利要求12所述的头部检测设备，其中，所述ROI图像序列生成器通过以下方 式生成ROI图像序列按照从左至右、从上至下的顺序，以每次预定像素数目的步长，从以预定缩放比例对原 始图像进行缩放后的图像中依次截取具有指定图像大小的ROI图像，从而得到ROI图像序 列。
14.根据权利要求12或13所述的头部检测设备，其中，所述检测后处理器通过以下方 式确定原始图像中所包含的头部图像将头部图像候选集存储器中所存储的ROI图像依据其在原始图像上的位置而划分为T 个子集，计算每一个子集中的每个ROI图像的TGF特征的范数，确定每一个子集中TGF特征 的范数最大的那个ROI图像，即为在该子集中的所检测到的头部图像，从而检测和确定出 原始图像中所包含的头部图像。
15.根据权利要求12至14中任何一项所述的头部检测设备，其中，所述第一级头部检 测器是预先训练好的、基于TGF特征的统计分布的分类器。
16.根据权利要求15所述的头部检测设备，其中，所述基于TGF特征的统计分布的分 类器是支持向量机(SVM)分类器或线性鉴别分析(LDA)分类器，是预先利用头部图像训练 集和非头部图像训练集通过计算TGF特征来训练的，用于基于ROI图像的TGF特征来确定 ROI图像是否为头部图像。
17.根据权利要求12至16中任何一项所述的头部检测设备，其中，所述第二级头部检 测器是预先训练好的、基于形状特征的统计分布的分类器。
18.根据权利要求17所述的头部检测设备，其中，所述基于形状特征的统计分布的分 类器是SVM分类器或LDA分类器，是预先利用头部图像训练集和非头部图像训练集通过计 算形状特征来训练的，用于基于ROI图像的形状特征来确定ROI图像是否为头部图像，以及其中所述形状特征是梯度直方图(HOG)特征或图像距特征。
19.根据权利要求12至18中任何一项所述的头部检测设备，其中，所述原始图像是输 入的静态图像或动态图像，或者是从输入的视频中提取的帧图像。
20.根据权利要求12至19中任何一项所述的头部检测设备，其中，所述头部边缘模板 是预先通过以下方式从头部图像训练集得到的对于头部图像训练集中的每一个图像，计算图像中各个像素点的图像梯度，统计各个 图像的梯度幅值在每一像素点上出现的频率，并生成归一化的频率图像，然后对归一化的 频率图像进行二值化处理，从而得到头部边缘模板。
21.根据权利要求20所述的头部检测设备，其中，所述头部边缘模板具有如下的扇区 划分按照预定比例将头部边缘模板划分为位于上部的头部区域和位于下部的肩部区域，头 部区域被以头部边缘模板的中心为原点按照预定角度划分为多个扇区，而肩部区域被以头 部边缘模板的底部中心为原点按照所述预定角度划分为多个扇区。
22.根据权利要求12至21中任何一项所述的头部检测设备，其中，所述头部边缘模板 及其扇区划分方式、所述第一级头部检测器的判别参数和所述第二级头部检测器的判别参 数中的一个或者多个被定期地远程更新。
23.一种用于对利用根据权利要求1至11中任何一项所述的头部检测方法从输入的原 始图像中检测出的头部图像进行类别判断的头部检测及类别判断方法，包括以下步骤对于利用根据权利要求1至11中任何一项所述的头部检测方法从输入的原始图像中检测出的头部图像中的每一个图像，提取由图像的颜色和纹理特征构成的头部分类特征；以及基于所提取的头部分类特征，利用预先训练好的头部类别判断器，判断该图像是正面 头部图像、背面头部图像或侧面头部图像，还是被所述头部检测方法误检为头部图像的非 头部图像。
24.根据权利要求23所述的头部检测及类别判断方法，其中，所述纹理特征是局部二 值模式(LBP)特征或者Gabor特征。
25.根据权利要求23或24所述的头部检测及类别判断方法，其中，所述颜色特征是 HSV颜色空间中的HS直方图特征或者RGB颜色空间中的RGB直方图特征。
26.根据权利要求23至25中任何一项所述的头部检测及类别判断方法，其中，所述头 部类别判断器是预先训练好的、基于图像的纹理和颜色特征的统计分布的多类分类器。
27.根据权利要求23至26中任何一项所述的头部检测及类别判断方法，其中，所述多 类分类器是多类SVM分类器或多类LDA分类器，是预先利用正面、侧面和背面三类的头部图 像训练集和非头部图像训练集、通过计算所述纹理和颜色特征来训练的，能够同时完成正 面头部图像、侧面头部图像、背面头部图像和非头部图像四个类别的分类判断。
28.根据权利要求23至26中任何一项所述的头部检测及类别判断方法，进一步包括定期地远程更新所述头部类别判断器的判别参数。
29.一种用于经过两级头部检测从输入的原始图像中检测出头部图像并对检测出的头 部图像进行类别判断的头部检测及类别判断装置，包括根据权利要求12至22中任何一项所述的、用于从输入的原始图像中检测出头部图像 的头部检测设备；头部分类特征提取器，用于从所述头部检测设备所检测出的头部图像中的每一个图像 中提取由图像的颜色和纹理特征构成的头部分类特征；以及头部类别判断器，用于针对所述头部检测设备所检测出的头部图像中的每一个图像， 基于所提取的该图像的头部分类特征，判断该图像是正面头部图像、背面头部图像或侧面 头部图像，还是被所述头部检测设备误检为头部图像的非头部图像。
30.根据权利要求29所述的头部检测及类别判断装置，其中，所述纹理特征是局部二 值模式(LBP)特征或者Gabor特征。
31.根据权利要求29或30所述的头部检测及类别判断装置，其中，所述颜色特征是 HSV颜色空间中的HS直方图特征或者RGB颜色空间中的RGB直方图特征。
32.根据权利要求29至31中任何一项所述的头部检测及类别判断装置，其中，所述头 部类别判断器是预先训练好的、基于图像的纹理和颜色特征的统计分布的多类分类器。
33.根据权利要求29至32中任何一项所述的头部检测及类别判断装置，其中，所述多 类分类器是多类SVM分类器或多类LDA分类器，是预先利用正面、侧面和背面三类的头部图 像训练集和非头部图像训练集、通过计算所述纹理和颜色特征来训练的，能够同时完成正 面头部图像、侧面头部图像、背面头部图像和非头部图像四个类别的分类判断。
34.根据权利要求29至33中任何一项所述的头部检测及类别判断装置，其中，所述头 部类别判断器的判别参数被定期地远程更新。
35.一种计算机可读存储介质，其上存储有用于执行根据权利要求1至11中的任何一项所述的头部检测方法或根据权利要求23至28中的任何一项所述的头部检测及类别判断方法的计算机程序。
全文摘要
公开了用于从输入的原始图像中检测出其中包含的头部图像的头部检测方法和设备，以及用于从输入的原始图像中检测出其中包含的头部图像并对其进行类别判断的头部检测及类别判断方法和设备。根据本发明的实施例，通过基于TGF特征的第一级头部检测快速地剔除原始图像中包含的明显不是头部图像的ROI图像，然后通过基于形状特征的第二级头部检测，从其余的ROI图像中确定出头部图像。此外，还可以根据需要对经过两级头部检测后被确定为是头部图像的ROI图像进行进一步的验证和类别判断，从而确定这些ROI图像是正面、侧面或背面头部图像，还是实际上被误检为头部图像的非头部图像。根据本发明，可以在保证低漏检率的同时提高头部检测的准确度，降低误检率。
文档编号G06K9/62GK101826150SQ20091011784
公开日2010年9月8日 申请日期2009年3月6日 优先权日2009年3月6日
发明者吴伟国, 李亮 申请人:索尼株式会社