专利名称：主动行为检测方法和装置的制作方法
技术领域：
本发明总体上涉及图像检测技术，更具体而言，涉及一种主动行为检测方法和装置。
背景技术：
图像检测技术已广泛应用于多个领域，例如视频监控。目前，已经开发出在监控场景下检测视频图像中的人体的姿势的多种技术。从图像中检测出人体的特定行为的需求日益增强
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于现有技术的上述情形，本发明的目的是提供主动行为检测方法和装置，以满足从图像中检测出人体的特定行为的需求。在本文中，主动行为指的是人体的四肢中的至少一个离开人体的躯干的行为。为了实现上述目的，根据本发明的一个方面，提供了一种主动行为检测方法，包括从输入图像中获取人体区域；在人体区域中估计人体的躯干方向；提取人体区域的运动特征；在人体区域中，在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对运动特征进行加权，以突出人体的四肢中的所述至少一个的运动；以及根据人体区域的加权后的运动特征确定人体区域中是否存在主动行为。根据本发明的另一个方面，提供了一种主动行为检测装置，包括人体区域获取单元，被配置为从输入图像中获取人体区域；躯干方向估计单元，被配置为在人体区域中估计人体的躯干方向；运动特征提取单元，被配置为提取人体区域的运动特征；运动特征加权单元，被配置为在人体区域中，在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对运动特征进行加权，以突出人体的四肢中的所述至少一个的运动；以及主动行为判定单元，被配置为根据人体区域的加权后的运动特征确定人体区域中是否存在主动行为。根据本发明的主动行为检测方法和装置，通过在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对人体区域的运动特征进行加权，突出了人体的四肢中的至少一个的运动，相应地抑制了人体的其他部分的运动，由此能够较为准确地从图像中检测出人体的四肢中的所述至少一个离开人体的躯干的行为，即主动行为。
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中图I示出根据本发明的一个实施例的主动行为检测方法的流程图；图2a示出输入图像的示例；图2b示出输入图像中的人体区域的示例；图3示出人体区域的前景图像的示例；图4示出人体区域中的人体的躯干方向的示例；图5示出人体区域的运动历史图像的示例；·
图6示出根据本发明的一个实施例的加权步骤的流程图；图7a示出前景图像的投影分布的示例；图7b示出对前景图像的投影分布进行正态分布曲线拟合的示例；图7c示出根据本发明的一个实施例的加权曲线的示例；图8a示出加权前的运动特征图像的示例；图8b示出加权后的运动特征图像的示例；图9示出对前景图像的投影分布进行三次曲线拟合的示例；图10示出了根据本发明的另一个实施例的主动行为检测方法的流程图；图11示出了根据本发明的一个实施例的主动行为检测装置的示意性框图；图12示出了根据本发明的一个实施例的躯干方向估计单元的示意性框图；图13示出了根据本发明的一个实施例的运动特征提取单元的示意性框图；图14示出了根据本发明的另一个实施例的运动特征提取单元的示意性框图；图15示出了根据本发明的一个实施例的运动特征加权单元的示意性框图；图16示出了根据本发明的一个实施例的加权曲线获取单元的示意性框图；图17示出了根据本发明的另一个实施例的加权曲线获取单元的示意性框图；图18示出了根据本发明的一个实施例的主动行为判断单元的示意性框图；图19示出了根据本发明的另一个实施例的主动行为检测装置的示意性框图；以及图20示出了可用于实施根据本发明实施例的主动行为检测方法和装置的计算机的示意性框图。
具体实施例方式下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。鉴于现有技术的上述情形，本申请的发明人构思了一种主动行为检测方法和装置，以便从输入图像中检测人体的主动行为。在本文中，主动行为是人体的四肢中的至少一个离开人体的躯干的行为。另外，输入图像是指可能包含人体的人体图像，其可以是诸如图片的静止图像或诸如视频的动态图像。另外，在实际应用中，本发明的方法和装置往往应用于一组输入图像，该组输入图像是按时间顺序拍摄的多个静止图像，或者是一段视频中的多帧动态图像。下面将参考附图1-10详细描述根据本发明实施例的主动行为检测方法。图I示出根据本发明的一个实施例的主动行为检测方法的流程图。如图10所示，首先，在步骤SllO中，从输入图像中获取人体区域。例如，可以使用现有的人体检测和跟踪方法，从图像中提取出包含人体的区域，作为人体区域。图像中的 人体区域可以通过在原始图像上添加的矩形框来指示。例如，矩形框可以被表示为[Xtl y0 W h]，其中Xtl表示矩形框左上角的横坐标，Y0表示矩形框左上角的纵坐标，w表示矩形框的宽度，h表示矩形框的高度。为了方便理解，图2a示出输入图像的示例。在图2a中，图像中的矩形框示出了人体区域。图2b单独示出图2a中的人体区域。返回到图1，在步骤S120中，在人体区域中估计人体的躯干方向。可以使用现有的任何适合的目标方向估计方法来估计人体的躯干方向。作为示例而不是限制，这里描述使用二维主成分分析(Primary Component Analysis, PCA)方法来估计人体的躯干方向的示例。在该示例中，首先获取人体区域的前景图像(Foreground Image,FI),然后使用二维主成分分析方法来计算前景图像中构成前景的像素集的主方向，作为人体的躯干方向。以下具体描述该示例。(I)提取人体区域内的前景图像。可以采用现有的适当的前景图像提取方法来提取人体区域的前景图像。例如，可以采用背景去除方法，如帧差法、背景差法等，从人体区域内去除背景、提取前景图像。在前景图像中，每个像素的亮度(即像素值)可以表示为
权利要求
1.一种主动行为检测方法，所述主动行为是人体的四肢中的至少一个离开人体的躯干的行为，所述方法包括 从输入图像中获取人体区域； 在所述人体区域中估计人体的躯干方向； 提取所述人体区域的运动特征； 在所述人体区域中，在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对所述运动特征进行加权，以突出人体的四肢中的所述至少一个的运动；以及 根据所述人体区域的加权后的运动特征确定所述人体区域中是否存在主动行为。
2.根据权利要求I的主动行为检测方法，其中，在所述人体区域中估计人体的躯干方向包括 获取所述人体区域的前景图像；以及 使用二维主成分分析方法计算所述人体区域的前景图像中构成前景的像素集的主方向，作为所述人体区域中的人体的躯干方向。
3.根据权利要求I的主动行为检测方法，其中，提取所述人体区域的运动特征包括 获取所述人体区域的运动历史图像或者运动矢量图像作为所述人体区域的运动特征图像；以及 以所述运动特征图像中的像素值组成的一维向量作为所述人体区域的运动特征向量，以及 其中，对所述运动特征进行加权包括对所述运动特征向量进行加权。
4.根据权利要求3的主动行为检测方法，其中，在获取所述运动特征图像之后，还包括将所述人体区域的运动特征图像归一化为预定大小的运动特征图像， 其中，以归一化的所述运动特征图像中的像素值组成的一维向量作为所述人体区域的运动特征向量。
5.根据权利要求I的主动行为检测方法,其中,对所述运动特征进行加权包括 获取所述人体区域的前景图像； 根据所述人体区域的前景图像的像素值在与所述人体区域中的人体的躯干方向垂直的方向上的分布来构造加权曲线；以及 使用所述加权曲线对所述人体区域的运动特征进行加权。
6.根据权利要求5的主动行为检测方法，其中，构造加权曲线包括 对所述分布进行正态分布曲线拟合，以得到第一正态分布曲线；以及 分别构造以下正态分布曲线中的一个或多个，作为所述加权曲线 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的横坐标与所述第一正态分布曲线的方差的差作为均值的第二正态分布曲线； 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的横坐标与所述第一正态分布曲线的方差的和作为均值的第三正态分布曲线； 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的差作为均值的第四正态分布曲线；以及 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的和作为均值的第五正态分布曲线， 其中，所述第二和第三正态分布曲线用作在与人体的躯干方向垂直的方向上的加权曲线，所述第四和第五正态分布曲线用作在与人体的躯干方向平行的方向上的加权曲线。
7.根据权利要求5的主动行为检测方法，其中，构造加权曲线包括对所述分布进行三次曲线拟合，以得到第一三次曲线 f(X)= 2 I ^ ’ X 一 bx 七 c 其中b是所述第一三次曲线的对称中心点的横坐标，C是所述第一三次曲线的陡峭因子；以及 分别构造以下三次曲线中的一个或多个，作为所述加权曲线 以所述第一三次曲线的陡峭因子C作为陡峭因子，以所述人体区域中的前景的中心点的横坐标与的差作为中心点的横坐标的第二三次曲线； 2V3 以所述第一三次曲线的陡峭因子c作为陡峭因子，以所述人体区域中的前景的中心点的横坐标与的和作为中心点的横坐标的第三三次曲线； 2\3 以所述第一三次曲线的陡峭因子c作为陡峭因子，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的差作为中心点的横坐标的第四三次曲线；以及 以所述第一三次曲线的陡峭因子C作为陡峭因子，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的和作为中心点的横坐标的第五三次曲线，其中，所述第二和第三三次曲线用作在与人体的躯干方向垂直的方向上的加权曲线，所述第四和第五三次曲线用作在与人体的躯干方向平行的方向上的加权曲线。
8.根据权利要求I的主动行为检测方法,还包括 使用由多个包含主动行为的图像和多个包含非主动行为的图像组成的图像集来训练主动行为分类器；以及 将所述人体区域的加权后的运动特征输入所述主动行为分类器，以使用所述主动行为分类器来确定所述人体区域中是否存在主动行为。
9.根据权利要求I的主动行为检测方法,还包括 从所述人体区域中检测出人体的姿势。
10.一种主动行为检测装置，所述主动行为是人体的四肢中的至少一个离开人体的躯干的行为，所述装置包括 人体区域获取单元，被配置为从输入图像中获取人体区域； 躯干方向估计单元，被配置为在所述人体区域中估计人体的躯干方向； 运动特征提取单元，被配置为提取所述人体区域的运动特征； 运动特征加权单元，被配置为在所述人体区域中，在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对所述运动特征进行加权，以突出人体的四肢中的所述至少一个的运动；以及 主动行为判定单元，被配置为根据所述人体区域的加权后的运动特征确定所述人体区域中是否存在主动行为。
11.根据权利要求10的主动行为检测装置，其中，所述躯干方向估计单元包括 前景图像获取单元，被配置为获取所述人体区域的前景图像；以及 主方向计算单元，被配置为使用二维主成分分析方法计算所述人体区域的前景图像中构成前景的像素集的主方向，作为所述人体区域中的人体的躯干方向。
12.根据权利要求10的主动行为检测装置，其中，所述运动特征提取单元包括 运动特征图像获取单元，被配置为获取所述人体区域的运动历史图像或者运动矢量图像作为所述人体区域的运动特征图像；以及 运动特征向量获取单元，被配置为以所述运动特征图像中的像素值组成的一维向量作为所述人体区域的运动特征向量，以及 其中，所述运动特征加权单元进一步被配置为对所述运动特征向量进行加权。
13.根据权利要求12的主动行为检测装置，其中，所述运动特征提取单元还包括 归一化单元，被配置为将所述人体区域的运动特征图像归一化为预定大小的运动特征图像，以及 其中，所述运动特征向量获取单元进一步被配置为以归一化的所述运动特征图像中的像素值组成的一维向量作为所述人体区域的运动特征向量。
14.根据权利要求10的主动行为检测装置，其中，所述运动特征加权单元包括 前景图像获取单元，被配置为获取所述人体区域的前景图像； 加权曲线获取单元，被配置为根据所述人体区域的前景图像的像素值在与所述人体区域中的人体的躯干方向垂直的方向上的分布来构造加权曲线；以及 加权单元，被配置为使用所述加权曲线对所述人体区域的运动特征进行加权。
15.根据权利要求14的主动行为检测装置，其中，所述加权曲线获取单元包括 分布曲线获取单元，被配置为对所述分布进行正态分布曲线拟合，以得到第一正态分布曲线；以及 加权曲线构造单元，被配置为分别构造以下正态分布曲线中的一个或多个，作为所述加权曲线 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的横坐标与所述第一正态分布曲线的方差的差作为均值的第二正态分布曲线； 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的横坐标与所述第一正态分布曲线的方差的和作为均值的第三正态分布曲线； 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的差作为均值的第四正态分布曲线；以及 以所述第一正态分布曲线的方差作为方差，以所述人体区域中的前景的中心点的纵坐标与所述人体区域的高度的四分之一的和作为均值的第五正态分布曲线， 其中，所述第二和第三正态分布曲线用作在与人体的躯干方向垂直的方向上的加权曲线，所述第四和第五正态分布曲线用作在与人体的躯干方向平行的方向上的加权曲线。
16.根据权利要求14的主动行为检测装置，其中，所述加权曲线获取单元包括 分布曲线获取单元，被配置为对所述分布进行三次曲线拟合，以得到第一三次曲线
17.根据权利要求10的主动行为检测装置，其中，所述主动行为判定单元包括 使用由多个包含主动行为的图像和多个包含非主动行为的图像组成的图像集来训练的主动行为分类器， 其中，所述运动特征加权单元将所述人体区域的加权后的运动特征输入所述主动行为分类器，并且所述主动行为分类器根据所述运动特征确定所述人体区域中是否存在主动行为。
18.根据权利要求10的主动行为检测装置，还包括 姿势检测单元，被配置为从所述人体区域中检测出人体的姿势。
全文摘要
本发明公开一种主动行为检测方法和装置。所述主动行为检测方法包括从输入图像中获取人体区域；在人体区域中估计人体的躯干方向；提取人体区域的运动特征；在人体区域中，在与人体的躯干方向平行的方向和与人体的躯干方向垂直的方向中的至少一个上对运动特征进行加权，以突出人体的四肢中的所述至少一个的运动；以及根据人体区域的加权后的运动特征确定人体区域中是否存在主动行为。根据本发明的主动行为检测方法和装置能够较为准确地从图像中检测出人体的四肢中的至少一个离开人体的躯干的行为，即主动行为。
文档编号G06K9/62GK102831383SQ20111016673
公开日2012年12月19日 申请日期2011年6月13日 优先权日2011年6月13日
发明者李亮, 吴伟国 申请人:索尼公司