一种鲁棒的时空域的人体特征提取方法
【专利摘要】本发明公开了一种鲁棒的时空域的人体特征提取方法。输入一组包含人体数据的视频，从中选择一个时空体；计算时空体每帧图像的梯度，得到梯度时空体；根据方向量化步长和，对梯度时空体进行方向划分，获得方向不同的通道；根据空间量化步长，对每个通道进行空间划分；对于每个通道，计算其特征描述子；将所有通道的特征描述子串接起来，形成一组特征描述子。按照不同的步长调节参数、和，重复上述步骤，直到生成预设组数的具有不同描述能力的特征描述子。本发明显著提高了人体检测的鲁棒性，在一定程度上解决了低信噪比的问题。
【专利说明】一种鲁棒的时空域的人体特征提取方法
【技术领域】
[0001]本发明涉及计算机视觉和模式识别领域，更具体地说，涉及一种时空域的综合利用外观信息和运动信息的多层次描述的人体特征提取方法。
【背景技术】[0002]人体检测是指在输人图像或者视频序列中确定所有人体的位置及大小的过程。计算机可以进一步实现对于人的行为进行响应，最终实现人机交互或者计算机自动处理识别的目的。有效的特征提取方法可以显著提升人体检测器的鲁棒性以及减少虚警。
[0003]根据特征类型的不同，可以分为基于灰度的特征和基于梯度的特征以及基于多特征融合的方法。对于人体外观存在的差异，很多研究结果表明，基于梯度的人体表达方式较基于灰度的表达方式对于光照等变化具有更好的鲁棒性。而相对近期的很多研究结果表明，基于梯度统计信息的方法对于边缘的平移和旋转具有更好的鲁棒性，因此基于梯度统计的方法在人体检测方面取得了很好的效果。例如=Lowe提出了著名的尺度不变描述子(Scale-1nvariant Feature Transform, SIFT)进行物体检测；Wu等阐述了基于统计抽象程度的多层次表达方式的思想。
[0004]人体检测中的难点问题主要是人体数据本身具有较大的类内散度。这种大的类内散度，主要来自于两个方面的影响:弱配准和低信噪比。低信噪比是指人体数据中噪声所占比例较大而能够被用于对人体进行判别的信息相对较少。弱配准是指因人体形态上的差异而很难将人体的各个部分进行比较好的对齐。另外，对于检测运动的人体，如果单一地通过动态特征或者静态特征进行表达，容易造成鲁棒性不足或者速度过慢的问题。
【发明内容】
[0005]本发明的目的在于，针对视频序列中的人体检测及行为识别中，人体数据的类内散度比较大的问题，尝试从时空联合特征的角度来研究人体及其运动模式，提出了一种时空域的综合利用外观信息和运动信息的多层次描述的人体特征提取方法。
[0006]实现本发明目的的技术解决方案为:一种鲁棒的时空域的人体特征提取方法，该方法包括以下步骤:
1)输入一组包含人体数据的视频，从中选择一个时空体；
2)计算时空体每帧图像的梯度，得到梯度时空体；
3)根据方向量化步长了τφ和τθ，对梯度时空体进行方向划分，获得方向不同的通道；
4)根据空间量化步长τp,对每个通道进行空间划分；
5)对于每个通道，计算其特征描述子；6)将所有通道的特征描述子串接起来，形成一组特征描述子。
[0007]7)按照不同的步长调节参数τφ、Ρ ，重复步骤3）-步骤6)，直到生成预设组
数的具有不同描述能力的特征描述子。
[0008]上述方法中，所述步骤I)中的时空体是指从视频中选择相邻的若干帧作为一组，并在该组每帧图像的相同位置选择相同尺度的矩形区域图像，由所有矩形区域图像组成的图像序列。
[0009]上述方法中，所述步骤I)中时空体的单帧图像坐标由I轴y轴表示，帧序列由￡轴
表示，时空体上的任意一点可由(:u V, ￡)表示。
[0010]上述方法中，所述步骤3)包括以下具体步骤:
31)计算梯度时空体每帧图像的边缘组成的曲面的切平面的空间方向#-0,其中，多
表示切平面的法线与f轴之间的夹角，β表示切平面的法线在轴轴所在平面上的投影与
%轴之间的夹角；
32)采用方向量化步长4和他θ作为量化步长分别对切平面的方向参数φ和0进行量化，将梯度时空体F划分成m.X λ个不同方向的通道，即:
【权利要求】
1.一种鲁棒的时空域的人体特征提取方法，其特征在于步骤如下: 1)输入一组包含人体数据的视频，从中选择一个时空体； 2)计算时空体每帧图像的梯度，得到梯度时空体； 3)根据方向量化步长τφ和τθ，对梯度时空体进行方向划分，获得方向不同的通道； 4)根据空间量化步长τp,对每个通道进行空间划分； 5)对于每个通道，计算其特征描述子； 6)将所有通道的特征描述子串接起来，形成一组特征描述子； 7)按照不同的步长调节参数τφ,τθ和，重复步骤3)-步骤6)，直到生成预设组数的具有不同描述能力的特征描述子。
2.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤I)中时空体是指从视频中选择相邻的若干帧作为一组，并在该组每帧图像的相同位置选择相同尺度的矩形区域图像，由所有矩形区域图像组成的立方体图像序列；时空体的单帧图像坐标由X轴y轴表示，帧序列数由时间轴t表示。
3.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于所述步骤3)包括以下具体步骤:31)计算梯度时空体每帧图像的边缘组成的曲面的切平面的空间方向φ-θ,其中，φ表示切平面的法线与t轴之间的夹角，θ表示切平面的法线在x轴y轴所在平面上的投影与X轴之间的夹角；32)采用方向量化步长τφ和τθ作为量化步长分别对切平面的方向参数φ和0进行量化，将梯度时空体F划分成m X λ个不同方向的通道，即:
4.根据权利要求1或3所述的时空域的人体特征提取方法，其特征在于:所述步骤32)Φiφj和φ与θ梯度特征的旋转鲁棒性成正比，与方向确定性成反比。
5.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤4)中对于每个通道利用切平面方向为#? - $的一组间距为Tp的平行平面将其进行空间划分，即
6.根据权利要求1或5所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤4)中Tp与梯度特征的平移鲁棒性成正比，与位置确定性成反比。
7.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于所述步骤5)包括以下具体步骤: 51)在每个通道中生成一个立方体特征区域； 52)在特征区域内计算每个划分的梯度强度； 53)选择具有最大梯度强度的划分，计算和归一化其特征描述子。
8.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤51)中的特征区域可以是随机生成的，也可以是按照一定步长有规则地生成的。
9.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤52)中划分的梯度强度是指划分内的所有像素的梯度强度的和。
10.根据权利要求1或7所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤53)中对于每个通道,具有最大梯度强度的划分的特征描述子为一个9维的异质向量，将其表示为
11.根据权利要求1所述的鲁棒的时空域的人体特征提取方法，其特征在于:所述步骤6) 中特征描述子的形式为
【文档编号】G06K9/46GK103455817SQ201310159119
【公开日】2013年12月18日 申请日期:2013年4月28日 优先权日:2013年4月28日
【发明者】刘亚洲, 张艳, 孙权森 申请人:南京理工大学