基于线性动态系统的视角无关的人体行为识别方法
【专利摘要】本发明公开了一种视角无关的人体行为识别的方法，主要解决不同视角下相同动作的识别问题。该方法的具体过程是：对动作视频序列进行2D高斯滤波和1D?Gabor滤波得到兴趣点，然后以兴趣点为中心建立立方体特征；再对动作视频序列等间隔划分并密集采样提取等大小的立方体特征，将两种方法得到的立方体合并为一个集合；接着对得到的立方体进行LDSs建模，用一对参数(A,C)表示，定义Martin距离表示两个系统参数间的距离；利用Martin距离，结合非线性降维(MDS)和聚类算法构建码本；计算每个视频提取的时空特征与码本的距离，利用Soft-weighting方法，计算加权矢量作为每个视频的特征向量，从而进行SVM训练与识别。
【专利说明】基于线性动态系统的视角无关的人体行为识别方法
【技术领域】
[0001]本发明属于图像处理技术及模式识别领域，特别涉及一种基于线性动态系统的视角无关的人体行为识别方法。
【背景技术】
[0002]人体行为分析涉及计算机视觉、图像处理、模式识别、人工智能等多个研究领域。它可以简单地被认为是时变数据的分类问题，即将测试序列与预先标定的代表类型行为的参考序列进行匹配，又可称之为人体行为识别。尽管人体行为识别的研究已经取得了一定的成果，但大部分工作都是基于固定和已知视角的，而由于人体运动、摄像机运动等原因实际拍摄得到的数据常常是任意角度的。不同的拍摄角度不仅会给人体图像序列的外观带来很大变化，运动的过程也会有所不同。视角问题已经成为人体行为识别发展和应用的绊脚
O
[0003]目前比较常见的视角无关的人体行为识别方面的工作，大多是在融合多个角度数据构建3D模型基础上进行的。这类方法不仅增加了算法的复杂性和计算量，而且透视投影等原因也会使重构出的动作不准确。不仅如此，在实际中常常由于无法得到多个不同拍摄角度的数据等原因，如单摄像机监控等，使得这类方法无法应用。其他一些方法如知识迁移，提取两个视角下的特征并且运用这些特征在两者之间架起了一座虚拟桥梁，对于一个视角下观察到的新的动作类别，运用知识迁移在另一个视角下能够进行识别。这种方法得到的特征具有视角不变性以及很好的识别力，但是要求所有视角中每两对视角都需要单独训练，还需要足够的测试样本，而且动作还需要加上类别标签，因此限制了它的应用。另外的方法还有潜在双线性模型，时间自相关描述符，但是前者不容易获得良好的初始化参数，后者在顶角视角下效果比较差，因此也限制了它们的应用。而本发明则能很好的解决以上的不足。
【发明内容】
[0004]本发明的目的在于提出一种基于线性动态系统的视角无关的人体行为识别方法，其包括如下步骤:
第一步:低层特征提取。首先，第一方面，将动作视频序列中的每一帧用二维坐标到像素点亮度的映射表示。然后，使用空间域中的2D高斯核函数将其每一帧变换到高斯空间。接下来，对经过高斯平滑的视频序列，沿着时间轴方向对每一列元素进行选定窗口的一维Gabor滤波。对于大于一定阈值的响应值进行极大值滤波确定特征点位置，然后以特征点为中心提取时空体特征。第二方面，对视频序列分别在时间轴上和空间上划分等间隔，使视频序列成为一个个小时空体组成的集合。然后以时空体与时空体接点为中心提取等大小的时空体(比前面划分的要小)。最后将两个方面提取的时空体合并成为一个集合用于LDS建模。
[0005]第二步:对提取的每个时空体建立LDS模型，主要用一对参数(A，C)表示。定义Martin距离表示两个系统参数间的距离。由于LDS参数是在非欧式空间下，因此不能直接聚类。利用Martin距离，结合非线性降维(MDS)和聚类算法构建码本。即假设训练集中总共T个特征，构建TXT的矩阵D表示每个特征间的距离，通过MDS得到欧式空间下的低维表示。K-means聚类后得到聚类中心，但这些聚类中心并不对应原始的LDSs，计算低维空间中每个系统到聚类中心的距离，选择距离最近的高维空间中的对应系统来作为码本。这里是每个动作分别聚类生成码本。
[0006]第三步:计算每个视频提取的时空特征与码本的距离，利用Soft-weighting方法，我们可以用一个#维的加权矢量H=H -hK]来表示每一个视频序列，每个元素九即表示系统码字在该视频中的权值，当求得这一加权矢量，通过1-范数标准化后，再进行随后的训练与识别。
[0007]第四步:利用加权矢量进行SVM分类器学习，利用学到的SVM模型，识别未知测试序列。
[0008]本发明的有益效果为:
1.由于采用上述第一步，提取的特征具有尺度不变性，在动作方向的变化方面有很好的鲁棒性，并且密集采样易于实现，运算速度比较快。
[0009]2.由于对提取的时空立方体建立LDS模型，LDS模型的优势是分离了时空体的外观和动态，其中时空体外观由矩阵C建模，动态由矩阵A表示。因此我们用一组参数M= (A，C)来表不一个时空体。这样一种特征描述方法是对时空体的动态和外观同时建模，能够更好地控制识别过程中的变量。
[0010]3.由于采用soft-weighting方法给每个特征分配一定的权重,可以更准确的评估每个特征的重要性，从而可以弥补较小特征集群造成的量化损失。
[0011]仿真结果表明，本发明可有效提高交叉视角下人体行为的识别率。
【专利附图】
【附图说明】
[0012]图1是交叉视角人体行为识别系统框图。
[0013]图2是本发明仿真训练过程图。
[0014]图3是本发明仿真识别过程图。
[0015]图4是时空立方体特征示意图。其中图4(a)通过兴趣点提取的立方体，图4(b)是通过密集采样提取的立方体。
[0016]图5是BoS识别算法框架。
[0017]表I是各视角识别结果。
[0018]图6是各个动作在不同角度下识别结果。
[0019]
【具体实施方式】
[0020]实施例一
参照图2，本发明的具体过程包括:
1.对训练视频帧序列进行低层特征提取。
[0021]以图4所示的视频序列的底层特征提取为例，具体的操作有:(I)将动作视频序列中的每一帧用二维坐标到像素点亮度的映射表示。然后，使用空间域中的2D高斯核函数将其每一帧变换到高斯空间。接下来，对经过高斯平滑的视频序列，沿着时间轴方向对每一列元素进行选定窗口的一维Gabor滤波。计算公式如下:
【权利要求】
1.一种基于线性动态系统的视角无关的人体行为识别方法，其特征在于，包括如下步骤: 第一步，分两方面，第一方面对动作视频帧序列分别在时间域和空间域运用二维高斯滤波器和一维Gabor滤波器，根据响应得到兴趣点位置，然后以响应位置为中心提取固定大小的时空体；第二方面，先对视频序列分块，然后以固定的间隔在视频中对关键点密集采样抽取特征点，以特征点为中心提取时空体；然后将两方面的时空体合并起来； 第二步，对提取的每个时空体建立LDS模型，计算出模型参数(A，C)，定义Martin距离表示两个系统参数间的距离；利用Martin距离，结合非线性降维(MDS)和聚类算法构建码本； 第三步，根据得到的码本，利用Soft-weighting方法,计算加权矢量作为每个视频的特征向量，得到每个特征在识别过程中的权值； 第四步，利用加权矢量进行SVM分类器学习，利用学到的SVM模型，识别未知测试序列。
2.根据权利要求1所述的基于线性动态系统的视角无关的人体行为识别方法，其特征在于:在所述的第一步骤中，第一方面，将动作视频序列中的每一帧用二维坐标到像素点亮度的映射表示；然后，使用空间域中的2D高斯核函数将其每一帧变换到高斯空间；接下来，对经过高斯平滑的视频序列，沿着时间轴方向对每一列元素进行选定窗口的一维Gabo r滤波；当响应值R大于一定阈值时，表明此处有一个兴趣点，得到此处的坐标，并以此坐标为中心提取大小为σΧσΧτ的时空体特征；其中=2 , f=2 ； 第二方面，对视频序列分别在时间轴上和空间上划分等间隔，使视频序列成为一个个小时空体组成的集合；然后以时空体与时空体接点为中心提取等大小的时空体(比前面划分的要小)；最后将两个方面提取的时空体合并成为一个集合用于LDS建模。
3.根据权利要求1所述的基于线性动态系统的视角无关的人体行为识别方法，其特征在于:在所述的第二步骤中，假设训练集中总共T个特征，构建TX T的矩阵D表示每两个模型参数(A，C)间的距离，通过MDS得到欧式空间下的低维表示；K-meanS聚类后得到聚类中心，但这些聚类中心并不对应原始的LDSs，计算低维空间中每个系统到聚类中心的距离，选择距离最近的高维空间中的对应系统来作为码本；这里是每个动作分别聚类生成码本。
4.根据权利要求1所述的基于线性动态系统的视角无关的人体行为识别方法，其特征在于:在所述的第三步骤中，通过soft-weighting方法,我们可以用一个#维的加权矢量H=^11A2, -%}来表示每一个视频序列，每个元素九即表示系统码字^在该视频中的权值；hk的计算公式如下: 其中，Zi表示视频中第i个最近邻为系统码字Wk的时空体的数目，d(Mj，Wk)度量时空体参数Mj和系统码字Wk之间的相似度；这里一个时空体的重要性由它与系统码字的相似度通过A加权度量；通过实验比较，通常取F=4 ;当求得这一加权矢量，通过1-范数标准化后，再进行随后的训练与识别。
【文档编号】G06K9/00GK104077554SQ201310108314
【公开日】2014年10月1日 申请日期:2013年3月29日 优先权日:2013年3月29日
【发明者】陈昌红, 王娇, 杨顺卿 申请人:南京邮电大学