基于多特征融合的行为识别方法
【专利摘要】本发明公开了一种基于多特征融合的行为识别方法，包括下述步骤：S1、对训练集和测试集的视频进行预处理；S2、对步骤S1预处理后的视频，检测特征点；S3、对视频中的特征立方体，提取代表不同信息的描述子，形成综合描述子；S4、利用步骤S3提取出来的训练集的描述子，使用K-SVD算法训练字典；S5、对步骤S3提取出来测试集的描述子，进行特征融合，用级联字典分类算法进行分类。本发明对能量信息、空间信息、时间信息进行多特征融合，抽象出本质的运动特征，描述子信息提取全面，系统鲁棒性好。
【专利说明】基于多特征融合的行为识别方法
【技术领域】
[0001] 本发明涉及图像识别与处理的【技术领域】，特别涉及一种基于多特征融合的行为识 别方法。
【背景技术】
[0002] 在计算机视觉领域中，行为识别随着人体运动分析的发展在智能视频监控领域具 有越来越高的应用价值。但是由于：1)数据采集的环境复杂多样，行为序列背景分割技术 还不十分完善；2)在时间尺度上以及空间尺度上，同一种行为或者相似行为通常具有不同 的含义；3)由于分类器的学习能力有限而且兴趣点提取的几种方法有利有弊，所以同一段 视频行为同时被判别为属于几个类别常常发生。以上种种因素使得人体行为识别成为一个 非常具有挑战性的研究领域。
【发明内容】
[0003] 本发明的目的在于克服现有技术的缺点与不足，提供一种基于多特征融合的行为 识别方法。
[0004] 本发明的目的通过下述技术方案实现：
[0005] 基于多特征融合的行为识别方法，包括下述步骤：
[0006] S1、对训练集和测试集的视频进行预处理；
[0007] S2、对步骤S1预处理后的视频，检测特征点；
[0008] S3、对视频中的特征立方体，提取代表不同信息的描述子，形成综合描述子；
[0009] S4、利用步骤S3提取出来的训练集的描述子，使用K-SVD算法训练字典；
[0010] S5、对步骤S3提取出来测试集的描述子，进行特征融合，用级联字典分类算法进 行分类。
[0011] 步骤S1中对视频进行预处理的具体方法为：
[0012] S11、采用平滑滤波的方法降低噪声的影响；
[0013] S12、采用光照补偿的方法保证图像的对比度，补偿光照的影响；
[0014] S13、通过背景建模的方法实现提取运动前景，其中采用：a)多层混合背景模型融 合彩色空间的颜色测量和局部的纹理特征对背景进行建模；b)利用交叉双边滤波器强化相 似区域，更好地检测结果和保留边界信息。
[0015] 步骤S2中，采用Harris3D角点提取算法来检测特征点，具体为：
[0016] S21、使用初始空间尺度
【权利要求】
1. 基于多特征融合的行为识别方法，其特征在于，包括下述步骤： 51、 对训练集和测试集的视频进行预处理； 52、 对步骤S1预处理后的视频，检测特征点； 53、 对视频中的特征立方体，提取代表不同信息的描述子，形成综合描述子； 54、 利用步骤S3提取出来的训练集的描述子，使用K-SVD算法训练字典； 55、 对步骤S3提取出来测试集的描述子，进行特征融合，用级联字典分类算法进行分 类。
2. 根据权利要求1所述基于多特征融合的行为识别方法，其特征在于，步骤S1中对视 频进行预处理的具体方法为： 511、 采用平滑滤波的方法降低噪声的影响； 512、 采用光照补偿的方法保证图像的对比度，补偿光照的影响； 513、 通过背景建模的方法实现提取运动前景，其中采用：a)多层混合背景模型融合彩 色空间的颜色测量和局部的纹理特征对背景进行建模；b)利用交叉双边滤波器强化相似区 域，更好地检测结果和保留边界信息。
3. 根据权利要求1所述基于多特征融合的行为识别方法，其特征在于，步骤S2中，采用 Harris3D角点提取算法来检测特征点，具体为： 521、 使用初始空间尺度
和时间尺度
稀疏选定的组合， 以及积分尺度
和
在时间和空间上找到时空角点函数H(8)的极大值点
这些点就是兴趣点； 522、 对每个兴趣点pj进行处理； 523、 在（xj, yj, tj)处计算
和在周边那些
和 δ =-〇. 25, 0, 0. 25的地方计算出联合尺度
524、 选出那些使得
最大化的联合积分尺度
525、 如果
或者
用积分尺度
局部尺度
在最靠近（Xj，y」，tp的位置
处重新提取兴趣点
令
然后返回步骤S23重新开始执行。
4. 根据权利要求1所述基于多特征融合的行为识别方法，其特征在于，步骤S2中，采用 Cuboid Feature的角点检测算法来检测特征点，具体为： 将视频图像的像素点序列记为I，根据响应函数 R= (I*g*hev) 2+ (I^g#^)2,计算每个像素点序列的响应值R，计算得到一组 响应值R，R的极大值点即为所求兴趣点； 其中
其中w=4/ji ; 其中g(x，y; σ )是2D高斯平滑滤波来提供空间兴趣点的探测，hev和L是lDGabor滤 波器的正交对。
5. 根据权利要求1所述的基于多特征融合的行为识别方法，其特征在于，步骤S3中， 在时空兴趣点周围提取局部块，计算其光流信息，根据光流的角度、强度计算其统计信息， 得到光流的统计直方图，作为运动特征描述子；所述运动特征描述子包括H0F，H0G3D和LMP 描述子。
6. 根据权利要求5所述的基于多特征融合的行为识别方法，其特征在于，所述H0F提取 算法的具体步骤如下： (1) 对视频每一帧计算光流，得到光流场； (2) 对每一帧光流场进行直方图统计，得到每帧的描述子； (3) 对每帧的描述子向量求和，得到特征立方体的描述子。
7. 根据权利要求5所述的基于多特征融合的行为识别方法，其特征在于，所述hog3D描 述子的计算方法如下： (1) 利用sobel算子对图像分别在两个维度进行差分运算，得到矢量图； (2) 对矢量图进行直方图统计，得到每帧的描述子； (3) 对每帧的描述子向量求和，得到特征立方体的描述子。
8. 根据权利要求5所述的基于多特征融合的行为识别方法，其特征在于，LMP描述子的 计算方法如下： 滤波后的立方体记为v e IRqX qxl，由1个小平面组成；对每一个像素点在时间上计算 二、三、四阶中心矩；定义对应于v的高阶矩矩阵； ΜΓ=[πι^·] i, j=l, 2, L η 其中
vijt表示第1个小平面,位置为{i, j}的像素点的灰度值； 每一个高阶矩矩阵凡，r= {2, 3, 4}可以变换为一个向量nv e IR'对于r的说那个不同 取值，高阶矩矩阵可以整合为一个矩阵m e IRd，其中d=3 η2 :
向量m为LMP描述子。
9. 根据权利要求1所述基于多特征融合的行为识别方法，其特征在于，步骤S4中， K-SVD训练字典的具体方法为： 1)稀疏编码； 固定Φ，计算X，即：
为解决上式描述的NP难的优化问题，采用正交匹配追踪求解； 2)字典更新： 字典Φ中的元素相继被更新，允许X中相关系数的变化； 更新字典中的元素涉及计算秩1近似的误差矩阵：
其中
是Φ除去第i列形成的矩阵，尤是X除去第i行形成的，秩1近似通过使Ei 为奇异值矩阵实现。
10.根据权利要求1所述基于多特征融合的行为识别方法，其特征在于，步骤S5中，用 级联字典分类算法进行分类的具体方法为： 551、 对训练集视频的特征向量，用K-SVD算法训练字典； 552、 由这些字典Φ1、Φ2、· · 生成新的字典Φ。： Φ〇=[Φ?|Φ2|· · *|〇k]； 553、 对测试集视频的特征向量Q，通过正交匹配追踪找到其稀疏表示XQ :
s. t. | | X | | 〇 ^ k3 ； 554、 乂(3可以写成： Χ^ΕΧ^ΙΧφ」· · · |ΧΦΚ]，其中，Χφι是Φ,的系数矩阵；S55、对XQ进行分 类： 类 sargmaXi e 12，...，c| | X Φ ι | |0。
【文档编号】G06K9/46GK104091169SQ201310688324
【公开日】2014年10月8日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】徐向民, 张源, 王在炯, 杨倩倩 申请人:华南理工大学