基于小波域联合统计描述子的行为识别方法与流程

本发明属于视频处理技术领域，更进一步涉及一种行为识别方法，可用于智能视频监控和人机交互。

背景技术：

在之前数十年中，人体行为识别及其相关研究领域向来被认为是计算机视觉学科中非常具有挑战性的科研方向。人体行为识别通过算法设计让计算机学习、分析、理解并识记人体行为，实现计算机对人体行为视频的分类判别。人体行为识别相关技术被广泛使用，如：摄像监控、多媒体语义标注与索引、行人跟踪和人机互动等，越来越多的学者和机构在相关方面相继进行了大量的研究工作。行为分类的本质就是对运动图像进行分析，其最根本的任务就是从序列中获取运动信息，从而分析出运动规律，行为识别目标产生的运动信息复杂多样，如何将这些底层特征有效的提取出来并分析其中的相关性，是行为识别方向上备受关注的研究课题。

小波变换因其优秀的时频特性，在图像和视频特征提取上获得了广泛的应用，此外小波变换的多尺度分析能力，也是充分挖掘数据信息有力保证。目前基于小波变换的行为识别有：

(1).minhasr,baradarania,seifzadehs,etal.humanactionrecognitionusingnon-separableoriented3ddual-treecomplexwavelets[j].computervision–accv2009,2010:226-235。这种方法将三维双树复小波变换用于行为的识别和分类。该方法在对视频数据进行小波分解前，将视频进行分割使其只包含运动目标的小三维立方体，以降低背景的干扰，复数的引入使得其所提特征能携带相频特性，以便提供更多的位置信息，且该方法对平移更稳定。相对于三维基本小波分解可以得到八个方向子带，该方法可获得32个方向子带，特征能提供的方向和其他运动信息也更加丰富。但是这种方法计算复杂度明显提高，且对视频分割准确度要求非常高，对复杂背景、遮挡等干扰较敏感。

(2).shaol,gaor.awaveletbasedlocaldescriptorforhumanactionrecognition[c]//bmvc.2010:1-10。这种方法将二维小波变换与兴趣点检测方法相结合用于人体行为识别。该方法先提取时空兴趣点，然后在兴趣点周围的立方体中进行二维小波分解，可以获得具备鉴别性和可靠性的描述子，特征维度低，对噪声、光照等影响具有一定的容许性，但该方法在进行小波分解时只选取局部立方体内的三个代表平面，对数据的覆盖范围不足，且使用兴趣点提取方法属于直接将二维分析扩展至三维，忽略了时域结构和空域结构的区别，所获取空时信息不充分。此外该方法特征构造时仅将小波系数串联，未考虑系数方向、系数间关系等特性。

技术实现要素：

本发明的目的在于针对上述已有技术的不足，提出一种基于小波域联合统计描述子的行为识别方法，以有效利用小波系数间的依赖关系，对视频时空关系进行更充分的描述，进一步提高人体行为识别准确率。

实现本发明的主要方案是：首先提取运动视频稠密轨迹并在轨迹周围构建局部立方体；对视频数据进行3d平稳小波变换，将视频中包含信息转换到小波域，然后在轨迹周围局部立方体内分别构建小波系数子带间互信息和小波系数共现直方图两个联合统计描述子，用于定量和定性的表示小波系数间的依赖关系；然后对串联后的上述两个特征描述子使用词袋模型进行编码，形成行为视频直方图表示；最后使用svm分类器实现行为的分类识别。

实现步骤包括如下：

(1)对行为视频序列进行稠密采样，并提取稠密运动轨迹；

(2)以提取的各条轨迹为中心，构建沿轨迹弯曲的立方体；

(3)使用3d平稳小波变换对视频数据进行分解，获得各方向的系数子带；

(4)在沿轨迹弯曲的立方体内，构建小波系数子带间互信息描述子dm：

(4a)计算具有父-子或表兄弟关系的系数子带间互信息：

其中，x表示沿轨迹弯曲的立方体中父子带系数或表兄子带系数，y表示沿轨迹弯曲的立方体中子子带系数或表弟子带系数，mi(x；y)为轨迹立方体中具有父-子或表兄弟关系的两个子带间的互信息；hij表示两个系数子带联合统计直方图中(i,j)单元的值，hi＝∑jhij表示父子带或表兄子带的边缘统计直方图，hj＝∑ihij表示子子带或表弟子带的边缘统计直方图，n表示沿轨迹弯曲的立方体中像素点的总数目；

(4b)将所有满足父-子或表兄弟关系的系数子带间互信息进行串连，获得小波系数子带间互信息描述子dm；

(5)在沿轨迹弯曲的立方体内，构建近似系数子带与细节系子带对间小波系数共现直方图描述子dc：

(5a)在一个邻域方向上，联合统计一个近似子带和细节子带对的累加共现直方图，并归一化，得到两个归一化累加共现直方图hn1和hn2，利用最小二乘法分别获取hn1和hn2通道最高点的两条回归线方程：y1＝k1x1+b1和y2＝k2x2+b2，其中，x为系数所属直方图通道值，y为值小于等于x的所有系数的数目，k为直线斜率，b为一个常数；记两直线与y＝0直线交点间的距离为d1，与y＝1直线交点间的距离为d2；

(5b)从两条直线上选取[k1,k2,b1,b2,d1,d2]作为一个邻域方向共现直方图的特征描述向量v，将所有选定邻域方向的特征描述向量vt串连，得到一个子带对的描述向量v＝[v1,v2,...,vt,...,vp]，t＝1,2,...,p，p为所选方向数目；再将所有选定子带对的描述向量串连，获得小波系数共现直方图描述子dc＝[v1,v2,...,vs,...,vq]，其中，vs为第s个子带对的描述向量，s＝1,2,...,q，q为所选系数对数目；

(6)将小波系数子带间互信息描述子dm和小波系数共现直方图描述子dc进行串接，得到小波域联合统计描述子du；

(7)将所有视频样本的小波域联合统计描述子划分为训练集dtr和测试集dte，使用词袋模型获到训练集dtr的直方图向量htr和测试集dte的直方图向量hte；

(8)使用训练集的直方图向量htr训练svm分类器，将测试集的直方图向量hte输入到训练好的svm中，输出测试集dte对应的测试样本所属的行为类别。

本发明与现有技术相比具有以下优点：

1)本发明在三维空间中对小波系数进行联合统计，充分挖掘小波系数间的依赖关系，并分别进行定量和定性的描述，相对于现有小波域特征如能量、对比度、不变矩等特征，能够更有效地获取视频中的时空信息。

2)本发明中小波域描述子是在以轨迹为中心的立方体中实现的，相对于现有的基于时空兴趣点或全局表示的方法，能够更有效提取视频数据中的空时结构信息，且可以降低背景等干扰对统计结果的影响。

附图说明

图1是本发明的实现流程图。

具体实施方式

参照图1，本发明的基于小波域联合统计描述子的行为识别方法，步骤如下：

步骤1，对行为视频进行稠密采样，提取视频序列的稠密轨迹。

常见的轨迹提取方法有基于klt(kanade-lucas-tomasi)的轨迹追踪、基于sift(scaleinvariantfeaturetransform)描述子匹配的轨迹追踪和基于稠密光流的轨迹追踪。本发明采用wang等人于2011年在文章“actionrecognitionbydensetrajectories”中提出的基于稠密光流的轨迹追踪方法，提取行为视频的运动轨迹，其步骤如下：

(1.1)依次在八个尺度空间使用密集网格对视频进行稠密采样，每两个尺度空间之间的缩放因子为采样间隔为5个像素；

(1.2)计算采样后视频的稠密光流，依据采样点的稠密光流对相邻帧的稠密采样点进行跟踪匹配，形成运动轨迹。

步骤2，以步骤1中提取的运动轨迹为中心，构建的沿轨迹弯曲的立方体。

在每条轨迹周围构建的一个一个大小均为w×h×l的立方体，其中w和h分别为立方体一个时间点横截面的长和宽，l为运动轨迹的长度。

步骤3，对视频数据进行3d平稳小波变换分解。

3d平稳小波变换相对于3d离散小波变换，在对视频的分解过程中，不进行降采样操作，这样可保证算法的平移稳定性，同时3d平稳小波变换将视频分解为与原数据大小相同的子带，便于对不同子带间进行联合分析和处理，其分解步骤如下：

(3.1)将数据集中的视频样本进行由彩色数据转换为灰度数据的预处理，以降低计算复杂度；

(3.2)将预处理后的视频数据分解为大小与原始数据相同的le个近似系数子带llll和7×le个七个不同方向的细节系数子带hlll、lhll、llhl、hhll、hlhl、lhhl、hhhl，其中，l为小波分解级数，l＝1,2,...,le，le为分解总级数，lll表示其包含三个维度的近似信息，hll表示其包含第一个维度的细节信息，第二和第三个维度的近似信息，其他方向子带以此类推。

步骤4，在沿轨迹弯曲的立方体内，构建小波系数子带间互信息描述子。

平稳小波变换分解所得各子带内系数存在一定的依赖关系，具有较大量级的系数，在不同尺度和不同方向的子带中，趋于出现在空间的相同位置。

将位于不同尺度相同方向的小波系数子带间定义为父-子关系，将位于相同尺度不同方向的小波系数子带间定义为表兄弟关系。

为了定量的衡量具有父-子或表兄弟关系的系数子带间的依赖关系，需要构建子带间互信息描述子，其步骤如下：

(4.1)计算具有父-子或表兄弟关系的系数子带间互信息：

其中，x表示沿轨迹弯曲的立方体中父子带系数或表兄子带系数，y表示沿轨迹弯曲的立方体中子子带系数或表弟子带系数，mi(x；y)为轨迹立方体中具有父-子或表兄弟关系的两个子带间的互信息；hij表示两个系数子带联合统计直方图中(i,j)单元的值，hi＝∑jhij表示父子带或表兄子带的边缘统计直方图，hj＝∑ihij表示子子带或表弟子带的边缘统计直方图，n表示沿轨迹弯曲的立方体中像素点的总数目；

(4.2)计算平稳小波分解获得的子带中，满足上述关系的所有子带对之间的互信息，并将其串连获得小波系数子带间互信息描述子dm，表示为：

dm＝[mi1,mi2,...,mif,...,miz]，

其中，mif表示第f对具有父-子或表兄弟关系的系数子带间的互信息，f＝1,2,...,z，z为具有父-子或表兄弟关系的系数子带对数目。

步骤5，在沿轨迹弯曲的立方体内，构建各级平稳小波变换近似系数子带与细节系子带间共现直方图描述子：

(5.1)将步骤(3.2)中获得的近似子带和细节子带组成q个子带对：(llll,hlll)、(llll,lhll)、(llll,llhl)、(llll,hhll)、(llll,hlhl)、(llll,lhhl)和(llll,hhhl)，用于定性地分析各方向的细节子带与同一尺度的近似子带间的依赖关系。

(5.2)以子带对(llll,hlll)为例，定义第一直方图h1和第二直方图h2为联合统计子带对(llll,hlll)所使用的两个共现直方图，且第一直方图h1和第二直方图h2中的各通道频数均初始化为零；

(5.3)将近似子带llll中，位于沿轨迹弯曲的立方体内的任一点对应的系数a选为目标系数，通过比较min(a,dt)与min(d,at)的大小，计算在a→at，d→dt邻域方向上，a所属第一直方图h1的通道的频数h1(ch)和第二直方图h2的通道的频数h2(ch)：

若min(a,dt)≥min(d,at)，则：

若min(a,dt)＜min(d,at)，则：

其中，at表示与目标系数a距离为1的三维邻域内的一个系数，d为a在细节子带hlll中对应位置的系数，dt为at在细节子带hlll中对应位置的系数，ch为系数a所属的直方图通道；

(5.4)计算沿轨迹弯曲的立方体中，所有的点对应系数ag所属直方图通道的频数h1(chg)和h2(chg)，得到在a→at，d→dt邻域方向，子带对的共现直方图h1和共现直方图h2：

其中g＝1,2,...,u，u为直方图的通道总数目；

(5.5)计算第一共现直方图h1对应的第一累加共现直方图ha1和第二共现直方图h2对应的第二累加共现直方图ha2：

(5.6)分别对第一累加共现直方图ha1和第二累加共现直方图ha2进行归一化，得到第一归一化累加共现直方图hn1和第二归一化累加共现直方图hn2；

(5.7)用最小二乘法分别求出两个归一化累加直方图hn1和hn2，每个通道最高点对应的两个直线方程：y1＝k1x1+b1，y2＝k2x2+b2，其中，x为系数所属直方图通道值，y为值小于等于x的所有系数的数目，k为直线斜率，b为一个常数，记两直线与y＝0直线交点间的距离为d1，与y＝1直线交点间的距离为d2；

(5.8)从两条直线上选取[k1,k2,b1,b2,d1,d2]作为a→at，d→dt邻域方向共现直方图的特征描述向量v，将所有选定邻域方向的特征描述向量vt串连，得到一对子带的描述向量v＝[v1,v2,...,vt,...,vp]，t＝1,2,...,p，p为所选方向数目；

(5.9)将所有选定子带对的描述向量串连，获得小波系数共现直方图描述子dc＝[v1,v2,...,vs,...,vq]，其中vs为第s个子带对的描述向量，s＝1,2,...,q，q为所选系数对数目。

步骤6，根据小波系数子带间互信息描述子dm和小波系数共现直方图描述子dc，得到小波域联合统计描述子du。

将小波系数子带间互信息描述子dm＝[mi1,mi2,...,mif,...,miz]和小波系数共现直方图描述子dc＝[v1,v2,...,vs,...,vq]进行串接，得到小波域联合统计描述子du＝[mi1,mi2,...,mif,...,miz,v1,v2,...,vs,...,vq]。

步骤7，对小波域联合统计描述子构建词袋模型，获取视频的表示，并训练svm分类器。

(7.1)根据不同人体数据集常用划分比例，将所有视频样本对应的小波域联合统计描述子划分为训练集dtr和测试集dte；以人体行为数据库kth为例，每类行为有25个视频样本，将其中16个样本对应的小波域联合统计描述子作为训练集，剩余9个样本对应的小波域联合统计描述子作为测试集。

(7.2)对训练集dtr采用k-means聚类方法生成词典dide×ce，通过词典dide×ce，将训练集dtr和测试集dte进行量化编码，得到训练集dtr的直方图向量htr和测试集dte的直方图向量hte，其中de表示特征维数，ce表示聚类中心数；

步骤8，使用训练集的直方图向量htr训练svm分类器，将测试集的直方图向量hte输入到训练好的svm中，输出测试集dte对应的测试样本所属的行为类别。

为验证本发明的有效性，在常用的人体行为数据库kth和ucf-sports上，利用本发明进行行为的识别；

识别的结果为：在数据库kth上的正确识别率为97.17％，在数据库ucf-sports上的正确识别率为96.00％。