一种基于随机投影和Fisher向量的人物行为识别方法
【技术领域】
[0001] 本发明设及信号处理技术领域，特别是一种基于随机投影和Fisher向量的人物 行为识别方法。
【背景技术】
[0002] 行为识别技术被广泛运用到视频监控、视频检索、军事检测、医疗诊断和监护等领 域，具有广阔的应用前景和经济价值。传统的行为识别方法是将提取到的轨迹特征嵌入到 视觉词袋炬ag-of-Words，BoW)模型中，通过提取视频中的局部轨迹特征来构建一个丰富 的视觉词典，并利用中屯、聚类的方式分别统计出局部特征向量相对于中屯、单词出现的频 率，通过视觉词频构成的直方图来表征一类视频最终达到人物行为识别的目的。BoW模型最 关键的就是要构造出一个非常庞大的视觉词典，因而行为识别的准确率在很大程度上取决 于所构造特征词典的规模的大小，局部轨迹特征描述子越丰富，人物行为识别就越准确，但 同时行为轨迹向量维度就越高，该样在一定程度上就增加了计算成本和时间的消耗，同时 给分类器的学习和训练的过程也带来了巨大的挑战，因此在保证原始高维轨迹信息的前提 下寻找有效的措施来降低该些轨迹特征向量的维度就势在必行。
[0003] 主成份分析法是在均方误差最小的意义下对原始信号实现线性降维。它用方差的 大小来衡量信息量的贡献的多少，即方差越大的分量其所含有用信息越多，于是擬弃那些 贡献小的分量上的信息，原始信号就映射到由前K个最大的主成分张成的线性子空间上， W达到降低数据的维度的目的。但是该方法无法处理非线性流形上的数据且计算过程相当 耗时，需占用大量的存储空间，严重影响分类器训练和分类的效率。
【发明内容】
[0004] 本发明所要解决的技术问题是克服现有技术的不足而提供一种基于随机投影和 Fisher向量的人物行为识别方法，本发明采用GMM-Fisher向量混合模型对轨迹特征向量 进行软划分，它融合了Fisher核生成模式和判别模式的特点，不仅能计算出每个特性描述 子出现的频率，还能从统计学的意义上描述该些特征描述子的概率分布情况，既丰富了行 为动作的特征表达又提高了行为识别的效率。
[0005] 本发明为解决上述技术问题采用W下技术方案：
[0006] 根据本发明提出的一种基于随机投影和Fisher向量的人物行为识别方法，包括 W下步骤：
[0007] 步骤（1)、在固定帖数前提下提取和跟踪视频中局部行为特征，在最小误差允许范 围内提取其特征轨迹，然后融合各类特征轨迹描述子信息，得到一个高维轨迹特征向量，组 成该类行为视频的特征轨迹矩阵空间；
[000引步骤（2)、将步骤（1)得到的矩阵空间采用随机投影的方法投影到低维子空间中， 然后采用高斯混合模型对投影降维后的轨迹特征信号的生成过程进行建模，求得轨迹特征 的Fisher向量；
[0009]步骤（3)、将步骤似得到的Fisher向量再次利用随机投影的方法将其二次投影 到一个低维子空间中，用SVM分类器通过添加类别标签的方式训练出用于区别各种行为的 一个超平面；
[0010]步骤（4)、根据步骤（3)训练好的分类器对待测试视频的轨迹特征的Fisher向量 进行行为分类预测，实现行为分类识别。
[0011] 作为本发明所述的一种基于随机投影和Fisher向量的人物行为识别方法进一步 优化方案，具体包括W下步骤：
[0012] 步骤一、遍历所有m个训练视频S= [Si，S2,. . .Sm]，针对每个训练视频Si提取其特 征轨迹描述子，形成轨迹特征^ =h，…，.r.,,y，得到高维轨迹特征矩阵X=技1，. . .，Xm]; 其中，Ti为第I个行为视频中轨迹的数目，I为整数且1《I《m，上标T为转置，X。为训练 视频中提取到的特征轨迹描述子，a为整数且1《a《Ti;
[0013] 步骤二、将步骤一中的高维轨迹特征矩阵用随机投影的方法投影到一个低维子空 间中，即
[0014]
[0015] 其中，d表示轨迹特征经随机降维处理后的维度，D为原始轨迹维度，Rd表示降维 后的低维子空间，vt表示降维后的一个行为视频的轨迹特征，yw表示投影降维后所有行为 视频轨迹特征的集合；
[0016] 步骤是关于参数集入=EU的概率密度函数，用来对经随 机投影降维后的轨迹特征信号的生成过程进行建模，其中，Wi表示第i个高斯单元的混合 权重，Ui表示第i个高斯单元的均值向量，Ei表示第i个高斯单元的协方差矩阵，i= 1，. . .，K;设VtGRd都服从独立同分布，对含有K个高斯单元的GMM的参数集A的高斯混 合模型的定义如下：
[0017]
[001引其中
表示降维后的轨迹特征Vt的第i个高斯单 元的概率密度函数；协方差矩阵为对角矩阵，由贝叶斯公式可知，降维后的轨迹特征Vt分配 到第i个高斯单元的概率为：
[0019]
[0020] 步骤四、
是经随机投影后所有轨迹特征的集合V 关于A的对数似然函数，则经过降维后的轨迹特征Vt关于GMM参数集A= Ei} 的梯度分别表示为：
[0021]
[0024] 其中，uf表示含k个主成分的第i个高斯单元的均值向量，of表示含k个主成分 的第i个高斯单元的协方差向量；
[0025] 归一化梯度向量后级联各个梯度值，最后求出轨迹特征的Fisher向量；
[0026] 步骤五、将步骤四中得到的Fisher向量再次利用随机投影的方法将其二次投影 到一个低维子空间中，即
[0027]
[002引其中，d'表示Fisher向量经过随机投影二次降维后维度，Rd'表示二次降维后的 低维子空间，Vt'表示二次降维后的一个Fisher向量，yw表示二次降维后所有Fisher向 量的集合；
[0029] 步骤六、训练SVM分类器，将m个训练视频降维编码后的轨迹特征
分别贴上m个对应特征行为的标签，训练出能区分不同行为动 作的一个超平面；
[0030] 步骤心选取n个测试集Z= [Zi，Z2，...Z"，l《J《n]中的一个新的行为视频Zj， 提取测试视频的轨迹特征v'2.其中，n表示测试集视频的个数，T,表示第J个 测试集行为视频Z,中轨迹的数目；
[0031] 步骤八、对Y,利用随机投影定理对其进行特征降维，将其投影到一个的低维子空 间沪中，即
[0032]
[0033] 其中，htt表示测试视频降维后的轨迹特征，dd表示降维后的维度，Rdd表示测试集 轨迹特征降维后的值域；
[0034] 步骤九、令
其中H是经随机投影后所有轨迹特 征的集合，根据步骤四中得到的关于GMM参数集A= Ei}，计算测试集行为视频 的轨迹特征的相关的梯度向量，即
[0037]
[003引归一化梯度向量后级联各个梯度值，最后求出测试集行为视频轨迹特征的Fisher向量；
[0039] 步骤十、利用随机投影定理对测试集行为视频轨迹特征的Fisher向量进行二次 特征降维；
[0040] 步骤十一、根据步骤六训练好的分类器对经过二次特征降维后的测试集行为视频 轨迹特征的Fisher向量进行行为分类预测，完成行为测试集视频的识别。
[0041] 作为本发明所述的一种基于随机投影和Fisher向量的人物行为识别方法进一步 优化方案，所述步骤二中随机投影的方法，具体如下：
[0042] 对原始D维轨迹特征空间XtGR°，作用一个列单元长度的随机矩阵〇,将其投影 到一个低维子空间VtGRd中，其中d?D，其公式表达如下：
[0043]
[0044] 其中，表示轨迹特征的原始D维空间，vf表示轨迹特征被降为d维的低维子空 间；
[0045] 随机矩阵〇满足化引理，将XfG最小误差从VtGRd重构出来，即投影后的 低维子空间Vt包含了原始的轨迹特征X t中的近似全部信息。
[0046] 作为本发明所述的一种基于随机投影和Fisher向量的人物行为识别方法进一步 优化方案，所述随机矩阵为满足约束等距性质的随机矩阵。
[0047] 作为本发明所述的一种基于随机投影和Fisher向量的人物行为识别方法进一步 优化方案，所述d= 100,dd=d' = 48。
[0048] 作为本发明所述的一种基于随机投影和Fisher向量的人物行为识别方法进一步 优化方案，所述步骤六中的SVM分类器的核函数采用Linear线性核函数来实现一个多类输 出。
[0049] 本发明采用W上技术方案与现有技术相比，具有W下技术效果；本发明采用随机 投影定理的方法替代主成份分析法进行特征降维，W解决其时间消耗大，主成份保留不明 确等问题，随机投影定理表明，通过一个压缩测量矩阵，可W把具有稀疏性质的原始信号 投影到某个低维子空间上，该映射后的向量与原始高维特征向量间点距离基本保持不变， 即整个压缩过程不会产生数据的曲解。此外不同于BoW模型的硬划分，本发明采用GMM- Fisher向量混合模型对轨迹特征向量进行软划分，它融合了Fisher核生成模式和判别模 式的特点，不仅能计算出每个特性描述子出现的频率，还能从统计学的意义上描述该些特 征描述子的概率分布情况，既丰富了行为动作的特征表达又提高了行为识别的效率。
【附图说明】
[0050] 图1是本发明采用密集取样对视频集进行轨迹行为动作提取的可视化效果图，其 中；(a)是KTH数据集人物挥手行为动作的可视化效果图；化）是KTH数据集人物快跑行为 动作的可视化效果图；（C)是KTH数据集人物拳击行为动作的可视化效果图；（d)是UCF50 数据集人物打篮球行为动作的可视化效果图；（e)是UCF50数据集人物举重行为动作的可 视化效果图；（f)是UCF50数据集人物高尔夫球摆行为动作的可视化效果图。
[0051] 图2是本发明所述基于随机投影和Fisher向量的人物行为识别方法的流程图。
【具体实施方式】
[0化2] 下面结合附图对本发明的技术方案做进一步的详细说明：
[0化引本发明实验所用计算机的配置为内存8GB，CPU是IntelCorei3 3. 4GHz的台式 计算机，所用代码是在visuals化dio2013上用C++语言开发的。两种数据集设定W下相 同的缺省参数，在稠密轨迹跟踪算法中，取N= 32,n。= 2,nT= 3,轨迹跟踪长度L= 15 帖，取样步长W= 5像素，随机投影中降维后的特征轨迹维度d= 100,d' = 48,SVM分类器 的核函数采用Linear