一种基于时间金字塔局部匹配窗口的动作识别方法
【专利摘要】一种基于时间金字塔局部匹配窗口的动作识别方法，包括如下步骤：1)从立体相机中获得场景中人的深度图序列，从深度图中提取出3D关节点的位置，用姿态之间的3D位移差作为每帧深度图的特征表达；2)用聚类方法对训练集中的描述子进行学习，得到特征集合，并用它对每个描述子进行特征表达，从而得到每帧图像的编码表示；3)采用基于时间金字塔的局部匹配模型，对整个动作图像序列进行动作片段划分，并得到每个动作片段的特征直方图表达；4)用一个长向量把所有片段的特征直方图表达串联起来，就是整个动作的特征表达。本发明有效识别相似的动作、识别率较高。
【专利说明】-种基于时间金字塔局部匹配窗口的动作识别方法
【技术领域】
[0001] 本发明涉及视频识别领域，尤其是一种动作识别方法。
【背景技术】
[0002] 人体运动特征描述是对序列图像中人体姿态信息的表达，它是人体动作识别的重 要组成部分。人体运动是链式非刚体的运动，即身体各部分的运动是刚体运动，而从整体来 看，人体的运动又呈现高度的非线性、非刚体性。
[0003] 人体动作识别主要分为基于时空的动作识别方法和基于序列的动作识别方法。首 先在训练视频集中为每一个动作构造对应的三维X-Y-T模型，然后通过匹配待识别动作序 列与训练集各动作的三维X-Y-T模型，确定该测试动作的种类。基于时空的动作识别方法 主要包括以下三类：基于时空卷的识别方法、基于运动轨迹的识别方法、基于时空局部特征 的识别方法。
[0004] 现有的识别方法存在的缺陷：无法识别相似的动作，识别率较低。
【发明内容】
[0005] 为了克服动作识别方法的无法识别相似的动作，识别率较低的不足，本发明提供 一种有效识别相似的动作、识别率较高的基于时间金字塔局部匹配窗口的动作识别方法。
[0006] 本发明解决其技术问题所采用的技术方案是：
[0007] -种基于时间金字塔局部匹配窗口的动作识别方法，包括如下步骤：
[0008] 1)从立体相机中获得场景中人的深度图序列，从深度图中提取出3D关节点的位 置，用姿态之间的3D位移差作为每帧深度图的特征表达；
[0009] 2)用聚类方法对训练集中的描述子进行学习，得到特征集合，并用它对每个描述 子进行特征表达，从而得到每帧图像的编码表示；
[0010] 3)采用基于时间金字塔的局部匹配模型，对整个动作图像序列进行动作片段划 分，并得到每个动作片段的特征直方图表达；
[0011] 基于时间金字塔的局部匹配模型的特征匹配过程如下：
[0012] 将整个动作序列划分成不同层的动作片段，并分别对每个动作片段计算特征直 方图，假定训练集中有n种动作，每个动作用聚类方法学习得到m个特征码字，那么整个 特征码本集有M = nm个特征码字；对于动作片段中的每一个姿态，将其映射到训练得到 的M个离散的特征码字中，得到一个M维的特征向量表达；假定整个动作总共划分为L层， 则第一层的特征表达维度为M，第二层的特征表达维度为2M，第L层的特征维度为2mM; 如果用一个长向量把所有动作片段的特征表达串联起来，则整个动作序列的特征维度为
【权利要求】
1. 一种基于时间金字塔局部匹配窗口的动作识别方法，其特征在于：包括如下步骤： 1) 从立体相机中获得场景中人的深度图序列，从深度图中提取出3D关节点的位置，用 姿态之间的3D位移差作为每帧深度图的特征表达； 2) 用聚类方法对训练集中的描述子进行学习，得到特征集合，并用它对每个描述子进 行特征表达，从而得到每帧图像的编码表示； 3) 采用基于时间金字塔的局部匹配模型，对整个动作图像序列进行动作片段划分，并 得到每个动作片段的特征直方图表达； 基于时间金字塔的局部匹配模型的特征匹配过程如下：将整个动作序列划分成不同层 的动作片段，并分别对每个动作片段计算特征直方图，假定训练集中有n种动作，每个动作 用聚类方法学习得到m个特征码字，那么整个特征码本集有M=nm个特征码字；对于动作 片段中的每一个姿态，将其映射到训练得到的M个离散的特征码字中，得到一个M维的特 征向量表达；假定整个动作总共划分为L层，则第一层的特征表达维度为M，第二层的特征 表达维度为2M，第L层的特征维度为2HM;如果用一个长向量把所有动作片段的特征表达 串联起来，则整个动作序列的特征维度为
?，最后在动作之间相似度比较 时，对动作的特征表达进行归一化，并用金字塔匹配核进行计算； 4) 用一个长向量把所有片段的特征直方图表达串联起来，就是整个动作的特征表达。
2. 如权利要求1所述的一种基于时间金字塔局部匹配窗口的动作识别方法，其特征在 于：所述步骤2)中，采用局部训练，首先用K-means聚类方法单独对每一类动作的训练集训 练得到特征集合，然后将从所有动作集中学习得到的特征集合组成能够表征整个训练集的 动作特征集合，最后将每类动作映射到训练得到的动作特征集合，得到每一类动作模型的 特征直方图分布图。
3. 如权利要求2所述的一种基于时间金字塔局部匹配窗口的动作识别方法，其特征在 于：所述步骤2)中，对每一个姿态描述子进行量化编码。令P为从动作序列中获得的姿态 特征描述子，每个特征描述子的维度为D，总共有N个特征，则
令训练得到的码本有M个码字，即
编码方式如下：
s. t. 1TC = 1 其中，C= [Cl，c2,. . .cj表示对应特征码字集F的权值，*表示元素间相乘，屯是局部 适配因子，选取屯为非线性的表达式，同时引入了最近相似距离distMin作为参考；
其中，dist(Pi,F) =[dist(Pi,A)，dist(Pi,f2)，…，dist(Pi,fM) ]，dist(Pi,fj)表示Pi和A之间的欧拉距离，。为用于调节权重的系数； distMin = min {dist (Pi, f\)，dist (Pi, f2)，...，dist (Pi, fM)}〇
4. 如权利要求1?3之一所述的一种基于时间金字塔局部匹配窗口的动作识别方法， 其特征在于：所述步骤4)中，假设训练集中的动作序列X分成了p个片段，对应的动作片 段特征表达为％⑴，氏⑴…，UX)，则整个动作X的特征表达为：H⑴=[HJX)，HJX)… ，I⑴]。
5. 如权利要求4所述的一种基于时间金字塔局部匹配窗口的动作识别方法，其特征 在于：当有新的动作序列Y等待分类时，首先进行特征提取，用特征重构方法得到特征词 汇表达；然后动作片段划分，用基于时间金字塔的局部匹配模型得到对应片段的特征表达， HjYhHjY)…，UY);最后依次连接局部特征表达，整个动作Y的特征表达为H(X)= 风(Y)，氏(Y)…，Hm(Y)];在分类过程中，通过直方图相交操作进行测试序列与训练集各类 动作的相似度衡量：
从而确定动作序列Y的分类。
【文档编号】G06K9/62GK104408396SQ201410433290
【公开日】2015年3月11日 申请日期:2014年8月28日 优先权日:2014年8月28日
【发明者】王鑫, 汪晓妍, 沃波海, 王其超, 管秋, 陈胜勇 申请人:浙江工业大学