人体动作识别中的基于空时能量分解的关键点检测方法
【专利摘要】本发明公开了人体动作识别中一种基于空时能量分解的关键点检测方法，该包括以下步骤：步骤一、对人体动作视频进行空时能量分解，计算空时能量分解矩阵；步骤二、计算空时能量矩阵中每一点邻域内的和值，并设置阈值因子α，邻域内能量和值大于该阈值的点就被选入关键点的候选集合；步骤三、将候选集中的点按能量和值从大到小排列，然后依次将候选集中空时距离过近的点去除；步骤四、设置关键点数目k，选取步骤三所确定的点集中前k个点作为最终的关键点。本发明所提取关键点相比与经典方法包含更丰富的相应于HOE特征的有效信息并且有较低的冗余度，它的关键点选取结果也更加具有稳定性和可重复性。
【专利说明】人体动作识别中的基于空时能量分解的关键点检测方法
【技术领域】
[0001] 本发明属于视频信号处理和模式识别【技术领域】，涉及一种人体动作识别中的基于 空时能量分解的特征点检测方法。
【背景技术】
[0002] 局部特征描述子的光照和视角不变性等优点使得局部特征描述方法逐渐成为近 年来人体动作识别研究中的热点。局部特征描述方法主要包含关键点检测、特征提取以及 训练和分类等步骤。在这个过程中，关键点的检测方法会一定程度上影响到特征描述子的 性能。
[0003] 目前人体动作识别中经典的关键点检测器有HarriS3D检测器，Gabor检测器和 Hessian3D检测器。其中基于一对正交三角函数的Gabor检测器应用较为广泛，并且该检测 器所检测的关键点可以实现对视频的稠密覆盖。而在特征描述方法中，基于对视频中的动 作进行空时能量分解的方向能量直方图（Histogram of Oriented Energy, Η0Ε)特征因其 较好的描述性能成为近年来较为常用的特征描述方法。但是，在将经典的检测器如Gabor 检测器与该特征描述进行结合的过程中，Gabor检测器所检测到的关键点的却无法有效地 捕捉到相应于Η0Ε特征的信息，导致识别的准确率较低。所以，为了充分发挥Η0Ε的性能， 需要使用一种与之相匹配的关键点检测方法。
【发明内容】
[0004] 技术问题：本发明提供一种能够有效地捕捉到相应于Η0Ε特征的信息，相比于经 典的关键点检测方法提高了识别率的人体动作识别中的基于空时能量分解的特征点检测 方法。
[0005] 技术方案：本发明的人体动作识别中的基于空时能量分解关键点检测的方法，包 括以下步骤：
[0006] 步骤一、对人体动作视频进行空时能量分解，然后计算得到空时能量分解矩阵；
[0007] 步骤二、计算所述步骤一得到的空时能量分解矩阵中每一点邻域内的能量和值， 并设置阈值因子α，然后将邻域内的能量和值大于该阈值因子α的点选入关键点候选集 合；
[0008] 步骤三、将所述关键点候选集合中的点按能量和值从大到小排列，然后将候选集 合中空时距离过近的点剔除，得到筛选后的关键点候选集合；
[0009] 步骤四、设置关键点数目k，选取步骤三所确定的新的关键点候选集合中前k个点 作为最终的关键点。
[0010] 本发明中，步骤一的具体方法是：首先定义不同的空时方向，将每一个空时方向在 不同的空间坐标轴上进行分解得到对应的方向分量，然后使用三维高斯三阶滤波器在所得 的方向分量上对人体动作视频进行分解，最后将各个方向分量上的分解结果合并得到空时 能量分解矩阵。 toon] 本发明中，步骤三的具体方法是：将关键点候选集合中的关键点按该点处的能量 和值从大到小进行排序，然后按照顺序，分别把每一个点作为参考点，进行如下处理：依次 计算该参考点与集合中其他点之间的距离并设置最小空时距离1，若集合中的点与该参考 点的距离小于1，则将该点从关键点候选集合中剔除。在对关键点候选集合中每一个点都进 行上述处理之后，即得到。
[0012] 本发明的优选方案中，人体动作视频来自Weizmann数据库。
[0013] 有益效果：本发明方法选取空时分解矩阵中邻域能量和值较大的点作为候选点并 将空时距离较为接近的冗余点去除。与现有技术如Gabor关键点检测器相比，本发明中方 法有如下优势：
[0014] (l)Gabor关键点检测器选取的是对Gabor滤波器响应较高的点，但所选点处并不 一定包含较多的空时能量信息，而本方法则针对Η0Ε特征直接选取邻域内空时能量和值较 高的点，在同样使用Η0Ε特征的情况下，本方法选取的关键点包含更丰富的相应于该特征 的有效信息；
[0015] (2)在关键点选择的过程中，因候选关键点较多，Gabor关键点检测器采用随机选 点的方式得到最终的关键点集合，在这个过程中所选关键点可能包含冗余信息且关键点的 选取结果并不稳定，而本方法首先去除空间上的冗余点从而降低了关键点集中包含冗余信 息的可能性，同时本方法使用排序选点来代替随机选点，使得关键点的选取结果更加具有 稳定性和可重复性。
【专利附图】
【附图说明】
[0016] 图1为本发明的流程图。
[0017] 图2为人体动作识别流程图。
[0018] 图3为聚集（pooling)算法的过程。
【具体实施方式】
[0019] 下面结合说明书附图和实施例来对本发明进行详细阐述。
[0020] 关键点检测实施步骤：
[0021] 图1为本发明的流程图。由图1可见，该方法构建于空时能量分解的基础之上，所 以下面先介绍空时能量分解方法，然后在此基础上介绍关键点选取的方法。
[0022] 1.空时能量分解
[0023] 对一个动作在空时方向上进行分解可以通过三维高斯三阶滤波器（3D Gaussian Third Derivative Filters)处理得到。对于一个三维高斯三阶滤波器^^(x)，单位向量乡
【权利要求】
1. 一种人体动作识别中基于空时能量分解关键点检测的方法，其特征在于，该方法包 括以下步骤： 步骤一、对人体动作视频进行空时能量分解，然后计算得到空时能量分解矩阵； 步骤二、计算所述步骤一得到的空时能量分解矩阵中每一点邻域内的能量和值，并设 置阈值因子α，然后将邻域内的能量和值大于该阈值因子α的点选入关键点候选集合； 步骤三、将所述关键点候选集合中的点按能量和值从大到小排列，然后将候选集合中 空时距离过近的点剔除，得到筛选后的关键点候选集合； 步骤四、设置关键点数目k，选取步骤三所确定的新的关键点候选集合中前k个点作为 最终的关键点。
2. 根据权利要求1所述的人体动作识别中一种基于空时能量分解的关键点检测方法， 其特征在于：所述步骤一的具体方法是：首先定义不同的空时方向，将每一个空时方向在 不同的空间坐标轴上进行分解得到对应的方向分量，然后使用三维高斯三阶滤波器在所得 的方向分量上对人体动作视频进行分解，最后将各个方向分量上的分解结果合并得到空时 能量分解矩阵。
3. 根据权利要求1所述的人体动作识别中一种基于空时能量分解的关键点检测方法， 其特征在于：所述步骤三的具体方法是：将关键点候选集合中的关键点按该点处的能量和 值从大到小进行排序，然后按照顺序，分别把每一个点作为参考点，进行如下处理：依次计 算该参考点与集合中其他点之间的距离并设置最小空时距离1，若集合中的点与该参考点 的距离小于1，则将该点从关键点候选集合中剔除；在对关键点候选集合中每一个点都进 行上述处理之后，即得到。
4. 根据权利要求1所述的人体动作识别中一种基于空时能量分解的关键点检测方法， 其特征在于：所述步骤一中的人体动作视频来自Weizmann数据库。
【文档编号】G06K9/00GK104143089SQ201410364346
【公开日】2014年11月12日 申请日期:2014年7月28日 优先权日:2014年7月28日
【发明者】王海贤, 张桐 申请人:东南大学