一种基于时序信息的跨视角动作识别方法及系统的制作方法
【专利摘要】本发明公开了一种基于时序信息的跨视角动作识别方法及系统，本发明涉及模式识别领域技术。该方法包括检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括：源视角视频和目标视角视频；根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。
【专利说明】一种基于时序信息的跨视角动作识别方法及系统
【技术领域】
[0001]本发明涉及模式识别领域技术，特别涉及一种基于时序信息的跨视角动作识别方法及系统。
【背景技术】
[0002]随着摄像机成本的降低，以及人们公共安全意识的提高，视频监控受到越来越多的关注。但是单一视角具有局限性，受到场景结构的约束，因此多视角的视频监控应运而生。如图2所示，有某一视角(源视角)的视频和动作类别数据，如何利用这些信息对另一视角(目标视角)的动作视频进行分类识别，通常，主流的动作识别框架如图3所示。
[0003]跨视角动作识别是计算机视觉、图像处理、模式识别、机器学习、人工智能等多个学科的交叉研究领域，具有深远理论研究意义和很强实用价值，可应用于视频监控、运动训练、医疗康复等实际应用领域。
[0004]跨视角动作识别技术的关键挑战是相同动作在不同视角下具有不同的表观特征，比如同为踢腿的动作，从正对运动者、侧对运动者和俯视运动者的视角，得到的视频数据是完全不同的，特别是俯视的视角差异性最大，这样就提高了动作识别的难度，为解决这一问题，现有的具有视角不变性的动作识别技术主要从构造视角不变特征和跨视角学习方法两个方面增强对视角变换的鲁棒性。
[0005]特征层面的研究方法多基于表观信息，一种基于人体关节轨迹的视角不变特征，如图4所示，该方法将人体关节结构看成由一系列三点骨架结构组成，根据不同视角下，三点骨架结构的对应关系，进行跨视角动作识别。一种基于轮廓的视角不变特征，如图5所示，该方法基于人体轮廓进行3D重建，将图片视角作为隐变量，利用隐马尔科夫模型实现动作识别。一种基于时序自相关的视角不变特征，该方法从原始视频中提取H0g、H0f特征，计算任意两帧之间的相似度，构成自相关矩阵，描述不同视角下的运动视频。
[0006]跨视角学习方法主要在构建模型和判别分类阶段学习减少视角差异性的方法。一种构建二分图的学习方法，该方法在源视角和目标视角分别提取单词，构成二分图，通过二分图分割得到跨视角的单词，根据该跨视角单词对原始视频重新生成直方图，得到具有视角不变性的视频表示。一种构建虚拟路径的方法，该方法在源视角和目标视角间建立了多层线性变换，实现不同视角的迁移。
[0007]根据目标视角包含的信息，以上具有视角不变性的动作识别技术可以分为三个模式:对应模式、部分标注模式和无标注模式。对应模式为训练时动作视频没有标注，但有不同视角下的对应关系；部分标注模式为目标视角部分标注，而无标注模式为目标视角既没有与源视角的对应关系，也没有任何标注。这三种模式依次监督减弱，难度增加。
[0008]现有的具有视角不变性的动作识别技术存在以下两点问题。首先，现有特征多基于表观信息，且需要良好人体轨迹跟踪性能，不同视角下相同动作的表观信息差异很大，但是时序信息相似，时序信息的视角不变性有待于进一步挖掘，同时，现有学习方法大多针对对应模式和部分标注模式，需要较多的监督信息，实际应用中目标视角不一定有标注。
[0009]发明专利“一种基于局部特征的人体动作识别方法”，该发明公开了一种基于局部特征的人体动作识别方法，所述方法包括以下步骤:人体检测和区域划分；从动作视频序列中提取时空兴趣点特征以及相应的位置信息；根据区域划分结果对时空兴趣点进行空间分类；分别获取训练集和测试集中每个特定人体区域所包含的时空兴趣点；通过聚类算法对训练集中的每个特定人体区域包含的时空兴趣点进行聚类，获取相应词典；通过词袋模型分别对训练集和测试集的每个特定人体区域单独处理，分别提取训练集和测试集的每个特定人体区域的词袋特征；采用分类器对人体动作进行建模，从而实现动作识别。但是本发明通过利用人体局部显著特性来提高人体动作识别的准确率，该发明与本发明有着明显不同。
【发明内容】
[0010]针对现有技术的不足，本发明提出可以通过利用时序信息的视角不变性来实现跨视角动作识别。因此，本发明提出了一种新的运动强度时序累积的动作视频特征，同时，针对无标注模式缺少监督信息的问题，可以利用弱监督的跨视角度量学习方法解决，该方法首先对无标注的目标视角视频进行粗粒度的标注，然后利用源视角和目标视角的粗粒度标注信息进行跨视角度量学习，得到跨视角的度量方法，并运用于最终的分类识别。
[0011]本发明提出一种基于时序信息的跨视角动作识别方法，包括:
[0012]步骤1，检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括:源视角视频和目标视角视频；
[0013]步骤2，根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述；
[0014]步骤3，根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息；
[0015]步骤4，根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法；
[0016]步骤5，通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。
[0017]所述的基于时序信息的跨视角动作识别方法，该步骤2中该时序积累的步骤包括:根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。
[0018]所述的基于时序信息的跨视角动作识别方法，通过以下公式将每段的运动强度累加:
【权利要求】
1.一种基于时序信息的跨视角动作识别方法，其特征在于，包括: 步骤1，检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括:源视角视频和目标视角视频； 步骤2，根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述； 步骤3，根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息； 步骤4，根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法； 步骤5，通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。
2.如权利要求1所述的基于时序信息的跨视角动作识别方法，其特征在于，该步骤2中该时序积累的步骤包括:根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。
3.如权利要求2所述的基于时序信息的跨视角动作识别方法，其特征在于，通过以下公式将每段的运动强度累加:
Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。
4.如权利要求1所述的基于时序信息的跨视角动作识别方法，其特征在于，该步骤3中对该目标视角视频进行粗粒度标注的步骤包括: 步骤31，根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型； 步骤32，将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。
5.如权利要求1或4所述的基于时序信息的跨视角动作识别方法，其特征在于，在该步骤4和该步骤5之间还包括:将该目标视角视频的该运动特征描述输入到该特征空间模型。
6.一种基于时序信息的跨视角动作识别系统，其特征在于，包括: 提取运动强度模块，用于检测视频的感兴趣点，提取该感兴趣点的运动强度，该视频包括:源视角视频和目标视角视频； 获得运动特征描述模块，用于根据该视频的该时序信息将该运动强度进行时序积累，获得该视频的运动特征描述； 获得粗粒度标注信息模块，用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，对该目标视角视频进行粗粒度标注，获得目标粗粒度标注信息； 获得跨视角度量方法模块，用于根据该源粗粒度标注信息和该目标粗粒度标注信息，通过度量学习方法，对该源视角视频和该目标视角视频进行度量学习，获得跨视角度量方法; 动作识别模块，用于通过该跨视角度量方法对该目标视角视频中的动作进行动作分类，以完成跨视角的动作识别。
7.如权利要求6所述的基于时序信息的跨视角动作识别系统，其特征在于，该获得运动特征描述模块还包括时序积累模块:用于根据该时序信息，将该视频进行分段，划分成多个时序段视频，将每段视频的运动强度累加。
8.如权利要求7所述的基于时序信息的跨视角动作识别系统，其特征在于，通过以下公式将每段的运动强度累加:
Si为第i个时序段视频，Pj为该第i个时序段视频的感兴趣点，r为该第i个时序段视频的该感兴趣点的运动强度。
9.如权利要求6所述的基于时序信息的跨视角动作识别系统，其特征在于，该获得粗粒度标注信息模块还包括粗粒度标注模块: 用于根据该运动特征描述和该源视角视频的源粗粒度标注信息，在该源视角视频上构建特征空间模型；将该目标视角视频的运动特征描述输入到该特征空间模型，以完成对该目标视角视频进行粗粒度标注。
10.如权利要求6或9所述的基于时序信息的跨视角动作识别系统，其特征在于，还包括输入模块:用于将该目标视角视频的该运动特征描述输入到该特征空间模型。
【文档编号】G06K9/62GK104200218SQ201410406317
【公开日】2014年12月10日 申请日期:2014年8月18日 优先权日:2014年8月18日
【发明者】秦磊, 刘艺, 黄庆明, 成仲炜 申请人:中国科学院计算技术研究所