一种模拟陈述性记忆过程的动作识别方法
【专利摘要】本发明公开一种模拟陈述性记忆过程的动作识别方法，属于计算机视觉领域。本发明首先模拟视觉通路使用深度学习方法从视频序列中分别提取形状和运动特征，然后以视觉编码和语义编码的形式用树形结构将这些特征组织起来，模拟人脑的陈述性记忆，在识别阶段，通过检索陈述性记忆中的特征后投票得到视频中动作的语义标签，从而得到识别结果。本方法的优点在于，可以直接从数据学习得到特征，无需手工设计的特征；可以从新的视频数据集进行学习，能适应动作类别的不断增长，满足增量学习的要求。
【专利说明】一种模拟陈述性记忆过程的动作识别方法
【技术领域】
[0001]本发明涉及一种模拟陈述性记忆过程的动作识别方法，属于计算机视觉领域，具体涉及一种可以从视频序列中的识别出人体动作的方法。
【背景技术】
[0002]从视频序列中识别出人体动作是一个非常重要的问题，可应用于视频监控、视频检索和人机交互。人体动作识别是指用计算机从视频序列中检测出人体动作，并进行描述和理解。
[0003]从视频中识别出人体动作的过程可以分为两个重要步骤:运动的表征和动作的分类。人体运动的表征是指从包含人体动作的视频序列中提取合适的特征数据来描述人体的运动状态。动作的分类，是指从训练数据学习得到分类模型，将测试集中表征这些人体动作的特征数据进行分类。
[0004]目前一般的动作识别方法采取的是批量学习或者在线学习的方式，批量学习需要在学习之前准备好所有的数据，难以适应动作类别的不断增长。而在线学习需要抛弃以前的学习结果，重新训练和学习，不便于利用已有的知识。这两种方式都难以满足增量学习的要求，不足以应对动作类别的不断增长。
【发明内容】
[0005]本发明的目的是:针对【背景技术】的不足，为了满足人体动作识别方面对增量学习的要求，本发明提出模拟陈述性记忆过程的动作识别方法，该方法可以从视频序列中识别出人体动作，并渐进更新知识，使更新后的知识能适应增加的动作类别。
[0006]为了实现上述目的，本发明采取的技术方案是:一种模拟陈述性记忆过程的动作识别方法，其特征在于，包括以下步骤:
第一步:模拟腹侧通路，用深度学习方法提取不同层次的形状特征；同时，模拟背侧通路，用深度学习方法提取不同层次的运动特征；所述形状特征的提取，首先在视频序列中的随机巾贞的随机位置选取小块，然后使用独立子空间分析(Independent Sub spaceAnalysis, ISA)来学习不同层次的形状特征；所述运动特征的提取，首先计算视频序列的基于亮度梯度的稠密光流，在光流图像中的随机位置上选取小块，使用ISA来学习不同层次的运动特征；
第二步:在模型的训练阶段，训练集合中全部视频序列通过视觉通路进入长时记忆；模型的训练，即构建树模型的过程，对于一个训练视频，通过第一步，分别得到该视频的高级运动特征和高级形状特征，根据训练集合中全部视频的两种特征构建两棵SR树:运动SR树和形状SR树；
第三步:在识别阶段，通过检索长时记忆中的特征后投票得到视频中动作的语义标签；在识别阶段，对于一个查询视频，通过视觉通路分别得到其运动特征和形状特征，根据这两种特征分别查询运动SR树和形状SR树，然后进行投票得到视频中动作的语义标签，从而得到识别结果。
[0007]如上所述的模拟陈述性记忆过程的动作识别方法，其特征在于:所述第一步中的形状特征提取，具体步骤是:在视频序列中图像的随机位置上选取小块，用输入小块训练ISA网络，然后使用该学习到的网络，与图像中更大的区域进行卷积，卷积的结果作为第二层ISA网络的输入，第一层ISA网络的输出作为低级特征，第二层ISA网络的输出作为高级特征；一个ISA网络本身是一个两层的网络，第一层和第二层分别是平方和平方根；第一层的权重IT被学习，第二层的权重^被固定来表示在第一层中神经元的子空间结构，其中，第二层的每个单元都汇集小邻域内的第一层单元，第二层中每个单元的输出表示为:
【权利要求】
1.一种模拟陈述性记忆过程的动作识别方法，其特征在于，包括以下步骤: 第一步:模拟腹侧通路，用深度学习方法提取不同层次的形状特征；同时，模拟背侧通路，用深度学习方法提取不同层次的运动特征；所述形状特征的提取，首先在视频序列中的随机帧的随机位置选取小块，然后使用ISA来学习不同层次的形状特征；所述运动特征的提取，首先计算视频序列的基于亮度梯度的稠密光流，在光流图像中的随机位置上选取小块，使用ISA来学习不同层次的运动特征； 第二步:在模型的训练阶段，训练集合中全部视频序列通过视觉通路进入长时记忆；模型的训练，即构建树模型的过程，对于一个训练视频，通过第一步，分别得到该视频的高级运动特征和高级形状特征，根据训练集合中全部视频的两种特征构建两棵SR树:运动SR树和形状SR树； 第三步:在识别阶段，通过检索长时记忆中的特征后投票得到视频中动作的语义标签；在识别阶段，对于一个查询视频，通过视觉通路分别得到其运动特征和形状特征，根据这两种特征分别查询运动SR树和形状SR树，然后进行投票得到视频中动作的语义标签，从而得到识别结果。
2.根据权利要求1所述的模拟陈述性记忆过程的动作识别方法，其特征在于:所述第一步中的形状特征提取，具体步骤是:在视频序列中图像的随机位置上选取小块，用输入小块训练ISA网络，然后使用该学习到的网络，与图像中更大的区域进行卷积，卷积的结果作为第二层ISA网络的输入，第一层ISA网络的输出作为低级特征，第二层ISA网络的输出作为高级特征；一个ISA网络本身是一个两层的网络，第一层和第二层分别是平方和平方根；第一层的权重IT被学习，第二层的权重^被固定来表示在第一层中神经元的子空间结构，其中，第二层的每个单元都汇集小邻域内的第一层单元，第二层中每个单元的输出表示为:
3.根据权利要求1所述的模拟陈述性记忆过程的动作识别方法，其特征在于:所述第一步中的运动特征提取，具体步骤是:首先计算视频序列的基于亮度梯度的稠密光流，然后在光流图像中的随机位置上选取小块，使用ISA算法来学习不同层次的运动特征；稠密光流的计算公式如下:
4.根据权利要求1所述的模拟陈述性记忆过程的动作识别方法，其特征在于:所述第三步中的识别过程，具体步骤如下: 第一步:输入一个查询视频，模拟视觉皮层中的腹侧通路，使用深度学习方法提取形状特征，包含高级特征和低级特征；同时，模拟视觉皮层中的背侧通路，使用深度学习方法提取运动特征，也包含高级特征和低级特征；视频中高级形状特征集合表示为 高级运动特征集合表示为用这两个特征集合共同来表示该查询视频；第二步:对查询视频的高级形状特征集合中的每个特征，检索形状SR树，得到个最近邻居形状特征点J5Sfff;同时对查询视频的高级运动特征集合中的每个特征*?^,检索运动SR树，得到m个最近邻居运动特征点网Ifflf ； 第三步:根据检索到的结果进行投票，获得识别结果；该过程整合来自视觉通路和长时记忆的各类特征，与工作记忆单元相关；
【文档编号】G06F3/01GK103793054SQ201410021064
【公开日】2014年5月14日 申请日期:2014年1月17日 优先权日:2014年1月17日
【发明者】谌先敢, 刘海华, 高智勇, 高军峰, 唐文峰 申请人:中南民族大学