,标签4被细分为标签4. 1和4. 2,标签5被细分 为标签5. 1和5. 2,标签7被细分为标签7. 1和7. 2,标签8被细分为标签8. 1、8. 2、8. 3和 8. 4,标签9被细分为标签9. 1、9. 2、9. 3和9. 4,标签10被细分为标签10. 1、10. 2和10. 3， 标签12被细分为标签12. 1、12. 2、12. 3和12. 4 ;而标签3、6和11所代表的行为由于视频 数量较少故本实施方式未再进行细分；
[0045] A5 :建立视频人体行为识别模型：将步骤A4所得更新标签后的样本输入到与步骤 A2相同的基于深度学习的神经网络ISA进行第二次训练，以进一步提取人体行为特征，将 特征输入Softmax分类器进行分类处理，从而建立用于视频人体行为识别的模型；并保存 第二次训练后神经网络参数，待用；
[0046] B.人体行为的识别：为了准确验证本发明方法的效果，本实施方式仍采用 Hollywood2人体行为数据库中的人体行为视频作为监视视频：
[0047] BI :从监视视频中提取三维时空子帧立方体：采用与步骤Al相同的方法，对监视 到的每段人体行为视频分别提取与步骤Al大小及数量相同的三维时空子帧立方体，然后 将每段人体行为视频提取的三维时空子帧立方体转步骤B2 ;
[0048] B2 :人体行为特征提取：将步骤Bl提取的各段视频的三维时空子帧立方体分别输 入到经步骤A5训练好的神经网络中，以提取各段视频的人体子行为特征；
[0049] B3 :确定各视频人体子行为的类别：将步骤B2中提取到的各段视频人体子行为特 征，分别输入到Softmax分类器分类，对各段监控视频依次进行分类处理，得到带各子类别 标签的视频；
[0050] B4 :带子类别标签视频的归类合并：根据步骤B3所得带各子类别标签的视频，将 标签为I. 1和1. 2的视频的标签归类为标签1，标签为2. 1、2. 2和2. 3的视频标签归类合并 为标签2,标签为4. 1和4. 2的视频标签归类合并为标签4,标签为5. 1和5. 2的视频标签 归类合并为标签5,标签为7. 1和7. 2的视频标签归类合并为标签7,标签为8. 1、8. 2、8. 3 和8. 4的视频标签归类合并为标签8,标签为9. 1、9. 2、9. 3和9. 4的视频标签归类合并为标 签9,标签为10. 1、10. 2和10. 3的视频标签归类合并为标签10,标签为12. 1、12. 2、12. 3和 12. 4的视频标签归类合并为标签12 ;而标签3、6和11所代表的行为由于视频数量较少故 本实式没再进行细分；然后按照Hollywood〗人体行为数据库所分大类归类合并，即得各视 频人体行为所属行为类别，存储以备调用。
[0051] 本实施方式对输出最终12类行为的识别结果进行统计，得到采用ISA神经网络对 Hollywood〗人体行为数据库的总识别准确率达到80. 8%，与只利用ISA神经网络得到的识 别准确率53. 3%相比得到大幅度提高；而目前Hollywood2人体行为数据库的已知国际最 高识别准确率为64. 3%，本实施方式与之比较也提高了 16. 5%。
[0052] 本实施方式分别对Hollywood2人体行为数据库中各类行为识别率的统计情况如 下表：
[0053]
【主权项】
1. 一种基于稀疏子空间聚类的视频人体行为识别方法，包括： A. 建立视频人体行为识别的模型： Al.建立三维时空子帧立方体：将用于学习的人体行为数据库的同一类别人体行为视 频上的每一帧划分为相同大小的子帧，然后将组成相应人体行为视频的部分连续帧的时间 序列长度作为其厚度，以建立三维时空子帧立方体，并对所得各子帧立方体在原人体行为 视频相同的类别标签； A2.建立人体行为特征空间：将步骤Al所建各三维时空子帧立方体连同其人体行为视 频的类别标签输入到基于深度学习的神经网络、进行第一次训练，以提取超过人体行为数 据库中给定行为类别50%的用于分类的特征，建立第一次训练后的人体行为特征空间； A3.聚类处理：对步骤A2所建人体行为特征空间，利用稀疏子空间聚类方法分别对行 为特征空间中的每一类人体行为特征进行聚类处理，以将同一类人体行为特征再细分为子 类行为特征；行为特征子类的个数根据稀疏子空间聚类方法自动确定； A4.标签的更新：根据步骤A3中稀疏子空间聚类方法细分的结果，在原人体行为视频 相同的类别标签下分别对聚类细分后的各行为特征子类视频赋予其子标签，得更新标签后 的样本； A5.建立视频人体行为识别模型：将步骤A4所得更新标签后的样本输入到与步骤A2 相同的基于深度学习的神经网络进行第二次训练，以进一步提取人体行为特征，然后将提 取出的行为特征输入分类器进行分类处理，从而建立用于视频人体行为识别的模型；并保 存第二次训练后神经网络参数，待用； B. 人体行为的识别： BI.从监视视频中提取三维时空子帧立方体：采用与步骤Al相同的方法，对监视到的 每段人体行为视频分别提取与步骤Al大小及数量相同的三维时空子帧立方体，然后转步 骤B2 ; B2.人体行为特征提取：将步骤Bl提取的各段视频的三维时空子帧立方体分别输入到 经步骤A5训练好并保存待用的神经网络中，以提取各段视频的人体子行为特征； B3.确定各视频人体子行为的类别：将步骤B2中提取到的各段视频人体子行为特征， 分别输入分类器分类，对各段监控视频依次进行分类处理，得到带各子类别标签的视频； B4.带子类别标签视频的归类合并：将步骤B3所得带各子类别标签的视频，按照Hollywood〗人体行为数据库所分大类归类合并，即得各视频人体行为所属行为类别，存储 以备调用。
2. 按权利要求1所述基于稀疏子空间聚类的视频人体行为识别方法，其特征在于在 步骤Al和M中所述用于学习的人体行为数据库为Hollywood2或KTH、HMDB51、UCF101、 SportslM人体行为数据库。
3. 按权利要求1所述基于稀疏子空间聚类的视频人体行为识别方法，其特征在于在步 骤A2中所述基于深度学习的神经网络为独立子空间分析神经网络。
4. 按权利要求1所述基于稀疏子空间聚类的视频人体行为识别方法，其特征在于在步 骤A3中所述利用稀疏子空间聚类方法，其步骤如下： A3-1.将A2步骤所得行为特征空间中各人体行为视频的特征以列为主序排列并生成一个字典，再利用稀疏编码方法确定其稀疏系数； A3-2.对稀疏系数进行归一化处理； A3-3.组成同一类人体行为特征图：对步骤A3-2所得稀疏系数取绝对值后加上其转 置，得邻接矩阵；进而组成以各个视频样本作为节点、邻接矩阵表示权重的同一类人体行为 特征图； A3-4.聚类细分处理：利用稀疏子空间聚类方法对步骤A3-3所得同一类人体行为特征 图聚类细分成各行为特征子类。
5.按权利要求1所述基于稀疏子空间聚类的视频人体行为识别方法，其特征在于在步 骤A5和B3中所述分类器为Softmax分类器。
【专利摘要】该发明属于计算机视觉模式识别和视频图像处理方法，包括：建立视频人体行为识别的模型中的建立三维时空子帧立方体，建立人体行为特征空间，聚类处理，标签的更新，建立视频人体行为识别模型及人体行为的识别中的从监视视频中提取三维时空子帧立方体，人体行为特征提取，确定各视频人体子行为的类别，带子类别标签视频的归类合并；与目前国际上对Hollywood2人体行为数据库最高识别准确率相比提高了16.5％。因而该发明具有能自动提取出更具有判别性、自适应性、通用性和不变性的人体行为特征，降低了神经网络中的过拟合现象和梯度扩散问题，有效提高了复杂环境下人体行为识别的准确率，可广泛运用于现场视频监控和视频内容检索等特点。
【IPC分类】G06K9-62, G06K9-00
【公开号】CN104732208
【申请号】CN201510114150
【发明人】郝宗波, 桑楠, 陆霖霖, 吴杰, 杨眷玉, 万士宁, 赵俊, 朱前芳, 鄢宇烈
【申请人】电子科技大学
【公开日】2015年6月24日
【申请日】2015年3月16日