基于全局显著边缘区域的人体动作特征提取方法

基于全局显著边缘区域的人体动作特征提取方法
【技术领域】
[0001 ]本发明属于视频分析领域，涉及一种人体行为自动识别方法，具体涉及基于全局 显著边缘区域的人体动作特征提取方法。
【背景技术】
[0002] 随着互联网的不断发展、视频监控系统的不断推广，视频数据量急剧增长。面对海 量涌现的视频数据，如何分析视频人体行为成为一个亟待解决的问题。由于视频数据容易 受到前景运动区域不明晰、相机抖动幅度大、场景环境复杂的影响，使得人体运动在视频数 据中存在大量的噪声角点，导致视频帧的关键特征点提取不准确，人体行为识别精度受限。
[0003] 人体动作特征提取是人体行为识别的重要组成部分，属于视频分析领域的一项重 要研究内容，其目的是让计算机自动提取人体动作特征，自动判断预测人体行为。因此，有 效的动作特征提取方法有利于提高动作识别的精度。
[0004] 目前人体动作特征提取方法分为3类:基于单帧图像或者多帧视频流提取底层局 部时空兴趣点的方法、基于中层语义学习的动作特征属性描述方法和基于高层语义特征点 追踪与肢体可变形模板的方法。
[0005] 基于底层局部时空兴趣点的方法需要对目标物体进行局部时空兴趣点的提取，并 且结合一定的光流运动估计来获得对目标物体运动建模，并辅以各种描述算子表达肢体动 作。这类方法的缺陷在于容易受到背景噪声、相机抖动和目标遮挡的影响，而且缺乏对人体 行为全局特征和行为模型整体性的分析和理解。
[0006] 基于中层语义学习的方法通常在提取出底层局部动作特征的基础上，常通过前景 显著区域、运动目标检测、物体轮廓分割、判别字典学习、多通道特征融合、卷积神经网络等 方法，对底层动作特征进行更高层次的语义特征建模，获取多帧视频流中目标物体运动的 全局或局部时空特征表达。这种方法的问题在于高度依赖输入特征的表达能力和中层语义 学习算法框架的性能。
[0007] 基于高层语义特征点的方法依赖于人工手动标注或者体感相机，标定人体的骨骼 关节点进行实时追踪，并构建出肢体树形结构模型或者可变形模板，结合关节点运动历史 和常用描述算子表征人体动作特征。这种方法的缺陷在于需要凭借人类经验花费大量时间 标注视频样本，或者依靠智能体感设备标定骨骼关节点。
[0008] 与动作特征提取方法相关的专利列举如下：
[0009] 人体交互领域:2015年中科院自动化所公开发明专利《人体动作采集和动作识别 系统及其控制方法》，该发明使用无线收发器和3轴加速度传感器电路来获取人体动作，旨 在提高舞台表演和演讲的效果;2015年西安电子科技大学公开发明专利《一种基于动作识 别的智能手表及动作识别方法》，该发明通过设定人体前臂手势动作对智能手表进行控制 操作；2015年北京智谷睿拓公司公开发明专利《头部动作确定方法和装置》，该发明通过获 取所述人体的脑电检测信息，确定与所述脑电检测信息对应的头部动作；2015年联想（北 京)有限公司公布发明专利《一种动作识别方法、装置及电子设备》，该发明增加了动作获取 的触发条件，只有在监测区域内与所述电子设备物理距离满足条件时才触发动作识别。
[0010] 视频分析领域：2015年浙江工业大学公开发明专利《一种基于时间金字塔局部匹 配窗口的动作识别方法》，该发明从立体相机获得的人体深度图中提取出3D关节点，用姿态 之间的3D位移差作为每帧深度图的特征表达;2015年北京中科盘古科技公司公布发明专利 《基于空间分割学习的人体肢体姿势动作识别方法》，该发明通过人体关节数据与所建立特 定姿势序列数据库进行匹配比对;2015年西南科技大学公开发明专利《一种姿势序列有限 状态机动作识别方法》，该发明将Kinect传感器获取的肢体节点数据进行坐标变换，采用统 一的空间网格模型对变换数据进行度量;2015年中科院计算所公布发明专利《一种基于时 序信息的跨视角动作识别方法及系统》，该发明将兴趣点运动强度作为特征描述，结合源视 角视频的源粗粒度标注信息以获得目标粗粒度信息。
[0011 ]基于显著性分析的视频分析领域:2015年西南科技大学公布发明专利《一种基于 STDF特征的人体行为识别算法》，该发明利用视频图像的深度信息确定人体运动显著性区 域，通过计算区域内光流作为度量区域活跃度的能量函数，对运动显著性区域进行高斯取 样，使样本点分布于运动剧烈区域，将采集到的样本点作为动作底层特征;苏州大学公布发 明专利《基于阈值矩阵和特征融合视觉单词的人物行为识别方法》，该发明通过视频帧显著 度取得人物区域位置，再对区域内外采取不同的阈值检测出兴趣点作为动作特征;2015年 南京邮电大学公布发明专利《一种基于RGB-D视频的人体行为识别方法》，该发明从RGB-D视 频分别提取稠密MovingPose特征、SH0PC特征和H0G3D特征，采用边缘限制的多核学习方法 对三种特征进行特征融合;2014年天津大学公布发明专利《一种基于局部特征的人体动作 识别方法》，该发明从动作图像序列中提取时空兴趣点特征和坐标，通过划分人体区域分别 训练词袋字典模型来给局部特征编码。

【发明内容】

[0012] 为了解决上述技术问题，本发明的目的是提供一种基于全局显著边缘区域的人体 动作特征提取方法。
[0013] 本发明所采用的技术方案是:基于全局显著边缘区域的人体动作特征提取方法， 其特征在于，包括以下步骤：
[0014] 步骤1:减少RGB色彩空间的颜色数量，平滑颜色空间的显著度；
[0015]步骤2:根据相邻区域的空间关系计算显著性区域；
[0016]步骤3:采用二值化阈值分割前景显著区域；
[0017] 步骤4:对分割出的前景区域做形态学梯度变化，生成全局显著边缘区域；
[0018] 步骤5:通过特征点对和随机采样一致性修正光流场；
[0019] 步骤6:遍历视频帧不同尺度下所有网格提取强角点；
[0020] 步骤7:在显著边缘区域中采集修正光流幅值不为零的强角点作为关键特征强角 占.
[0021] 步骤8:检查步骤7获得的关键特征强角点数目，如果数目为零则取步骤6的强角点 作为关键特征强角点；
[0022] 步骤9:根据修正光流场计算关键特征强角点的位移；
[0023] 步骤10:用强角点连续多帧的坐标位移轨迹，以及角点邻域梯度矢量组成人体动 作局部时空特征。
[0024] 所述步骤1中，减少RGB色彩空间的颜色数量，平滑颜色空间的显著度;具体实现过 程为：
[0025] 定义图像I中第k个像素 Ik的显著度S( ·)为：
[0027]其中D(Ik，L·)为像素 Ik和像素在颜色空间的距离度量；
[0028]先将RGB色彩空间3个通道的颜色量化到12个不同的值，使图像像素的颜色数量减 少到123 = 1728;接着通过选择高频出现的颜色，将颜色数量减少到η = 85，确保这些颜色覆 盖95%以上的像素;然后对每个量化后颜色c的显著度进行平滑操作，用m个近邻颜色显著 性的加权平均值改善显著度，公式如下：
[0030]其中r = 为颜色c和m个近邻颜色Cl之间的距离。
[0031]所述步骤2中，根据相邻区域的空间关系计算显著性区域;实现过程为：
[0032]先使用图像分割算法将输入视频帧分成多个区域，并为每个区域建立起颜色直方 图；对于每个区域rk，通过与其它区域的颜色对比度来计算显著度，公式如下：
[0034]其中w(ri)为图像中第i个区域的像素总数，表示区域Γι的权重，以此强调大区域的 颜色对比度;Dr( ·，·）为两个区域的颜色距离;两个区域^和^的颜色距离为：
[0036] 其中C1>1为区域r冲第i个像素的颜色值，f(C1>1)表示C1>1在图像I中出现的概率； C2, j为区域Γ2中第j个像素的颜色值，f (C2,j)表不C2, j在图像I中出现的概率;D(Cl,i，C2, j)表 示两个像素 C1, i和的颜色距离；
[0037] 然后在公式（3)的基础上再加上相邻空间信息，增大近邻空间区域的影响，见公 式：
[0039] 其中Ds(ri，rk)为区域r 的空间距离（即两个区域重心的欧氏距离）， 〇s为颜色 空间权重强度。
[0040] 所述步骤3中，采用二值化阈值分割前景显著区域;实现过程为:将公式(5)计算出 的视频帧显著区域，从浮点型数据转换为8位无符号灰度图，通过设定一个[0,255]的阈值 进行二值化操作，以得出的二值化图像作为输入视频帧的前景区域RCmap。
[0041] 所述步骤4中，对分割出的前景区域做形态学梯度变化，生成新的全局显著边缘区 域RCBmap;实现过程为:用以下公式对RCmap做形态学梯度变化：
[0042] RCBmap =morphgrad(RCmap) = dilate(RCmap)-erode(RCmap), (6)
[0043] 其中morphgrad( ·)表示形态学梯度操作，dilate( ·)和erode( ·)分别表示膨胀 和腐蚀操作。
[0044] 所述步骤5中，通过特征点对和随机采样一致性修正光流场；实现过程为：先用 Famcbdck算法求出当前视频帧的稠密光流场矢量ω t，通过前后两帧的SURF特征点和关键 特征强角点组成特征点对，再用RANSAC算法和这些特征点对求