基于骨架信息的时不变及视不变的人体行为识别方法
【技术领域】
[0001] 本发明涉及行为识别方法，具体涉及一种基于骨架信息的时不变及视不变的人体 行为识别方法。
【背景技术】
[0002] 人体行为识别在视频监控，人机交互，视频提取等很多领域都扮演着十分重要的 角色。人体行为识别可以适用到犯罪侦查、病人照护、养老院等领域。在过去的一段时间， 机器视觉类任务大多数基于人工设计的特征，如尺度不变特征变换（SIFT)，方向梯度直方 图（HOG)，运动历史图像（MHI)等。然而很多经典的视觉识别方法仅仅是通过拼凑现有的一 些成功方法而实现。有学者认为，行为识别的研究在近些年的研究进展非常缓慢。深度相 机的出现使得研究者可以重新考虑图像处理和机器视觉的一些问题。与RGB相机相比拍摄 颜色和纹理信息不同，深度相机能记录人体的深度信息，从这些信息中能够获得人体的几 何信息和骨架信息。而且，深度相机对光线的变化不敏感，因而在视频分割、目标识别、行为 识别等视觉任务中比传统的RGB视频具有更好的可分辨性。
[0003] 现在人们对行为识别的研究专注于寻找人体行为类别和骨架信息之间的潜 在关系，如：基于李群和3D骨架点的人体行为识别"Human action recognition by representing 3D skeletons as points in a lie group，'，见[1]，该行为识别方法计算 复杂度高，花费时间长，提取单个视频所有特征的平均时间为6. 53秒，不便于推广使用。 如：一种基于3D关节直方图的视不变人体行为识别方法"View invariant human action recognition using histograms of 3D joints，"见[2]，该识别方法丢失了关节前后帧间 的上下文信息，识别正确率低。如：3D人体行为识别中的时空姿势表示"Space-time pose representation for 3d human action recognition，" 见[3]，该行为识别方法仅仅研究 姿势，即以图像为研究基准，通过图像进行识别，不仅对视频拍摄设备要求高，而且使获得 的信息识别率低。又如：自然人机交互中的行为识别"Activity recognition for natural human robot interaction，"见[4]，该行为识别研究人机交互，识别效率低。因此通过骨 架关节信息建模身体不同部位的3D几何关系可以表示人体的一个姿势，但是现有的识别 效率低，时间开销更大。
[0004] 文南犬[l]Vemulapalli，F. Arrate，and R. Chellappa，''Human action recognition by representing 3D skeletons as points in a lie group，'，in Computer Vision and Pattern Recognition(CVPR)，2014 IEEE Conference on，2014,pp.588-595。
[0005] 文献[2] L. Xia，C.-C. Chen，and J. K. Aggarwal，"View invariant human action recognition using histograms of 3D joints，'，in Computer Vision and Pattern Recognition Workshops (CVPRff),2012IEEE Computer Society Conference on,2012, pp.20-27〇
[0006] 文献[3]M. Devanne，H. Wannous，S. Berretti，P. Pala，M. Daoudi，and A. Del Bimbo. "Space-time pose representation for 3d human action recognition，'，in New Trends in Image Analysis and Processing_ICIAP2013. Springer，2013,pp.456_464〇
[0007] 文南犬[4] A. Chrungoo，S. Manimaran，and B. Ravindran，"Activity recognition for natural human robot interaction，" in Social Robotics. Springer，2014， pp.84-94〇
【发明内容】
[0008] 本发明的目的是为了克服现有技术的不足，提供一种基于骨架信息的时不变及视 不变的人体行为识别方法，该识别方法简单直观，识别正确率高，且识别时间短。
[0009] 本发明的目的可以通过以下技术方案实现：
[0010] 一种基于骨架信息的时不变及视不变的人体行为识别方法，其特征在于：包括以 下步骤：
[0011] 1)提取人体行为视频段，并将不同长度的视频段规范化到一个固定的视频长度；
[0012] 2)根据所得的固定长度的视频提取骨架信息，即从视频的每一帧中提取表达人体 行为的二十个关节信息；
[0013] 3)根据每一帧中提取表达人体行为的二十个关节信息提取三个特征向量，即从视 频每一帧中二十个关节的信息计算处理得出以两髋中心为基准的特征向量HCBV，角度特征 向量AV及相对位置特征向量PRPV，所述以两髋中心为基准的特征向量HCBV，以每一帧两髋 中心关节为坐标原点，计算该帧其他关节到原点的距离d，仰角Φ和方位角Θ三个参数，将 该视频所有帧中除原点以外的其他关节到原点的距离d，仰角Φ和方位角Θ三个参数串接 即为HCBV;所述角度特征向量AV是将该视频所有帧中两相邻关节之间的夹角串接而成的 向量；所述相对位置特征向量PRPV是将该视频所有帧中某一关节相对于其他关节之间的 相对位置串接而成的向量；
[0014] 4)对得到的三个特征向量分别进行分类识别：采用支持向量机分类器分别对以 两髋中心为基准的特征向量HCBV进行分类识别，对角度特征向量AV进行分类识别，对相对 位置特征向量PRPV行分类识别，得出各个行为类别的识别概率；
[0015] 5)对各行为类别的识别概率进行融合：对以两髋中心为基准的特征向量HCBV、角 度特征向量AV及相对位置特征向量PRPV得出的各个行为类别的识别概率进行加权求和融 合得到行为的识别结果，其中以两髋中心为基准的特征向量HCBV的权值为0. 4,角度特征 向量AV的权值为0. 3,相对位置特征向量PRPV的权值为0. 3。
[0016] 所述二十个关节分别是两髋中心、脊、两肩中心、头、左肩、左肘、左腕、左手、右肩、 右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚。
[0017] 所述提取人体行为视频段，先要对各视频长度进行预处理，采用视频帧规则化插 值法将不同视频长度的视频段规范化到一个相同的视频长度。
[0018] 所述以两髋中心为基准的特征向量HCBV的计算方法是从视频的每一帧中提取以 两髋中心关节为坐标原点，其他关节到原点的距离d，仰角Φ和方位角Θ三个参数，然后将 该视频中所有帧的其他关节到原点的距离d，仰角Φ和方位角Θ进行向量化处理形成基准 特征向量；若所述视频中含有tNum帧，则该特征向量的维度为3 X 19 X tNum。