一种基于3d骨架的多视角室内人体行为识别方法
【技术领域】
[0001] 本发明设及人体行为识别领域，尤其设及一种基于3D骨架的多视角室内人体行为 识别方法。
【背景技术】
[0002] 近年来，行为识别已经成为计算机视觉和模式识别领域研究的热点。行为识别技 术不仅应用在视频监控系统、智能家居、体育运行分析、人机交互、影视动作制作和医学康 复等很多领域，还创造了巨大的社会效益和经济效益。根据行为描述方法的不同，已有算法 可分为两类:一类是基于表观的方法，另一类是基于人体模型的方法.基于表观的方法直接 由图像的前景、轮廓、光流等描述行为;而基于人体模型的方法利用人体模型获取行为者的 结构特征，行为往往被描述为人体关节点序列。Johansson通过试验证明人体关节点模型包 含了可用于行为识别的丰富信息，3D关节点序列是描述行为最为简洁和有效的方法。 Shotton等人提出了利用深度图像得到3D骨架位置的算法，但是仅仅是简单的关节点表示 骨架，并没有分析骨架关节点旋转等信息。
【发明内容】
[0003] 本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于3D骨架的多 视角室内人体行为识别方法。
[0004] 本发明解决其技术问题所采用的技术方案是:基于3D骨架的多视角室内人体行为 识别方法，包括W下步骤：
[0005] 1)获取人体运动在正视角、斜视角和侧视角Ξ个角度的视频;所述视频包括训练 视频和测试视频；
[0006] 2)通过体感设备提取视频中人体骨架3D特征;所述Ξ维骨架特征包括全局运动特 征和手臂、腿部局部运动特征；
[0007] 3)训练模型;通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集； 具体如下:对Ξ维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集 数据集；
[000引4)输入测试视频的样本的特征集，通过线性支持向量机化SVM)进行识别。
[0009] 按上述方案，所述步骤2)中W骨骼的关节点构造3D骨骼结构向量，所述结构向量 包括向量之间的向量角和向量角速度变化。
[0010] 按上述方案，所述步骤2)中全局运动特征包括:身高特征，行为者头部和脚部在人 体坐标Z轴上的距离;身体倾斜角特征，行为者当前帖与初始帖在人体坐标Z轴上的夹角;倾 斜角速度特征，行为者当前帖与前一帖在人体坐标Z轴上的夹角；朝向角特征，行为者当前 帖与初始帖在人体坐标Y轴上夹角；朝向角速度，行为者当前帖与前一帖在人体坐标Y轴上 的夹角;速度特征，行为者的躯干中屯、关节点在人体坐标在Z轴和Y轴的变化；
[0011] 所述人体坐标建立如下：W躯干中屯、关节点为坐标原点，中屯、点到两肩中屯、的连 线方向为Z轴，两肩方向为X轴，人体朝向为y轴，建立3维坐标系。
[0012] 按上述方案，所述步骤2)中手臂、腿部局部运动特征包括:旋转角特征、速度特征。
[0013] 本发明产生的有益效果是:本发明方法实现了多角度动作的分类识别，该多角度 动作识别方法克服了单视角识别算法的局限性，更具有研究价值和实际应用价值。
【附图说明】
[0014] 下面将结合附图及实施例对本发明作进一步说明，附图中：
[0015] 图1是本发明实施例的系统流程图；
[0016] 图2是本发明实施例的识别方法流程图；
[0017]图3是本发明实施例的3D人体骨架示意图。
【具体实施方式】
[0018] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅用W解释本发明，并不用于限 定本发明。
[0019] 如图1和图2所示，基于3D骨架的多视角室内人体行为识别方法，包括W下步骤：
[0020] 1)获取人体运动在正对镜头-10°~10°、右对镜头20°~70°和左对镜头-20°~- 70° Ξ个角度的视频;所述视频包括训练视频和测试视频;在本实施例中，我们使用体感设 备kinect采集视频数据，采集RGB和D邱th数据，生成0NI格式的视频文件，同时计算骨骼关 节点Ξ维坐标数据和置信度，并保存在文本文件中。
[0021] 2)通过体感设备提取视频中人体骨架3D特征;所述Ξ维骨架特征包括全局运动特 征和手臂、腿部局部运动特征;3D人体骨架及人体坐标建立如图3所示。
[0022] 1、全局特征
[0023] 身高特征Wi，行为者头部和脚部在世界坐标Y轴上的距离；
[0024] 身体倾斜角特征W2,行为者当前帖与初始帖在人体坐标Z轴上的夹角；
[0025] 倾斜角速度特征化，行为者当前帖与前一帖在人体坐标Z轴上的夹角；
[0026] 朝向角特征W4,行为者当前帖与初始帖在人体坐标Y轴上夹角；
[0027] 速度特征W5,6，行为者的关节点2在人体坐标在Z和Y轴的变化；
[002引 2、手臂和腿部的局部特征
[0029] 速度特征：描述人体关节点的运动速度变化过程。设S1，S2，S3，S4，S日，S6，S7，S8分别 为4、5、7、8、10、11、13、1 4关节点的运动速度。令!L巧,,(4 / = U...400}表示行为者腿 部关节点速度序列，1。(。= {31，1 = 10，11，13，14}。=1,2,3为第1帖与第1-1在乂轴方向的差值， 类似的Y轴。
[0030] 令{.柄\.}:=;=心,,(4/ = 1.2,..，100该示行为者手臂关节点速度序列，曰^。= {31，1 = 4,5,7,8}n=i,2,3为第i帖与第i-1在X轴方向的差值，类似的巧由。
[0031] 轨迹特征:关节点轨迹序列表示行为序列中人体关节点在人体坐标系中的变化过 程。设^八2八3八4八5八6八7八8分别为4、5、7、8、10、11、13、14关节点在人体坐标系中的^维 空间坐标。令=仁,,(/)，/ = 表示行为者手臂关节点轨迹序列，an(i) = Hi, i =4,5,7,8}。=1,2,3表示第1帖手臂关节点在人体坐标系内的2坐标值与初始帖的差值，￥坐标 值类似。
[00创 {喊,,以={1,,(/)，/ = 1，2,..，100该示腿部关节点轨迹序列，其中1。(。=扣4 = 10， 11，13，14}。=1,2,3表示腿部的第1帖手臂关节点在人体坐标系内的乂坐标值与初始帖的差值， Y坐标值类似。
[0033] 综上所述，共有38维特征。
[0034] W骨骼的关节点构造3D骨骼结构向量，所述结构向量包括向量之间的向量角、向 量角速度变化。
[0035] 3)训练模型;通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集； 具体如下:对Ξ维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集 数据集；
[0036] 在线优化算法学习字典主要是基于随机逼近的方法，对给定训练样本序列X = [XI，. . .，Xn](eRmXn)算法核屯、思想如下式所示：
[0037]
[003引其中，D是Rmxk的字典，η为样本数，X功第i个样本，日1为k维系数矩阵α=[αι，...， On]中的第i个分量，λ为规范因子。
[0039] 为了减少计算机处理特征的困难，本申请对数据进行稀疏主成分分析（Sparse Principal Components Analysis，SPCA)降维处理。
[0040] 4)输入测试视频的样本的特征集，通过线性支持向量机化SVM)进行识别。具体识 别过程如图2所示。
[0041 ] 验证试验:实验平台操作系统为Win7,32位，使用Kinect设备和化enNI库得到骨骼 特征，计算出骨骼相应的全局和局部特征，并在Matlab9.0的环境下对其调试。数据库是人 为采集的，共包含巧巾行为:蹲下起立、踢腿、挥手，每种行为有Ξ个行为者。该动作数据库中 共有540个动作序列，每个动作序列100帖，其中340个作为训练，200个作为测试。实验对象 共有11个人，屯位男生和四位女生，每个人分别在正对镜头、右侧对镜头、左侧对镜头Ξ个 不同位置。
[0042] 首先将获取的3D骨架直接在LSVM上进行分类，得到识别结果;接着进行线字典学 习和SPCA降维，再在LSVM上进行分类，得到识别结果。其结果如表2所示：
[0043] 表2基于SVM分类器的识别结果 Γ00441
[0045]~由于视频序列中人体所面向的方向不固定，导致相同的动作在不同角度中得到的胃 观察结果相差很大，运给行为识别带来了一定程度上的困难。针对运一问题，本文提出了一 种基于3D骨架的多视角室内人体行为识别方法。首先通过kinect提取行为者的3D骨骼信 息，接着通过字典和SPCA处理，最后通过LSVM进行测试，得到识别结果。实验结果表明，本文 方法具有较高的识别率。
[0046]应当理解的是，对本领域普通技术人员来说，可W根据上述说明加 W改进或变换， 而所有运些改进和变换都应属于本发明所附权利要求的保护范围。
【主权项】
1. 一种基于3D骨架的多视角室内人体行为识别方法，其特征在于，包括以下步骤： 1) 获取人体运动在正视角、斜视角和侧视角三个角度的视频;所述视频包括训练视频 和测试视频； 2) 通过体感设备提取视频中人体骨架3D特征;所述三维骨架特征包括全局运动特征和 手臂、腿部局部运动特征； 3) 训练模型;通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集;具体 如下:对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据 集； 4) 输入测试视频的样本的特征集，通过线性支持向量机进行识别。2. 根据权利要求1所述的多视角室内人体行为识别方法，其特征在于，所述步骤2)中全 局运动特征包括:身高特征，行为者头部和脚部在人体坐标Z轴上的距离;身体倾斜角特征， 行为者当前帧与初始帧在人体坐标Z轴上的夹角;倾斜角速度特征，行为者当前帧与前一帧 在人体坐标Z轴上的夹角;朝向角特征，行为者当前帧与初始帧在人体坐标Y轴上夹角;朝向 角速度，行为者当前帧与前一帧在人体坐标Y轴上的夹角;速度特征，行为者的躯干中心关 节点在人体坐标在Z轴和Y轴的变化； 所述人体坐标建立如下：以躯干中心关节点为坐标原点，中心点到两肩中心的连线方 向为Z轴，两肩方向为X轴，人体朝向为y轴，建立3维坐标系。3. 根据权利要求1所述的多视角室内人体行为识别方法，其特征在于，所述步骤2)中手 臂、腿部局部运动特征包括:旋转角特征、速度特征。
【专利摘要】本发明公开了一种基于3D骨架的多视角室内人体行为识别方法，包括以下步骤：1)获取人体运动在正视角、斜视角和侧视角三个角度的视频；所述视频包括训练视频和测试视频；2)通过体感设备提取视频中人体骨架3D特征；所述三维骨架特征包括全局运动特征和手臂、腿部局部运动特征；3)训练模型；通过训练视频中的人体骨架3D特征进行特征描述，得到训练特征集；具体如下：对三维骨架特征进行在线字典学习；然后稀疏主成分分析进行降维，形成特征集数据集；4)输入测试视频的样本的特征集，通过线性支持向量机(LSVM)进行识别。本发明方法实现了多角度动作的分类识别，克服了单视角识别算法的局限性，更具有研究价值和实际应用价值。
【IPC分类】G06K9/62, G06K9/00
【公开号】CN105631420
【申请号】CN201510995238
【发明人】鲁统伟, 彭玲, 缪少君, 刘文婷, 张彦铎, 李晓林, 卢涛, 闵锋, 李迅, 周华兵, 朱锐
【申请人】武汉工程大学
【公开日】2016年6月1日
【申请日】2015年12月23日