系下；
[0050] S2122 :在全部变换完成后，计算出手部深度数据的三维中心；
[0051] S2123 :基于步骤S211得到的划分的手部立方体，令手部立方体的中心为深度数 据的中心，计算各个深度值对应的手部立方体划分；相当于得到有深度值的划分立方体，划 分立方体的值为深度像素点的个数，否则为〇 ;
[0052] S2124 :在步骤S2123完成之后，得到所有的深度点云之后，得到手部立方体特征， 对手部立方体的各个值进行归一化之后，以固定顺序变换为维度为x*y*z的特征向量&，即 得到Xi={x丨，x2,......,xj,i=x*y*z；
[0053] 步骤S2的前提是真实的手处于标准姿态，所述的标准姿态为手掌正对摄像机，手 指方向指向上方。
[0054] 所述的训练好的手部全局方向回归的分类器&的训练步骤包括以下子步骤：
[0055] S201 :采集大量手部姿态对应的数据作为训练样本，样本的标签为真实的手部Y、 Z方向的值，所述的真实的手部Y、Z方向的值通过手工进行标注；具体地Y、Z方向以手部的 宽度方向作为X轴，手部的长度方向作为Υ轴，手掌的厚度方向作为Ζ轴，形成三维坐标系；
[0056] S202:在得到大量的手部数据样本以及手部全局方向标签之后，训练手部全局方 向回归的分类器R1:对于每个手部数据样本，采用与步骤S21相同的步骤进行特征提取，并 结合样本的标签进行分类器训练。
[0057] 步骤S22采用随机森林进行回归，所述的步骤S22包括以下子步骤：
[0058] S221 :将随机森林的叶子节点的标签作为手部方向，标签为真实的手部Υ、Ζ方向 的值，包括六个维度Y= {x,y,z}，Z= {x,y,ζ};将随机森林的树的个数和停止的样本个数 预先设定；
[0059] S222 :在分类器&〇〇的基础上，进行在线手部方向回归，包括：根据步骤S21的步 骤提取特征向量&和训练好的分类器Ri(X)，得到手部全局方向：(Υ，Ζ) = & (\)。
[0060] 所述的预先训练好的关节姿态估计的分类器私的训练步骤包括提取特征子步骤 S301、提取标签子步骤S302和训练子步骤S303 ;所述的提取标签子步骤S301包括以下子 步骤：
[0061] S3011 :采集大量的数据作为手势样本％，计算得到当前手势样本％对应的全局向 量（Yi,Ζ;)，公式如下：
[0062] Yi=Tyl*Y〇,
[0063] Ζ?=Τζ?*Ζ。；
[0064] 式中，Υ。和Ζ。分别表不标准姿态的手全局方向参数，Tyi、Tzi分别表不；Tyi表不将Υ。 的三维方向旋转到Yi方向的旋转矩阵，TZ1表示将Ζ。三维方向旋转到Zi方向的旋转矩阵；
[0065] S3012 :计算出当前手势样本％与标准手部姿态的全局方向（YQ，Z。）变换关系Φρ 公式如下：
[0066] Φ；=T yi*Tzi；
[0067] S3013 :计算标准姿态变换到手势样本％的全局方向下的姿态Θ1(]，公式如下：
[0068] Θi0=φ3Θ0;
[0069] 式中，Θ°表示手部标准姿态对应的关节姿态位置为Θ° = { 0 !, 0 2, 0 3,.......，θJ，其中η为手部关节点的数量；
[0070] S3014 :在标准姿态变换到全局方向后，计算全局方向下的姿态Θw和真实手部姿 态θ°的残差Ai，公式如下：
[0071] Δi=Θi0-Θ°；
[0072] 所述的提取特征子步骤S302包括以下子步骤：
[0073] S3021 :对手势样本％中的所有手部立方体划分，包括以下子步骤：
[0074] S30211 :以手部的宽度方向作为X轴，手部的长度方向作为Y轴，手掌的厚度方向 作为Z轴，形成三维坐标系；
[0075] S30212 :以手部的宽度L、手部的长度Η和手掌的厚度D组成立方体，所述立方体 的中心位于三维坐标系的原点之上；
[0076] S30213 :将立方体进行X、Y、Z方向的立方体分割，在X、Y、Z方向分隔分别得到X、 y、ζ等分，分割后的小立方体格数为x*y*z;
[0077] S3022 :将手部深度数据投影到立方体上，包括以下子步骤：
[0078] S30221 :根据步骤S1得到的手部R0I深度数据，对于非背景点，将手部深度数据变 换到图像采集设备坐标系下；
[0079] S30222 :在全部变换完成后，计算出手部深度数据的三维中心；
[0080] S30223 :基于步骤S3021得到的划分的手部立方体，令手部立方体的中心为深度 数据的中心，计算各个深度值对应的手部立方体划分；相当于得到有深度值的划分立方体， 划分立方体的值为深度像素点的个数，否则为〇 ;
[0081] S30224 :在步骤S30223完成之后，得到所有的深度点云之后，得到手部立方体特 征，对手部立方体的各个值进行归一化之后，以固定顺序变换为维度为x*y*z的特征向量X，即得到x2={xX2,......,xj,i=x*y*z；
[0082] 所述的训练子步骤S303以下子步骤：将步骤S301中得到的残差Δi作为手势样 本％的标签，并结合步骤S302中得到的特征向量X进行分类器R2训练。
[0083] 所述的步骤S32包括：根据步骤S1得到的手部深度R0I数据、步骤S2得到的提取 特征&、步骤S2得到的全局方向利用分类器私回归残差，更新最终姿态θ'Θ" =Θ1〇。
[0084] 所述的步骤S33包括：根据V(x，y，z)和L的关系表，按照标准手势关节姿态位 置θ°的各个手指关节比例，对Θu对应的关节比例进行校正，包括对相邻两根关节的长度 比、单个关节的长度、每个手指的三根关节之间的夹角、手指之间的相邻关节间夹角进行校 正；其中，V(x，y，ζ)代表两个关节之间的方向，L表示距离。
[0085] -种基于深度数据的三维手势姿态估计系统，它包括：
[0086] 图像采集设备：用于采集用户手掌图像，包括手掌骨骼点和肤色；
[0087] 用户手部R0I检测模块：用于根据图像采集设备采集到的图像，检测出用户手部 深度数据；
[0088] 手部三维全局方向初步估计模块：用于根据用户手部R0I检测模块得到的手部深 度数据，进行特征提取、离线训练第一分类器、并结合第一分类器实现手部三维全局方向的 回归；
[0089] 三维手势的关节姿态估计模块：用于根据用户手部R0I检测模块得到的手部深度 数据和手部三维全局方向初步估计模块得到的手部关节三维全局方向，实现离线训练第二 分类器、结合第二分类器进行关节姿态在线回归和手势姿态校正，以得到手部关节姿态位 置。
[0090] 本发明的有益效果是：
[0091] (1)本发明提出了一种基于深度数据的三维手势估计方法。该方法为判别式方法， 基于RGBD数据，首先采用两种方式相互配合完成对手部R0I数据的分割，接着在此基础上 采用回归算法完成手部全局方向估计，最后以此数据为辅助再次利用回归算法实现三维手 势姿态估计。本发相比其他方法不仅算法较为简单，同时不需要依赖额外的用户佩戴装置， 在满足一定可用的精度下具有良好的实用价值。
[0092] (2)两次分类器的训练可以采用同一组训练样本进行，节省了工作量与复杂度。
[0093] (3)在最后采用姿态校正模块对手部关节点进行轻微校正，使得估计结果更加合 理。
【附图说明】
[0094] 图1为本发明方法流程图；
[0095] 图2为步骤S1流程图；
[0096] 图3为步骤S2流程图；
[0097] 图4为步骤S3流程图；
[0098] 图5为标准手势及姿态的关节位置；
[0099] 图6为本发明系统框图。
【具体实施方式】
[0100] 下面结合附图进一步详细描述本发明的技术方案：、
[0101] 如图1所示，一种基于深度数据的三维手势姿态估计方法，它包括以下步骤：
[0102] 在本实施例中，图像采集设备采用Kinect2,Kinect2传感器具有能够估计人体关 节点的功能，但是并未实现对手部的关节点，只给出了少量的2个点来表示手部关节，同时 Kinect2能够较为准确的在复杂环境下获取人体骨骼信息，因此提出了基于手掌单个骨骼 点的手部R0I数据获取。此外Kinect2受人的距离、姿态等会存在无法获取骨骼信息的情 况，为此针对这种情况提出了基于肤色检测的手部R0I获取。计算流程如图2所示。
[0103]