到夹角θ ρ Θ 2，分别计算右手骨骼点运动的角速度ωι、ω2，计算 公式如式（IV )、式（V )、式（VI)及式（VE )所示：
[0110]
[0111]
[0112]
[0113]
[0114] 式（IV)、式（V )、式（VI)及式（W)中，右肩的坐标为（Xl，yi，Z1),右手的坐 标为（x 2, y2, Z2)，i表示图像帧数，i = 1，2, 3--，表示获取第i帧图像的时间，t; i表 示获取第i-Ι帧图像的时间，#表示在L时刻右肩和右手的向量与XOZ平面的夹角，gf 表示在t i时刻右肩和右手的向量与XOZ平面的夹角，码:表示在&时刻右肩和右手的向 量在XOZ平面的投影与X轴的夹角，.表示在h i时刻右肩和右手的向量在XOZ平面的投 影与X轴的夹角，A t表获取第i图像与第i-Ι帧图像的时间间隔；
[0115] m、计算右手与右肩的距离d，计算公式如式（W)所示：
[0116]
[0117] 实施例7
[0118] 根据实施例1所述一种基于深度信息的手语识别方法，其区别在于，所述贝叶斯 算法如式（IX )所示：
[0119] I = P(A|B) XP(B) (IX)
[0120] 式（IX )中，I表示后验概率，P(B)表示先验概率，P(A|B)表示调整因子，A表示 上下文信息，即已经识别出的手势，B表示未能正确识别或者存在多义性的手势。
【主权项】
1. 一种基于深度信息的手语识别方法，其特征在于，具体步骤包括： (1) 基于深度信息的多阔值手势分割：利用Kinect摄像头获取用户深度数据和骨骼数 据，对手势进行多阔值分割，得到尺度变换后的右手的二值图；与此同时，分别提取右手、右 手食指、右手手腕及右肩四个骨骼点的骨骼空间坐标； (2) 利用5X5窗口对步骤（1)中获取的右手的二值图进行中值滤波和形态学上的闭运 算，即进行平滑处理，并利用近邻法提取手势轮廓； (3) 基于改进的SURF算法，获取手形的特征值； (4) 基于角速度和距离的运动轨迹特征提取：利用步骤（1)提取的右手、右肩的骨骼空 间坐标，获取右手的运动角速度、右手与右肩的距离，即运动轨迹的特征值； 妨将步骤（3)获取的手形的特征值、步骤（4)获取的运动轨迹的特征值作为BP神经 网络的输入，进行手势识别； (6)根据步骤（5)识别后的手势，通过贝叶斯算法对未能正确识别或者存在多义性的 手势进行自动推理校正。2. 根据权利要求1所述的一种基于深度信息的手语识别方法，其特征在于，所述基于 深度信息的多阔值手势分割，具体步骤包括： a、 利用Kinect摄像头获取的用户深度数据与PlayerIndexBitmask做与运算， PlayerIndexBitmask的默认值为7,得到用户索引值，根据用户索引值的不同，将人体与背 景进行分割； b、 当有多个人体在Kinect摄像头的有效视距内时，Kinect摄像头的有效视距为 1. 2m-3. 5m，选择阔值T对步骤a分割后的深度图像进一步分割，阔值T为2. 5m-3. 5m; c、 经过步骤b处理后的深度图像中，如在阔值T内仍有多个人体，计算每个人体的深度 数据平均值，选择深度数据平均值最小的人体作为识别对象； d、 利用Kinect摄像头获取的所述识别对象的右手骨骼点的骨骼空间坐标，对所述识 别对象的右手进行定位，该骨骼空间坐标系是右手螺旋的，WKinect摄像头为原点，Z轴与 Kinect摄像头的朝向一致，y轴正半轴向上延伸，从Kinect摄像头的视角来看，X轴正半轴 向左延伸； 对右手的骨骼空间坐标设定X、Y、Z方向阔值a、P、丫，a的取值范围为50mm-150mm，P的取值范围为100mm-150mm，丫的取值范围为50mm-100mm，分割出右手，最终获得右手的 二值图； e、 在步骤d得到的右手的二值图中，定义右手为一个矩形，所述矩形为nXn，n取值为 200mm-300mm，基于不变性，对所述右手进行尺度变换，尺度变换公式如式（I)、式（II)所 示：式（I)、式（II)中，Wr表示每个像素的大小；d表示右手与Kinect摄像头的实际距 离；D"th表示二值图中的像素宽度，D"th的默认值为320mm;?表示尺度变换后的右手范围。3. 根据权利要求1所述的一种基于深度信息的手语识别方法，其特征在于，所述步骤 a中，所述用户索引值由2个字节16位组成，其中，高13位表示用户至Kinect摄像头的距 离，低3位表示用户索引值，将二进制用户索引值转换为十进制，值为0-7;用户索引值为0， 该像素点为背景，若用户索引值为1到7,该像素点为人体。4. 根据权利要求1所述的一种基于深度信息的手语识别方法，其特征在于，所述步骤 (2) 中利用近邻法提取手势轮廓，具体是指： f、 对平滑处理后深度图像中的每个像素点进行如下操作：如果一个白色点的8个相邻 像素点全部为白色点，则该白色点为内部点；否则，则该白色点为轮廓点； g、 将步骤f得到的所有内部点设为背景点，完成手势轮廓的提取。5. 根据权利要求2所述的一种基于深度信息的手语识别方法，其特征在于，所述步骤 (3) 中，基于改进的SURF算法，获取手形的特征值，具体步骤包括： h、 获取掌屯、位置，确定关键点： ①W步骤（1)获取的右手骨骼点的骨骼空间坐标为圆屯、，W步骤（2)提取的手势轮廓 为边界作内切圆； ② 将步骤①得到的内切圆向右手腕骨骼点方向移动； ③ 将步骤②所述内切圆与步骤（2)提取的手势轮廓的任=个面相切，获取多个内切 圆，取所述多个内切圆中半径最大的内切圆，该内切圆圆屯、为掌屯、位置，即关键点； i、 根据步骤（1)获取的右手、右手食指、右手腕的骨骼空间坐标和步骤h获取的掌屯、坐 标，判断主方向： 求取右手食指坐标与掌屯、坐标的距离，若右手食指坐标与掌屯、坐标距离大于阔值5，5的取值范围为6cm-10cm，即右手食指伸直，则W右手食指坐标与右手腕坐标的方向向量 逆时针旋转角度a为主方向；否则，即右手食指弯曲，则W右手腕坐标与掌屯、坐标的方向 向量为主方向；角度a是右手食指坐标和右手腕坐标的方向向量与右手骨骼点坐标和右 手腕坐标的方向向量的夹角； j、W步骤h获取的关键点为核屯、，W步骤i获取的主方向为主方向，计算特征值： ④ 取边长为20s*20s的正方形区域，S是指关键点所在的尺度，将该正方形区域划分为 4*4,共16个子区域； ⑥在步骤④得到的每个子区域内，计算Harr小波响应屯、dy; ⑧通过高斯函数进行加权，形成4*4*4 = 64维的手形的特征向量，加权公式如式（III) 所示： C=IX(2d"Xdy，X|dj，XIdyl) (III) 式（III)中，C表示四维向量；I表示高斯加权系数；Xdx表示水平方向值之和；Xdy表 示垂直方向值之和；S|屯|表示水平方向绝对值之和；XIdyl表示垂直方向绝对值之和。6. 根据权利要求1所述的一种基于深度信息的手语识别方法，其特征在于，所述步骤 (4) 中，基于角速度与距离的运动轨迹的特征提取，具体步骤包括W下步骤： k、 利用Kinect摄像头获取的右手及右肩的骨骼空间坐标，分别计算右肩和右手的向 量与XOZ平面的夹角0 1、右肩和右手的向量在XOZ平面的投影与X轴的夹角0 2; l、 利用步骤k得到夹角01、02,分别计算右手骨骼点运动的角速度计算公式 如式（IV)、式（V)、式（VI)及式（w)所示：式（IV)、式（V)、式（VI)及式（W)中，右肩的坐标为（XI，yi，Zi)，右手的坐标为 (而，72,Z2)，i表示图像帖数，i= 1，2, 3. . . .，t康示获取第i帖图像的时间，11康示获取 第i-1帖图像的时间，表示在ti时刻右肩和右手的向量与XOZ平面的夹角，母产表示在ti1 时刻右肩和右手的向量与XOZ平面的夹角，巧表示在ti时刻右肩和右手的向量在XOZ平面 的投影与X轴的夹角，發'表示在ti拥刻右肩和右手的向量在XOZ平面的投影与X轴的夹 角，At表获取第i图像与第i-1帖图像的时间间隔； m、计算右手与右肩的距离山计算公式如式（W)所示：7.根据权利要求1所述的一种基于深度信息的手语识别方法，其特征在于，步骤化） 中，所述贝叶斯算法如式（IX)所示： I=P(A|B)XP度）（IX) 式（IX)中，I表示后验概率，P度）表示先验概率，P(AIB)表示调整因子，A表示上下 文信息，即已经识别出的手势，B表示未能正确识别或者存在多义性的手势。
【专利摘要】本发明公开了一种基于深度信息的手语识别方法，包括：(1)单个手势的识别：将手语分为手形和运动轨迹，采用基于深度信息的多阈值手势分割，利用改进的SURF的算法获取手形的特征值，利用基于角速度和距离的运动轨迹特征获取运动轨迹的特征值，并将提取的手形的特征值及运动轨迹的特征值作为BP神经网络的输入，进行手势识别；(2)手势序列的校正：根据已经识别的手势，通过贝叶斯算法对未能正确识别或存在多义性的手势进行自动推理校正。本发明利用Kinect摄像头获取的深度信息进行手势分割，克服了基于视觉的传统手势分割因光照造成的干扰，提高了人机交互的自然性。利用改进的SURF算法，降低了计算量，提高了识别速度。
【IPC分类】G06K9/00
【公开号】CN105005769
【申请号】CN201510398779
【发明人】许宏吉, 曹海波, 刘琚, 党娟, 李石, 李文强
【申请人】山东大学
【公开日】2015年10月28日
【申请日】2015年7月8日