一种非接触式手势操控用户界面的方法
【技术领域】
[0001] 本发明涉及一种非接触式手势交互方法，具体来说是一种基于Kinect的手势与 电脑、触摸屏和投影等用户界面进行非接触式交互的方法。
【背景技术】
[0002] 进入21世纪，手机、计算机等电子设备的硬件性能和普及程度不断提高，触摸屏 开始流行。触摸操作使人们脱离了键盘和鼠标的束缚，直接操作屏幕上显示的对象，更加符 合人的认知和生活习惯，成为近期人机交互方式的潮流。然而随着越来越多不同种类和规 格的屏幕的出现，触摸操作的不便和局限性也渐渐显露出来：小尺寸触摸屏只不过是换了 一种形式的鼠标和键盘而已，仍未让用户摆脱硬件的束缚；挂在墙上的触摸屏尺寸能达到 60甚至100英寸，操作时必须走近屏幕，使得用户无法看全屏幕上的对象，另外对象在屏上 占据的庞大面积也使拖动、缩放和选取等基本操作变得非常笨拙，以致无法完成；在有些情 景中，用户不允许接触到操作设备，例如正在实施手术的医生不能接触到任何可能带菌的 物体，为了操作电子设备，不得不多次在操作结束后对手进行消毒。在公共服务领域，触摸 屏的应用也遇到了一些难以解决的瓶颈。
[0003] 随着人机交互技术的迅速发展，人们想使人机交互变得更加的自然和直接，而传 统交互方式，比如键盘、鼠标等硬件设备，显然已经达不到我们的要求，研宄更加符合人的 交流习惯的人机交互技术近年来变得非常的活跃，人机交互已经从之前的以计算机为中心 逐步转移到以人为中心，基于视觉的人机交互研宄正是顺应了这一潮流。
[0004] 研宄表明，人类信息的获取80%以上来自于视觉，而手势有很强的视觉效果，生动 形象且直观。基于视觉的手势识别技术也逐渐应用于手语识别、字母及汉字识别、幻灯片演 示、灯具的开关控制、游戏控制、电视遥控、浏览网页控制、手指绘图等多个领域。
【发明内容】
[0005] 为了解决以上技术问题，本发明采取了以下技术方案：一种基于Kinect的非接 触式手势控制方法，采用Kinect采集用户双臂骨骼关节动作，通过手势识别算法识别出手 势，最后利用识别出的手势对电脑、触摸屏和投影等用户界面进行操作控制。
[0006] 本发明采取的手势识别方法包含以下步骤：
[0007] 步骤1、通过摄像头采集操作者双臂骨骼关节动作；
[0008] 若被控对象为触摸大屏，则将Kinect摄像头安装在触摸大屏的正中上方；若被控 对象为投影或电脑，则将Kinect放置在投影或电脑旁边便于操作的位置即可。通过Kinect 摄像头采集操作者双臂骨骼关节动作。
[0009] 步骤2、对采集到的图像进行有效性判断，具体判断方法A如下：
[0010] 摄像头采集操作者的骨骼关节点的三维坐标信息数据；当每帧图像中采集到的操 作者的骨骼关节点大于14,并且这14个骨骼关节点中包含了操作者的中肩、左右肩、左右 肘、左右腕和左右手关节共9个关节点的三维坐标数据时，则将其视作有效图像帧数据，否 贝1J，视为无效，并舍弃；
[0011] 其中，Kinect摄像头最多可以采集出现在其摄像头前面操作者的20个骨骼关节 点的三维坐标信息数据，该三维数据有3种状态值：空值，真实值，估计值；
[0012] 然后分别判断有效图像中的左、右手臂是否为有效操作手臂，具体为：肩关节 与对应腕关节y轴坐标之差的绝对值m小于d即为有效的手臂，否则为无效操作，其中 9个骨豁关节点的坐标表示如下：中肩S e(xs。，ys。，zs。）= (0, 0, 0)，左肩Sjxu，ysl, zsl)， 右肩 Sr (xsr, ysr, zsr)，左肘 (xel, yel, zel)，右肘 Er (xer, yer, zer)，左腕 A (xwl, ywl, zwl)，右腕 Wr (xwr, ywr, zwr)，左手 (xhl, yhl, zhl)，右手 Hr (Xj^，y^，zhr)。
[0013] 其中：m = |ysi_ywi|，
【主权项】
1. 一种非接触式手势操控用户界面的方法，其特征在于包含以下步骤： 1) 通过摄像头采集操作者双臂骨骼关节动作； 2) 对采集到的图像进行有效性判断，具体判断方法如下： 首先判断采集到的图像是否是有效图像，具体为，摄像头采集操作者的骨骼关节点的 三维坐标信息数据；当每帧图像中采集到的操作者的骨骼关节点大于14,并且这14个骨骼 关节点中包含了操作者的中肩、左右肩、左右肘、左右腕和左右手关节共9个关节点的三维 坐标数据时，则将其视作有效图像帧数据，否则，视为无效，并舍弃； 然后分别判断有效图像中的左、右手臂是否为有效操作手臂，具体为：肩关节与对 应腕关节y轴坐标之差的绝对值m小于d即为有效的手臂，否则为无效操作，其中9个 骨豁关节点的坐标表示如下：中肩S。(xs。，ys。，zs。）= (0, 0, 0)，左肩Si(xsl,ysl,zsl)，右 zsr)，左財 (xel,zel)，右財Er (xer,yer,zer)，左月姐 (xwl,ywl,zwl)，右月姐 Wr (xwr,ywr,zwr)，左手 (xhl,yhl,zhl)，右手Hr (Xj^，y^，zhr)。 其中：m= |，
，i 取r或者1 ; 3) 对采集到的存在有效操作手臂的图像进行手势识别，具体识别方法A如下： 3. 1)将图像中的关节点的三维坐标数据转换为人体坐标系下的三维数据，其中所述的 人体坐标系是以中肩关节为原点坐标（0, 0, 0)，人体所在平面为X-Y平面，竖直向上方向为 Y轴正方向，人体正对方向为Z轴负方向，X-Y-Z遵守右手螺旋定则； 3. 2)提取t时间段内中肩、左右肩、左右肘、左右腕和左右手关节共9个关节点的人体 坐标系下的三维坐标数据，计算中肩、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手这9个 关节点中，肘关节到对应肩关节点的矢量U与肘关节到对应腕关节点的矢量V的夹角a