专利名称：基于深度相机的空间手势姿态指令处理方法
技术领域：
本发明涉及基于深度相机非接触式三维虚拟空间领域，尤其涉及一种基于深度相机的空间手势姿态指令处理方法。
背景技术：
近几年，人机交互、机器人和虚拟现实等领域的快速发展和广泛应用，三维交互输入新技术成为人机虚拟交互领域中众多研究学者研究的热点。随着这项技术的发展和不断深入，大众对其使用需求越来越高，非接触、高速、实时定位与三维操作成为该技术发展的方向。然而，通常利用动态手势实现三维鼠标模拟装置，利用三维空间位置传感器或搭建虚拟三维场景辅助实现，且其操作方式有限。由于受复杂环境、光照条件和干扰等因素的影响较为严重，与理想环境相比，普通相机在室内环境中，采集的图像信息无法准确表达动态三维手势鼠标的操作信息，鲁棒性有更大程度的降低，所以，其实用性和定位操作精度会大大下降，使其非接触鼠标操作装置性能降低。在复杂环境下，能克服光照条件和肤色背景等条件的干扰是解决非接触鼠标操作装置最先完成的工作部分，即对空间中手势分割性能指标提出更高的要求，并准确定位出手势鼠标的位置。但是，目前在复杂背景下的分割方法有手势模板、肤色检测等方法能在一定条件下提高操作稳定性，但无法满足光照条件变化及抗干扰的要求。如果无法准确定位手势的空间位置，那么后续的动态识别操作将受到影响，如动态手势鼠标跟踪、识别等。2010年12月在《光电工程》的第37卷第12期公开了名为《基于动态手势控制的交互式体三维显示》文献，公开了通过对二维相机水平面围绕显示空间捕获二维信息的手势图像处理，实现了人机交互。上述文献在静态手势检测部分，通过检测二维图像数据相邻帧差中特定区域，确定初始动态跟踪区域，结合手部肤色模型进行静态手型检测，其方案抗外界干扰能力差，无法适应较复杂环境；在动态手势特征提取，是通过在二维平面上对手势轨迹做Freeman八方向编码处理,提取出动态手势特征，其计算数据较大，无法精确、快速获取数据。同时，上述文献通过二维相机水平面围绕显示空间捕获二维信息，其装置结构复杂，效率较低。
发明内容
本发明针对上述问题，提供了一种在复杂多变的环境中，能够快速、准确识别空间手势指令信息，极大程度提高工作效率及准确度，且鲁棒性高、实用性强、抗干扰能力好的基于深度相机的空间手势姿态指令处理方法。本发明的技术方案包括以下步骤I)、通过深度相机获取实时的图像，所述图像包括深度图像和RGB彩色图像；利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪，根据所述骨骼跟踪获取所述人体的手部关节点坐标信息；根据所述手部关节点坐标信息，获得所述手势的手掌中心点坐标信息，同时设定所述手势深度信息的阈值，将手势从两所述图像中分割出来，实时得到所述人体的手势深度信息和RGB彩色信息，同时有效地圈出动态手势的位置；2)、对上述 步骤I)中所述手势深度信息，利用三维点云计算得到手势点云数据，计算后的所述手势点云数据只包括所述点的三维坐标位置信息，然后对所述手势点云数据做数据滤波处理，滤除掉所述手势点云数据中的噪声干扰点；得手势点云信息；3)、将步骤2)中所述手势点云信息，通过旋转、平移将手势点云信息三维信息进行平面配准，保存配准后手势点云信息，然后提取出手势点云信息的轮廓特征点信息，所述轮廓特征点包括指尖点、指尖凹点和手掌中心点；4)、根据步骤3)中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值，通过欧式距离法做距离阈值判断、筛选出关键指尖点信息，根据所述指尖点信息和对应指尖凹点信息结合所述平面配准的平面获取五个手指特征矢量，根据所述特征矢量恢复出手势姿态；5)、根据步骤4)所述特征矢量的条件筛选进行三种手势姿态识别；所述三种手势姿态的指令及相应指令处理”Grab”手势，定义为模拟抓取当前三维空间位置物体；” Fist”手势在空间连续运动时，定义为拖动操作，表示运动手势模拟拽拖或移动当前空间位置物体；”Kick”手势定义为点击操作，表示运动手势模拟点击当前空间位置信息，且连续输出空间坐标的信息；6)、根据步骤5)手势姿态识别的结果，在特定手势姿态下，跟踪步骤I)中所述的动态手势的运动轨迹，自动标定一垂直于深度体感相机的虚拟参考平面，当动态手势在标定平面上有运动变化时，测出手势鼠标在标定平面上的相应运动，识别其运动轨迹做并做相应模拟手势鼠标处理操作；当动态手势出现垂直于相机的运动轨迹时，识别相应运动轨迹定义其操作内容，最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。所述手势深度信息的阈值范围为8(Tl00mm。步骤2)中所述三维点云计算为
权利要求
1.基于深度相机的空间手势姿态指令处理方法，其特征在于，包括以下步骤 1)、通过深度相机获取实时的图像，所述图像包括深度图像和RGB彩色图像； 利用OpenNI应用框架对两所述图像中人体进行用户定位和骨骼跟踪，根据所述骨骼跟踪获取所述人体的手部关节点坐标信息； 根据所述手部关节点坐标信息，获得所述手势的手掌中心点坐标信息，同时设定所述手势深度信息的阈值，将手势从两所述图像中分割出来，实时得到所述人体的手势深度信息和RGB彩色信息，同时有效地圈出动态手势的位置； 2)、对上述步骤I)中所述手势深度信息，利用三维点云计算得到手势点云数据，计算后的所述手势点云数据只包括所述点的三维坐标位置信息，然后对所述手势点云数据做数据滤波处理，滤除掉所述手势点云数据中的噪声干扰点；得手势点云信息； 3)、将步骤2)中所述手势点云信息，通过旋转、平移将手势点云信息三維信息进行平面配准，保存配准后手势点云信息，然后提取出手势点云信息的轮廓特征点信息，所述轮廓特征点包括指尖点、指尖凹点和手掌中心点； 4)、根据步骤3)中所述轮廓特征点信息结合深度图像的像素深度值映射出所述轮廓特征点的深度值，通过欧式距离法做距离阈值判断、筛选出关键指尖点信息，根据所述指尖点信息和对应指尖凹点信息结合所述平面配准的平面获取五个手指特征矢量，根据所述特征矢量恢复出手势姿态； 5)、根据步骤4)所述特征矢量的条件筛选进行三种手势姿态识别；所述三种手势姿态的指令及相应指令处理”Grab”手势，定义为模拟抓取当前三维空间位置物体；”Fist”手势在空间连续运动时，定义为拖动操作，表示运动手势模拟拽拖或移动当前空间位置物体；”Kick”手势定义为点击操作，表示运动手势模拟点击当前空间位置信息，且连续输出空间坐标的信息； 6)、根据步骤5)手势姿态识别的结果，在特定手势姿态下，跟踪步骤I)中所述的动态手势的运动轨迹，自动标定ー垂直于深度体感相机的虚拟參考平面，当动态手势在标定平面上有运动变化时，测出手势鼠标在标定平面上的相应运动，识别其运动轨迹做并做相应模拟手势鼠标处理操作；当动态手势出现垂直于相机的运动轨迹时，识别相应运动轨迹定义其操作内容，最終通过TUIO协议对动态手势鼠标输出点进行数据平滑。
2.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法，其特征在于，所述手势深度信息的阈值范围为8(Tl00mm。
3.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法，其特征在于，步骤2)中所述三维点云计算为
4.根据权利要求1所述基于深度相机的空间手势姿态指令处理方法，其特征在于，所述步骤2)的所述滤波处理设置滤波的欧氏距离阈值范围为O. 02mm，最近邻搜索k-D树搜索次数设为100。
5.根据权利要求I所述基于深度相机的空间手势姿态指令处理方法，其特征在 于，所述步骤3)中点云信息配准公式为
6.根据权利要求I所述基于深度相机的空间手势姿态指令处理方法，其特征在于，步骤3)中所述欧式距离法做距离阈值判断、筛选出关键指尖点信息首先通过R=min {d3 (Vj, c0)}，计算得出的手掌半径R值，然后通过d3 (Pi, c0) >2*R，进行筛选出关键指尖点信息；式中d3表示三维空间的欧氏距离计算，式中Pi表示指尖的三维坐标，Vj表示指尖凹点的三维坐标，C0表示手掌中心点的三维坐标。
7.根据权利要求I所述基于深度相机的空间手势姿态指令处理方法，其特征在于，步骤5)中所述特征矢量的条件筛选
8.根据权利要求I所述基于深度相机的空间手势姿态指令处理方法，其特征在于，步骤6)所述动态手势运动过程中手掌坐标运动距离须大于50mm。
9.根据权利要求I所述基于深度相机的空间手势姿态指令处理方法，其特征在于，所述识别其运动轨迹做并做相应模拟手势鼠标处理操作手势运动大小通过差值特征量来衡量，所述差值特征量表达式为
全文摘要
基于深度相机的空间手势姿态指令处理方法。涉及基于深度相机的空间手势姿态指令处理方法。在复杂多变的环境中，能够快速、准确识别空间手势指令信息，极大程度提高工作效率及准确度，且鲁棒性高、实用性强、抗干扰能力好。包括以下步骤1)通过深度相机获取实时的图像；2)利用三维点云计算得到手势点云数据，得手势点云信息；3)将手势点云信息进行平面配准，提取轮廓特征点信息；4)恢复出手势姿态；5)进行手势姿态识别；6)识别相应运动轨迹定义其操作内容，最终通过TUIO协议对动态手势鼠标输出点进行数据平滑。本发明能快速、准确全方位获取目标信息；建立空间运动检测区域，提取不同深度信息，实现多点触摸，从而改善整体操作性能。
文档编号G06T7/20GK102982557SQ20121043864
公开日2013年3月20日 申请日期2012年11月6日 优先权日2012年11月6日
发明者莫建文 申请人:桂林电子科技大学