一种基于双目视觉的实时三维双手手势识别方法及其系统的制作方法
【专利摘要】本发明提供了一种基于双目视觉的实时三维双手手势识别方法及其系统，首先将图像进行初始标定校正，然后提取手势的轮廓，将提取的手势轮廓完成对二维手势的识别并计算手势轮廓的质心，将计算得到的质心进行立体匹配，实现三维手势识别，结合三维手势识别在人机交互模块实现对应的手势显示。本发明能够利用双目视觉信息，实现计算机对基于三维空间的双手手势变化的人机交互，同时还满足很高的实时性和有效性并降低了对硬件的要求，同时本发明达到了人机互动的效果，可以很好的满足了实时性和有效性。
【专利说明】一种基于双目视觉的实时三维双手手势识别方法及其系统
【技术领域】
[0001]本发明涉及一种人机交互系统及其方法，尤其是手势识别的人机交互系统和方法。
【背景技术】
[0002]手势语言是一种依靠动作和视觉进行交际的特殊语言，它是包含信息量最多的人体语言。就人机交互而言，手势识别是一个重要研究领域，其本质是根据用户的手势，识别出所表达的意义。它以人手的影像作为计算机的直接输入设备，用户可简单定义多种手势与计算机进行交互。然而目前的手势识别系统侧重于二维手势识别，局限性较大，而三维手势识别能够判断出三维空间内的手势变化，以更为自然、直观的交互方式得到广泛关注，但是目前来讲，一些交互设备使用了数据手套，虽然数据手套存在识别率高的优点，但是也失去了手势交互的自然性，费用也很昂贵；另一些实现人机交互的方法需要高速摄像头和红外探测器，热点注册等硬件或方法实现，存在对硬件要求偏高、费用高昂，另外这些方法同时存在实时性和有效性太低，识别手势个数少，人机交互效果有限的问题。
【发明内容】
[0003]为了克服现有手势交互技术多侧重于使用二维图像进行的手势识别往往局限于二维及单手的问题，本发明设计并搭建了一种基于双目视觉实时的三维双手手势识别系统，本发明能够基于双目视觉信息计算出所有人特定的双手手势三维信息，并能基于二维手势识别实现对所有人双手手势的三维手势识别，同时能实现三维空间里双手手势的变化对计算机进行操作，实时的完成人机交互的问题。
[0004]本发明还提供一种三维双手手势识别系统的方法，步骤如下:
[0005]步骤一:本发明基于双目视觉的双手手势识别系统，将两个摄像头固定在一个支架上水平设置，先对两个摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定；
[0006]步骤二:启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心；
[0007]步骤三:利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息；
[0008]立体匹配及求视差方法如下:
[0009](I)求得左右图像对的手势质心点分别为(X1,。，y1；c)、(xr；c, yr；c)，X1，。和y1;。，是左图像手势质心横纵坐标，Xr, c和是右图像手势质心横纵坐标；
[0010](2)应用极线约束规则:若lyu-yyl ( 10，记下此时左右质心点坐标作为有效数据，并对下一帧图像继续执行步骤(1)，若不满足，则舍弃该数据，并对下一幅图像继续执行步骤⑴;
[0011](3)取连续5帧图像中的有效质心点坐标数据做均值运算，最终求得的均值分别为
【权利要求】
1.一种基于双目视觉的实时三维双手手势识别系统的方法，其特征在于包括下述步 骤: 步骤一:本发明基于双目视觉的双手手势识别系统，将两个摄像头固定在一个支架上水平设置，先对两个摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定； 步骤二:启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心； 步骤三:利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息； 立体匹配及求视差方法如下: (1)求得左右图像对的手势质心点分别为(x^yu)、(xr；c,yr；c), X1，。和y1;。，是左图像手势质心横纵坐标，xr,c和是右图像手势质心横纵坐标； (2)应用极线约束规则:若(10，记下此时左右质心点坐标作为有效数据，并对下一帧图像继续执行步骤(1)，若不满足，则舍弃该数据，并对下一幅图像继续执行步骤⑴； (3)取连续5帧图像中的有效质心点坐标数据做均值运算，最终求得的均值分别为
2.一种实现权利要求1所述方法的基于双目视觉的实时三维双手手势识别系统，其特征在于:所述的三维双手手势识别系统包括如下模块:(1)系统标定校正模块:在一个支架上水平设置两个摄像头，用标定板对两个摄像头进行标定和校正，并获取两个摄像头的内外参数； (2)图像预处理模块:启动两个摄像头，将系统标定校正模块中两个摄像头采集到的图像分别存在不同的缓存部分，手势色度空间转化之后对缓存部分可以进行释放，采用肤色分割算法对两个摄像头采集到的两个图像中每一帧图像进行肤色分割，然后对图像进行中值滤波处理和形态学处理，其中形态学处理即对边缘存在毛刺和内部空洞的图像进行开、闭运算，对形态学处理后的图像边缘检测运用的是Canny边缘算子，最后用八邻域搜索法提取出两个图像中手势中的轮廓，并提取两个图像中手势轮廓的一阶矩作为手势的质心； (3)深度信息获取模块:利用图像预处理模块已提取的手势质心进行立体匹配，以手势质心到两个摄像头连线的垂直距离作为手势的深度信息； (4)二维手势特征提取与识别模块:对图像预处理模块中得到的用八邻域搜索法分割好的手势轮廓，进行手势轮廓多边形拟合，然后提取手势凸包及凸缺陷特征，用手势凸包及凸缺陷特征完成对二维手势的识别； (5)三维手势识别模 块:二维手势特征提取与识别模块中二维手势凸包及凸缺陷特征结合深度信息获取模块中的深度信息，获取双手手势深度信息实现三维的双手手势； (6)人机交互模块:将三维手势识别模块中三维的双手手势，通过预设的手势变化，转换成计算机指令。
【文档编号】G06F3/01GK103927016SQ201410167749
【公开日】2014年7月16日 申请日期:2014年4月24日 优先权日:2014年4月24日
【发明者】万帅, 公衍超, 白玉杰, 杨楷芳, 付婧文, 陈浩, 肖杰 申请人:西北工业大学