一种基于手势图像的处理方法及处理装置制造方法
【专利摘要】本发明公开了一种基于手势图像的处理方法及处理装置，处理方法包括：A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；B、对手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向；本发明实现简单，避免了手指形状变化导致的误判断，能快速有效地提取手指的指向信息，为后续的手势识别提供了有用的数据，提高了准确性。
【专利说明】一种基于手势图像的处理方法及处理装置
【技术领域】
[0001]本发明涉及数字图像处理、机器视觉【技术领域】，特别涉及一种基于手势图像的处理方法及处理装置。
【背景技术】
[0002]目前用手来实现人机交互比键盘、鼠标等媒介更自然流畅、更方便；其原理为机器对手的解析，如手的形状、手在空间的位置，手的姿态等。在基于图像处理技术执行一些手势跟踪识别任务时，常常需要将图像中的手指部分分割出来，并提取出各个手指的方向信
肩、O
[0003]现有的手势识别先将采集的彩色图像转换成二值图像并去噪；再依据曲率变化的特性来识别手指指尖。但是在实际操作时，由于手指的灵活变化产生多种手势，弯曲或握拳时凸出的指关节会被误判为指尖，使识别结果容易出错且能识别的手势有限，导致手指分割出错；同时也导致在检测时难以估计出每根手指的准确方向。
[0004]因而现有技术还有待改进和提高。
【发明内容】
[0005]鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于手势图像的处理方法及处理装置，以解决现有技术手指方向估计不够准确的问题。
[0006]为了达到上述目的，本发明采取了以下技术方案:
一种基于手势图像的处理方法，其包括:
A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像；
B、对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点；
C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。
[0007]所述的基于手势图像的处理方法中，所述步骤B还包括:在所述手部边界线上识别出手指间连接处的指间凹点；
在所述步骤C之后还包括:
D、提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。
[0008]所述的基于手势图像的处理方法中，所述步骤A具体包括:
Al、在红外光源的照射下由红外摄像头拍摄用户的手部、获取红外手势图像；
A2、判断所述红外手势图像上当前像素点的灰度是否大于预设灰度阈值:若大于，则标识该像素点为前景物体像素点；否则，标识该像素点为背景像素点；
A3、重复步骤A2判断所述红外手势图像上的所有像素点后，获得手部二值图像。
[0009]所述的基于手势图像的处理方法中，在所述步骤B中，对所述手部二值图像进行去噪处理，提取手部边界图像具体包括:
B1、对所述手部二值图像进行形态学开运算和闭运算去噪；
B2、对去噪后的手部二值图像进行连通域判别，保留手部区域；
B3、对仅含手部区域的手部二值图像进行形态学腐蚀，并将腐蚀前的图像与腐蚀后的图像相减，获得手部边界图像。
[0010]所述的基于手势图像的处理方法中，在所述步骤B中，在手部边界线上识别出手指的指尖点和手指间连接处的指间凹点具体包括:
BI 1、提取与当前像素点前、后均相隔预设点的前参考点和后参考点，从前参考点到当前像素点的向量为第一向量，从当前像素点到后参考点的向量为第二向量；
B12、计算第一向量与第二向量的夹角的余弦值，判断该余弦值是否满足预设阈值条件:若是，则记录该余弦值及其对应的像素点位置；否则忽略；返回所述步骤Bll对下一个像素点进行计算，直至所有像素点计算完成；
B13、对于已记录的每个像素点，判断其所对应的上述余弦值在从其前参考点到后参考点的所有像素中是否为局部极小值，若是，且其前参考点与后参考点的连线的中点处于所述手部区域内，则当前像素点为指尖点；若所述中点处于所述手部区域外时，当前像素点为指间凹点。
[0011]所述的基于手势图像的处理方法中，所述步骤C具体包括:
Cl、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，并提取前、后参考点的连线上的中点；
C2、连接指尖点与中点形成方向线，由两点公式计算出方向线；
C3、根据方向线的斜率获得该当前指尖点对应的手指的方向。
[0012]所述的基于手势图像的处理方法中，所述步骤D具体包括:
D1、提取与当前指尖点距离最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线；
D2、提取分割线与手部边界线相交的分割点；
D3、所述分割点、指间凹点之间的所有手部边界点即为当前指尖点对应的单根手指的边界点。
[0013]所述的基于手势图像的处理方法中，第一向量与第二向量的夹角余弦值计算公式为:
【权利要求】
1.一种基于手势图像的处理方法，其特征在于，包括: A、获取手势图像，并对手势图像进行二值化处理得到手部二值图像； B、对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像、并在手部边界线上识别出手指的指尖点； C、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。
2.根据权利要求1所述的基于手势图像的处理方法，其特征在于，所述步骤B还包括:在所述手部边界线上识别出手指间连接处的指间凹点； 在所述步骤C之后还包括: D、提取与当前指尖点最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线，由该分割线在手部边界图像上分割出单根手指。
3.根据权利要求1所述的基于手势图像的处理方法，其特征在于，所述步骤A具体包括: Al、在红外光源的照射下由红外摄像头拍摄用户的手部、获取红外手势图像； A2、判断所述红外手势图像上当前像素点的灰度是否大于预设灰度阈值:若大于，则标识该像素点为前景物体像素点；否则，标识该像素点为背景像素点； A3、重复步骤A2判断所述红外手势图像上的所有像素点后，获得手部二值图像。
4.根据权利要求2所述的基于手势图像的处理方法，其特征在于，在所述步骤B中，对所述手部二值图像进行去噪处理，提取手部边界图像具体包括: B1、对所述手部二值图像进行形态学开运算和闭运算去噪； B2、对去噪后的手部二值图像进行连通域判别，保留手部区域； B3、对仅含手部区域的手部二值图像进行形态学腐蚀，并将腐蚀前的图像与腐蚀后的图像相减，获得手部边界图像。
5.根据权利要求4所述的基于手势图像的处理方法，其特征在于，在所述步骤B中，在手部边界线上识别出手指的指尖点和手指间连接处的指间凹点具体包括: BI 1、提取与当前像素点前、后均相隔预设点的前参考点和后参考点，从前参考点到当前像素点的向量为第一向量，从当前像素点到后参考点的向量为第二向量； B12、计算第一向量与第二向量的夹角的余弦值，判断该余弦值是否满足预设阈值条件:若是，则记录该余弦值及其对应的像素点位置；否则忽略；返回所述步骤Bll对下一个像素点进行计算，直至所有像素点计算完成； B13、对于已记录的每个像素点，判断其所对应的余弦值在从其前参考点到后参考点的所有像素点中是否为局部极小值，若是，且其前参考点与后参考点的连线的中点处于所述手部区域内，则当前像素点为指尖点；若所述中点处于所述手部区域外时，当前像素点为指间凹点。
6.根据权利要求2所述的基于手势图像的处理方法，其特征在于，所述步骤C具体包括: Cl、在手部边界线上提取与当前指尖点前、后均相隔预设点数的前参考点和后参考点，并提取前、后参考点的连线上的中点； C2、连接指尖点与中点形成方向线，由两点公式计算出方向线；C3、根据方向线的斜率获得该当前指尖点对应的手指的方向。
7.根据权利要求6所述的基于手势图像的处理方法，其特征在于，所述步骤D具体包括: D1、提取与当前指尖点距离最近的指间凹点，由该指间凹点发射出与所述指尖点对应的方向线垂直相交的分割线； D2、提取分割线与手部边界线相交的分割点； D3、所述分割点、指间凹点之间的所有手部边界点即为当前指尖点对应的单根手指的边界点。
8.根据权利要求5所述的基于手势图像的处理方法，其特征在于，第一向量与第二向量的夹角余弦值计算公式为:
9.根据权利要求6所述的基于手势图像的处理方法，其特征在于，所述方向线的计算公式为:
10.一种基于手势图像的处理装置，其特征在于，包括: 图像获取模块，用于获取手势图像； 图像处理模块，用于对手势图像进行二值化处理得到手部二值图像，对所述手部二值图像进行去噪处理以及连通域判别处理，提取手部边界图像，并在手部边界线上识别出手指的指尖点； 手指处理模块，用于在手部边界线上提取与当前指尖点前、后均相隔预设像素点个数的前参考点和后参考点，基于所述前参考点、后参考点及当前指尖点计算手指的方向。
【文档编号】G06K9/00GK103544472SQ201310387253
【公开日】2014年1月29日 申请日期:2013年8月30日 优先权日:2013年8月30日
【发明者】陈永洒, 邵诗强, 施建华 申请人:Tcl集团股份有限公司