一种实时手势识别方法及装置制造方法
【专利摘要】本发明涉及体感控制领域，尤其是一种实时手势识别方法及装置。本发明所要解决的技术问题是：针对上述存在的问题，提供一种实时手势识别方法及装置，本发明涉及一种实时精准的手势识别方法，能在一帧内边进行图像实时输出边进行该算法进行图像处理，从而可以获得任何类型的二维或三维图像目标边缘、骨架、尖端、节点等丰富数据信息；且数据信息能实时的进行排序以获得顺序数组。还可以实现基于骨架特征的目标精确实时跟踪匹配，医学上动静脉轨迹分析。本装置包括所述手势识别装置包括手势识别控制装置和2自由度机械杆。
【专利说明】一种实时手势识别方法及装置
【技术领域】
[0001]本发明涉及体感控制领域，尤其是一种实时手势识别方法及装置。
【背景技术】
[0002]手势识别是体感控制领域的一项重要技术，通过此项技术用户可以通过手势识别控制器以最自然的方式进行人机的交互，比如通过用户的手就可以进行音乐创作，实现手指空中弹奏，医疗的远程手术，远程危险做业，三维模型搭建等操作。
[0003]传统的手势识别过程是先通过帧差法或是肤色识别等方法从可见光图像中提取手势目标；接着进行目标边缘检测，再对边缘序列进行排序拼接；最后通过曲率角点算法，获取曲率最大的坐标处即为类指尖，因为指尖和手指的缝隙是手指的曲率最大极值点，为了排除指缝还需要再通过向量旋转角度特征排除手指缝坐标，从而最终获得指尖坐标。
[0004]但是传统的手势识别算法有很多的缺点，第一在手势目标提取过程中要通过手势目标的提取过程中，因为在可见光环境下，图像对可见光线敏感，易影响目标的提取效果，通用性差，而且采用帧差法还要训练背景模板，增加识别算法复杂度及模板的更新问题，存储一帧数据进行对比使过程难度加大，嵌入式移植时的存储量增加等问题，不利于嵌入式平台移植。第二对于边缘检测序列的拼接需要消耗较多的时间和资源，不能使手势识别计算结果在一帧内完成，总要延时若干帧，实时性差。第三对于在帧与帧之间获取最大的曲率角点坐标，具有坐标跳跃性，不具有坐标连贯性，会产生明显的坐标抖动，然而最终会使得指尖的定位产生明显抖动，不利于之后的精确地操作应用。第四无法再手势识别的同时获取目标的骨架数据信息，只是单纯的识别指尖的大致边界区域。
【发明内容】
[0005]本发明所要解决的技术问题是:针对现有技术存在的问题，提供一种实时手势识别方法及装置，本发明涉及一种实时精准的手势识别方法，能在一帧内边进行图像实时输出边进行该算法进行图像处理，从而可以获得任何类型的二维或三维图像目标边缘、手指骨干、手指尖端、末端节点等丰富数据信息；且数据信息能实时的进行排序以获得顺序数组。还可以实现基于骨架特征的目标精确实时跟踪匹配，医学上动静脉轨迹分析。
[0006]本发明采用的技术方案如下:
[0007]一种实时手势识别方法包括:
[0008]步骤1:通过手势识别装置的左摄像头、右摄像头，进行图像显示帧的同步实时k行全屏扫描，获取红外图像数据，处理器分别对红外图像数据进行处理；步骤2:处理器将红外图像转化为灰度图像通过自适应阀值处理，将手势区域与背景区域进行分离，通过图像二值化的自适应法处理获得手势目标的二值化图；
`[0009]步骤3:通过基于目标边界的预测归类算法对手势区域中每个手指进行相关特征的坐标位置的预测，并将不同的手指特征数据分离归类，获取手势区域中不同手指起始边缘数组ae1、手指终止边缘数组be1、手掌边缘数组和手指骨干数组Cei ;当^1时，代表左摄像头数据，e=2时，代表右摄像数据；
[0010]步骤4:通过每个手指的手指起始边缘ae1、手指终止边缘bei和手指骨干数组cei，获得手指指尖圆心坐标(Xei, Yei)；
[0011]步骤5:通过步骤3、4，根据手指末端判断准则，获得不同手指指节末端；
[0012]步骤6:所述左摄像头、右摄像头分别通过对应的不同手指指节末端和手掌边缘拟合手掌圆心(^)，yJ ;对左摄像头、右摄像头采集同一手势姿势的数据，进行双视差图匹配计算，得到匹配手势识别坐标点；
[0013]步骤7:将匹配手势识别坐标点进行三维建模从而获得手势的3维数据信息；对三维数据信息的运动轨迹进行平滑处理；将平滑后的三维数据信息进行应用输出。
[0014]优选的，所述步骤3中基于目标边界的预测归类算法具体步骤:
[0015]步骤31:当检测到疑似手势目标，即二值图白色像素，并记录手势姿势在该行的起始点aei,其坐标值为(xaei，yaei)；
[0016]步骤32:当k行该疑似目标宽度，即连续白色像素个数大于阈值P时，认为检测到了手势目标而不是噪声点，并记录该行手势目标的终止点bei (xbei，ybei)，其中p=10。
[0017]步骤33:通过前两步骤获得k-Ι行某个手指姿势的起始边缘(Xae(i_D，Yae^1,)和终止边缘(Xbe(H), Ybe(H))，且 ^e(H) =Ybe(H),通过(Xae(H)Jae(H))' (Xbe(H)Jbe(H))两点求出该手指姿势在k-Ι行的中点坐标，即手指骨干坐标，myy^)，其中所述.
【权利要求】
1.一种实时手势识别方法，其特征在于包括: 步骤1:通过手势识别装置的左摄像头、右摄像头，进行图像显示帧的同步实时k行全屏扫描，获取红外图像数据，处理器分别对红外图像数据进行处理；步骤2:处理器将红外图像转化为灰度图像通过自适应阀值处理，将手势区域与背景区域进行分离，通过图像二值化的自适应法处理获得手势目标的二值化图； 步骤3:通过基于目标边界的预测归类算法对手势区域中每个手指进行相关特征的坐标位置的预测，并将不同的手指特征数据分离归类，获取手势区域中不同手指起始边缘数组ae1、手指终止边缘数组be1、手掌边缘数组和手指骨干数组Cei ;当^1时，代表左摄像头数据，e=2时，代表右摄像数据； 步骤4:通过每个手指的手指起始边缘ae1、手指终止边缘bei和手指骨干数组Cei，获得手指指尖圆心坐标(xei) Yei)； 步骤5:通过步骤3、4，根据手指末端判断准则，获得不同手指指节末端； 步骤6:所述左摄像头、右摄像头分别通过对应的不同手指指节末端和手掌边缘拟合手掌圆心Um yj ;对左摄像头、右摄像头采集同一手势姿势的数据，进行双视差图匹配计算，得到匹配手势识别坐标点； 步骤7:将匹配手势识别坐标点进行三维建模从而获得手势的3维数据信息；对三维数据信息的运动轨迹进行平滑处理；将平滑后的三维数据信息进行应用输出。
2.根据权利要求1所述的一种实时手势识别方法，其特征在于所述步骤3 中基于目标边界的预测归类算法具体步骤: 步骤31:当检测到疑似手势目标，即二值图白色像素，并记录手势姿势在该行的起始点aei，其坐标值为(xaei，yaei)； 步骤32:当k行该疑似目标宽度，即连续白色像素个数大于阈值P时，认为检测到了手势目标而不是噪声点，并记录该行手势目标的终止点bei (xbei, ybei),其中p=10。 步骤33:通过前两步骤获得k-Ι行某个手指姿势的起始边缘(Xae(i_D，yae(i_D)和终止边缘(Xbe(H), Ybe(^1))，且 yae(i_1)=ybe(i_1),通过(Xae(H), Yaeii^1))、(Xbe(H), Ybeii^)两点求出该手指姿势在k-Ι行的中点坐标即手指骨干坐标my^^)，(xae(i_u +Xbelj,,)其中所述 hmWMi=-^- HiyeiH) =yae(i_D ;其中 k>=l, i>l。步骤 34:由于手指姿势图像具有连续性，每个手指行扫描中点位置也具有连续性，则通过k-Ι行起始边缘(Xaei1-D, Yae(^1))、终止边缘(XbeI1), Ybe(^1))、手指骨干坐标 Oiixe^1), Iiiye^1)),预测下一行，即k行的起始边缘(xaei, yaei)、终止边缘(xbei, ybei)、手指骨干坐标(mxei, myei),其中所述
Xai^Xb1.nn" = 2 ^ei=Yaei ; 步骤35:根据连续性k行的起始边缘和终止边缘与k-Ι行相等，即当k行的手指骨干坐标在预测的手指姿势起始边缘与手指姿势终止边缘之间，则该中点、起始边缘、终止边缘都属于此手指目标的中点、起始边缘点、终止边缘，否则都不属于该手指目标，起始边缘(xaei, yaei)是通过i个起始边缘组成的边缘,终止边缘(xbei, ybei)是通过i个终止边缘组成的边缘，手指骨干坐标Oiixei, myei)是通过i个中点坐标骨架；步骤36:通过实时行扫描区分不同的手势姿势中不同手指骨干坐标(mxei，myei)、起始边缘(xaei, yaei)、终止边缘(xbei, ybei),得到每个手势目标中不同手指骨干坐标(mxei, myei)、起始边缘(xaei, yaei)、终止边缘(xbei, ybei),以及手掌边缘数组,进行分类存储。
3.根据权利要求2所述的一种实时手势识别方法，其特征在于所述步骤4获得指尖圆心坐标采用拟合方法，具体步骤: 步骤41:对于获得的手势姿势中手指骨干坐标(mxei，myei)，当首次同行出现连续P个白色像素的目标时，左边界点aQ坐标(XaeQ，yae0)、右边界点bQ坐标(xbeCI，ybe0)、下一行左边界点C。坐标(xael, yael)组成三角形的外接圆，通过a。、b0> C0进行指尖圆心坐标(xeCI, ye0)的拟合； 步骤42:yae0=ybe0, yael=yae(l+c,修正参数c范围值为9到11 ； 步骤43:指尖圆心坐标(xe0, ye0):
4.根据权利要求2所述的一种实时手势识别方法，其特征在于所述步骤4获得指尖圆心坐标采用重心算法，具体步骤: 步骤41:对于获得的手势姿势中手指骨干坐标(mxei，myei)，当首次同行出现连续P个白色像素的目标时，左边界点aQ坐标(XaeQ，yae0)、右边界点bQ坐标(xbeCI，ybe0)、下一行左边界点C。坐标(xael, yael)组成三角形的外接圆，通过a。、b0> C0进行指尖圆心坐标(xeCI, ye0)的拟合；
步骤 42:指尖圆心坐标(Xi，Yi)，
5.根据权利要求3或4所述的一种实时手势识别方法，其特征在于所述步骤5手指末端判断准则具体步骤是:判断首次出现两个或以上个数的手指骨架预测中点he(h+1)坐标(mxe(h+1)，mye(h+1)) >ie(u+1)坐标(mxe(u+1)，mye(u+1)) >Je(v+1)坐标(mxe(v+1)，mye(v+1))出现在同一个白色扫描区域，那么上一行与之对应的手指骨架中点为手指指节末端heh坐标(mXeh，myJ、ieu坐标(mxeu, myeu) > jev 坐标(mxev, myev),其中所述 h+l〈=1、u+l〈=1、v+l〈=i。
6.根据权利要求5所述的一种实时手势识别方法，其特征在于所述步骤6具体步骤包括: 步骤61:通过两点手指指节末端和任一随机手掌边缘点用指尖圆心拟合的方法得到掌心坐标(?, %)，并以掌心坐标为原点建立坐标系，分别计算指尖圆心坐标(xei，yei)到对应手指指节末端Onxe^myeJ ,再从指节末端Oiixeii, IiiyeJ到掌心坐标(Xc^ytl)的矢量:
7.根据权利要求6所述的一种实时手势识别方法，其特征在于所述手势识别装置包括手势识别控制装置和2自由度机械杆，所述手势识别控制装置包括左摄像头、右摄像头、最少两个红外LED、处理器、与摄像头对应的红外滤光片、外框架、2自由度机械杆，所述处理器用于控制左摄像头、右摄像头、红外LED、2自由度机械杆工作，处理器放置于外框架内部，左摄像头、右摄像头底座分布于外框架正面，所述红外LED等分布于外框架正面，所述红外滤光片与摄像头上端面表面连接，所述2自由度机械杆一端与外框架侧端面连接，2自由度机械杆另一端通过底座接地，处理器控制2自由度机械杆的旋转电机。
8.根据权利要求7所述的一种实时手势识别方法，其特征在于所述包括3个红外LED，所述红外LED与左摄像头、右摄像头间隔均匀分布在外框架正面。
9.基于权利要求1至7之一所述的一种实时手势识别装置，其特征在于包括手势识别控制装置和2自由度机械杆，所述手势识别控制装置包括左摄像头、右摄像头、最少两个红外LED、处理器、与摄像头对应的红外滤光片、外框架、2自由度机械杆，所述处理器用于控制左摄像头、右摄像头、红外LED、2自由度机械杆工作，处理器放置于外框架内部，左摄像头、右摄像头底座分布于外框架正面，所述红外LED等分布于外框架正面，所述红外滤光片与摄像头上端面表面连接，所述2自由度机械杆一端与外框架侧端面连接，2自由度机械杆另一端通过底座接地，处理器控制2自由度机械杆的旋转电机。
10.根据权利要求9所述的一种实时手势识别装置，其特征在于包括3个红外LED，所述红外LED与左摄像头、右摄像头间隔均匀分布在外框架正面。
【文档编号】G06F3/01GK103714322SQ201310731359
【公开日】2014年4月9日 申请日期:2013年12月26日 优先权日:2013年12月26日
【发明者】李翔, 符赞宣, 王付生 申请人:四川虹欧显示器件有限公司