一种增强现实眼镜的手势识别方法及增强现实眼镜系统的制作方法_4

文档序号:8487466阅读:来源:国知局
界差值得到第一左边界预测最小值。
[0132]步骤S214,在第一右边界像素值和第一左边界预测最小值之间确定第一左边界像素值。
[0133]步骤S215,以第一右边界像素值和所述第一左边界像素值为边界,确定第一区间。
[0134]以上步骤S211?步骤S215的具体实施过程可以参考实施例二中步骤Slll?步骤S115进行,此处不再赘述。
[0135]步骤S216,将获取的红外图像转换为第二灰度直方图。
[0136]该步骤中,第二灰度直方图表示红外图像中具有每种像素值的像素点总数(即像素数量),如图5C所示为由红外图像转换的第二灰度直方图,横纵坐标轴分别表示像素值和像素数量,第二灰度直方图中的各个点(例如图5C中连续波形上的点)即对应了红外图像中的各个像素点。
[0137]红外图像的全部像素值在[0,255]区间,以2个像素值为单位宽度将[0,255]区间分割成若干个子区间,然后统计每个子区间的像素数量,然后将结果记录于第二灰度直方图中。例如红外图像中有8个像素点的像素值在子区间[252,253]内,则记子区间[252,253]的像素数量为8,在第二灰度直方图的横坐标(像素值)为[252,253]之处,其纵坐标(像素数量)为8。
[0138]由于红外图像中像素值越大,对应的深度值越小,因此在第二灰度直方图中,越靠近右边界的点,其深度值越小,对应的物体越靠近红外传感器。一般情况下,当用户通过手势操作增强现实眼镜100时,相比于其他物体,手到红外传感器的距离最小,即手离红外传感器最近,基于这一情况,可认为第二灰度直方图中靠近右边界的若干点对应的是手形区域(红外图像中对应手部区域的全部像素点)。以下将红外图像中手形区域的两个边界的像素值,分别记为第二右边界像素值Boundary-R2和第二左边界像素值Boundary_L2。
[0139]步骤S217,将第二灰度直方图中最接近该第二灰度直方图的最大像素值、且所对应的像素数量大于第二预设数量的像素值确定为第二右边界像素值B0undary-R2 ;
[0140]如图5C中,第二灰度直方图的右边界处的像素值为最大像素值,而此处的点几乎为零,这表示最靠近红外传感器的地方没有物体出现。以右边界为起点,依次遍历第二灰度直方图的各个横坐标,当某一点的像素数量大于预设数量(例如为O,表示该点处出现了物体)时,由于相比于其他物体,手距离红外传感器最近,因此,该点应是手部像素点,且该手部像素点对应的应是手部距离红外传感器最近的手部真实点,因此可将该点的像素值确定为第二右边界像素值Boundary-R2。确定了红外图像中手形区域的第二右边界像素值Boundary-R2之后,下一步需确定手形区域的第二左边界像素值Boundary-L。
[0141]步骤S218,令第二右边界像素值减去第二预设边界差值得到第二左边界预测最小值 min(Boundary-L2)。
[0142]根据红外传感器对手部跟踪的实际测试可知,一般情况下,各个手部真实点到红外传感器的最大距离与最小距离之间相差不超过150mm,映射到红外图像上为25个像素值,因此,手形区域的第二右边界像素值Boundary-R2与第二左边界像素值Boundary_L2的差值不会超过25,也就是说,第二左边界像素值Boundary-L2必定出现于第二右边界像素值Boundary-R2与第二左边界预测最小值min (Boundary_L2)之间。
[0143]步骤S219,在第二右边界像素值Boundary_R2和第二左边界预测最小值min (Boundary-L2)之间确定第二左边界像素值Boundary_L2。
[0144]为了更精确地确定第二左边界像素值Boundary-L2,可选地,该步骤可以按照如下方式实现:确定直方图中第二右边界像素值Boundary-R2和左边界预测最小值之间、对应的像素数量最少的像素点,该像素点对应的是手部边缘的手部真实点,将该像素点的像素值确定为第二左边界预选值pre ?oundary-L2);当第二左边界预选值pre ?oundary-L2)太靠近第二右边界像素值Boundary-R2时,以第二左边界预选值pre (Boundary-L2)作为第二左边界像素值B0undary-L2分割出的手形区域会表现为手形不全,为了避免该情况发生,若第二左边界预选值pre (Boundary-L2)与第二右边界像素值Boundary-R2之间的差值大于某一预设阈值(该预设阈值能够保证分割出的手形区域表现为完整的手形),则将第二左边界预选值pre (Boundary-L2)确定为第二左边界像素值Boundary_L2,否则,直接将第二左边界预测最小值min (Boundary-L2)确定为第二左边界像素值Boundary_L2。
[0145]步骤S220,以第二右边界像素值Boundary-R2和所述第二左边界像素值Boundary-L2为边界,确定第二区间。
[0146]步骤S221,计算第一区间与第二区间的交集,得到交叉区间。
[0147]步骤S222,将深度图像中像素值介于所述交叉区间的区域分割出来作为所述手形区域。
[0148]可选地,该步骤可以先根据交叉区间的边界值,对深度图像进行二值化处理,即将介于交叉区间的区域与其他区域分别采用两种不同的灰度值进行区分,然后再分割出手形区域。
[0149]步骤S22,图像处理模块103在分割的手形区域中定位指尖对应的像素点,并将指尖对应的像素点的像素值确定为所述指尖的深度值。
[0150]具体地,由于在三维空间的手部,指尖所占的面积最小,因此指尖对应的像素点总数应最少,因此该步骤可以先确定第一灰度直方图中、介于交叉区间内、且所对应的像素数量最小的像素值,然后在分割出的手形区域中定位该像素值所对应的像素点,即为指尖对应的像素点。
[0151]步骤S23,图像处理模块103将深度图像中指尖对应的像素点的二维坐标,确定为该深度图像中指尖的二维坐标。
[0152]实施例四
[0153]本发明示例性增强现实眼镜100中,转换矩阵的作用是将增强现实眼镜100定位的指尖位置转换为人眼视角下的指尖位置,但是根据转换矩阵得到的转换结果有可能存在误差,例如,随着增强现实眼镜100在用户面部的前后、左右移动,增强现实眼镜100定位的指尖位置(即虚拟目标的位置)就不能与人眼视角下的指尖位置准确匹配。考虑到这一情况,可选地,如图6所示,本发明示例性的标定装置200除了包含提示模块105、标定执行模块106、重复标定模块107、转换模块108之外,还可以包括偏离模块601和纠正模块602。偏离模块601和纠正模块602用于对转换矩阵进行纠正,以使转换矩阵的转换结果准确。
[0154]以下为对转换矩阵进行纠正的流程:
[0155]模式选择模块104根据用户的需要启动纠正模式。
[0156]在纠正模式下,近眼显示镜片101在其显示界面中显示一光标,提示模块105提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像。
[0157]在纠正模式下,当用户控制光标移动以对准所述显示界面中指尖的光学透视图像时,图像处理模块103计算该时刻显示界面中光标的二维坐标(X,Y),并获取该时刻深度相机102获得的深度图像,并基于所述深度图像计算指尖的深度值Z ;同时,标定执行模块106获取图像处理模块103计算得到的显示界面中光标的二维坐标(X,Y)和指尖的深度值Z,并且标定执行模块106利用已计算出的转换矩阵对所述深度图像中指尖的二维坐标(X’,Y’)进行转换,得到转换后的二维坐标(X’,Y’);将该时刻计算得到的显示界面中所述光标的二维坐标(Χ,Υ),以及指尖的深度值Ζ、所述转换后的二维坐标(Χ’,Υ’ )组成一偏离匹配组。
[0158]每当标定执行模块106获得一组偏离匹配组时,提示模块105提示用户变换指尖的深度和位置。
[0159]在纠正模式下,当用户变换指尖的深度和位置之后,重复标定模块107再次触发标定执行模块106,直到标定执行模块106获得第二预设组数的偏离匹配组。可选地,第二预设组数为4组,以得到较好的标定结果。
[0160]在纠正模式下,偏离模块601将全部偏离匹配组包含的显示界面中光标的二维坐标(Χ,γ)组成第三标定矩阵M3,并将全部偏离匹配组包含的指尖的深度值Ζ、以及所述转换后的二维坐标(X’,Y’ )组成第四标定矩阵Μ4 ;偏离模块601计算将第四标定矩阵Μ4转换成为第三标定矩阵M3所需的矩阵,并将计算得到的矩阵确定为偏离矩阵Γ。第三标定矩阵M3、第四标定矩阵Μ4与偏离矩阵Γ之间的关系为:Μ3 = Μ4*Γ。
[0161]在纠正模式下,纠正模块602采用偏离矩阵Γ对已计算得到的转换矩阵A进行矫正。例如,Α’ = Γ*Α,其中Α’为纠正后的转换矩阵。
[0162]当纠正模式关闭、响应模式启动时,转换模块108利用纠正后的转换矩阵,将增强现实眼镜100定位的指尖位置转换为人眼视角下的指尖位置,以使增强现实眼镜100定位的指尖位置与人眼视角下的指尖位置更加匹配。
[0163]示例性方法
[0164]在介绍了本发明示例性实施方式的增强现实眼镜系统之后,接下来,参考图7对本发明示例性实施方式的增强现实眼镜的手势识别方法进行说明。
[0165]如图7所示,增强现实眼镜的手势识别方法,包括:
[0166]步骤S71,启动响应模式,并执行以下步骤S711?步骤S713:
[0167]步骤S711,获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像,并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标;
[0168]步骤S712,采用转换矩阵对所述深度图像中指尖的二维坐标进行转换,并根据转换得到的二维坐标,在增强现实眼镜的显示界面中生成一虚拟目标;
[0169]步骤S713,实时分析指尖的深度值的大小变化情况,以及所述显示界面中虚拟目标的位置变化情况,以触发相应事件。
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1