值确定为所述指尖的深度值； 将所述深度图像中指尖对应的像素点的二维坐标，确定为所述深度图像中指尖的二维坐标。
3.根据权利要求2所述的方法，其中，所述在所述深度图像中分割手形区域的步骤，包括: 将所述深度图像转换为灰度直方图，所述灰度直方图的两个坐标轴分别表示像素值和像素数量； 将所述灰度直方图中最接近该灰度直方图的最大像素值、且所对应的像素数量大于预设数量的像素值确定为右边界像素值； 令所述右边界像素值减去预设边界差值得到左边界预测最小值； 在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值； 将所述深度图像中大于等于所述左边界像素值、小于等于所述右边界像素值的区域分割出来作为所述手形区域。
4.根据权利要求3所述的方法，其中，所述预设数量为O，所述预设边界差值为15。
5.根据权利要求3所述的方法，其中，所述在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值的步骤，包括: 将所述右边界像素值和所述左边界预测最小值之间、所对应的像素数量最少的像素值，确定为左边界预选值； 若所述左边界预选值与所述右边界像素值之间的差值大于预设阈值，则将所述左边界预选值确定为所述左边界像素值，否则，将所述左边界预测最小值确定为所述左边界像素值。
6.根据权利要求5所述的方法，其中，所述在所述手形区域中定位指尖对应的像素点的步骤，包括: 确定所述灰度直方图中、介于所述右边界像素值与所述左边界像素值之间、且所对应的像素数量最小的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。
7.根据权利要求2所述的方法，其中，所述在所述深度图像中分割手形区域的步骤，包括: 将所述深度图像转换为第一灰度直方图，所述第一灰度直方图的两个坐标轴分别表示像素值和像素数量； 将所述第一灰度直方图中最接近该第一灰度直方图的最大像素值、且所对应的像素数量大于第一预设数量的像素值确定为第一右边界像素值； 令所述第一右边界像素值减去第一预设边界差值得到第一左边界预测最小值； 在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值； 以所述第一右边界像素值和所述第一左边界像素值为边界，确定第一区间； 获取红外传感器实时拍摄的红外图像，将所述红外图像转换为第二灰度直方图，所述第二灰度直方图的两个坐标轴分别表示像素值和像素数量； 将所述第二灰度直方图中最接近该第二灰度直方图的最大像素值、且所对应的像素数量大于第二预设数量的像素值确定为第二右边界像素值； 令所述第二右边界像素值减去第二预设边界差值得到第二左边界预测最小值； 在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值； 以所述第二右边界像素值和所述第二左边界像素值为边界，确定第二区间； 计算所述第一区间与所述第二区间的交集，得到交叉区间； 将所述深度图像中像素值介于所述交叉区间的区域分割出来作为所述手形区域。
8.根据权利要求7所述的方法，其中，第一预设数量为O，第一预设边界差值为15，第二预设数量为O，第二预设边界差值为25。
9.根据权利要求7所述的方法，其中， 所述在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值的步骤，包括: 将所述第一右边界像素值和所述第一左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第一左边界预选值； 若所述第一左边界预选值与所述第一右边界像素值之间的差值大于第一预设阈值，则将所述第一左边界预选值确定为所述第一左边界像素值，否则，将所述第一左边界预测最小值确定为所述第一左边界像素值； 所述在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值的步骤，包括: 将所述第二右边界像素值和所述第二左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第二左边界预选值； 若所述第二左边界预选值与所述第二右边界像素值之间的差值大于第二预设阈值，则将所述第二左边界预选值确定为所述第二左边界像素值，否则，将所述第二左边界预测最小值确定为所述第二左边界像素值。
10.根据权利要求9所述的方法，其中，所述在所述手形区域中定位指尖对应的像素点的步骤，包括: 确定所述第一灰度直方图中、介于所述交叉区间中、且所对应的像素数量最小的像素值确定为指尖对应的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。
11.根据权利要求1所述的方法，还包括:采用偏离矩阵对所述转换矩阵进行矫正； 其中，所述偏离矩阵按照如下方式计算: 步骤Cl，启动纠正模式，在所述显示界面中显示所述光标； 步骤C2，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值，以及利用已计算出的转换矩阵对所述深度图像中指尖的二维坐标进行转换，得到转换后的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述转换后的二维坐标组成一偏离匹配组； 步骤C3，提示用户变换指尖的深度和位置，并重复执行所述步骤C2，直至得到第二预设组数的偏离匹配组； 步骤C4，将所有偏离匹配组包含的所述显示界面中所述光标的二维坐标组成第三标定矩阵，并将所有偏离匹配组包含的指尖的深度值、以及所述转换后的二维坐标组成第四标定矩阵； 步骤C5，计算将所述第四标定矩阵转换成为所述第三标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述偏离矩阵。
12.根据权利要求1所述的方法，其中，所述步骤A3包括: 若在相邻两次采样时刻，所述虚拟目标均位于所述显示界面的同一区域，且该相邻两次采样时刻指尖的深度值之差大于预设深度差值，则执行点击事件。
13.根据权利要求12所述的方法，其中，所述步骤A3还包括: 若在相邻两次采样时刻，所述虚拟目标的一维坐标的差值大于第一预设坐标差值，且另一维坐标的差值小于第二预设坐标差值，则执行滑动事件。
14.一种增强现实眼镜系统，包括:增强现实眼镜、标定装置，其中所述增强现实眼镜能够与所述标定装置连接或断开； 所述增强现实眼镜包括: 近眼显示镜片，用于呈现一显示界面，以透射增强现实眼镜前方的场景并显示虚拟信息；并在所述增强现实眼镜连接所述标定装置时，于所述显示界面中显示一光标； 深度相机，用于通过实时拍摄增强现实眼镜前方的场景而获得深度图像； 图像处理模块，用于基于所述深度图像，计算指尖的深度值、以及所述深度图像中指尖的二维坐标； 虚拟目标生成模块，用于采用转换矩阵对所述图像处理模块计算得到的所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在所述显示界面中生成一虚拟目标； 响应模块，用于实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件； 模式选择模块，用于在所述增强现实眼镜未连接所述标定装置时，启动所述虚拟目标生成模块和所述响应模块，在所述增强现实眼镜连接所述标定装置时，关闭所述虚拟目标生成模块和所述响应模块； 所述标定装置包括: 提示模块，用于提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像，以及提示用户变换指尖的深度和位置； 标定执行模块，用于当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取所述图像处理模块基于该时刻所述深度相机获得的深度图像而计算的指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组； 重复标定模块，用于每当用户变换指尖的深度和位置之后，重复触发所述标定执行模块，直到获得第一预设组数的转换匹配组； 转换模块，用于将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；然后计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。
15.根据权利要求14所述的增强现实眼镜系统，其中，所述响应模块包括: 点击触发单元，用于判断在相邻两次采样时刻，所述虚拟目标均位于所述显示界面的同一区域，且该相邻两次采样时刻指尖的深度值之差大于预设深度差值时，执行点击事件。
16.根据权利要求15所述的增强现实眼镜系统，其中，所述响应模块还包括: 滑动触发单元，用于判断在相邻两次采样时刻，所述虚拟目标的一维坐标的差值大于第一预设坐标差值，且另一维坐标的差值小于第二预设坐标差值时，执行滑动事件。
17.根据权利要求14所述的增强现实眼镜系统，还包括:光标控制装置； 所述光标控制装置能够与所述增强现实眼镜连接或断开； 所述光标控制装置用于根据用户的操控使所述光标移动位置。
【专利摘要】本发明的实施方式提供了一种增强现实眼镜的手势识别方法。该方法包括：获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于深度图像计算指尖的深度值、以及深度图像中指尖的二维坐标；采用转换矩阵对深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；实时分析指尖的深度值的大小变化情况，以及显示界面中虚拟目标的位置变化情况，以触发相应事件。本发明的方法通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置相对准，实现准确识别用户手势的目的，具有高精度、响应快等优点。此外，本发明的实施方式提供了一种增强现实眼镜系统。
【IPC分类】G06K9-00, G06F3-01
【公开号】CN104808795
【申请号】CN201510213943
【发明人】王子川, 李永
【申请人】王子川, 李永
【公开日】2015年7月29日
【申请日】2015年4月29日