一种增强现实眼镜的手势识别方法及增强现实眼镜系统的制作方法
【技术领域】
[0001]本发明的实施方式涉及增强现实技术领域，更具体地，本发明的实施方式涉及一种增强现实眼镜的手势识别方法及增强现实眼镜系统。
【背景技术】
[0002]本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]增强现实技术，是一种将真实世界信息和虚拟信息“无缝”集成的技术，是把原本在真实世界一定时间空间范围内的信息(如视觉、声音、味道、触觉等)通过电脑技术模拟仿真后再与虚拟信息叠加，令真实世界的信息和虚拟信息实时地叠加到了同一个画面或空间，再被人类感官所感知，从而达到超越现实的感官体验。增强现实技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
[0004]增强现实眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品，拥有透射式的近眼显示系统、独立的操作系统和强大的图像处理能力，用户既能看到真实场景又能看到计算机生成的虚拟信息。使用增强现实眼镜时，用户的手类似于电脑的光标，增强现实眼镜通过识别用户的手势实现人机交互，用户可以通过变换手势对眼镜显示的界面(以下简称为“显示界面”)进行操作，实现单击、双击、缩放、滑动等效果。
[0005]目前常见的增强现实眼镜，多是先利用RGB摄像头获取用户的手形图像，然后对手形图像进行识别，识别过程一般包括手形分割、识别、跟踪三个步骤。当手从增强现实眼镜前方挥动时，利用RGB摄像头拍摄图像，基于拍摄到的图像，将手形从背景中分割出来，然后对手形进行识别，以及分析不同采样时刻手形移动的方向及重心坐标的变化量，据此响应某一条界面操作指令。
【发明内容】
[0006]但是，目前的增强现实眼镜只能获取RGB摄像头成像系统中的手形坐标，却不能获知人眼视角下手的位置，这就可能导致手势识别结果与用户期望的界面操作不匹配，也就不能准确理解用户的操作意图。因此目前现有的增强现实眼镜存在手势识别误差大的缺点，不利于人机交互过程，一定程度上降低了用户的体验感。
[0007]为此，非常需要一种改进的增强现实眼镜，以提高手势识别的精准程度，准确理解用户的操作意图。
[0008]在本上下文中，本发明的实施方式期望提供一种增强现实眼镜的手势识别方法及增强现实眼镜系统。
[0009]在本发明实施方式的第一方面中，提供了一种增强现实眼镜的手势识别方法，包括:
[0010]步骤Al，获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；
[0011]步骤A2，采用转换矩阵对所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；
[0012]步骤A3，实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；
[0013]其中，所述转换矩阵按照如下方式计算:
[0014]步骤BI，在所述显示界面中显示一光标；
[0015]步骤B2，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；
[0016]步骤B3，提示用户变换指尖的深度和位置，并重复执行所述步骤B2，直至得到第一预设组数的转换匹配组；
[0017]步骤B4，将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；
[0018]步骤B5，计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。
[0019]在本发明实施方式的第二方面中，提供了一种增强现实眼镜系统，包括:
[0020]增强现实眼镜、标定装置，其中所述增强现实眼镜能够与所述标定装置连接或断开；
[0021]所述增强现实眼镜包括:
[0022]近眼显示镜片，用于呈现一显示界面，以透射增强现实眼镜前方的场景并显示虚拟信息；并在所述增强现实眼镜连接所述标定装置时，于所述显示界面中显示一光标；
[0023]深度相机，用于通过实时拍摄增强现实眼镜前方的场景而获得深度图像；
[0024]图像处理模块，用于基于所述深度图像，计算指尖的深度值、以及所述深度图像中指尖的二维坐标；
[0025]虚拟目标生成模块，用于采用转换矩阵对所述图像处理模块计算得到的所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在所述显示界面中生成一虚拟目标；
[0026]响应模块，用于实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；
[0027]模式选择模块，用于在所述增强现实眼镜未连接所述标定装置时，启动所述虚拟目标生成模块和所述响应模块，在所述增强现实眼镜连接所述标定装置时，关闭所述虚拟目标生成模块和所述响应模块；
[0028]所述标定装置包括:
[0029]提示模块，用于提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像，以及提示用户变换指尖的深度和位置；
[0030]标定执行模块，用于当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取所述图像处理模块基于该时刻所述深度相机获得的深度图像而计算的指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；
[0031]重复标定模块，用于每当用户变换指尖的深度和位置之后，重复触发所述标定执行模块，直到获得第一预设组数的转换匹配组；
[0032]转换模块，用于将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；然后计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。
[0033]根据本发明实施方式的增强现实眼镜的手势识别方法及增强现实眼镜系统，可以获取指尖的三维信息，通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置相对准，实现准确识别用户手势，进而达到准确理解用户的操作意图的目的，具有高精度、响应快等优点，有利于人机交互，能显著提升用户的体验感。
【附图说明】
[0034]通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中:
[0035]图1示意性地示出了本发明的实施方式可以在其中实施的应用场景；
[0036]图2示意性地示出了本发明示例性设备提供的增强现实眼镜系统的一种结构框图；
[0037]图3示意性地示出了本发明实施例一中增强现实眼镜100的手势识别流程；
[0038]图4A、图4B示意性地示出了本发明实施例二中图像处理模块103的一种处理流程;
[0039]图4C示意性地示出了本发明实施例二中由深度图像转换的灰度直方图；
[0040]图5A、图5B示意性地示出了本发明实施例三中图像处理模块103的一种处理流程;
[0041]图5C示意性地示出了本发明实施例三中由红外图像转换的第二灰度直方图；
[0042]图6示意性地示出了本发明实施例四提供的增强现实眼镜系统的另一种结构框图；
[0043]图7示意性地示出了本发明示例性方法提供的增强现实眼镜的手势识别方法的流程图；
[0044]图8示意性地示出了本发明示例性方法提供的转换矩阵按照计算流程图；
[0045]图9示意性地示出了本发明示例性方法提供的偏离矩阵按照计算流程图。
[0046]在附图中，相同或对应的标号表不相同或对应的部分。
【具体实施方式】
[0047]下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0048]本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0049]根据本发明的实施方式，提出了一种增强现实眼镜的手势识别方法及增强现实眼镜系统。
[0050]在本文中，需要理解的是，所涉及的术语“指尖的深度值”表示三维空间中，指尖距离深度相机的距离。
[0051]此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0052]下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
[0053]发曰月概沐
[0054]本发明人发现，目前的增强现实眼镜只能获取二维的手形坐标，但根据这种二维的手形坐标定位出的手的位置与人眼视角下手的位置存在较大差异，这会导致手势识别结果与用户期望的界面操作不匹配等问题。
[0055]本发明提供了一种增强现实眼镜的手势识别方法