头戴式显示设备的输入控制方法、装置及头戴式显示设备与流程

本公开实施例涉及虚拟现实技术领域，更具体地，涉及一种头戴式显示设备的输入控制方法、装置、头戴式显示设备及计算机可读存储介质。

背景技术：

头戴式显示设备(headmounteddisplay，hmd)是一种可以穿戴在用户头部的显示设备，能够实现虚拟现实(virtualreality，vr)、增强现实(augmentedreality，ar)和混合现实(mixedreality，mr)等不同效果。

hmd在使用时会使用户的头部或者眼睛会处于封闭环境，以使用户能够沉浸在虚拟环境中。为了展示ar和mr中的现实内容，hmd上还会安装至少一个彩色相机，以便通过至少一个彩色相机摄取现实世界中的现实图像并将其投影至人眼，从而模拟用户直接看外部的三维物理空间环境。hmd通过其上的显示界面显示经过叠加处理的现实图像和虚拟图像。

随着hmd应用领域的增多(例如娱乐领域、医疗领域、教育领域、工业领域等)，hmd的显示界面中能够显示多种多样的虚拟现实场景(或增强现实场景或混合现实场景)。许多场景下，hmd需要外接例如手柄控制器等额外的硬件设备，以便通过该硬件设备来获得用户的输入信息，实现人机交互。

技术实现要素：

本公开实施例的一个目的是提供一种头戴式显示设备的输入控制的新的技术方案。

根据本公开的第一方面，提供了一种头戴式显示设备的输入控制方法，该头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机；该方法包括：在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；其中，挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；在识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；将目标虚拟按键对应的信息作为用户输入信息。

可选地，确定目标图像中是否存在挤压姿态手势，包括：检测目标图像中是否存在人手；在检测到目标图像中存在人手的情况下，识别人手上的骨骼点；其中，骨骼点包括人手的每个手指上的指尖点和指关节点、以及连接人手的腕关节点；实时获取人手上的骨骼点的三维空间位置信息；对人手上的骨骼点的三维空间位置信息进行追踪，以确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，根据目标图像确定用户是否做出挤压姿态手势。

可选地，对人手上的骨骼点的三维空间位置信息进行追踪，包括：获取预定帧数的人手上的骨骼点的三维空间位置信息；对各骨骼点的三维空间位置信息进行平滑滤波处理，将处理结果作为追踪结果。

可选地，重叠条件包括：第一手指上的指尖点和第二手指上的一个指关节点发生重叠且重叠状态的持续帧数大于预设帧数。

可选地，第一手指为大拇指，第二手指为食指、中指和无名指中任一个。

可选地，多个虚拟按键包括9个虚拟按键，9个虚拟按键与所有第二手指的指关节点一一对应。

可选地，该方法还包括：在目标虚拟按键对应一个信息情况下，将目标虚拟按键对应的该信息作为用户输入信息；在目标虚拟按键对应按照预设顺序排列的n个信息情况下，在连续m次将同一指关节点对应的虚拟按键确定为目标虚拟按键时，将目标虚拟按键对应的第m个信息作为用户输入信息；其中，n为自然数且n>1；m为自然数且n≥m>1。

根据本公开的第二方面，还提供了一种头戴式显示设备的输入控制装置，该头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机；该装置包括：识别模块，用于在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；其中，挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；确定模块，用于在识别模块识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；处理模块，用于将确定模块确定的目标虚拟按键对应的信息作为用户输入信息。

可选地，识别模块包括：检测子模块，用于检测目标图像中是否存在人手；识别子模块，用于在检测到目标图像中存在人手的情况下，识别人手上的骨骼点；其中，骨骼点包括人手的每个手指上的指尖点和指关节点、以及连接人手的腕关节点；获取子模块，用于实时获取人手上的骨骼点的三维空间位置信息；处理子模块，用于对人手上的骨骼点的三维空间位置信息进行追踪，以确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，根据目标图像确定用户是否做出挤压姿态手势。

可选地，处理子模块用于：获取预定帧数的人手上的各骨骼点的三维空间位置信息；对各骨骼点的三维空间位置信息进行平滑滤波处理，将处理结果作为追踪结果。

可选地，重叠条件包括：第一手指上的指尖点和第二手指上的一个指关节点发生重叠且重叠状态的持续帧数大于预设帧数。

可选地，第一手指为大拇指，第二手指为食指、中指和无名指中任一个。

可选地，多个虚拟按键包括9个虚拟按键，9个虚拟按键与所有第二手指的指关节点一一对应。

可选地，该装置还包括，输入控制模块，用于在目标虚拟按键对应一个信息情况下，将目标虚拟按键对应的该信息作为用户输入信息；在目标虚拟按键对应按照预设顺序排列的n个信息情况下，在连续m次将同一指关节点对应的虚拟按键确定为目标虚拟按键时，将目标虚拟按键对应的第m个信息作为用户输入信息；其中，n为自然数且n>1；m为自然数且n≥m>1。

根据本公开的第三方面，还提供了一种头戴式显示设备，该头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机。该头戴式显示设备还包括存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序，以实现根据本公开第一方面的方法。

根据本公开的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序在被处理器执行时实现根据本公开的第一方面的方法。

本公开实施例的一个有益效果在于，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机，在头戴式显示设备显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；然后在确定目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；最后将目标虚拟按键对应的信息作为用户输入信息。由此可见，本公开实施例能够根据用户的手势来准确获得用户所要输入的信息，不仅操作简单、用户学习成本低，使得用户无需再通过额外的手柄控制器与hmd进行人机交互，由此能够有效减少甚至消除由于用户需要手持手柄控制器给用户行动造成的不便影响、以及由于用户需要手持手柄控制器导致用户与hmd交互过程操作繁琐的影响，提高用户与hmd交互过程的便利性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。

图1为本公开实施例提供的一种头戴式显示设备的输入控制方法的方法流程图；

图2为本公开实施例提供的一种头戴式显示设备的输入控制方法中一种虚拟按键的排布示意图；

图3为本公开实施例提供的一种头戴式显示设备的输入控制方法中另一种虚拟按键的排布示意图；

图4a为图2所示的虚拟按键的排布方式下各数字按键的示意图；

图4b为图2所示的虚拟按键的排布方式下各字母按键的示意图；

图5为本公开实施例提供的一种头戴式显示设备的输入控制方法中各骨骼点位置示意图；

图6a为本公开实施例提供的一种头戴式显示设备的输入控制方法中一种第二手指上各指关节点的示意图；

图6b为本公开实施例提供的一种头戴式显示设备的输入控制方法中另一种第二手指上各指关节点的示意图；

图7为本公开实施例提供的另一种头戴式显示设备的输入控制方法的方法流程图；

图8为本公开实施例提供的再一种头戴式显示设备的输入控制方法的方法流程图；

图9为本公开实施例提供的一种头戴式显示设备的输入控制方法中三维空间位置坐标示意图；

图10a为本公开实施例提供的一种头戴式显示设备的输入控制方法中一种第二手指的指关节点与多个虚拟按键的对应关系示意图；

图10b为本公开实施例提供的一种头戴式显示设备的输入控制方法中另一种第二手指的指关节点与多个虚拟按键的对应关系示意图；

图11为本公开实施例提供的一种头戴式显示设备的输入控制装置的功能结构框图；

图12为本公开实施例提供的一种头戴式显示设备的功能结构框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

hmd能够向用户展示虚拟世界中的可视化三维虚拟图像，或者hmd能够将虚拟世界和现实世界进行叠加，例如将虚拟世界中的虚拟图像与现实世界中的现实图像进行叠加，从而向用户展示出虚拟图像和现实图像相结合的可视化三维图像。

目前，随着hmd应用领域的增多，hmd的显示界面中能够显示多种多样的虚拟现实场景(或增强现实场景或混合现实场景)。在娱乐领域，hmd例如可以显示人机交互的游戏中多种多样的游戏场景，又如可以显示主题公园中的体验场景(如在用户体验远古地球生态的过程中显示虚拟现实的远古地球生态场景)，可以播放电影等；在医疗领域，hmd例如可以实施远程手术、模拟实际手术场景，在教育领域，hmd例如可以呈现多种体验式场景，以实现体验式情景教学，在钢厂、电力、石油化工生产等工业领域，hmd可以模拟多种工业制造的场景等。

实际情况中，在许多场景下，用户需要手持例如手柄控制器等额外的硬件设备才能与hmd进行人机交互。然而，使用手柄控制器的过程可能会妨碍到用户的行动，例如在实施远程手术过程中，当前时刻医生需要了解用户的电子计算机断层扫描(computedtomography，ct)结果、核磁共振检测结果等，此时医生双手不方便通过手柄控制器来调出上述内容；并且，使用手柄控制器的过程也较为繁琐，例如，在使用hmd观看电影时，用户可能就仅仅需要查找一个电影的名字，目前的方式是用户需要手握手柄控制器，然后重新连接hmd与该手柄控制器，在二者连接成功的情况下，用户通过操作手柄控制器来操作hmd显示界面中的虚拟键盘，以向hmd输入用户希望查找的电影名字，由此才能完成用户的诉求。

由此可见，用户通过例如手柄控制器等额外的硬件设备与hmd进行人机交互的过程具有诸多不便性。然而，在不持有例如手柄控制器等额外的硬件设备的情况下，hmd很难直观和准确地检测用户的输入信息。

针对上述存在的问题，本公开实施例提供了一种头戴式显示设备的输入控制方案。

下面，参照附图描述根据本公开的各个实施例和例子。

<方法实施例>

图1示出了本公开实施例提供的一种头戴式显示设备的输入控制方法的方法流程图。如图1所示，该方法包括如下步骤s110～s130。

步骤s110：在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势。

本公开实施例中，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机。

示例地，上述相机为彩色相机。目标图像为彩色相机获取现实世界的不包含深度信息的平面图像。在此情况下，至少一个相机包括两个相机，该两个相机分别设置在两个人眼位置处，以准确模拟人眼观看外部的三维物理空间环境。

又示例地，上述相机为用于获取目标区域的深度图像的深度相机。深度图像即将深度相机到现实场景中各点的距离作为像素值的图像。在此情况下，至少一个相机包括一个相机。

又示例地，上述相机为利用红外线来成像的红外相机。在此情况下，至少一个相机包括两个相机，该两个相机分别设置在两个人眼位置处，以准确模拟人眼观看外部的三维物理空间环境。

在一些示例中，上述相机的一些参数如下：

分辨率通常：640px*480px以上；

帧率：30hz以上；

视场角(fieldofview，fov)：100°以上；

对手指的最小追踪距离(相机距离手指的距离)：10cm～100cm。

本公开实施例中，头戴式显示设备的显示界面可以显示多个虚拟按键，上述多个虚拟按键可以按照一定规则排布。

示例地，如图2所示，多个虚拟按键按照3×3的九宫格的方式排布。

又示例地，多个虚拟按键按照如图3所示的3×4的十二宫格的方式排布。

在一些实施例中，多个虚拟按键例如包括多个数字按键、多个字母按键、和/或多个特定字符(例如标点符号、特殊字符等)按键。

示例地，以图2所示的按照3×3的九宫格的方式排布的多个虚拟按键为例，多个虚拟按键可以如图4a所示包括多个数字按键，或者多个虚拟按键可以如图4b所示包括多个字母按键。

当然，可以理解的是，上述所列举的排布规则仅仅是示例性的，本公开实施例中的多个虚拟按键的排布方式包括但不限于上述所列举的排布方式。只要能够保证多个虚拟按键中每个虚拟按键能够与第二手指(参见后续实施例中的对应描述)上的指关节点一一对应，本公开实施例中多个虚拟按键的排布方式不作限定。

如图5所示，通常情况下，人手包括五个手指，每个手指包括三个指关节点和一个指尖点。本公开实施例中，挤压姿态手势包括人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上。

参见图5所示，大拇指包括大拇指指尖点a1，以及沿着远离大拇指指尖点a1的方向依次排列的第一大拇指指关节点b1、第二大拇指指关节点b2和第三大拇指指关节点b3。食指包括食指指尖点a2、以及沿着远离食指指尖点a2的方向依次排列的第一食指指关节点b4、第二食指指关节点b5和第三食指指关节点b6。中指包括中指指尖点a3、以及沿着远离中指指尖点a3的方向依次排列的第一中指指关节点b7、第二中指指关节点b8和第三中指指关节点b9。无名指包括无名指指尖点a4、以及沿着远离无名指指尖点a4的方向依次排列的第一无名指指关节点b10、第二无名指指关节点b11和第三无名指指关节点b12。小拇指包括小拇指指尖点a5、以及沿着远离小拇指指尖点a5的方向依次排列的第一小拇指指关节点b13、第二小拇指指关节点b14和第三小拇指指关节点b15。

可以理解的是，图5中仅以左手为例示出了人手上各手指指尖点位置和指关节位置。实际情况中，右手上各手指指尖点位置和指关节位置与左手类似，此处不再赘述。

在一些实施例中，第一手指为大拇指，第二手指为食指、中指和无名指中任一个。在此情况下，如图6a所示，第一手指的指尖点所能够挤压的指关节点包括：食指、中指和无名指上的共9个指关节点，即第一食指指关节点b4、第二食指指关节点b5、第三食指指关节点b6、第一中指指关节点b7、第二中指指关节点b8、第三中指指关节点b9、第一无名指指关节点b10、第二无名指指关节点b11和第三无名指指关节点b12。

在另一些实施例中，第一手指为大拇指，第二手指为食指、中指、无名指和小拇指中任一个。在此情况下，如图6b所示，第一手指的指尖点所能够挤压的指关节点包括：食指、中指、无名指和小拇指上的共12个关节点，即第一食指指关节点b4、第二食指指关节点b5、第三食指指关节点b6、第一中指指关节点b7、第二中指指关节点b8、第三中指指关节点b9、第一无名指指关节点b10、第二无名指指关节点b11、第三无名指指关节点b12、第一小拇指指关节点b13、第二小拇指指关节点b14和第三小拇指指关节点b15。

在一些实施例中，如图7所示，步骤s110的执行过程可以包括如下步骤s710～s740。

步骤s710：检测目标图像中是否存在人手。

在一些实施例中，可以将目标图像输入预设的用于识别人手图像的检测模型。若检测模型检测到目标图像中存在人手图像，则输出结果为是，若检测模型检测到目标图像中不存在人手图像，则输出结果为否。

在步骤s710中，若检测到检测模型输出的结果为是，则确定目标图像中存在人手，若检测到检测模型输出的结果为否，则确定目标图像中不存在人手。

检测模型的训练方式可以由本领域技术人员根据实际情况进行设置，例如可以采用上述相机采集的包括150个以上的用户手的动作行为案例共300万张样本图像数据，根据上述样本图像数据和卷积神经网络算法训练用于识别人手图像的检测模型。

步骤s720：在检测到目标图像中存在人手的情况下，识别人手上的骨骼点。

在一些示例中，参见图5所示，人手上的骨骼点包括人手上食指、中指和无名指上的指关节点b4～b12。

在另一些示例中，为了提高对人手的骨骼点的位置识别的准确性，参见图5所示，人手上的骨骼点包括人手每个手指上的指尖点a1～a5和指关节点b1～b15、以及人手的腕关节点c1。在此情况下，人手上共21个骨骼点。其中，每个手指上有1个指尖点，3个指关节点。

在步骤s720中，可以将目标图像输入预设的骨骼点检测模型，然后获得骨骼点检测模型输出的骨骼点图像，识别人手上的骨骼点所在位置。

骨骼点检测模型的获得方式可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。例如可以采用上述相机采集的包括150个以上的用户手的动作行为案例共300万张样本图像数据，根据上述样本图像数据和卷积神经网络算法训练用于识别人手上各骨骼点位置的骨骼点检测模型。

步骤s730：实时获取人手上的骨骼点的三维空间位置信息。

三维空间位置信息例如三维空间位置坐标信息。如图9所示，三维空间位置坐标包括x方向坐标、y方向坐标和z方向坐标，其中，原点坐标为o，x方向、y方向和z方向两两垂直。

步骤s740：对人手上的骨骼点的三维空间位置信息进行追踪，以确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，根据目标图像确定用户是否做出挤压姿态手势。

示例地，重叠条件包括：第一手指上的指尖点和第二手指上的一个指关节点发生重叠且重叠状态的持续帧数大于预设帧数。

步骤s740中，实时对人手上的骨骼点的三维空间坐标进行追踪，从而定位目标图像中每帧下的人手上各骨骼点的位置。在此情况下，在确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，确定用户做出了挤压姿态手势。

预设帧数可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

如图8所示，步骤s740的执行过程可以包括如下步骤s810～s820。

步骤s810：获取预定帧数的人手上的各骨骼点的三维空间位置信息。

预定帧数可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

步骤s820：对各骨骼点的三维空间位置信息进行平滑滤波处理，将处理结果作为追踪结果。

获得各骨骼点的三维空间位置信息在时间轴上的变化数据。对时间轴上预设窗口内的三维空间位置信息进行平滑滤波，降低各骨骼点的三维空间信息的抖动精度误差，减少由于图像数据噪声或者神经网络模型识别误差导致的骨骼点的抖动误差。

预设窗口的大小可以有本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

步骤s120：在识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键。

在多个虚拟按键包括9个虚拟按键的情况下，食指、中指和无名指上共9个指关节点，9个虚拟按键与上述9个关节点一一对应。

在多个虚拟按键包括12个虚拟按键的情况下，食指、中指、无名指和小拇指上共12个指关节点，12个虚拟按键与上述12个关节点一一对应。

示例地，在多个虚拟按键包括9个虚拟按键，且9个虚拟按键按照3×3的九宫格的方式排布的情况下，如图10a所示，预设的多个指关节与多个虚拟按键的一一对应关系例如可以是：

食指中距离食指指尖最近的第一食指指关节点b4对应九宫格中位于右上角的第一虚拟按键，食指中距离食指指尖最远的第三食指指关节点b6对应九宫格中位于右下角的第二虚拟按键，食指中位于第一食指指关节点b4和第三食指指关节点b6之间的第二食指指关节点b5对应九宫格中位于第一虚拟按键和第二虚拟按键之间的第三虚拟按键。

无名指中距离无名指指尖最近的第一无名指指关节点b10对应九宫格中位于左上角的第四虚拟按键，无名指中距离无名指指尖最远的第三无名指指关节点b12对应九宫格中位于左下角的第五虚拟按键，无名指中位于第一无名指指关节点b10和第三无名指指关节点b12之间的第二无名指指关节点b11对应九宫格中位于第四虚拟按键和第五虚拟按键之间的第六虚拟按键。

中指中距离无中指指尖最近的第一中指指关节点b7对应九宫格中位于第一虚拟按键和第四虚拟按键之间的第七虚拟按键，中指中距离无中指指尖最远的第三中指指关节点b9对应九宫格中位于第二虚拟按键和第五虚拟按键之间的第八虚拟按键，中指中位于第一中指指关节点b7和第三中指指关节点b9之间的第二中指指关节点b8对应九宫格中位于第三虚拟按键和第六虚拟按键之间的第九虚拟按键。

需要说明的是，12个虚拟按键中指关节点与虚拟按键的对应方式与上述对应方式类似(参见图10b)，具体可以参考上述对应方式的描述进行类推，此处不再赘述。

可以理解的是，上述所列举的对应关系仅仅是示例性地，只要能够将预设的多个指关节与多个虚拟按键一一对应，本公开实施例包括但不限于上述所列举的对应关系。

步骤s120中，在确定存在挤压姿态手势后，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键。

例如，预设的多个指关节与多个虚拟按键的一一对应关系为如图10a所示的对应关系，在确定存在挤压姿态手势后，若挤压姿态手势中被挤压的指关节为食指中距离食指指尖最近的第一食指指关节点b4，则将第一虚拟按键确定为目标虚拟按键。

步骤s130：将目标虚拟按键对应的信息作为用户输入信息。

每个虚拟按键可以对应一个信息或多个信息，在此情况下，目标虚拟按键可以对应一个信息或多个信息。

示例地，多个虚拟按键如图2所示按照3×3的九宫格的方式排布，每个虚拟按键对应0～9中的一个数字，在此情况下，每个虚拟按键对应一个信息，即每个虚拟按键对应一个数字。

又示例地，多个虚拟按键如图2所示按照3×3的九宫格的方式排布，每个虚拟按键对应26个字母中的多个字母，在此情况下，每个虚拟按键对应多个信息，即每个虚拟按键对应多个字母。

在步骤s130中，在目标虚拟按键对应一个信息情况下，将目标虚拟按键对应的该信息作为用户输入信息。例如多个虚拟按键如图2所示按照3×3的九宫格的方式排布，每个虚拟按键对应0～9中的一个数字，在此情况下，若左上角的虚拟按键为目标虚拟按键，其对应的信息为数字“1”，将数字“1”作为用户输入信息。

在目标虚拟按键对应按照预设顺序排列的n个信息情况下，在连续m次将同一指关节点对应的虚拟按键确定为目标虚拟按键时，将所述目标虚拟按键对应的第m个信息作为用户输入信息；其中，n为自然数且n>1；m为自然数且n≥m>1。例如多个虚拟按键如图2所示按照3×3的九宫格的方式排布，每个虚拟按键对应26中的多个字母，在此情况下，若左上角的虚拟按键为目标虚拟按键，其对应的信息为按照“a-b-c”的顺序排列的3个字母信息，若用户点击该目标虚拟按键一次，则将字母第一个字母“a”作为用户输入信息，若用户连续点击该目标虚拟按键两次，则将字母第二个字母“b”作为用户输入信息，若用户连续点击该目标虚拟按键三次，则将字母第二个字母“c”作为用户输入信息。

本公开实施例的一个有益效果在于，提供一种头戴式显示设备的输入控制方法，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机，本公开实施例能够在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上；然后在确定目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；最后将目标虚拟按键对应的信息作为用户输入信息。由此可见，本公开实施例能够根据用户的手势来准确获得用户所要输入的信息，不仅操作简单、用户学习成本低，使得用户无需再通过额外的手柄控制器与hmd进行人机交互，由此能够有效减少甚至消除由于用户需要手持手柄控制器给用户行动造成的不便影响、以及由于用户需要手持手柄控制器导致用户与hmd交互过程操作繁琐的影响，提高用户与hmd交互过程的便利性。

<设备实施例>

图11示出了本公开实施例提供的一种头戴式显示设备的输入控制装置的功能结构框图。头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机。如图11所示，该头戴式显示设备的输入控制装置1100可以包括识别模块1110、确定模块1120和处理模块1130。

识别模块1110，用于在显示界面显示有多个虚拟按键的情况下，识别目标图像中是否存在挤压姿态手势；其中，挤压姿态手势包括：人手中的第一手指的指尖点挤压在该人手中第二手指的一个指关节点上。

确定模块1120，用于在识别模块1110识别目标图像中存在挤压姿态手势的情况下，根据预设的多个指关节与多个虚拟按键的对应关系，将挤压姿态手势中被挤压的指关节对应的虚拟按键确定为目标虚拟按键；

处理模块1130，用于将确定模块1120确定的目标虚拟按键对应的信息作为用户输入信息。

可选地，识别模块包括：检测子模块，用于检测目标图像中是否存在人手；识别子模块，用于在检测到目标图像中存在人手的情况下，识别人手上的骨骼点；其中，骨骼点包括人手的每个手指上的指尖点和指关节点、以及连接人手的腕关节点；获取子模块，用于实时获取人手上的骨骼点的三维空间位置信息；处理子模块，用于对人手上的骨骼点的三维空间位置信息进行追踪，以确定第一手指上的指尖点和第二手指上的一个指关节点满足重叠条件的情况下，根据目标图像确定用户是否做出挤压姿态手势。

可选地，处理子模块用于：获取预定帧数的人手上的各骨骼点的三维空间位置信息；对各骨骼点的三维空间位置信息进行平滑滤波处理，将处理结果作为追踪结果。

可选地，重叠条件包括：第一手指上的指尖点和第二手指上的一个指关节点发生重叠且重叠状态的持续帧数大于预设帧数。

可选地，第一手指为大拇指，第二手指为食指、中指和无名指中任一个。

可选地，多个虚拟按键包括9个虚拟按键，9个虚拟按键与所有第二手指的指关节点一一对应。

可选地，该装置还包括，输入控制模块，用于在目标虚拟按键对应一个信息情况下，将目标虚拟按键对应的该信息作为用户输入信息；在目标虚拟按键对应按照预设顺序排列的n个信息情况下，在连续m次将同一指关节点对应的虚拟按键确定为目标虚拟按键时，将目标虚拟按键对应的第m个信息作为用户输入信息；其中，n为自然数且n>1；m为自然数且n≥m>1。

图12示出了本公开实施例提供的一种头戴式显示设备的功能结构框图。头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机。

如图12所示，该头戴式显示设备1200还包括处理器1210和存储器1220，该存储器1220用于存储可执行的计算机程序，该处理器1210用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。

以上头戴式显示设备1200的各模块可以由本实施例中的处理器1210执行存储器1220存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。