头戴式显示设备的界面元素控制方法及装置与流程

本公开实施例涉及虚拟现实技术领域，更具体地，涉及一种头戴式显示设备的界面元素控制方法、装置、头戴式显示设备及计算机可读存储介质。

背景技术：

头戴式显示设备(headmounteddisplay，hmd)是一种可以穿戴在用户头部的显示设备，能够实现虚拟现实(virtualreality，vr)、增强现实(augmentedreality，ar)和混合现实(mixedreality，mr)等不同效果。

hmd在使用时会使用户的头部或者眼睛会处于封闭环境，以使用户能够沉浸在虚拟环境中。为了展示ar和mr中的现实内容，hmd上还会安装至少一个彩色相机，以便通过至少一个彩色相机摄取现实世界中的现实图像并将其投影至人眼，从而模拟用户直接看外部的三维物理空间环境。hmd通过其上的显示界面显示经过叠加处理的现实图像和虚拟图像。

hmd的显示界面中还可以向用户呈现可选择和/或可操作的界面元素，例如用户界面(userinterface，ui)元素、用户图形界面(graphicaluserinterface，gui)元素等，以便用户可以通过手势与上述界面元素进行交互。目前，随着hmd应用领域的增多(例如娱乐领域、医疗领域、教育领域、工业领域等)，hmd的显示界面中能够显示多种多样的虚拟现实场景(或增强现实场景或混合现实场景)，界面元素显示在显示界面中预先设定的位置处。

技术实现要素：

本公开实施例的一个目的是提供一种头戴式显示设备的界面元素控制的新的技术方案。

根据本公开的第一方面，提供了一种头戴式显示设备的界面元素控制方法，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机、以及显示界面，目标图像显示在显示界面中；该方法包括：获取至少一个相机摄取的目标图像；在目标图像的图像内容包括至少一个手腕的情况下，根据目标图像确定至少一个手腕是否满足预设条件；其中，预设条件包括：手腕处于静止状态；若确定结果为是，在显示界面中确定以目标手腕为中心的目标显示区域；其中，目标手腕为至少一个手腕中的一个；在目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。

可选地，预设条件还包括：手腕的姿态为预设姿态。

可选地，预设姿态包括：手腕的内侧朝向头戴式显示设备；其中，手腕的内侧与手掌掌心位于同一侧。

可选地，至少一个手腕包括多个手腕；在显示界面中确定以目标手腕为中心的目标显示区域之前，该方法还包括：根据目标图像在多个手腕中确定预设手腕；其中，预设手腕包括：左手腕或者右手腕；将预设手腕作为目标手腕。

可选地，手势为目标图像中的目标手做出的手势，目标手的手腕为目标手腕或者非目标手腕。

可选地，至少一个界面元素包括以下中的一个或多个：窗口、对话框、菜单、滚动条和图形符号。

可选地，至少一个相机包括两个相机，两个相机分别设置在两个人眼位置处。

根据本公开的第二方面，还提供了一种头戴式显示设备的界面元素控制装置，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机、以及显示界面，目标图像显示在显示界面中；该装置包括：获取模块，用于获取至少一个相机摄取的目标图像；确定模块，用于在获取模块获取的目标图像的图像内容包括至少一个手腕的情况下，根据目标图像确定至少一个手腕是否满足预设条件；其中，预设条件包括：手腕处于静止状态；处理模块，用于若确定模块的确定结果为是，在显示界面中确定以目标手腕为中心的目标显示区域；其中，目标手腕为至少一个手腕中的一个；显示模块，用于在处理模块获得的目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。

可选地，预设条件还包括：手腕的姿态为预设姿态。

可选地，预设姿态包括：手腕的内侧朝向头戴式显示设备；其中，手腕的内侧与手掌掌心位于同一侧。

可选地，至少一个手腕包括多个手腕；在显示界面中确定以目标手腕为中心的目标显示区域之前，该装置还包括：手腕确定模块，用于根据目标图像在多个手腕中确定预设手腕；其中，预设手腕包括：左手腕或者右手腕；将预设手腕作为目标手腕。

可选地，手势为目标图像中的目标手做出的手势，目标手的手腕为目标手腕或者非目标手腕。

可选地，至少一个界面元素包括以下中的一个或多个：窗口、对话框、菜单、滚动条和图形符号。

可选地，至少一个相机包括两个相机，两个相机分别设置在两个人眼位置处。

根据本公开的第三方面，还提供了一种头戴式显示设备，包括用于摄取目标区域的目标图像的至少一个相机、以及显示界面，所述目标图像显示在所述显示界面中；该头戴式显示设备还包括存储器和处理器，存储器用于存储计算机程序；处理器用于执行计算机程序，以实现根据本公开第一方面的方法。

根据本公开的第四方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序在被处理器执行时实现根据本公开的第一方面的方法。

本公开实施例的一个有益效果在于，能够在头戴式显示设备的显示界面中追踪用户的手腕位置，通过定位手腕在显示界面中的位置确定显示界面中用于显示当前场景下的至少一个界面元素的目标显示区域，并在该目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。由此可见，本公开实施例中，用户能够根据虚拟现实场景实时指定界面元素在显示界面中的显示位置，提高了头戴式显示设备使用过程的便利性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。

图1示出了本公开实施例提供的一种头戴式显示设备的界面元素控制方法的方法流程图；

图2示出了本公开实施例提供的另一种头戴式显示设备的界面元素控制方法中手腕的一种预设姿态；

图3示出了本公开实施例提供的再一种头戴式显示设备的界面元素控制方法的方法流程图；

图4示出了本公开实施例提供的一种头戴式显示设备的界面元素控制装置的功能结构框图；

图5示出了本公开实施例提供的一种头戴式显示设备的功能结构框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

hmd能够向用户展示虚拟世界中的可视化三维虚拟图像，或者hmd能够将虚拟世界和现实世界进行叠加，例如将虚拟世界中的虚拟图像与现实世界中的现实图像进行叠加，从而向用户展示出虚拟图像和现实图像相结合的可视化三维图像。

目前，随着hmd应用领域的增多，hmd的显示界面中能够显示多种多样的虚拟现实场景。在娱乐领域，hmd例如可以显示在人机交互的游戏中多种多样的游戏场景，又如可以显示主题公园中的体验场景(如在用户体验远古地球生态的过程中显示虚拟现实的远古地球生态场景)，可以播放电影；在医疗领域，hmd例如可以实施远程手术、模拟实际手术场景，在教育领域，hmd例如可以呈现多种体验式场景，以实现体验式情景教学，在钢厂、电力、石油化工生产等工业领域，hmd可以模拟多种工业制造的场景等。

在上述场景中，hmd的显示界面中可以显示一个或多个界面元素，例如显示界面中显示包含一个或多个可操作选项的菜单或子菜单，或者显示其他虚拟的可以进行操作的界面元素，例如虚拟的静态的按钮、或动态的动物和物品，等等。

实际情况中，用户需要根据不同场景来实时指定界面元素在显示界面中的显示位置，例如使用hmd玩游戏过程中，游戏中的多个场景在很短时间内来回切换，在此情况下，用户可能想要根据实际情况实时指定界面元素显示在显示界面中的显示位置；又如在使用hmd进行远程手术过程中，医生需要根据自己的专业知识和经验来实时指定该场景下界面元素显示在显示界面中的显示位置，等等。但是，目前界面元素在显示界面中的位置都是预先设定好的，用户无法实时指定界面元素在显示界面中的显示位置，给用户使用过程造成诸多不变。

基于上述存在的问题，本公开实施例提供一种头戴式显示设备的界面元素控制的新的技术方案。下面，参照附图描述根据本公开的各个实施例和例子。

<方法实施例>

图1示出了本公开实施例提供的一种头戴式显示设备的界面元素控制方法的方法流程图。其中，头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机、以及显示界面，目标图像显示在显示界面中。

如图1所示，该方法包括如下步骤s110～步骤s140。

步骤s110：获取至少一个相机摄取的目标图像。

在一些实施例中，至少一个相机包括两个相机，该两个相机分别设置在两个人眼位置处，以准确模拟人眼直接看外部的三维物理空间环境。

当然，可以理解的是，至少一个相机也可以仅包括一个相机，或者至少一个相机可以包括三个以上的相机，只要能够模拟人眼直接看外部的三维物理空间环境即可。

在一些实施例中，至少一个相机例如为彩色相机，目标图像为彩色相机摄取的二维图像。

该彩色相机的一些参数如下：

分辨率通常：1280px*720px及以上；

帧率：60hz及以上；

色彩模式：红、绿、蓝三个通道的颜色(rgb)色彩模式；

fov：130°(水平视场角)*110°(垂直视场角)或约为130°*110°。

在一些示例中，彩色相机中的镜头的焦距可以为16mm甚至更短，且fov接近或等于180°(例如鱼眼相机)。

步骤s120：在目标图像的图像内容包括至少一个手腕的情况下，根据目标图像确定至少一个手腕是否满足预设条件；其中，预设条件包括：手腕处于静止状态。

在目标图像的图像内容包括至少一个手腕的情况下，对于每个手腕，可以首先确定该手腕在目标图像中的位置，上述位置例如可以是该手腕的图像像素位置，然后判断预设时间内该手腕是否静止(或基本静止)，例如判断预设时间该手腕的图像像素位置是否发生变化(或变化值超过预设阈值)，若判断结果为是，则确定手腕处于静止状态，若判断结果为否，则确定手腕不是静止状态。

上述预设时间和预设阈值可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

在一些实施例中，上述预设条件还包括：手腕的姿态为预设姿态。

示例地，如图2所示，假设用户当前头戴hmd观察纸面，预设姿态为手腕的内侧朝向头戴式显示设备；其中，手腕的内侧与手掌掌心位于同一侧。

当然，可以理解的是，预设姿态也可以由用户根据自己的习惯进行设置，例如预设姿态可以为手腕的外侧(与内侧相背离的一侧)朝向头戴式显示设备，等等。

在一些实施例中，在执行步骤s120之前，可以首先检测目标图像中是否存在至少一个手腕，若检测结果为是，则确定目标图像的图像内容包括至少一个手腕，若检测结果为否，则确定目标图像的图像内容不存在手腕。检测目标图像中是否存在至少一个手腕的方式可以由本领域技术人员根据实际情况进行设置，例如可以结合计算机视觉技术和人工智能技术能够高精度和低时延地识别目标图像中是否存在手腕图像等等，本公开实施例对此不作限定。

步骤s130：若确定结果为是，在显示界面中确定以目标手腕为中心的目标显示区域；其中，目标手腕为至少一个手腕中的一个。

若确定结果为是，即确定至少一个手腕满足预设条件，则在显示界面中确定以目标手腕为中心的目标显示区域。

目标显示区域的大小和形状可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

在一些实施例中，至少一个手腕包括一个手腕，在此情况下，步骤s130中直接将该手腕作为目标手腕。

在一些实施例中，至少一个手腕包括多个手腕，在此情况下，在执行步骤s130之前，如图3所示，还可以执行如下步骤s310～s320：

步骤s310：根据目标图像在多个手腕中确定预设手腕；其中，预设手腕包括：左手腕或者右手腕。

在一些示例中，预设手腕为左手腕，例如默认预设手腕为左手腕(通常情况下用户右手较左手更擅长执行如点击、滑动等操作行为，因此左手腕的位置更适合显示可被操作的界面元素)，或者预先设定预设手腕为左手腕，在此情况下，在多个手腕识别出左手腕，以便后续步骤(对应步骤s320)中将左手腕作为目标手腕。

在一些示例中，预设手腕为右手腕，例如预先设定预设手腕为右手腕，在此情况下，在多个手腕识别右手腕，以便后续步骤(对应步骤s320)中将右手腕作为目标手腕。

识别左手腕和右手腕的方式可以有本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。

步骤s320：将预设手腕作为目标手腕。

目标手腕用于在步骤s130中定位目标显示区域。

步骤s140：在目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。

界面元素可以包括用户界面(userinterface，ui)元素和/或用户图形界面(graphicaluserinterface，gui)元素。

示例地，至少一个界面元素包括以下中的一个或多个：窗口、对话框、菜单、滚动条和图形符号。

上述手势为目标图像中的目标手做出的手势，目标手的手腕为目标手腕或者非目标手腕。

在一些示例中，目标显示区域是根据用户一只手的手腕来定位的，在此情况下，用户通过另一手的手势来选择或操作显示在目标显示区域的界面元素。hmd响应用户的手势，根据该手势来确定用户选中的界面元素，然后将该界面元素对应的信息作为输入信息，实现手势和界面元素的交互过程。

在另一些示例中，目标显示区域是根据用户一只手的手腕来定位的，在此情况下，用户通过该只手的手势来选择或操作显示在目标显示区域的界面元素。hmd响应用户的手势并根据该手势来确定用户选中的界面元素，然后将该界面元素对应的信息作为输入信息，实现手势和界面元素的交互过程。

本公开实施例能够在头戴式显示设备的显示界面中追踪用户的手腕位置，通过定位手腕在显示界面中的位置来确定显示界面中用于显示当前场景下的至少一个界面元素的目标显示区域，并在该目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。由此可见，本公开实施例中，用户能够根据虚拟现实场景实时指定界面元素在显示界面中的显示位置，提高了头戴式显示设备使用过程的便利性。

<设备实施例>

图4示出了本公开实施例提供的一种头戴式显示设备的界面元素控制装置的功能结构框图。头戴式显示设备包括用于摄取目标区域的目标图像的至少一个相机、以及显示界面，目标图像显示在显示界面中。

如图4所示，头戴式显示设备的界面元素控制装置40可以包括获取模块41、确定模块42、处理模块43和显示模块44。

获取模块41，用于获取至少一个相机摄取的目标图像。

确定模块42，用于在获取模块41获取的目标图像的图像内容包括至少一个手腕的情况下，根据目标图像确定至少一个手腕是否满足预设条件；其中，预设条件包括：手腕处于静止状态。

处理模块43，用于若确定模块42的确定结果为是，在显示界面中确定以目标手腕为中心的目标显示区域；其中，目标手腕为至少一个手腕中的一个。

显示模块44，用于在处理模块43获得的目标显示区域中显示当前场景下的至少一个界面元素，以便在根据用户的手势确定用户选中的界面元素后，将该界面元素对应的信息作为输入信息。

可选地，预设条件还包括：手腕的姿态为预设姿态。

可选地，预设姿态包括：手腕的内侧朝向头戴式显示设备；其中，手腕的内侧与手掌掌心位于同一侧。

可选地，至少一个手腕包括多个手腕；在显示界面中确定以目标手腕为中心的目标显示区域之前，头戴式显示设备的界面元素控制装置还包括：手腕确定模块，用于根据目标图像在多个手腕中确定预设手腕；其中，预设手腕包括：左手腕或者右手腕；将预设手腕作为目标手腕。

可选地，手势为目标图像中的目标手做出的手势，目标手的手腕为目标手腕或者非目标手腕。

可选地，至少一个界面元素包括以下中的一个或多个：窗口、对话框、菜单、滚动条和图形符号。

可选地，至少一个相机包括两个相机，两个相机分别设置在两个人眼位置处。

头戴式显示设备的界面元素控制装置40例如可以为头戴式显示设备中的芯片。

图5示出了本公开实施例提供的一种头戴式显示设备的功能结构框图。如图5所示，该头戴式显示设备500包括处理器510和存储器520，该存储器520用于存储可执行的计算机程序，该处理器510用于根据该计算机程序的控制，执行如以上任意方法实施例的方法。

以上头戴式显示设备500的各模块可以由本实施例中的处理器510执行存储器520存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。