虚拟现实中的交互方法、系统及终端设备与流程

本发明涉及虚拟现实领域，具体涉及一种虚拟现实中的交互方法、系统及终端设备。

背景技术：

VR(Virtual Reality，即虚拟现实技术)，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以模拟真实场景没有限制地观察三维空间内的事物。

陀螺仪是一种用来传感与维持方向的装置，基于角动量守恒的理论设计出来。目前市面上大部分的手机都有安装陀螺仪传感器来检测手机转向、晃动等空间动作。在头戴虚拟现实设备中，通过陀螺仪传感器能够准确检测用到户头部的转向、晃动等动作，并且能够将用户头部动作转换为在虚拟现实情境中相应的虚拟行为。

在虚拟现实产品设计中最基本的体验是用户在虚拟世界中的沉浸感，现有虚拟现实产品中许多用户界面的显示都比较生硬，容易打破这种沉浸感。这些用户界面突兀地出现在用户的视线中，并且其操作与用户在真实世界的行为认知相悖，则会导致用户在虚拟世界中感觉到不自然。

目前脱离手持外接设备的虚拟现实交互中，用户界面的操作主要是通过“聚焦”的方式来实现的，打开用户界面面板的入口也主要是通过点击图形图标。脱离手持设备，虚拟现实操作主要依赖于头戴设备来控制。有的设备会在虚拟现实头盔处加一个按钮，通过控制视野中的虚拟光标选择用户界面，然后按下按钮则确认打开用户界面。

有的设备没有实体按键，则完全通过虚拟按键来确认操作。其原理如附图1中所示是通过虚拟现实头盔中的陀螺仪来感知用户头部的运动，让用户来控制视野中的虚拟光标，一般需要几个步骤。1.控制光标移动；2.将光标移至系统入口图标处，唤出聚焦读条；3.保持头部不动，待读条结束则响应打开用户界面面板；4.若在读条结束前脱离聚焦点，则取消打开用户界面面板。

现有脱离手持设备的虚拟现实交互方式增加了玩家的操作时间与难度，需要通过头部运动精确选择与控制用户界面，普遍存在虚拟光标的控制及瞄准选择困难的问题。并且此操作打断了玩家在虚拟现实世界中的体验，不管是打开或者关闭用户界面都完全脱离了场景行为，无法让玩家保持在虚拟世界中的沉浸感，是在虚拟现实交互设计中所需要攻克的难点。

因此，需要一种新的虚拟现实中的交互方法。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明基于虚拟现实头戴设备陀螺仪传感器监测技术，通过感知玩家的低头动作，自然在虚拟现实场景中显示虚拟的抬手动作，同时将用户界面显示融合与手持载体中，比如腕表/手机/纸张等。本发明将虚拟现实情境与用户的实际认知相呼应，能够更自然地显示时间/指南针等用户界面信息显示，并且依然有承载更多用户界面的空间。整个体验流程相比于现有的虚拟现实交互方式更为自然。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，公开一种虚拟现实中的交互方法，用于在虚拟现实中自然显示用户界面，其包括：

检测用户头部在垂直方向上的运动；

当检测到所述用户头部在垂直方向上的低头动作与水平方向所呈角度达到或大于第一预设角度时，播放虚拟的手臂抬起动作，并依托于虚拟的手臂来显示相关用户界面。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：当检测到所述用户头部在垂直方向上的抬头动作与水平方向所呈角度小于所述第二预设角度时，退出所述显示的相关用户界面，并播放虚拟的手臂收回动作。

根据本发明的一实施方式，所述依托于虚拟的手臂来显示相关用户界面包括：在手腕上的虚拟表盘处显示用户界面。

根据本发明的一实施方式，所述依托于虚拟的手臂来显示相关用户界面包括：虚拟的手臂上持有虚拟物件，依托于所述虚拟物件来显示与情境相关的所述用户界面。

根据本发明的一实施方式，所述虚拟物件包括移动设备、纸质地图或书刊中的一种或多种。

根据本发明的一实施方式，所述用户界面包括：虚拟现实系统中的时间信息、位置信息、关联信息中的一种或多种。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：当用户头部的运动保持于所述角度达到或大于所述第一预设角度的范围内时，仍然可以进行与其不互斥的操作，所述不互斥的操作包括：行走和/或转向。

根据本发明的一实施方式，所述依托于虚拟的手臂来显示相关用户界面包括：所述用户界面设置为两个层级：第一层为主要用户界面，用于显示与当前场景或者当前任务密切相关的信息，即优先级较高的信息；第二层为次要用户界面，显示次要信息，即优先级较低的信息。

根据本发明的一实施方式，所述虚拟现实中的交互方法还包括：在所述播放虚拟的手臂抬起动作时显示主要用户界面；以及

检测用户头部的水平转动，当用户头部从当前位置向右或向左转动，且与垂直方向所呈角度达到或大于第三预设角度时，显示次要用户界面。

根据本发明的一实施方式，所述优先级较高的信息包括地图指引。

根据本发明的一实施方式，所述优先级较低的信息包括当前场景的信息介绍。

根据本发明的第二方面，一种虚拟现实中的交互系统，其特征在于，包括：

头部运动检测模块，用于检测用户头部在垂直方向上的运动；

虚拟手臂模块，用于当检测到用户头部在垂直方向上的低头动作与水平方向所呈角度达到或大于第一预设角度时，播放虚拟的手臂抬起动作；

用户界面模块，用于依托于虚拟的手臂来显示相关用户界面。

根据本发明的一实施方式，所述头部运动检测模块还用于检测用户头部的水平转动。

根据本发明的第三方面，一种终端设备，其特征在于，包括：

处理器；

存储器，存储用于所述处理器控制以下操作的指令：

检测用户头部在垂直方向上的运动；

当检测到用户头部在垂直方向上的低头动作与水平方向所呈角度达到或大于第一预设角度时，播放虚拟的手臂抬起动作，并依托于虚拟的手臂来显示相关用户界面。

根据本发明的一些实施方式，通过虚拟手臂的抬起和收回来显示和取消用户界面，这一更自然的用户界面出现方式能够保证用户在虚拟现实中的沉浸感，降低用户界面显示带来的干扰。

根据本发明的一些实施方式，通过抬头、低头的简单行为打开与关闭用户界面信息的查看，减少用户操作用户界面的复杂度，避免了现有交互方式中瞄准与选择困难的缺点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1示出现有技术中通过虚拟现实头盔中的陀螺仪来感知用户头部的运动的示意图。

图2示出根据本发明示例实施方式的虚拟现实中结合虚拟腕表的用户界面显示方式的示意图。

图3示出根据本发明一示例实施方式的一虚拟现实中的交互方法的流程图。

图4示出根据本发明一示例实施方式的检测用户低头角度的示意图。

图5示出根据本发明另一示例实施方式的一虚拟现实中的交互方法的流程图。

图6示出根据本发明一示例实施方式的一虚拟现实中的交互系统方框图。

图7示出根据本发明一示例实施方式的终端设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明基于虚拟现实头戴设备陀螺仪传感器监测技术，在头戴虚拟现实设备中，通过陀螺仪传感器能够准确检测用到户头部的转向、晃动等动作，并且能够将用户头部动作转换为在虚拟现实情境中相应的虚拟行为。通过感知玩家的低头动作，自然在虚拟现实场景中显示虚拟的抬手动作，同时将用户界面显示融合与手持载体中，比如腕表/手机/纸张等；当玩家抬头时，自然收起虚拟手臂，退出查看用户界面。本发明将虚拟现实情境与用户的实际认知相呼应，能够更自然地显示时间/指南针等用户界面信息显示，并且结合用户头部的动作设置了多层用户界面的切入和查看，从而能够承载更多用户界面的空间。整个用户体验流程相比于现有的虚拟现实交互方式更为沉浸和自然。

首先结合图2就虚拟现实中结合虚拟腕表的用户界面显示方式的进行简单说明。

图2示出根据本发明示例实施方式的虚拟现实中结合虚拟腕表的用户界面显示方式的示意图。

如图2所示，虚拟现实头戴设备检测用户的头部动作。当检测到用户的低头动作，并且用户头部的运动与水平方向的角度达到一定阈值(即第一预设角度)时，此时判定在VR系统中，用户正在尝试执行低头查看用户界面的操作，从而生成命令播放虚拟的手臂抬起动作，并依托于虚拟手来显示相关用户界面。比如：在手腕表盘处显示时间、地图和/或信息介绍等用户界面内容。随后，当检测到用户的抬头动作时，并且与水平方向所呈角度小于第二预设角度时，此时判定用户正在执行退出查看用户界面的操作，从而生成命令播放虚拟的手臂收回动作。其中，此处的第二预设角度可以与所述第一预设角度相同，或根据用户个人使用习惯所设置的其他优选角度值。

下面结合附图就用于在虚拟现实中自然显示用户界面的交互方法进行具体说明。

图3示出根据本发明示例实施方式的一虚拟现实中的交互方法的流程图。该方法可用于终端设备的应用程序。终端设备可为虚拟现实头戴设备等，但本发明不限于此。

在S302，检测用户头部在垂直方向上的运动：如附图4所示，检测用户的低头动作，并记录用户低头动作与水平方向所呈角度a。

在S304，当检测与水平方向所呈角度达到或大于第一预设角度a0时，播放虚拟的手臂抬起动作，并依托于虚拟的手臂来显示相关用户界面。也就是说当检测到a>＝a0时，系统判定用户正在执行低头查看用户界面操作。命令播放虚拟的手臂抬起动画，并在虚拟手臂上的载体上显示用户界面。

根据一实施方式，虚拟手臂上的载体可为戴在手腕处的虚拟腕表，在其表盘处显示用户界面。

所述用户界面包括虚拟现实系统中的时间信息、位置信息、关联信息中的一种或多种。

根据本发明的一些实施方式，虚拟手中可持有包括如手机等移动设备、纸质地图或书本的虚拟物件，依托于虚拟物件来显示与情境相关的用户界面。

根据本发明的另一实施方式，当用户头部的运动保持于所述角度达到或大于所述第一预设角度的范围内时，仍然可以进行与其不互斥的操作，具体流程结合附图5如下所示。

在S502，检测用户头部在垂直方向上的运动：如附图4所示，检测用户的低头动作，并记录用户低头动作与水平方向所呈角度a。

在S504，当检测与水平方向所呈角度达到或大于第一预设角度a0时，播放虚拟的手臂抬起动作，并依托于虚拟的手臂来显示相关用户界面。也就是说当检测到a>＝a0时，系统判定用户正在执行低头查看用户界面操作。命令播放虚拟的手臂抬起动画，并在虚拟手臂上的载体上显示用户界面。

在S506，当用户保持所述角度达到或大于所述第一预设角度时，也就是保持a>＝a0时，用户仍然可以进行行走/转向等与其不互斥的操作，例如可以一边查看腕表中的地图指示一边寻找虚拟现实世界中的方位与目的地，同时当前的用户界面也能够持续显示。

根据本发明的一实施方式，当检测到用户头部在垂直方向上的抬头动作与水平方向所呈角度小于第二预设角度时，退出所述显示的相关用户界面，并播放虚拟的手臂收回动作，如附图5中的S508所示。

在S508，当检测到所述用户头部在垂直方向上的抬头动作与水平方向所呈角度小于所述第二预设角度时，退出所述显示的相关用户界面，并播放虚拟的手臂收回动作。其中，此处的第二预设角度a1可以与所述第一预设角度a0相同，或根据用户个人使用习惯所设置的其他优选角度值。也就是说当检测到a<a1时，系统判定用户正在执行退出查看用户界面的操作，命令播放虚拟的手臂收回动画，相应的当前显示的用户界面也被关闭。

在此特别需要指出的是，设置角度阈值a0和a1之前需要充分调研用户抬头与低头的行为习惯、当阈值设置合理的时候，会有效降低不期望操作。此外，因为打开与关闭用户界面信息都是伴随着自然的抬手动作，如果在游戏中导致了不期望的操作，也不会体验很突兀。

根据本发明的另一实施方式，将用户界面设置为两个层级：第一层为主要用户界面，第二层为次要用户界面；在所述播放虚拟的手臂抬起动作时显示主要用户界面；然后检测用户头部的水平转动，当用户头部从当前位置向右或向左转动，且与垂直方向所呈角度达到或大于第三预设角度时，显示次要用户界面。

比如，在腕表处可以设置两个层级的用户界面，第一层是主要用户界面，显示与当前场景或者当前任务密切相关的信息，即优先级较高的信息，比如地图指引。第二层为次要用户界面，显示在第一层用户界面的左侧/右侧视线阈值预期，可以显示当前场景的信息介绍等优先级较低的信息。

实现效果是，第一层用户界面保持显示，但第二层用户界面会根据用户头部向右/左水平转动的角度来控制显示与关闭。具体实现方法如下。

当用户低头角度达到阈值时a0，播放抬手动作，显示第一层用户界面。

用户保持低头的情况下，以视线直视第一层用户界面的方向为初始位置，监测头部的水平转动角度。

当用户头部向右/左水平转动到与垂直方向所呈角度达到或大于第三预设角度b0时，显示第二层次要用户界面，此时第一层用户界面仍需要保持显示状态，以免用户误操作导致主要用户界面不期望地关闭。但本发明并不局限于此，也可以根据需要或当时情境隐藏或恢复主要用户界面，例如可以设定一大于第三预设角度b0的第四预定角度b1，当所呈角度达到或大于第四预定角度b1时，隐藏主要用户界面，当所呈角度又重新小于第四预定角度b1时，恢复主要用户界面；而在上述过程中由于所呈角度始终达到或大于第三预设角度b0，因此第二层次要用户界面始终显示。

当用户头部向右/左水平转动到与垂直方向所呈角度小于第三预设角度b0时，关闭第二层次要用户界面。

图6示出根据本发明示例实施方式的一虚拟现实中的交互系统方框图。

所述提供用户界面的系统可以用于虚拟现实头戴设备等。如图6所示，提供用户界面的系统600可包括头部运动检测模块602、虚拟手臂模块604。另外，系统600还可包括用户界面模块606。

根据一实施例，头部运动检测模块602检测用户头部在垂直方向上的运动和/或水平转动角度。

虚拟手臂模块604用于，在当检测到用户头部在垂直方向上的低头动作与水平方向所呈角度达到或大于第一预设角度时，播放虚拟的手臂抬起动作，并在虚拟手臂上的载体上显示用户界面；以及当检测到用户头部在垂直方向上的抬头动作与水平方向所呈角度小于所述第二预设角度时，退出所述显示的相关用户界面，并播放虚拟的手臂收回动作。所述虚拟手臂上的载体可为戴在手腕处的虚拟腕表，在其表盘处显示用户界面；此外虚拟手中可持有包括如手机等移动设备、纸质地图或书本的虚拟物件，依托于虚拟物件来显示与情境相关的用户界面。

用户界面模块606依托于虚拟的手臂来显示相关用户界面，用户界面包括虚拟现实系统中的时间信息、位置信息、关联信息中的一种或多种。

图7示出根据本发明一示例实施方式的终端设备。

如图7所示，终端设备700可包括处理器710、存储器720。另外，根据一实施例，终端设备还可包括发射器及接收器。

处理器710可调用存储器720中存储的指令控制相关操作，如控制发射器和接收器进行信号收发等。

根据一实施例，存储器720存储用于处理器710控制以下操作的指令：检测用户头部在垂直方向上的运动；当检测到用户头部在垂直方向上的低头动作与水平方向所呈角度达到或大于第一预设角度时，播放虚拟的手臂抬起动作，并依托于虚拟的手臂来显示相关用户界面；当检测到用户头部在垂直方向上的抬头动作与水平方向所呈角度小于所述第二预设角度时，退出所述显示的相关用户界面，并播放虚拟的手臂收回动作。处理器710可调用存储器720中存储的指令控制相关操作。易于理解，存储器720还可存储用于处理器710控制根据本发明实施例的其他操作的指令，这里不再赘述。

通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的系统和方法具有以下优点中的一个或多个。

首先，根据本发明的一些实施方式，通过虚拟手臂的抬起和收回来显示和取消用户界面，这一更自然的用户界面出现方式能够保证用户在虚拟现实中的沉浸感，降低用户界面显示带来的干扰。

此外，根据本发明的另一些实施方式，通过抬头、低头的简单行为打开与关闭用户界面信息的查看，减少用户操作用户界面的复杂度，避免了现有交互方式中瞄准与选择困难的缺点。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。