一种虚拟现实设备的画面显示方法及装置与流程

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实设备的画面显示方法及装置。

背景技术：

头戴式虚拟现实设备提供了相对于观察者全方位的可视化内容，给设备使用者提供了沉浸式体验。通常，虚拟现实系统的可视化内容(包括用户交互的GUI、游戏、视频等)存在一个主视角，可视化内容的制作者主要通过在主视角内展示内容来实现和设备使用者的交互，如在主视角内提供交互按键、弹出提示信息、游戏与视频画面等，对于全景视频或游戏而言其主要内容也在主视角方向展示，其它方向通常仅提供背景环境。

现阶段的虚拟现实技术中，若用户在使用时摘下设备，且摘下设备的过程中未关闭设备，则重新戴上设备后，视角与主视角画面的方向不一致，甚至会丢失主视角画面，需要扭动头部或转动身体才能查找到主视角画面。此外，用户在使用过程中若地磁信号快速变化(例如在地铁或飞机上)或传感器温度变化，也会造成的主视角画面的漂移。

技术实现要素：

本发明实施例提供一种虚拟现实设备的画面显示方法及装置，用以解决主画面偏移的问题。

本发明实施例提供的虚拟现实设备的画面显示方法包括：

接收画面跟随指令，所述画面跟随指令中包括主视角画面在所述虚拟现实设备的显示屏中的第一位置；

获取接收到所述画面跟随指令时，所述主视角画面的第二位置；

若所述第一位置与第二位置不一致，则将所述主视角画面自所述第二位置移动到所述第一位置。

可选的，所述将所述主视角画面自所述第二位置移动到所述第一位置之后，还包括：

获取所述虚拟现实设备的空间偏移信息；

根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面且保持所述主视角画面显示在所述显示屏中的所述第一位置处。

可选的，所述将所述主视角画面自所述第二位置移动到所述第一位置之后，还包括：

接收停止跟随指令；

获取所述虚拟现实设备的空间偏移信息；

根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面和所述主视角画面，以使所述主视角画面相对于所述背景画面的位置不变。

可选的，所述接收停止跟随指令之后，所述获取所述虚拟现实设备的空间信息之前，还包括：

确定所述主视角画面的边界与所述背景画面的相应边界之间的角度差；

若所述主视角画面的边界与所述背景画面的边界之间的角度差小于阈值，则调整所述背景画面相对于所述显示屏的位置，使所述背景画面的边界与所述主视角画面的相应边界平行。

可选的，所述获取所述虚拟现实设备的空间偏移信息，包括：

获取所述虚拟现实设备在第一时刻的第一欧拉角，以及第二时刻的第二欧拉角；

根据所述第一欧拉角和所述第二欧拉角确定所述虚拟现实设备的空间偏移信息。

一种虚拟现实设备的画面显示装置，包括：

接收模块，用于接收画面跟随指令，所述画面跟随指令中包括主视角画面在所述虚拟现实设备的显示屏中的第一位置；

定位模块，用于获取接收到所述画面跟随指令时，所述主视角画面的第二位置；

显示模块，用于若所述第一位置与第二位置不一致，则将所述主视角画面自所述第二位置移动到所述第一位置。

可选的，所述定位模块，还用于获取所述虚拟现实设备的空间偏移信息；

所述显示模块，还用于根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面且保持所述主视角画面显示在所述显示屏中的所述第一位置处。

可选的，所述接收模块，还用于接收停止跟随指令；

所述定位模块，还用于获取所述虚拟现实设备的空间偏移信息；

所述显示模块，还用于根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面和所述主视角画面，以使所述主视角画面相对于所述背景画面的位置不变。

可选的，所述定位模块，还用于确定所述主视角画面的边界与所述背景画面的相应边界之间的角度差；

所述显示模块，还用于若所述主视角画面的边界与所述背景画面的边界之间的角度差小于阈值，则调整所述背景画面相对于所述显示屏的位置，使所述背景画面的边界与所述主视角画面的相应边界平行。

可选的，所述定位模块，具体用于：

获取所述虚拟现实设备在第一时刻的第一欧拉角，以及第二时刻的第二欧拉角；

根据所述第一欧拉角和所述第二欧拉角确定所述虚拟现实设备的空间偏移信息。

本发明实施例中，用户需要查看主画面的内容，或通过主画面与虚拟现实设备进行交互时，向虚拟现实设备发送画面跟随指令，画面跟随指令中包括主画面的第一位置，该第一位置为虚拟现实设备的显示屏中的位置。虚拟现实设备接收到该画面跟随指令后，即开启画面跟随模式，并确定当前主视角画面所在的第二位置。这里的第二位置可能是虚拟现实设备的显示屏中的位置，也可能是显示屏之外的位置。若第一位置与第二位置不是同一个位置，则根据上述画面跟随指令，将主画面从第二位置向第一位置的方向移动，直至主视角画面在第一位置显示。这样，当主视角画面不在用户的视觉范围内，用户不用摆动头部以移动佩戴的虚拟现实设备来找到主视角画面，只需向虚拟现实设备发送指令，主视角画面即可移动到指定的第二位置；或者虽然用户能看到主视角画面，但主视角画面的位置偏离了用户预期的位置时，用户无需晃动头部以调整虚拟现实设备的位置来对其主视角画面，虚拟现实设备收到指令后，可以自动将主视角画面对齐到第二位置。因此，本发明实施例在主视角画面偏移时能校正主视角画面的位置，解决了主视角画面偏移的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的虚拟现实设备的画面显示方法的流程图；

图2为本发明实施例中主视角画面和背景画面的显示示意图；

图3为本发明实施例中用户向左上方转动头部后主视角画面和背景画面的显示示意图；

图4为本发明实施例中虚拟现实设备的欧拉角向量的示意图；

图5为本发明实施例中虚拟现实设备的一种按键的示意图；

图6为本发明实施例中虚拟现实设备的另一种按键的示意图；

图7为本发明实施例中虚拟现实设备的再一种按键的示意图；

图8为本发明实施例中主视角画面与背景画面之间存在角度差的显示示意图；

图9为本发明实施例中背景画面调整后的显示示意图；

图10为本发明实施例中一种虚拟现实设备的画面显示装置的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例适用于部分虚拟现实内容的展现，包括观看3D或2D视频(而非全景视频)、使用蓝牙游戏手柄进行非全景或沉浸式游戏、阅读网页等文字内容、显示非VR应用程序(如微信应用程序，支付宝应用程序，时钟应用程序，悬浮窗应用程序，弹窗应用程序等)，或者应用在虚拟现实设备的启动界面，如在启动虚拟现实设备时用于主界面(HOME界面)的校准。在接收到画面跟随指令后，画面跟随模式开启，主视角画面与虚拟现实设备的屏幕之间的相对位置随即固定，通常，在画面跟随模式开启过程中，应用的操作无法通过改变虚拟现实设备的头控姿态来实现，而应以其他方式进行(如：使用蓝牙手柄、鼠标、滑动触摸板改变当前应用焦点，从而进行互动)。需要说明的是，由于本发明实施例未必适合所有的虚拟现实内容，所以若虚拟现实设备当前正在进行某些操作时，可以忽略收到的画面跟随指令，从而保持当前展示行为不变，也可以采纳此指令，实现不同方式的操作。

本发明实施例提供了一种虚拟现实设备的画面显示方法，该方法的流程如图1所示，方法可以包括如下步骤：

S101、接收画面跟随指令，所述画面跟随指令中包括主视角画面在所述虚拟现实设备的显示屏中的第一位置。

S102、获取接收到所述画面跟随指令时，所述主视角画面的第二位置。

S103、若所述第一位置与第二位置不一致，则将所述主视角画面自所述第二位置移动到所述第一位置。

本发明实施例中，用户需要查看主画面的内容，或通过主画面与虚拟现实设备进行交互时，向虚拟现实设备发送画面跟随指令，画面跟随指令中包括主画面的第一位置，该第一位置为虚拟现实设备的显示屏中的位置。虚拟现实设备接收到该画面跟随指令后，即开启画面跟随模式，并确定当前主视角画面所在的第二位置。这里的第二位置可能是虚拟现实设备的显示屏中的位置，也可能是显示屏之外的位置。若第一位置与第二位置不是同一个位置，则根据上述画面跟随指令，将主画面从第二位置向第一位置的方向移动，直至主视角画面在第一位置显示。这样，当主视角画面不在用户的视觉范围内，用户不用摆动头部以移动佩戴的虚拟现实设备来找到主视角画面，只需向虚拟现实设备发送指令，主视角画面即可移动到指定的第二位置；或者虽然用户能看到主视角画面，但主视角画面的位置偏离了用户预期的位置时，用户无需晃动头部以调整虚拟现实设备的位置来对其主视角画面，虚拟现实设备收到指令后，可以自动将主视角画面对齐到第二位置。因此，本发明实施例在主视角画面偏移时能校正主视角画面的位置，解决了主视角画面偏移的问题。

如图2为本发明实施例提供的虚拟现实设备的主视角画面和背景画面的显示示意图，其中，用户通过佩戴虚拟现实设备，可以看到显示屏，图2中包括左右两个显示屏，对应于用户的左右眼。显示屏用于显示主画面和背景画面，其中，背景画面即如图2中的网格状图片，主视角画面在背景画面上显示。在图3中，主视角画面为时钟应用程序，其中显示的具体内容为“08:18AM”。

当在虚拟现实设备的显示屏幕上有主视角画面显示时，也会有控件按键出现，如图2所示，控件按键有WIFI信号提示控件，设备电量提示控件，主视角画面放大控件，主视角画面缩小控件，主视角画面左旋转控件，主视角画面右旋转控件等等，其中，有的控件按键可交互，如图2中的主视角画面放大控件，主视角画面缩小控件，主视角画面左旋转控件，主视角画面右旋转控件；有的控件按键只用于观看，不可交互，如图2中的WIFI信号提示控件，设备电量提示控件。

若未开启画面跟随模式，当用户转动头部时，会触发对虚拟现实设备显示的画面的重绘制，例如，用户向左上方转动头部，则重新绘制后的画面如图3所示。当用户向左上方转动头部时，背景画面和主视角画面均会重绘制，此时主视角画面相对于显示屏的位置改变，主视角画面显示于显示屏的右下角位置，用户只有向右下方转动头部，才能使主视角画面重新显示在显示屏的中心位置。进一步地，若用户向左上方转动头部的角度加大，主视角画面甚至会移出显示屏。此时，用户需要大角度旋转头控姿态，在虚拟场景中四处寻找主视角画面，这给用户的使用带来不便。本发明实施例正是基于这个问题，通过开启画面跟随模式，随时将主视角画面在显示屏中显示，方便用户以任意姿态使用虚拟现实设备。

开启画面跟随模式后，将主视角画面显示在显示屏的指定位置即第一位置，这里的第一位置可以是显示屏的正中央位置，也可以根据不同的主画面内容，或不同用户的需求，在显示屏的正上方或左下方等位置主视角画面。本发明实施例中主视角画面的具体显示位置以及主视角画面的大小均为举例，不做限制。

接收到画面跟随指令，而主视角画面显示的第二位置与第一位置不一致，则将主视角画面从第二位置向第一位置的方向移动。这里具体的移动方式可以为，识别当前主视角画面的朝向以及虚拟现实设备的头控朝向，然后逐帧将主视角画面渐渐移动至显示屏中的第一位置。这里的逐帧移动过程主要为了让用户有个心理准备，可以实现为固定帧数内完成主视角画面从第一位置到第二位置的移动，也可以固定角速度完成或其他方式实现，甚至可以立刻完成显示在第二位置。

与此同时，可以在显示屏中显示提示框，提示用户画面跟随模式已经开启，同时可以提示停止跟随模式的方法，之后提示框自动隐藏，此提示框可以以淡入方式显示淡出方式隐藏，也可以其他方式甚至立即显示或隐藏。提示框显示时通常也是跟随虚拟现实设备的头控朝向。

将主视角画面在第一位置显示后，主视角画面将跟随虚拟现实设备一同移动。即步骤S103之后，还包括：

获取所述虚拟现实设备的空间偏移信息；

根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面且保持所述主视角画面显示在所述显示屏中的所述第一位置处。

此时，获取虚拟现实设备的空间信息，这里的虚拟现实设备的空间信息利用虚拟现实设备的欧拉角表示。在本发明实施例中，空间信息如图4所示，定义了三个正交的欧拉角向量，以用户的颈部为中心平行于地心方向为y轴，当用户在以颈部为中心进行晃动时，将偏离y轴的角度记为偏航角；以用户的颈部为中心平行于虚拟现实设备的横轴的轴为x轴，当用户在以颈部为中心进行晃动时，将偏离x轴的角度记为俯仰角；以用户的颈部为中心，并且与虚拟现实设备的中心相连的轴为z轴，当用户在以颈部为中心进行头部晃动时，将偏离z轴的角度记为翻滚角。在本发明实施例中，利用三个正交的欧拉角向量标识虚拟现实设备的空间信息，则虚拟现实设备的空间偏移信息利用欧拉角的变化量来表示。因此，获取所述虚拟现实设备的空间偏移信息，包括：

获取所述虚拟现实设备在第一时刻的第一欧拉角，以及第二时刻的第二欧拉角；

根据所述第一欧拉角和所述第二欧拉角确定所述虚拟现实设备的空间偏移信息。

举例来说，在第一时刻，虚拟现实设备的第一空间信息可以记为第一欧拉角(x1，y1，z1)，当传感器获取了虚拟现实设备偏转后，获取其第二空间信息时，记为第二欧拉角(x2，y2，z2)，则虚拟现实设备的空间偏移信息为欧拉角的改变量，即第二欧拉角与第一欧拉角之差。利用欧拉角可以量化虚拟现实设备的偏转情况，便于调整主视角画面的位置，以使主视角画面一直显示于显示屏的第一位置。

由于背景画面有时会有明确的上下概念，如有可见的天花板与地板，因此，为了避免用户产生眩晕感，如果主视角画面可以与背景画面相对独立的时候，重新绘制背景画面，根据虚拟现实设备的偏转情况，显示不同的背景画面，而保持主视角画面在第一位置处的显示。也就是说，在画面跟随模式中仅让主视角画面跟随虚拟现实设备移动，而背景画面相对于现实世界的方位不变。如当用户利用虚拟现实设备观看2D视频，其背景画面为某一房间的一面墙，2D视频在该墙面上显示。当虚拟现实设备向上方移动时，背景画面绘制为该房间的天花板，而观看的2D视频跟随虚拟现实设备的移动，在天花板上显示。

需要说明的是，本发明实施例中背景画面也可跟随虚拟现实设备移动，例如背景画面为一幅卡通画，主视角画面为显示在该卡通画上的微信应用程序，当画面跟随模式开启之后，背景画面和主视角画面在显示屏中的显示均不变。

在画面跟随模式过程中，用户可以随时选择停止主视角画面跟随，即步骤S103之后，还包括：

接收停止跟随指令；

获取所述虚拟现实设备的空间偏移信息；

根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面和所述主视角画面，以使所述主视角画面相对于所述背景画面的位置不变。

此时，虚拟现实设备的空间信息也是利用虚拟现实设备的欧拉角表示，同时，利用欧拉角的改变量标明虚拟现实设备的空间偏移信息。停止画面跟随模式之后，主视角画面相对于背景画面的位置不变，根据虚拟现实设备的偏转，重新绘制主视角画面和背景画面，使得主视角画面根据虚拟现实设备的空间偏移信息，在显示屏的不同位置显示，甚至移出显示屏，同时保持主视角画面与背景画面的相对位置不变。举例来说，当用户利用虚拟现实设备观看2D视频，其背景画面为某一房间的一面墙，2D视频在该墙面上显示。当虚拟现实设备向上方移动时，背景画面绘制为该房间的天花板，2D视频不跟随虚拟现实设备的移动，仍在墙面上显示。

在本发明实施例中，画面跟随模式的开启和关闭可通过不同方式实现。用户可通过在虚拟现实设备上设置的按键来实现主视角画面的跟随，例如如图5所示，按键501位于虚拟现实设备的外壳的中间部位，用户点击按键一次实现主视角画面的跟随，即发送画面跟随指令，需要关闭跟随模式时用户需再点击该按键一次。

或者，如图6所示，在虚拟现实设备的一侧设置有按键601以及按键602，用户可以通过按压按键601实现画面跟随模式的开启，通过按压按键602实现对虚拟现实画面跟随模式的关闭。开启和关闭的实现也可通过同时按下组合键来实现，如同时按下按键601和按键603实现画面跟随模式的开启，同时按下按键602和按键603实现画面跟随模式的关闭。也可以通过同时按下按键601、按键602和按键603一次实现主视角画面的跟随模式的开启，再次同时按下按键601、按键602和按键603实现主视角画面的跟随模式的关闭。

或者，如图7所示，通过拨动按钮701来实现对虚拟现实设备的画面跟随模式的开启或关闭，将按钮701向前拨动，画面跟随模式开启，将按钮701向后拨动，画面跟随模式关闭。

当然在本发明上述实施例中，跟随模式开启或关闭的按键操作方式仅为举例，不做限制，跟随模式开启或关闭的实现不止上文描述的几种方式，其余可以实现的操作方式也在本发明实施例的保护范围，如实现开启或关闭的按键操作顺序可以互换，在此不做赘述。

在虚拟现实设备接收到停止跟随指令时，主视角画面不再跟随虚拟现实设备移动，此时，将获取虚拟现实设备的空间信息，即虚拟现实设备的欧拉角，并根据此时虚拟现实设备的欧拉角在显示屏上显示主视角画面，将主视角画面固定在此欧拉角对应的视角，同时固定主视角画面与背景画面的相对位置。可选的，由于用户头部姿态有时不可避免有些许倾斜，主视角画面停止画面跟随模式时可以进行角度微调。也就是在接收停止跟随指令之后，所述获取所述虚拟现实设备的空间信息之前，还包括：

确定所述主视角画面的边界与所述背景画面的相应边界之间的角度差；

若所述主视角画面的边界与所述背景画面的边界之间的角度差小于阈值，则调整所述背景画面相对于所述显示屏的位置，使所述背景画面的边界与所述主视角画面的相应边界平行。

举例来说，如图8，虚拟现实设备在接收到停止跟随指定的时刻，主视角画面的边界与背景画面的边界之间存在角度差，需要固定主视角画面与背景画面之间的相对位置，若此时主视角画面的边界与背景画面的边界之间的角度差小于5°，则调整背景画面在显示屏中的显示，使其边界与主视角画面的相应边界平行，背景画面调整后的显示如图9。

基于相同的技术构思，本发明实施例还提供一种虚拟现实设备的画面显示装置，如图10所示，包括：

接收模块1，用于接收画面跟随指令，所述画面跟随指令中包括主视角画面在所述虚拟现实设备的显示屏中的第一位置；

定位模块2，用于获取接收到所述画面跟随指令时，所述主视角画面的第二位置；

显示模块3，用于若所述第一位置与第二位置不一致，则将所述主视角画面自所述第二位置移动到所述第一位置。

可选的，所述定位模块2，还用于获取所述虚拟现实设备的空间偏移信息；

所述显示模块3，还用于根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面且保持所述主视角画面显示在所述显示屏中的所述第一位置处。

可选的，所述接收模块1，还用于接收停止跟随指令；

所述定位模块2，还用于获取所述虚拟现实设备的空间偏移信息；

所述显示模块3，还用于根据所述空间偏移信息，调整所述虚拟现实设备显示的背景画面和所述主视角画面，以使所述主视角画面相对于所述背景画面的位置不变。

可选的，所述定位模块2，还用于确定所述主视角画面的边界与所述背景画面的相应边界之间的角度差；

所述显示模块3，还用于若所述主视角画面的边界与所述背景画面的边界之间的角度差小于阈值，则调整所述背景画面相对于所述显示屏的位置，使所述背景画面的边界与所述主视角画面的相应边界平行。

可选的，所述定位模块2，具体用于：

获取所述虚拟现实设备在第一时刻的第一欧拉角，以及第二时刻的第二欧拉角；

根据所述第一欧拉角和所述第二欧拉角确定所述虚拟现实设备的空间偏移信息。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。