虚拟现实图像显示方法、装置及应用其的终端设备与流程

本发明涉及虚拟现实技术(Virtual Reality，VR)和图像技术，更具体地，涉及一种虚拟现实图像显示方法、装置及应用其的终端设备。

背景技术：

随着智能终端技术的发展，终端设备能够承载越来越多的传感器并具有越来越强大的数据处理能力，从而可以为用户提供更加丰富的使用体验。现有的智能终端设备(例如，移动通信终端或平板电脑)通常设置有锁定状态，在锁定状态下，用户可以根据需要点亮屏幕以查看信息或进行解锁操作。现有技术中，终端设备通常在点亮屏幕后显示动态或静态的图像，这并不能满足用户日益增长的使用需要。

技术实现要素：

有鉴于此，本发明提供一种虚拟现实图像显示方法、装置及应用其的终端设备，以进一步提升终端设备用户的使用体验。

第一方面，提供一种虚拟现实图像显示方法，应用于设置有姿态检测装置和显示装置的终端设备，所述方法包括：

获取所述姿态检测装置检测的姿态信息；

根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分。

优选地，所述方法还包括：

在所述终端设备锁定的状态下检测到点亮显示装置的指令时，载入虚拟现实图像数据；

所述虚拟现实图像数据包括全景视角的静态或动态图像。

优选地，所述载入虚拟现实图像数据包括：

随机地或以预定方式从本地或远程预定位置选择虚拟现实图像载入。

优选地，根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分包括：

根据所述姿态信息的连续变化以连续方式改变在所述显示装置上呈现的虚拟现实图像的部分，以使得所显示的对应部分与终端设备的预定观察点的相对位置保持不变。

优选地，根据所述姿态信息的连续变化以连续方式改变在所述显示装置上呈现的虚拟现实图像的部分包括：

响应于所述终端设备的俯仰角变化和/或偏航角变化，分别在所述显示装置上渲染呈现虚拟现实图像上下和/或左右移动；以及，

响应于所述终端设备的滚转角变化，在所述显示装置上渲染呈现虚拟现实图像随滚转角变化而转动。

优选地，所述姿态信息为所述终端设备以大地为参考的绝对姿态信息；

所述姿态信息为以检测到点亮显示装置的指令时所述终端设备的姿态为参考的相对姿态信息。

7、根据权利要求2所述的虚拟现实图像显示方法，其特征在于，所述虚拟现实图像为预定图像，所述方法还包括：

在所述显示装置上的预定位置渲染呈现至少一个标识，所述标识用于辅助确认所述终端设备的当前姿态；以及，

在检测到所述标识与所述虚拟现实图像的预定数量的不同部分按预定顺序重合时，解锁所述终端设备。

8、根据权利要求2所述的虚拟现实图像显示方法，其特征在于，所述虚拟现实图像为预定图像，所述方法还包括：

在所述显示装置上的预定位置渲染呈现至少一个标识，所述标识用于辅助确认所述终端设备的当前姿态；

在根据所述姿态信息检测到所述终端设备以预定顺序达到至少两个预定姿态时，解锁所述终端设备。

9、一种虚拟现实图像显示装置，应用于设置有姿态检测装置和显 示装置的终端设备，所述装置包括：

姿态信息获取单元，用于获取所述姿态检测装置检测的姿态信息；

渲染显示单元，用于根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分。

10、一种终端设备，包括：

姿态检测装置；

显示装置；以及，

数据处理装置，适于执行如权利要求1-8中任一项所述的方法。

通过利用现有的智能终端设备承载有姿态检测装置的特点，获取终端设备的姿态信息，并基于所述姿态信息显示虚拟现实图像的对应部分。由此，在改变终端设备的姿态时，终端设备显示的图像也适应性地移动，使得用户通过移动终端设备观察到虚拟现实图像的不同部分，模拟出用户转动头部观察到不同景色或场景，达到用户身临其境进行360度全景观看的效果，提升用户对智能终端设备的使用体验。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的虚拟现实图像显示方法的流程图；

图2是本发明的与终端设备绑定的物体坐标系的示意图；

图3A-3G是本发明实施例的终端设备在进行虚拟现实图像显示时的显示效果示意图；

图4A是本发明实施例应用于锁屏界面时的虚拟现实图像显示方法的流程图；

图4B是本发明实施例应用于锁屏界面的界面效果示意图；

图5A是本发明实施例应用于解锁操作时的流程图；

图5B是本发明实施例应用于解锁操作的界面效果示意图；

图5C是本发明实施例应用于解锁操作时的流程图；

图6是本发明实施例的虚拟现实图像显示装置的示意图；

图7是本发明实施例的终端设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本发明实施例的虚拟现实图像显示方法的流程图。本发明实施例的方法应用于设置有姿态检测装置和显示装置的终端设备。所述终端设备可以为智能移动终端或平板电脑等。所述姿态检测装置可以为姿态传感器或陀螺仪与地磁感应器的组合或其它可以用于检测姿态信息的装置。所述显示装置可以为液晶显示屏或有机发光二极管(OLED)等适于集成于终端设备的显示装置。

如图1所示，所述方法包括：

步骤S100、获取所述姿态检测装置检测的姿态信息。

在被激活或启动的状态下，姿态检测装置可以实时检测获得终端设备以大地为参考的绝对姿态，从而获取表征该姿态的姿态信息。在本发明中，姿态(pose/attitude)标识物体在3D空间内朝向。在3D空间内，常用两种坐标系，即世界坐标系和物体坐标系来辅助指明描述刚体的信息，其中，世界坐标系与大地绑定，而物体坐标系与要表征的物体绑定。在刚体发生旋转变化时，与其绑定的物体坐标系也会发生变化。物体坐标系的三个坐标轴与实际坐标系的三个坐标轴产生三个夹角，可以称为俯仰角(pitch)、偏航角(yaw)和滚转角(roll)，统称为欧拉角。利 用欧拉角就可以描述刚体相对于世界坐标系的偏转，从而描述其姿态。

图2是本发明的与终端设备绑定的物体坐标系的示意图。图2以移动通信终端为例说明终端设备的物体坐标系。如图2所示，移动通信终端通常被设置为扁平状的长方体或类似形状，显示装置1被设置于面积最大的一面以向用户呈现图像。物体坐标系的坐标轴分别与显示装置1所在平面的垂直方向(滚转轴)、长度方向(偏航轴)以及宽度方向(俯仰轴)一致。在移动通信终端绕滚转轴转动改变姿态时，其滚转角发生变化；绕偏航轴转动改变姿态时，其偏航角发生变化；绕俯仰轴转动改变姿态时，其俯仰角发生变化。应理解，终端设备所有的姿态变化都是上述三种角度变化的组合。

根据参考时刻的终端设备的绝对姿态和当前时刻的绝对姿态，也可以获取到终端设备以参考时刻的姿态为参考的相对姿态信息。步骤S100所述的姿态信息可以是相对姿态信息也可以是绝对姿态信息。

步骤S200、根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分。也就是说，预先设置了虚拟现实图像的不同位置与姿态信息的对应关系。该对应关系可以以例如公式的方式表征，也可以以对应表的方式表征。根据当前的姿态信息，将对应的部分渲染呈现于显示装置上。优选地，所述虚拟现实图像为全景视角的静态或动态图像。由此，图像中的不同部分对应于向不同方位观察时可以观察或拍摄到的景象，将此与终端设备的姿态建立对应关系，在终端设备的姿态与图像对应部分的拍摄姿态或观察角度基本相同时，可以模拟出用户转动头部观察到不同景色或场景，达到用户身临其境进行360度全景观看的效果，提升用户对智能终端设备的使用体验。

进一步地，步骤S200中，渲染呈现虚拟现实图像的对应部分根据姿态信息的变化而连续的变化，以模拟人在预定的观察点转动头部观察到不同方位的景象的效果。为了实现上述效果，需要根据所述姿态信息的变化改变在所述显示装置上呈现的虚拟现实图像的部分，以使得所显示的对应部分与终端设备的预定观察点的相对位置保持不变。

具体地，可以响应于所述终端设备的俯仰角变化和/或偏航角变化，分别在所述显示装置上渲染呈现虚拟现实图像上下和/或左右移动。由此， 可以模拟抬头/低头或左右转动头部观察全景的效果。

同时，还可以响应于所述终端设备的滚转角变化，在所述显示装置上渲染呈现虚拟现实图像随滚转角变化而转动。在终端设备的滚转角变化时，显示装置延垂直于其法线的平面内转动，由于观察者通常的位置不变，由此，控制在所述显示装置上渲染呈现虚拟现实图像随滚转角变化而转动，使得显示装置上所显示的图像的方向相对于观察者保持一致，由此，可以获得更加真实的显示效果。

应理解，上述处理可以根据俯仰角、偏航角和滚转角的同时变化而同时进行。

图3A-3G是本发明实施例的终端设备在进行虚拟现实图像显示时的显示效果示意图。在图3A-3G中，以载入夕阳照耀下的大楼的全景图像为例说明本发明实施例的显示效果。在启动进行虚拟现实图像显示时，获取终端设备的姿态信息。优选地，姿态信息为绝对姿态信息，其包括方向信息，由此，不但可以获知终端设备的欧拉角，而且可以获得其朝向。在图3A中，终端设备朝向西边，由此，在显示装置1上渲染显示的是虚拟现实图像中正对夕阳的部分。同时，在图3B-3C中，终端设备向左侧稍稍转动时，在显示装置上渲染显示全景视角的图像中南北两侧的部分，也即图中所示的广场和喷泉。在图3D中，终端设备向上转动，朝向天空，在显示装置上渲染显示全景视角的图像中天空的部分。在图3E中，终端设备向下移动，朝向地面，在显示装置上渲染显示全景视角的图像中地面的部分。在图3F中，终端设备转向东侧，由此，在显示装置上渲染显示夕阳照耀下的建筑物。在图3G中，终端设备由垂直转动到水平位置，通过渲染在显示装置上转动虚拟现实图像，使得天空和地面的方向相对于观察者不变。可以看出，在图3A-3F中，天空和地面的方向在显示装置较短的两端，而转动到水平位置后，天空和店面的方向在显示装置较长的侧边。由此，显示装置渲染获得的显示效果与用户打开终端设备摄像装置进行取景获得的显示效果基本相同，可以为用户提供身临其境的使用体验。

同时，可以将本发明实施例的虚拟现实图像显示技术应用于智能终端设备的各种场景。例如，在终端设备锁屏点亮的界面进行虚拟现实图 像的显示。图4A是本发明实施例应用于锁屏界面的流程图。如图4所示，所述方法包括：

步骤410、在所述终端设备锁定的状态下检测到点亮显示装置的指令时，载入虚拟现实图像数据。

具体地，所述虚拟现实图像数据可以是预定的数据，也可以以随机方式或预定的方式(例如按照预定的顺序)从本地预定位置或通过网络成远程预定位置选择虚拟现实图像数据载入。虚拟现实图像数据可以包括虚拟现实图像和图像不同部分对应的姿态信息。虚拟现实图像数据也可以仅包括虚拟现实图像，在图像载入后，由终端设备计算获得所述对应的姿态信息。

步骤420、获取所述姿态检测装置检测的姿态信息。

步骤430、根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分。

由此，可以实现在锁屏状态下点亮终端设备的屏幕时显示虚拟现实图像，给用户提供更丰富的体验。

优选地，在显示虚拟现实图像的同时，还可以在预定载入锁屏状态信息，并在所述显示装置的预定位置渲染显示所述锁屏状态信息。由此，提供通常锁屏界面所提供的信息。搜书锁屏状态信息可以包括当前时间、日期、天气、未查看通知和信息等信息。图4B是本发明实施例应用于锁屏界面的界面效果示意图。如图4B所示，在用户点亮锁屏界面时，显示装置显示虚拟现实图像的通知，在显示装置的预定位置显示当前的时间和日期，方便用户查看。

进一步地，可以将终端设备解锁与虚拟现实图像的显示结合，以提供一种体验更佳的终端设备解锁操作方式。如图5A所示，所述方法包括：

步骤510、在所述终端设备锁定的状态下检测到点亮显示装置的指令时，载入虚拟现实图像数据。其中，所述虚拟现实图像数据包括预定的虚拟现实图像，基于该图像可以进行解锁操作。

步骤520、获取所述姿态检测装置检测的姿态信息。

步骤530、根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分，同时，在所述显示装置上的预定位置渲染呈现至少一 个标识。所述标识用于辅助确认所述终端设备的当前姿态。

由于移动终端设备使得其处于不同姿态时可以使得虚拟现实图像的不同部分呈现于显示装置上，每次终端设备处于相同姿态时，显示装置显示的图像也是相同的。因此，可以通过在用户移动终端设备使得虚拟现实图像的预定部分与标识重合时，终端设备可以达到预定的姿态。可以基于这一特性来将终端设备不同姿态的序列作为解锁的密码来使用。

由于有标识的存在，用户可以方便地通过对齐标识和虚拟现实图像的预定位置以使得终端设备达到预定的姿态。例如，通过移动手机使得图5B中的物体以预定的顺序与标识重合，可以使得所述终端设备按顺序达到多个姿态，从而实现对于终端设备的解锁。

为了检测终端设备是否被移动到预定姿态，可以采用如下两种方式。

在步骤S540，在检测到所述标识与所述虚拟现实图像的至少两个预定部分按预定顺序重合时，解锁所述终端设备。

或者，在步骤S540’(如图5C所示)在根据所述姿态信息检测到所述终端设备以预定顺序达到至少两个预定姿态时，解锁所述终端设备。

由此，用户在点亮锁屏界面后，除了可以观赏虚拟现实图像，还可以通过移动视角来进行解锁，进一步提升用户使用体验。

图6是本发明实施例的虚拟现实图像显示装置的示意图。如图6所示，所述虚拟现实图像显示装置6包括姿态信息获取单元61和渲染显示单元62。其中，姿态信息获取单元61用于获取所述姿态检测装置检测的姿态信息。渲染显示单元62用于根据所述姿态信息在所述显示装置上渲染呈现虚拟现实图像的对应部分。

优选地，渲染显示单元62根据所述姿态信息的变化改变在所述显示装置上呈现的虚拟现实图像的部分，以使得所显示的对应部分与终端设备的预定观察点的相对位置保持不变。其中，渲染显示单元62响应于所述终端设备的俯仰角变化和/或偏航角变化，分别在所述显示装置上渲染呈现虚拟现实图像上下和/或左右移动；以及，响应于所述终端设备的滚转角变化，在所述显示装置上渲染呈现虚拟现实图像随滚转角变化而转动。

优选地，虚拟现实图像显示装置6还可以包括载入单元63，用于在 所述终端设备锁定的状态下检测到点亮显示装置的指令时，载入虚拟现实图像数据。其中，虚拟现实图像数据包括全景视角的静态或动态图像。进一步地，载入单元63随机或以预定方式从本地或远程预定位置选择虚拟现实图像载入。由此，可以实现每次载入不同的虚拟现实图像，提升新鲜感。在应用于锁屏界面时，所述姿态信息可以是以检测到点亮显示装置的指令时所述终端设备的姿态为参考的相对姿态信息。更优选地，所述姿态信息也可以是以大地为参考的绝对姿态信息。

优选地，虚拟现实图像显示装置6还可以包括锁屏状态信息载入单元64，其用于载入锁屏状态信息，并在所述显示装置的预定位置渲染显示所述锁屏状态信息。

优选地，虚拟现实图像显示装置6还可以包括标识渲染单元65和解锁单元66。其中，标识渲染单元65用于在所述显示装置上的预定位置渲染呈现至少一个标识。所述标识用于辅助确认所述终端设备的当前姿态。解锁单元66用于在检测到所述标识与所述虚拟现实图像的至少两个预定部分按预定顺序重合时，解锁所述终端设备，或者，在根据所述姿态信息检测到所述终端设备以预定顺序达到至少两个预定姿态时，解锁所述终端设备。

本发明实施例通过利用现有的智能终端设备承载有姿态检测装置的特点，获取终端设备的姿态信息，并基于所述姿态信息显示虚拟现实图像的对应部分。由此，在改变终端设备的姿态时，终端设备显示的图像也适应性地移动，使得用户通过移动终端设备观察到虚拟现实图像的不同部分，模拟出用户转动头部观察到不同景色或场景，达到用户身临其境进行360度全景观看的效果，提升用户对智能终端设备的使用体验。

以上参照根据本发明的实施方式的方法、设备(系统)和计算机程序产品的流程图图例和/或框图描述了本发明的各个方面。将要理解的是，流程图图例和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

图7是本发明实施例的终端设备的示意图。如图7所示，所述终端设备7可以是任何通用数据处理设备，其包括姿态检测装置71、显示装置72和数据处理装置73。同时，终端设备7还可以包括存储器74、输入装置75(例如与显示装置集成为一体的触控输入装置)、摄像装置76、通信装置77和天线78以及其它常用的装置等。数据处理装置73可以是CPU或通用数字信号处理器，其通过载入存储器74或自身存储的程序执行以上实施例所述的方法流程或实现以上实施例所述的装置的不同功能模块的功能来实现在智能终端设备上显示虚拟现实图像。

还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。