虚拟现实图像的处理方法及其系统与流程

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实图像的图像处理方法及其系统。

背景技术：

随着虚拟现实技术的不断发展，人们对虚拟现实设备提供图像的分辨率要求越来越高，对高分辨率图像进行处理需要较高的硬件配置，消耗极大的系统资源，需要改进虚拟现实图像的处理方法来降低图像处理过程中的系统资源消耗。

相关技术中，首先对视野可见场景进行低分辨率的渲染，再根据用户的注视点确定用户的关注区域，对用户的关注区域内的图像进行高分辨率的渲染，将两次渲染之后的图像进行融合，显示给用户。现有技术中对待处理图像进行处理时，图像渲染工作量过大，从而导致系统资源消耗过大，图像处理效率太低，进而引起图像显示出现卡顿。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种虚拟现实图像的处理方法，以实现只对用户的主观测区对应的图像进行超分辨率画质处理，进而节省图像处理过程中的系统资源消耗。

本发明的第二个目的在于提出一种虚拟现实图像的处理系统。

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种虚拟现实图像的处理方法，包括：在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；根据所述第三图像和所述第四图像，获取虚拟现实图像。

和现有技术相比，本发明实施例在对待处理图像进行处理时，仅对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中的系统资源消耗。

另外，本发明实施例的虚拟现实图像的处理方法，还具有如下附加的技术特征：

可选地，在所述在第一图像中截取用户的主观测区对应的图像作为第二图像之前，还包括：获取所述用户的姿态信息；根据所述姿态信息获取所述第一图像；将所述第一图像进行存储，所述第一图像是所述用户的姿态信息对应的低分辨率场景图像。

可选地，在所述将所述第一图像进行存储之后，还包括：追踪所述用户的眼球位置，并根据所述眼球位置计算所述用户的注视点；根据所述用户的注视点确定所述用户的主观测区。

可选地，所述主观测区的形状包括：圆形、正方形、长方形、多边形中的一种。

可选地，所述对所述第二图像进行超分辨率画质处理，包括：使用插值算法对所述第二图像进行处理。

可选地，所述根据所述第三图像和所述第四图像，获取虚拟现实图像，包括：对所述第三图像进行像素级重建，以获取第五图像；对所述第四图像和所述第五图像进行整合，以获取虚拟现实图像。

本发明第二方面实施例提出了一种虚拟现实图像的处理系统，包括头戴式显示设备和主机，其中，所述主机，用于向所述头戴式显示设备传输第一图像；所述头戴式显示设备，用于在所述第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像，以及对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像，并根据所述第三图像和所述第四图像，获取虚拟现实图像。

另外，本发明实施例的虚拟现实的处理系统，还具有如下附加的技术特征：

可选地，所述头戴式显示设备包括：图像提取单元，用于在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；主观测区超分辨率处理单元，用于对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；以及数据整合单元，用于根据所述第三图像和所述第四图像，获取虚拟现实图像。

可选地，所述头戴式显示设备还包括：姿态获取单元，用于获取用户的姿态信息，并将所述姿态信息传输给所述主机；所述主机根据所述姿态信息渲染所述第一图像，并向所述头戴式显示设备传输所述第一图像，所述第一图像是所述姿态信息对应的低分辨率场景图像；所述头戴式显示设备还包括：存储单元，用于获取所述第一图像，并将所述第一图像进行存储。

可选地，所述头戴式显示设备还包括：眼球追踪单元，用于追踪所述用户的眼球位置，并根据所述眼球位置计算所述用户的注视点；主观测区确定单元，用于根据所述用户的注视点确定所述用户的主观测区。

可选地，所述主观测区超分辨率处理单元，具体用于使用差值算法对所述第二图像进行处理。

可选地，所述数据整合单元，具体用于：对所述第三图像进行像素级重建，以获取第五图像；对所述第四图像和所述第五图像进行整合，以获取虚拟现实图像。

本发明第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的虚拟现实图像的处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例所提供的一种虚拟现实图像的处理方法的流程示意图；

图2为本发明实施例所提供的另一种虚拟现实图像的处理方法的流程示意图；

图3为本发明实施例所提供的像素级重建和超分辨率画质处理的对比示意图；

图4为本发明实施例所提供的虚拟现实图像的处理方法的一个示例的流程示意图；

图5为本发明实施例所提供的虚拟现实图像的处理方法的一个示例的效果示意图；

图6为本发明实施例所提供的一种虚拟现实图像的处理系统的结构示意图；

图7为本发明实施例所提供的一种虚拟现实图像的处理系统的一种可能的实现方式的结构示意图；以及

图8为本发明实施例所提供的虚拟现实图像的处理系统的一个示例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的虚拟现实图像的处理方法及其系统。

基于上述现有技术的描述可以知道，相关技术中，首先对视野可见场景进行低分辨率的渲染，再根据用户的注视点确定用户的关注区域，对用户的关注区域内的图像进行高分辨率的渲染，将两次渲染之后的图像进行融合，显示给用户。因此现有技术中对待处理图像进行处理时，图像渲染工作量过大，从而导致系统资源消耗过大，图像处理效率太低，进而引起图像显示出现卡顿。

针对这一问题，本发明实施例提供了一种虚拟现实图像的处理方法。只对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中的系统资源消耗。

图1为本发明实施例所提供的一种虚拟现实图像的处理方法的流程示意图。应当理解，为了实现立体影像的技术效果，虚拟现实设备提供给人的左眼和右眼的图像是不同的，左右眼图像不同，但内容处理方式相同，即对左眼图像和右眼图像采用相同的虚拟现实图像处理方法进行处理，因此只需以左眼图像为例对处理方法的实现过程进行说明。

虚拟现实设备有两种类型。第一种是由主机和头戴式显示设备共同组成的一套虚拟现实设备，主机和头戴式显示设备之间通过有线/无线通信相连，主机可以是ap(wirelessaccesspoint，无线访问接入点)、pc(personalcomputer，个人电脑)、云端服务器等用来存储和提供图像信息的设备。第二种是由头戴式显示设备单独形成一套虚拟现实设备。

本发明实施例所提供的虚拟现实图像的处理方法在两种类型的虚拟现实设备中都由头戴式显示设备实现，如图1所述，该方法包括以下步骤：

s101，在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。

其中，第一图像是用户的姿态信息对应的低分辨率场景图像。

为了获取第一图像，一种可能的实现方式是，获取用户的姿态信息，根据姿态信息获取第一图像，将第一图像进行存储。

可以理解的是，根据姿态信息获取第一图像的具体方法根据虚拟现实设备的类型不同而不同。

在第一种虚拟现实设备中，头戴式显示设备获取用户的姿态信息后，将姿态信息发送给主机，主机根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像，将第一图像发回给头戴式显示设备，头戴式显示设备将第一图像进行存储。

在第二种虚拟现实设备中，头戴式显示设备获取用户的姿态信息后，自行根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像，并将第一图像进行存储。

需要特别说明的是，用户的主观测区的确定方式有多种。

一种可能的实现方式是，追踪用户的眼球位置，并根据眼球位置计算用户的注视点，根据用户的注视点确定用户的主观测区。用户的注视点是由虚拟现实设备的眼球追踪传感器追踪眼球位置后，通过计算得到的。再根据注视点确定用户的主观测区，比如，以注视点为圆心，预设数值为半径，得到的圆形就是用户的主观测区。类似的，还可以用注视点为中心，得到长方形、正方形、多边形作为用户的主观测区。

另一种可能的实现方式是，预先固定设置用户的主观测区的范围。无需追踪用户的眼球位置，将用户的眼球在所有位置时用户的注视区域进行覆盖，进而确定用户的主观测区的范围。相应的，主观测区的形状可以是圆形、长方形、正方形、多边形中的一种。

应当理解的是，人眼对不同区域的图像的成像清晰度是不同的。在用户的可见范围内，对眼球主要关注的图像区域十分敏感，成像清晰，而对其他图像区域的成像较为模糊。主观测区对应的第二图像是用户眼球主要关注的图像区域，而其他部分对应的第三图像是用户眼球并不关注的其他图像区域。另外，图像边缘区域，在使用透镜的情况下，会有一些形变，用户眼球对此区域的清晰度也不是非常敏感。

需要特别强调的是，在第一种虚拟现实设备中，主机根据姿态信息渲染用户的姿态信息对应的低分辨率场景图像作为第一图像，并将第一图像传输给头戴式显示设备。从而，减少了从主机到头戴式显示设备通信过程中的数据传输量，也减少了头戴式显示设备进行图像处理和图像存储的数据量。

在第二种虚拟现实设备中，头戴式显示设备单独完成第一图像的获取工作。从而，脱离了对主机的依赖，可以在各种环境下使用。

s102，对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。

其中，超分辨率画质处理是将低分辨率的图像恢复成高分辨率的图像。

具体地，超分辨率画质处理对于图像处理系统资源的消耗很大，为了减少图像处理系统资源的消耗，一种可能的实现方式是，采用图像处理算法来实现超分辨率画质处理，比如：差值算法、重建算法、机器学习算法。

s103，根据第三图像和第四图像，获取虚拟现实图像。

可以理解的是，第三图像是除用户主观测区对应的图像以外的其他部分对应的图像，第四图像是用户主观测区对应的图像经过超分辨率画质处理之后获取的图像。因此根据第三图像和第四图像，可以获取完整的场景图像作为虚拟现实图像。

进一步地，考虑到头戴式显示设备的显示部分使用透镜会让虚拟现实图像产生畸变，对虚拟现实图像进行反畸变处理。

综上所述，本发明实施例所提供的一种虚拟现实图像的处理方法，在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。根据第三图像和第四图像，获取虚拟现实图像。由此，实现了在图像处理过程中，只对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中系统资源的消耗。

为了让本发明实施例所提供的虚拟现实图像的处理方法生成的虚拟现实图像更加真实，本发明实施例还提出了另一种虚拟现实图像的处理方法，图2为本发明实施例所提供的另一种虚拟现实图像的处理方法的流程示意图，基于图1所示的方法流程，如图2所示，s103，根据第三图像和第四图像，获取虚拟现实图像，包括：

s201，对第三图像进行像素级重建，以获取第五图像。

s202，对第四图像和第五图像进行整合，以获取虚拟现实图像。

其中，像素级重建是对图像像素进行复制行、复制列、平均化处理等简单的相邻数据重建。

应当理解的是，s102中，对第二图像进行超分辨率画质处理，以获取第四图像，因此第四图像的分辨率高于第二图像。s201中，对第三图像进行像素级重建，以获取第五图像，因此第五图像的分辨率高于第三图像。相应地，获取的虚拟现实图像的分辨率也要高于第一图像。

一种优选的实现方式是，超分辨率画质处理与像素级重建对图像的处理使得图像像素进行相同倍数的放大，使得第四图像和第五图像完美契合。比如：第一图像是1000*500的图像，第二图像是300*200的图像，第三图像是第一图像除去第二图像以外的其他部分。对第二图像进行超分辨率画质处理后得到的第四图像是600*400的图像，对第二图像进行像素级重建将会获得600*400的图像x，那么对第三图像进行像素级重建后得到的第五图像就是2000*1000的第一图像除去图像x以外的其他部分。将第四图像和第五图像进行整合，第四图像刚好填补了图像x的位置，从而得到了虚拟现实图像。

需要特别说明的是，像素级重建不同于s102中的超分辨率画质处理。如图3所示，对于非主观测区对应的图像，采用像素级重建的方法，生成的高分辨率图像与低分辨率图像相比，只是对原有像素点的简单处理，如复制。对于主观测区对应的图像，采用超分辨率画质处理，具体通过图像处理算法生成新的像素点，不仅对像素点个数进行了增加，而且相邻像素点之间存在区别，不是对原有像素点的复制，提升了主观测区对应的图像的画质。

从而，使得图像之间更好地进行整合，虚拟现实图像更加真实。

为了更加清楚地说明本发明实施例的虚拟现实图像的处理方法，下面进行举例说明。

如图4所示，主机通过头戴式显示设备发送的信息获取当前姿态信息，渲染当前姿态对应的场景图像，生成低分辨率的场景图像。将生成的低分辨率的场景图像通过无线或者线缆传输发送给头戴式显示设备进行存储。

头戴式显示设备通过眼球跟踪传感器获取用户的眼球位置，进而计算出用户的注视点和主观测区。对主观测区对应的图像进行超分辨率处理，对分主观测区对应的图像进行像素级处理，将处理结果进行整合。最后进行反畸变处理，处理后的虚拟现实图像由显示单元显示给用户。本发明实施例所提供的虚拟现实图像的处理方法的技术效果如图5所示。

为了实现上述实施例，本发明实施例还提出了一种虚拟显示图像的处理系统，该系统属于前述的第一种虚拟现实设备。图6为本发明实施例所提供的一种虚拟现实图像的处理系统的结构示意图，如图6所示，该系统包括：主机310，头戴式显示设备320。

主机310，用于向头戴式显示设备320传输第一图像。

头戴式显示设备320，用于在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。以及对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。根据第三图像和第四图像，获取虚拟现实图像。

为了让头戴式显示设备320能够进行上述处理，一种可能的实现方式是，如图7所示，头戴式显示设备320包括：图像提取单元321，主观测区超分辨率处理单元322，数据整合单元323。

图像提取单元321，用于在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。

主观测区超分辨率处理单元322，用于对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。

数据整合单元323，用于根据第三图像和第四图像，获取虚拟现实图像。

进一步地，为了获取第一图像，一种可能的实现方式是，头戴式显示设备320还包括：姿态获取单元324，用于获取用户的姿态信息，并将姿态信息传输给主机310。

主机310根据姿态信息渲染第一图像，并向头戴式显示设备320传输第一图像，第一图像是姿态信息对应的低分辨率场景图像。

头戴式显示设备320还包括：存储单元325，用于获取第一图像，并将第一图像进行存储。

进一步地，为了确定用户的主观测区，头戴式实现设备320还包括：眼球追踪单元326，用于追踪用户的眼球位置，并根据眼球位置计算用户的注视点。主观测区确定单元327，用于根据用户的注视点确定用户的主观测区。其中，主观测区的形状包括：圆形、正方形、长方形、多边形中的一种。

进一步地，为了减少图像处理系统资源的消耗，一种可能的实现方式是，主观测区超分辨率处理单元322，具体用于使用差值算法对第二图像进行处理。

进一步地，为了让生成的虚拟现实图像更加真实，一种可能的实现方式是，数据整合单元323，具体用于：对第三图像进行像素级重建，以获取第五图像。对第四图像和第五图像进行整合，以获取虚拟现实图像。

需要说明的是，前述对虚拟现实图像的处理方法实施例的解释说明也适用于该实施例的虚拟现实图像的处理系统，此处不再赘述。

综上所述，本发明实施例所提供的一种虚拟现实图像的处理系统，在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。根据第三图像和第四图像，获取虚拟现实图像。由此，实现了在图像处理过程中，只对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中系统资源的消耗。

为了更加清楚地说明本发明实施例所提供的虚拟现实图像的处理系统，下面进行举例说明。

如图8所示，虚拟现实图像的处理系统包括主机和头戴式显示设备，头戴式显示设备的姿态获取单元获取用户的姿态信息，通过无线/线缆将姿态信息传输给主机。主机根据姿态信息渲染低分辨率场景图像，将低分辨率场景图像按照头戴式显示设备所需的帧率传输给头戴式显示设备。

头戴式显示设备中的存储单元将主机传输的低分辨率场景图像进行存储，之后的虚拟现实图像的处理过程由头戴式显示设备内部的不同单元进行。

眼球追踪单元追踪用户的眼球位置，并计算用户的注视点，主观测区确定单元根据用户的注视点确定用户的主观测区。图像提取单元从存储单元存储的低分辨率场景图像中截取主观测区对应的图像，主观测区超分辨率处理单元对截取的主观测区对应的图像进行超分辨率处理。数据整合单元将低分辨率场景图像中的其他图像进行像素级重建，并将重建后的图像与超分辨率处理后的图像进行数据整合，得到虚拟现实图像。

为了防止显示单元的透镜对虚拟现实图像产生畸变，反畸变处理单元先对虚拟现实图像进行反畸变处理，然后由显示单元进行显示。

为了实现上述实施例，实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的虚拟现实图像的处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。