本公开涉及图像处理技术领域，尤其涉及一种基于虚拟现实的图像处理方法、装置、设备和介质。
背景技术：
vr(virtualreality，虚拟现实)技术的发展对显示器件提出了高分辨率高刷新率的需求，而显示器件显示的图像的分辨率越高，pc(personalcomputer，个人计算机)端向显示器件传输图像时，每帧输出的信号量就越大，对传输带宽的要求就越高。
由于传输带宽的资源有限，因此，如何减少pc端传输到显示器件的信号量，是目前亟需解决的问题。
技术实现要素：
鉴于现有技术中的上述缺陷或不足，本申请实施例提供了一种基于虚拟现实的图像处理方案，有效减少pc端传输到显示器件的信号量。
第一方面，本发明实施例提供了一种基于虚拟现实的图像处理方法，包括：
确定多分辨率渲染mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系；
对所述mrs图像按照所述第一映射关系进行反畸变处理，得到反畸变图像；
将所述反畸变图像发送给显示器件，由所述显示器件对所述反畸变图像进行拉伸并显示。
可选的，确定mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系，具体包括：
基于预先确定出的原始图像坐标与屏幕图像坐标之间的第二映射关系，以及所述原始图像坐标与所述mrs图像坐标之间的第三映射关系，确定所述mrs图像坐标与所述屏幕图像坐标之间的第四映射关系；
按照所述第三映射关系，对所述屏幕图像坐标进行mrs处理，得到所述mrs屏幕图像坐标；
根据所述第四映射关系以及所述mrs屏幕图像坐标，确定所述第一映射关系。
可选的，按照所述第三映射关系，对所述屏幕图像坐标进行mrs处理，得到所述mrs屏幕图像坐标，具体包括：
确定注视点在所述屏幕图像中的位置信息；
根据所述注视点在所述屏幕图像中的位置信息以及预设的区域划分原则，将所述屏幕图像划分为一个高清区域和多个非高清区域；其中，所述注视点为所述高清区域的中心点；
按照所述第三映射关系，对所述屏幕图像中的不同区域的坐标进行mrs处理，得到所述mrs屏幕图像坐标。
可选的，所述第三映射关系为：
其中，x和y分别为所述原始图像中像素点的横纵坐标值；x'和y'分别为所述mrs图像中像素点的横纵坐标值；width和height为所述mrs图像中像素点所在区域的分辨率；wmrs和hmrs为所述mrs图像的分辨率；topleftx和toplefty为所述mrs图像中像素点所在区域的左上角顶点在所述mrs图像坐标系中的横纵坐标。
可选的，确定注视点在所述屏幕图像中的位置信息，具体包括：
根据公式
其中，所述o为所述mrs图像中的注视点，o1、o2、o3为所述o在所述mrs图像中所在的三角面片的三个顶点；所述o'为所述屏幕图像中的注视点，o1'、o2'、o3'为o'在所述屏幕图像中所在的三角面片的三个顶点；所述s和t为两个变量参数。
第二方面，本发明实施例还提供了一种基于虚拟现实的图像处理装置，包括：
第一映射关系确定单元，用于确定多分辨率渲染mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系；
反畸变处理单元，用于对所述mrs图像按照所述第一映射关系进行反畸变处理，得到反畸变图像；
显示单元，用于将所述反畸变图像发送给显示器件，由所述显示器件对所述反畸变图像进行拉伸并显示。
可选的，所述第一映射关系确定单元，包括：
第四映射关系确定模块，用于基于预先确定出的原始图像坐标与屏幕图像坐标之间的第二映射关系，以及所述原始图像坐标与所述mrs图像坐标之间的第三映射关系，确定所述mrs图像坐标与所述屏幕图像坐标之间的第四映射关系；
坐标处理模块，用于按照所述第三映射关系，对所述屏幕图像坐标进行mrs处理，得到所述mrs屏幕图像坐标；
第一映射关系确定模块，用于根据所述第四映射关系以及所述mrs屏幕图像坐标，确定所述第一映射关系。
可选的，所述坐标处理模块，具体用于：
确定注视点在所述屏幕图像中的位置信息；
根据所述注视点在所述屏幕图像中的位置信息以及预设的区域划分原则，将所述屏幕图像划分为一个高清区域和多个非高清区域；其中，所述注视点为所述高清区域的中心点；
按照所述第三映射关系，对所述屏幕图像中的不同区域的坐标进行mrs处理，得到所述mrs屏幕图像坐标。
可选的，所述第三映射关系为：
其中，x和y分别为所述原始图像中像素点的横纵坐标值；x'和y'分别为所述mrs图像中像素点的横纵坐标值；width和height为所述mrs图像中像素点所在区域的分辨率；wmrs和hmrs为所述mrs图像的分辨率；topleftx和toplefty为所述mrs图像中像素点所在区域的左上角顶点在所述mrs图像坐标系中的横纵坐标。
可选的，所述坐标处理模块执行确定注视点在所述屏幕图像中的位置信息，具体包括：
根据公式
其中，所述o为所述mrs图像中的注视点，o1、o2、o3为所述o在所述mrs图像中所在的三角面片的三个顶点；所述o'为所述屏幕图像中的注视点，o1'、o2'、o3'为o'在所述屏幕图像中所在的三角面片的三个顶点；所述s和t为两个变量参数。
第三方面，本发明实施例还提供了一种设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述基于虚拟现实的图像处理方法。
第四方面，本发明实施例还提供了计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现上述基于虚拟现实的图像处理方法。
本发明实施例提供的基于虚拟现实的图像处理方法，通过确定mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系，对mrs图像按照第一映射关系进行反畸变处理，得到反畸变图像，再将反畸变图像发送给显示器件，由显示器件对反畸变图像进行拉伸并显示。本技术方案中，pc端对mrs图像仅进行反畸变处理，不进行拉伸处理，既可以减少一次pc端图像处理器的渲染操作，减少延时，又可以减少pc端传输到显示器件的信号量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为相关技术的图像处理方法的流程示意图；
图2为本发明实施例提供的一种基于虚拟现实的图像处理方法的流程示意图；
图3为预先确定出的的原始图像坐标与屏幕图像坐标之间的第二映射关系示意图；
图4为基于第二映射关系的反畸变处理示意图；
图5为本申请实施例中对原始图像进行mrs处理得到的mrs图像；
图6为mrs图像坐标系示意图；
图7为mrs图像坐标与屏幕图像坐标之间的第四映射关系示意图；
图8为基于第四映射关系的反畸变处理示意图；
图9为双线性差值图；
图10为mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系示意图；
图11为基于第一映射关系的反畸变处理示意图；
图12为为显示器件对反畸变图像进行拉伸后显示的图像示意图；
图13为本发明实施例提供的一种基于虚拟现实的图像处理装置的结构示意图；
图14为本发明实施例提供的一种适于用来实现本申请实施例的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
首先，参考图1，目前vr系统中图像处理流程如下：pc端在硬件识别正确，陀螺仪数据上传处理后，计算用户当前的姿态角度，根据注视点坐标对原始图像进行多分辨率渲染(multi-resolution-shading，mrs)，得到mrs图像，以单眼4k4k为目标分辨率为例，经过mrs后单眼图像分辨率为2k2k，然后再经过拉伸(flatten)处理，得到分辨率为4k4k的单眼图像，再经过反畸变处理后输出给显示器件进行显示。
根据上述图像处理流程可知，显示器件显示的图像的分辨率越高，pc端传输到显示器件的信号量越大。
鉴于上述缺陷，本发明实施例提供了一种基于虚拟现实的图像处理方案，能够有效减少pc端传输到显示器件的信号量。
下面将参考附图并结合实施例来详细说明本申请。
本发明实施例提供了一种基于虚拟现实的图像处理方法，参见图2，包括如下步骤：
步骤201，确定mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系。
具体的，首先，基于预先确定出的原始图像坐标与屏幕图像坐标之间的第二映射关系，以及原始图像坐标与mrs图像坐标之间的第三映射关系，确定mrs图像坐标与屏幕图像坐标之间的第四映射关系。
如图3所示，为预先确定出的的原始图像坐标与屏幕图像坐标之间的第二映射关系示意图，其坐标点是一一对应的，其中坐标定义为左下角为(0，0)点，坐标值为归一化坐标(其中屏幕图像坐标超出1，表示对应在原始图像中的点不会显示在屏幕上)。通过双线性插值操作，屏幕图像上的每个像素点会在原始图像上找到对应的像素点。反畸变处理时屏幕图像上的每个像素点显示对应在原始图像中像素点的灰度值，进而实现反畸变；
如图4所示，为基于上述第二映射关系的反畸变处理示意图，其中，图4左侧的图为输入的原始图像，图4右侧的图为根据上述第二映射关系对原始图像进行反畸变处理后得到的反畸变图像。
如图5所示，为本申请实施例中对原始图像进行mrs处理得到的mrs图像，图5中的黑线表示mrs图像的区域划分线。一般情况下注视点的位置都会靠近图像中心，因此可以但不限于将mrs图像划分成九宫格的形式，中间区域表示高清区域，边缘区域为非高清区域，即分辨率降低的区域。
在具体应用时，可以根据该注视点的位置信息，在原始图像中确定以注视点为中心的高清区域，其中，该高清区域可以为方形区域，再基于该高清区域的四个顶点的位置，在原始图像中确定位于高清区域正上方、正下方、正左方、正右方、左上方、左下方、右上方和右下方的八个非高清区域。
基于现有技术中mrs对原始图像几何形状的处理原理可以得到mrs图像坐标p’(x’,y’)与原始图像坐标p(x,y)之间的对应关系，即原始图像坐标与mrs图像坐标之间的第三映射关系。
该第三映射关系可以通过如下公式1表示：
其中，x和y分别为原始图像中像素点的横纵坐标值，x'和y'分别为mrs图像中像素点的横纵坐标值，width与height表示mrs图像中像素点所在区域的尺寸(用分辨率表示)，topleftx和toplefty分别表示mrs图像中像素点所在区域左上角顶点在mrs图像坐标系下的横纵坐标值，其中mrs图像坐标系的定义为如图6所示；wmrs和hmrs为mrs图像的分辨率。
基于上述第二映射关系和第三映射关系，即可得到mrs图像坐标与屏幕图像坐标之间的第四映射关系，如图7所示，在此第四映射关系下输入mrs图像，输出可得正常的反畸变图像，如图8所示。
然后，按照上述第三映射关系，对屏幕图像坐标进行mrs处理，得到mrs屏幕图像坐标；
由于mrs图像的高清区域的中心点是在图像坐标系下定义的，是在像面(图像坐标系中)上的点，而反畸变图像是显示在屏幕上的，是在物面(屏幕坐标系中)上的点。因此为了对反畸变图像进行mrs处理，需要求出像面上的高清区域的中心点在物面上对应的位置，即确定注视点在所述屏幕图像中的位置信息，本申请实施例中可以根据双线性插值求解关系来实现，如图9所示。
参照图9，本申请实施例中，可以根据如下公式2确定：
其中，o为mrs图像中的注视点，o1、o2、o3为o在mrs图像中所在的三角面片的三个顶点；o'为屏幕图像中的注视点，o1'、o2'、o3'为o'在屏幕图像中所在的三角面片的三个顶点；s和t为两个变量参数。
求解出像面高清区域中心点坐标对应在物面上的坐标之后，对屏幕坐标进行mrs处理，其处理方式如公式1所示。最终可以求解出屏幕坐标mrs处理之后的坐标。
最后，根据上述得到的第四映射关系以及mrs屏幕图像坐标，确定出第一映射关系。
该第一映射关系可以如图10所示。
步骤202，对mrs图像按照第一映射关系进行反畸变处理，得到反畸变图像。
第一映射关系确定出之后，此时再输入任意的mrs图像，即可按照第一映射关系输出反畸变图像，如图11所示。
步骤203，将得到的反畸变图像发送给显示器件，由显示器件对反畸变图像进行拉伸并显示。
其中，显示器件对反畸变图像可以但不限于以n行同开的方式进行拉伸并显示，即将反畸变图像中的每行像素均拉伸成n行并显示。这样能够降低显示器件的数据处理量，节省显示器件的功耗。
如图12所示，为显示器件对反畸变图像进行拉伸后显示的图像。
本发明实施例提供的基于虚拟现实的图像处理方法，通过确定mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系，对mrs图像按照第一映射关系进行反畸变处理，得到反畸变图像，再将反畸变图像发送给显示器件，由显示器件对反畸变图像进行拉伸并显示。本技术方案中，pc端对mrs图像仅进行反畸变处理，不进行拉伸处理，既可以减少一次pc端图像处理器的渲染操作，减少延时，又可以减少pc端传输到显示器件的信号量。
基于同一发明构思，本发明实施例还提供了一种基于虚拟现实的图像处理装置，如图13所示，为本申请实施例提供的一种基于虚拟现实的图像处理装置的结构框图，包括：
第一映射关系确定单元131，用于确定多分辨率渲染mrs图像坐标与mrs屏幕图像坐标之间的第一映射关系；
反畸变处理单元132，用于对所述mrs图像按照所述第一映射关系进行反畸变处理，得到反畸变图像；
显示单元133，用于将所述反畸变图像发送给显示器件，由所述显示器件对所述反畸变图像进行拉伸并显示。
可选的，所述第一映射关系确定单元131，包括：
第四映射关系确定模块1311，用于基于预先确定出的原始图像坐标与屏幕图像坐标之间的第二映射关系，以及所述原始图像坐标与所述mrs图像坐标之间的第三映射关系，确定所述mrs图像坐标与所述屏幕图像坐标之间的第四映射关系；
坐标处理模块1312，用于按照所述第三映射关系，对所述屏幕图像坐标进行mrs处理，得到所述mrs屏幕图像坐标；
第一映射关系确定模块1313，用于根据所述第四映射关系以及所述mrs屏幕图像坐标，确定所述第一映射关系。
可选的，所述坐标处理模块1312，具体用于：
确定注视点在所述屏幕图像中的位置信息；
根据所述注视点在所述屏幕图像中的位置信息以及预设的区域划分原则，将所述屏幕图像划分为一个高清区域和多个非高清区域；其中，所述注视点为所述高清区域的中心点；
按照所述第三映射关系，对所述屏幕图像中的不同区域的坐标进行mrs处理，得到所述mrs屏幕图像坐标。
可选的，所述第三映射关系为：
其中，x和y分别为所述原始图像中像素点的横纵坐标值；x'和y'分别为所述mrs图像中像素点的横纵坐标值；width和height为所述mrs图像中像素点所在区域的分辨率；wmrs和hmrs为所述mrs图像的分辨率；topleftx和toplefty为所述mrs图像中像素点所在区域的左上角顶点在所述mrs图像坐标系中的横纵坐标。
可选的，所述坐标处理模块1312执行确定注视点在所述屏幕图像中的位置信息，具体包括：
根据公式
其中，所述o为所述mrs图像中的注视点，o1、o2、o3为所述o在所述mrs图像中所在的三角面片的三个顶点；所述o'为所述屏幕图像中的注视点，o1'、o2'、o3'为o'在所述屏幕图像中所在的三角面片的三个顶点；所述s和t为两个变量参数。
应当理解，该装置中记载的诸子系统或单元与参考图2-图12描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及其中包含的单元，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种适于用来实现本申请实施例的计算机设备，下面参考图14，其示出了适于用来实现本申请实施例的计算机设备1400的结构示意图。
如图14所示，计算机设备1400包括中央处理单元(cpu)1401，其可以根据存储在只读存储器(rom)1402中的程序或者从存储部分1408加载到随机访问存储器(ram)1403中的程序而执行各种适当的动作和处理。在ram1403中，还存储有系统1400操作所需的各种程序和数据。cpu1401、rom1402以及ram1403通过总线1404彼此相连。输入/输出(i/o)接口1405也连接至总线1404。
以下部件连接至i/o接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分14014；包括硬盘等的存储部分1408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至i/o接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地，根据本公开的实施例，上文参考图2-图12描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图2-图12的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。