高分辨率图像处理方法及装置、VR图像显示方法及VR设备与流程
本发明涉及图像显示技术领域，尤其涉及高分辨率图像处理方法、高分辨率图像处理装置、vr图像显示方法及vr设备。
背景技术：
图像的分辨率(imageresolution)代表了图像中存储的信息量，其可以通过每英寸的像素数(ppi或dpi)来衡量。图像的分辨率决定了图像输出的质量。在同样的画幅下，通过提高图像的分辨率，使图像清晰度更高，细节更清楚。例如，高分辨率图像显示可以用在需要显示可以观察精密细节的图像(例如文物细节等)的场合，以及既需要能方便地观测到整体，又需要非常高的分辨率展示局部细节的场合等等，可以带给观者更佳的观赏体验。
但是，研究发现，如果提高图像的分辨率到一定程度(例如达到20k*50k)，会面临图像处理以及显示方面的问题。举例来说，通常，图像处理软件从内存获得图像数据进行处理，并形成图像帧，图像帧在输出之前存储于帧缓冲空间内。但是，如果图像分辨率过高，图像数据会很大，图像显示设备或图像处理软件直接处理时往往会卡顿甚至崩溃，也即难以直接处理高分辨率的图像数据并显示图像。另外，受限于显示器的制造工艺，显示器的屏幕分辨率有限，如果要显示高分辨率的图像，目前通常是采用多个显卡和多个显示屏拼接的方式来显示超高分辨率的图像，但是，设置多个显卡以及多个显示屏的系统结构复杂，需要占用很大的物理空间，硬件成本高，而且系统可调节性差，受传输信号带宽和处理性能的限制，所显示的图像分辨率仍然有限。
因此，对于高分辨率图像数据的处理和显示，仍然是本领域需要解决的问题。
技术实现要素：
为了对高分辨率图像数据进行处理，获得高分辨率的可读图像，本发明提供了一种高分辨率图像处理方法及一种高分辨率图像处理装置。此外，本发明还提供了一种vr图像显示方法和vr设备，可以输出高分辨率的图像。
根据本发明的第一方面，提供一种高分辨率图像处理方法，包括以下步骤：
提供图像素材，所述图像素材包括至少一帧高分辨率的原始图像；
将待处理的一帧原始图像分割成按编号排列的多个子图像；
创建多个纹理单元，各个所述纹理单元与各个所述子图像一一对应且分辨率相同；
设定输出画幅的尺寸，并创建与各个所述纹理单元一一对应的平面单元，所有的所述平面单元的面积总和与所述输出画幅的面积相等，且每个所述平面单元的面积与对应的纹理单元的像素数成正比；
设定所述输出画幅的中心，根据每个纹理单元对应的子图像在所述原始图像中的位置，得到每个所述平面单元在所述输出画幅中的位置；以及
在每个所述平面单元上绘制与所述平面单元对应的所述纹理单元，并进行渲染以获得与所述原始图像对应的可读图像。
可选的，每帧所述原始图像的分辨率为w*h，w为横向分辨率，h为纵向分辨率，且w和h中至少一个大于8000。
可选的，将待处理的一帧所述原始图像分割成按编号排列的多个子图像的方法包括：
设定一标准纹理尺度，所述标准纹理尺度的分辨率为w*h，w为横向分辨率，h为纵向分辨率，所述标准纹理尺度不超过图像渲染所支持的单个纹理最大尺度；以及
分别计算h/h和w/w，取计算结果的整数部分，如有小数部分在所述整数部分的基础上加1，从而将所述原始图像分割成m行n列分布的多个子图像，至少一个所述子图像的分辨率为w*h，m和n为整数。
可选的，所述输出画幅的尺寸、所述平面单元的尺寸以及与所述平面单元对应的纹理单元的分辨率之间满足以下两个等式关系：
可选的，根据每个纹理单元对应的子图像在所述原始图像中的位置，得到每个所述平面单元在所述输出画幅中的位置的方法包括：
设定所述原始图像的图像原点像素，所述图像原点像素位于第一行第一列的子图像的左上角顶点位置；
计算每个所述纹理单元对应的子图像的中心点像素距离所述图像原点像素的偏移，并获得每个所述纹理单元对应的子图像的中心点像素距离所述原始图像的中心点像素的偏移；以及
保持所述原始图像的纵横比，使每组对应的平面单元和纹理单元中，所述平面单元相对于所述输出画幅的中心的偏移量与所述纹理单元对应的子图像的中心点像素的偏移比例相同，从而根据相对于所述输出画幅的中心的偏移量得到每个所述平面单元的位置。
可选的，所述输出画幅的尺寸可调，所述标准纹理尺度的分辨率可调。
根据本发明的第二方面，提供一种高分辨率图像处理装置，所述装置包括处理器以及存储器，所述存储器被配置为存储所述处理器的可执行指令，当所述可执行指令被所述处理器执行时，执行上述高分辨率图像处理方法。
根据本发明的第三方面，提供一种高分辨率图像处理装置，所述装置包括：
内存，所述内存中存储有图像素材，所述图像素材包括至少一帧高分辨率的原始图像；
分割模块，被配置为将待处理的一帧原始图像分割成按编号排列的多个子图像；
渲染平台，被配置为创建和绘制多个纹理单元，所述渲染平台创建的各个所述纹理单元与各个所述子图像一一对应并且分辨率相同；
匹配模块，被配置为设定输出画幅的尺寸，并创建与各个所述纹理单元一一对应的平面单元，所有的所述平面单元的面积总和与所述输出画幅的面积相等，且每个所述平面单元的面积与对应的纹理单元的像素数成正比；
拼接模块，被配置为设定所述输出画幅的中心，根据每个纹理单元对应的子图像在所述原始图像中的位置，得到每个所述平面单元在所述输出画幅中的位置；以及
显存，被配置为存储所述多个纹理单元以及与所述原始图像对应的可读图像，所述可读图像通过在每个所述平面单元上绘制与所述平面单元对应的所述纹理单元，并进行渲染获得。
可选的，所述分割模块包括：
第一分析子模块，被配置为设定一标准纹理尺度，所述标准纹理尺度的分辨率为w*h，w为横向分辨率，h为纵向分辨率，所述标准纹理尺度不超过图像渲染所支持的单个纹理最大尺度；以及
第一计算子模块，被配置为分别计算h/h和w/w并余数取整，将所述原始图像分割成m行n列分布的多个子图像，至少一个所述子图像的分辨率为w*h，w和h分别为原始图像的横向和纵向分辨率，m和n为整数。
可选的，所述拼接模块包括：
第二分析子模块，被配置为设定所述输出画幅的中心，并设定所述原始图像的图像原点，所述图像原点位于第一行第一列的子图像的左上角顶点位置；以及
第二计算子模块，被配置为计算每个所述纹理单元对应的子图像的中心点像素距离所述图像原点的偏移，并获得每个所述纹理单元对应的子图像的中心点像素距离所述原始图像的中心点像素的偏移，以及，保持所述原始图像的纵横比，使每组对应的平面单元和纹理单元中，所述平面单元相对于所述输出画幅的中心的偏移量与所述纹理单元对应的子图像的中心点像素的偏移比例相同，从而根据相对于所述输出画幅的中心的偏移量得到每个所述平面单元的位置。
可选的，所述装置包括至少一个显示模块接口，所述显示模块接口被配置为连接显示模块，所述显示模块被配置为以所述输出画幅显示每一帧所述可读图像。
可选的，所述显示模块为拼接屏、vr显示组件或投影显示组件。
本发明提供的上述高分辨率图像处理方法及高分辨率图像处理装置，通过对高分辨率的原始图像进行分割、拼接以及渲染，获得与所述原始图像对应的可读图像，经过处理获得的可读图像便于被图像显示设备或图像处理软件从帧缓存空间中读取并显示。所述高分辨率图像处理方法及高分辨率图像处理装置具有自适应设置参数的特点，有助于充分发挥图像显示设备的性能。同时，上述高分辨率图像处理方法及高分辨率图像处理装置中对于可加载的原始图像的分辨率不作限制，所获得的高分辨率图像可以同时保证图像整体的可观测性和图像局部细节的清晰显示。根据连接显示模块接口的显示模块的特性，可读图像的尺寸和位置均可以调整，其数值在部署实际的显示模块时具有指导作用。
根据本发明的第四方面，提供一种vr图像显示方法，其中，利用上述高分辨率图像处理方法对vr图像素材的每一帧原始图像进行处理，将得到的vr可读图像存储于缓存并通过用户佩戴的vr终端进行显示。
可选的，在利用上述高分辨率图像处理方法对所述vr图像素材的每一帧原始图像进行处理之前，所述vr图像显示方法还包括：
设定观察vr图像的真实物理空间；以及
根据所述真实物理空间的大小以及图像清晰度的要求，设定vr图像与用户的距离以及vr图像的尺寸。
可选的，所述vr图像的dpi值不小于所述vr终端中显示器的dpi值。
可选的，设定所述原始图像的分辨率为w*h，w为横向分辨率，h为纵向分辨率，则所述vr图像的宽度size_w和高度size_h满足如下关系：size_w/size_h＝w/h，且
可选的，在所述真实物理空间内，所述vr图像与用户的距离h满足关系：
其中，fovh为用户佩戴的vr终端的水平视场角，fovv为用户佩戴的vr终端的垂直视场角，hv和hh分别为与所述水平视场角和所述垂直视场角的边界对应的观看距离。
可选的，当所述真实物理空间的进深大于等于hv和hh中的最大值时，所述vr图像显示于所述真实物理空间内部且所述真实物理空间的宽度大于等于所述vr图像的宽度size_w；当所述真实物理空间的进深小于hv和hh中的最大值时，所述vr图像显示于所述真实物理空间外部。
根据本发明的第四方面，提供一种vr设备，包括供用户佩戴的vr终端、vr图像处理器以及存储器，所述存储器被配置为存储所述vr图像处理器的可执行指令，当所述可执行指令被所述vr图像处理器执行时，执行上述vr图像显示方法。
本发明提供的vr图像显示方法及vr设备，为了实现对高分辨率的vr图像素材进行显示，采用了上述高分辨率图像处理方法，对原始图像进行了分割、拼接以及渲染，所得到的可读图像存储于缓存，方便读取并实时更新，有助于提高vr显示的图像质量。此外，通过将高分辨率图像在渲染平台上进行分割、拼接和渲染，并通过vr终端显示，与拼接显卡和显示器的系统相比，简化了系统复杂度，有助于降低硬件成本，并且有助于增加显示帧率，提高显示效果。
附图说明
图1是本发明一实施例的高分辨率图像处理方法的流程示意图。
图2是利用本发明一实施例的高分辨率图像处理方法分割原始图像后的示意图。
图3是本发明一实施例的高分辨率图像处理装置的结构示意图。
图4是本发明另一实施例的高分辨率图像处理装置的结构示意图。
图5是本发明一实施例的vr图像显示方法中真实物理空间与vr图像的示意图。
图6是本发明一实施例的vr图像显示方法的流程示意图。
附图标记说明：
100、200-高分辨率图像处理装置；110-处理器；120-存储器；130-显卡；210-内存；220-分割模块；230-渲染平台；240-匹配模块；250-拼接模块；260-显存。
具体实施方式
以下结合附图和具体实施例对本发明的高分辨率图像处理方法及装置、vr图像显示方法及vr设备作进一步详细说明。根据下面的说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。说明书中的术语“第一”、“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换，例如可使得本文所述的本发明实施例能够以不同于本文所述的或所示的其他顺序来操作。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。
图1是本发明一实施例的高分辨率图像处理方法的流程示意图。以下结合图1对本发明一个实施例中的高分辨率图像处理方法进行描述。
所述高分辨率图像处理方法包括第一步骤s1：提供图像素材，所述图像素材包括至少一帧高分辨率的原始图像。
具体而言，如背景技术所述，当图像的分辨率提高到一定程度，面临图像处理及显示方面的问题，因而实施例中的“高分辨率”主要指的是超出通常图像处理软件或显示设备读取能力的图像分辨率，这里的高图像分辨率图像较常见的全高清图像(1920*1080)、超高清图像(3840*2160)以及4k图像(4096*2160)的分辨率更高，可以达到亿、10亿以上的数值，并且不限定上限。作为示例，实施例中，每帧高分辨率原始图像的的横向分辨率和纵向分辨率中的至少一个大于等于8000。另一实施例中，每帧所述原始图像的分辨率为w*h，其中w为横向分辨率，h为纵向分辨率，w和h均为大于等于10000的整数，即图像像素总数w*h≧108。
所述高分辨率图像处理方法包括第二步骤s2：将待处理的一帧原始图像分割成按编号排列的多个子图像。
实施例中，分割后获得的子图像可以导入渲染平台以创建和绘制纹理资源，为了方便渲染平台进行处理，步骤s2中，分割后的多个子图像的分辨率不超过图像渲染所支持的单个纹理最大尺度。具体的，可将渲染平台所支持的单个纹理最大尺度的分辨率宽度记为w_max，分辨率高度记为h_max，w_max和h_max的值可以根据渲染平台的软件参数获得，在一种渲染平台中，w_max和h_max均为8192。在满足不超过纹理最大尺度限定的情况下，实施例中分割高分辨率原始图像时具体采用的纹理尺度(定义为标准纹理尺度)动态可调，例如，将标准纹理尺度的分辨率宽度记为w，分辨率高度记为h，其中w∈[0,w_max]，h∈[0,h_max]。
具体的，将一帧原始图像分割成按编号排列的多个子图像的步骤可以包括：第一子步骤，设定一标准纹理尺度，所述标准纹理尺度的分辨率为w*h，w为横向分辨率，h为纵向分辨率，所述标准纹理尺度不超过图像渲染所支持的单个纹理最大尺度；第二子步骤，分别计算h/h和w/w，取计算结果的整数部分，如有小数部分在所述整数部分的基础上加1，从而将所述原始图像分割成m行n列分布的多个子图像。因而所述多个子图像中，至少一个所述子图像的分辨率为w*h，w和h分别为原始图像的横向和纵向分辨率，m和n均为整数且至少一个大于1。
图2是利用本发明一实施例的高分辨率图像处理方法分割原始图像后的示意图。参照图2，将一帧原始图像分割成m行n列的子图像时，m和n满足m＝h/h+1,n＝w/w+1，其中h/h和w/w表示取整除法，加1表示相除之后余数作为一行(或列)。分割后的子图像可以按照从上到下从左到右的行列顺序进行编号，第i行第j列的子图像的编号可记为(i,j)，将第i行第j列的子图像的分辨率记为f(i,j)，其中i∈{1,2,...,m},j∈{1,2,...,n}。
利用上述方法，经过分割，最多可以得到四种分辨率的子图像：第一种子图像的分辨率为w*h，编号范围为i∈{1,2,...,m-1},j∈{1,2,...,n-1}；第二种子图像的分辨率为(w-(n-1)×w)*h,编号范围为i∈{1,2,...,m-1},j＝n；第三种子图像的分辨率为w*(h-(m-1)×h)，编号范围为i＝m,j∈{1,2,...,n-1}；第四种子图像的分辨率为(w-(n-1)×w)*(h-(m-1)×h)，编号为i＝m,j＝n。作为示例，取w＝100，h＝100，w＝9，h＝8，则m＝100/8+1＝13，n＝100/9+1＝12，经过分割，可以得到12*11个分辨率为9*8的子图像、12*1个分辨率为8*(100-11*9)的子图像、1*11个分辨率为(100-12*8)*9的子图像和1*1个分辨率为(100-12*8)*(100-11*9)的子图像。
所述高分辨率图像处理方法包括第三步骤s3：创建多个纹理单元，各个所述纹理单元与各个所述子图像一一对应且分辨率相同。
实施例中，通过所述渲染平台可创建m*n个纹理单元(即纹理资源)，纹理单元的编号与子图像的编号对应，即子图像(i,j)对应纹理单元(i,j)。每个纹理单元的分辨率设置为等于相同编号子图像的分辨率f(i,j)。创建好的纹理单元可以加载到显存中存储。
所述高分辨率图像处理方法包括第四步骤s4：设定输出画幅的尺寸，并创建与各个所述纹理单元一一对应的平面单元，所有的所述平面单元的面积总和与所述输出画幅的面积相等，且每个所述平面单元的面积与对应的纹理单元的像素数成正比。
将要输出的图像即输出画幅的宽度记为size_w，输出画幅的高度记为size_h，size_w(i,j)为与第i行第j列的纹理单元对应的平面单元的宽度，size_h(i,j)为与第i行第j列的纹理单元对应的平面单元的高度(这里的宽度和高度非用于指代分辨率宽度和高度，而是指物理度量的宽度和高度)，然后，根据对应纹理单元(或子图像)的横向和纵向分辨率在原始图像的分辨率中的比例以及输出画幅的尺寸，可以计算出每个平面单元的尺寸。具体实施例中，所述输出画幅的尺寸、所述平面单元的尺寸以及与所述平面单元对应的纹理单元的分辨率之间满足以下两个关系式：
其中，f(i,j)u为与第i行第j列的子图像对应的纹理单元的横向分辨率，f(i，j)v为与第i行第j列的子图像对应的纹理单元的纵向分辨率，在已知子图像的分辨率以及输出画幅的尺寸的条件下，可计算得到每个平面单元的尺寸。
设置输出画幅的物理尺寸时，实际显示图像的位置以及显示装置的特点是考虑的因素。例如，如果要通过多个拼接屏来显示一幅高分辨率的图像，输出画幅的尺寸与拼接屏的整体尺寸有关。再比如，如果要通过vr终端来显示一幅高分辨率的图像，可根据vr图像的清晰度要求以及观看物理空间的范围来需要调节输出画幅的尺寸。另外在分割的子图像的像素发生变化时，对应的平面单元的尺寸也应随之进行更新。
所述高分辨率图像处理方法包括第五步骤s5：设定所述输出画幅的中心，根据每个纹理单元对应的子图像在所述原始图像中的位置，得到每个所述平面单元在所述输出画幅中的位置。
具体的，步骤s5可包括如下过程：
首先，设置输出画幅的中心位置，记为o(x0,y0,z0)。方便起见，可以先假设每个平面单元的中心位置与输出画幅的中心位置重合，记为p(i,j)＝o，另外设定所述原始图像的图像原点像素，所述图像原点像素位于第一行第一列的子图像的左上角顶点位置；
接着，计算每个所述纹理单元对应的子图像的中心点像素距离所述图像原点的偏移，例如，将子图像(i,j)的中心点像素距离原始图像的图像原点像素的偏移记为g(i,j)，参照图1和图2，g(i,j)满足下面的关系式(示出了四种分辨率的子图像的情形，其中h％h和w％w表示相应值整除并取余数)：
从而，可获得每个所述纹理单元对应的子图像的中心点像素距离所述原始图像的中心点像素的偏移为g(i,j)-(w/2,h/2)；
然后，保持所述原始图像的纵横比，使每组对应的平面单元和纹理单元中，所述平面单元相对于所述输出画幅的中心的偏移量与所述纹理单元对应的子图像的中心点像素的偏移比例相同，从而根据相对于所述输出画幅的中心的偏移量得到每个所述平面单元的位置。
为了保持原始图像的纵横比，像素偏移比例应与物理偏移比例相同，因此可得
其中，offset(i,j)代表与纹理单元(i,j)对应的平面单元相对于输出画幅中心的偏移量，下标x和y分别表示在图像物理尺寸的坐标系内宽度方向和高度方向的分量，下标u和v分别表示在像素坐标系内的宽度方向和高度方向的分量。
获得offset(i,j)之后，与纹理单元(i,j)对应的平面单元的位置可以表示为p(i,j)＝o-offset(i,j)。从而通过计算平面单元中心位置的偏移量，更新了平面单元位置以重现原始图像的各个子图像的相对位置关系。
参照图1，所述高分辨率图像处理方法包括第六步骤s6：在每个所述平面单元上绘制与所述平面单元对应的所述纹理单元，并进行渲染以获得与所述原始图像对应的可读图像。具体的，可以通过渲染平台，绑定编号相同的平面单元和纹理单元，在每个平面单元上绘制相应的纹理单元，并渲染得到拼接后图像的渲染效果。
上述实施例中，高分辨率的原始图像通过分割、拼接及渲染，处理为对应的可读图像，所述可读图像可以存于显存或帧缓冲区，方便实时更新帧缓冲并输出为高分辨的图像。
上述高分辨率图像处理方法可以以计算机指令的方式由计算机的处理器执行，或者利用计算机的多个功能模块来执行，因而，可以设置具有计算及图像处理功能的计算机、图像处理模块等，使其完成上述高分辨率图像处理方法，并能实现相同的功能。
图3是本发明一实施例的高分辨率图像处理装置的结构示意图。参照图3，本发明一个实施例中，提供一种高分辨率图像处理装置100。该装置包括处理器110以及存储器120，所述存储器120被配置为存储所述处理器110的可执行指令，当所述可执行指令被所述处理器110执行时，执行上述高分辨率图像处理方法。
一个实施例中，存储器120可以是计算机的内存，待处理的高分辨率原始图像素材也被存储于存储器120。处理器110可根据执行的计算机指令进行参数计算以及渲染控制等操作，高分辨率图像处理装置100还可以包括显卡130，显卡130用于存储纹理资源以及完成渲染后的一组平面单元和纹理单元(称为渲染单元)。关于执行上述高分辨率图像处理方法的细节，可以参照前述关于高分辨率图像处理方法的实施例中的描述。
图4是本发明另一实施例的高分辨率图像处理装置的结构示意图。参照图4，在本发明的另一个实施例中，提供一种高分辨率图像处理装置200，所述高分辨率图像处理装置200包括以下组成部分：
内存210，所述内存中存储有图像素材，所述图像素材包括至少一帧高分辨率的原始图像；
分割模块220，被配置为将待处理的一帧原始图像分割成按编号排列的多个子图像并导入渲染平台，每个所述子图像的分辨率不超过所述渲染平台所支持的单个纹理最大尺度；
渲染平台230，被配置为创建和绘制多个纹理单元，所述渲染平台创建的各个所述纹理单元与各个所述子图像一一对应并且分辨率相同；
匹配模块240，被配置为设定输出画幅的尺寸，并创建与各个所述纹理单元一一对应的平面单元，所有的所述平面单元的面积总和与所述输出画幅的面积相等，且每个所述平面单元的面积与对应的纹理单元的像素数成正比；
拼接模块250，被配置为设定所述输出画幅的中心，根据每个纹理单元对应的子图像在所述原始图像中的位置，得到每个所述平面单元在所述输出画幅中的位置；
显存260，被配置为存储所述多个纹理单元以及与所述原始图像对应的可读图像，而所述可读图像通过在每个所述平面单元上绘制与所述平面单元对应的所述纹理单元，并进行渲染获得。
进一步的，所述分割模块120可以包括第一分析子模块和第一计算子模块，所述第一分析子模块被配置为设定一标准纹理尺度，所述标准纹理尺度的分辨率为w*h，w为横向分辨率，h为纵向分辨率，所述标准纹理尺度不超过图像渲染所支持的单个纹理最大尺度，所述第一计算子模块122被配置为分别计算h/h和w/w，取计算结果的整数部分，如有小数部分在所述整数部分的基础上加1，从而将所述原始图像分割成m行n列分布的多个子图像，至少一个子图像的分辨率为w*h，w和h分别为原始图像的横向和纵向分辨率，m和n为整数。
所述拼接模块150可以包括第二分析子模块和第二计算子模块，所述第二分析子模块被配置为设定所述输出画幅的中心，并设定所述原始图像的图像原点，所述图像原点位于第一行第一列的子图像的左上角顶点位置，所述第二计算子模块被配置为计算每个所述纹理单元对应的子图像的中心点像素距离所述图像原点的偏移，并获得每个所述纹理单元对应的子图像的中心点像素距离所述原始图像的中心点像素的偏移，所述第二分析子模块还被配置为保持所述原始图像的纵横比，使每组对应的平面单元和纹理单元中，所述平面单元相对于所述输出画幅的中心的偏移量与所述纹理单元对应的子图像的中心点像素的偏移比例相同，从而根据相对于所述输出画幅的中心的偏移量得到每个所述平面单元的位置。
上述渲染平台用于创建和绘制纹理单元，在其支持的纹理尺度范围内可以对导入的原始图像创建纹理以及根据设定的参数进行渲染。渲染平台可以采用本领域公开的渲染工具，例如unity、unreal等。
可见，上述高分辨率图像处理装置200的内存、显存、渲染平台以及多个模块，与前述实施例中的高分辨率图像处理方法的各个步骤相对应，可以获得与高分辨率的原始图像对应的可读图像。因而，关于高分辨率图像处理装置200的每个组成部分，可以参照前述实施例对高分辨率图像处理方法的描述来理解。需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是也可以不是物理上分开的，作为模块说明的部件可以是也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。
上述不同实施例中的高分辨率图像处理装置均可以包括至少一个显示模块接口，所述显示模块接口被配置为连接显示模块，所述显示模块被配置为以所述输出画幅显示每一帧所述可读图像。所述显示模块可以是高分辨率图像处理装置的一部分，二者也可以作为同一显示设备的不同组件，例如，所述显示模块可以是将缓存空间的可读图像输出并显示的拼接屏、vr显示组件或投影显示组件等等。所述高分辨率图像处理装置或显示设备可以是高分辨率投影显示系统、高分辨率拼接显示装置、大型实景游戏装置、超高分辨率地理信息系统、计算机辅助设计系统、vr(virtualreality，虚拟现实)显示系统、ar(augmentedreality，增强现实)显示系统、mr(mixreality，混合显示)显示系统等等，由于可以获得高分辨率的可读图像，所述高分辨率图像处理装置可以作为各种图像处理系统或显示设备的整体或者一部分。
上述高分辨率图像处理方法及高分辨率图像处理装置具有自适应设置参数的特点，有助于充分发挥显示设备的性能。同时，上述高分辨率图像处理方法及高分辨率图像处理装置中对于可加载的原始图像的分辨率不作限制，所获得的高分辨率可读图像可以同时保证图像整体的可观测性和图像局部细节的清晰显示。根据连接显示模块接口的显示模块的特性，可读图像的尺寸和位置均可以调整，其数值在部署实际的显示模块时具有指导作用。
根据上面的描述，上述实施例中的高分辨率图像处理方法和装置可以用于vr显示。在本发明一实施例中，包括一种vr图像显示方法，其中，利用上述高分辨率图像处理方法对vr图像素材的每一帧原始图像进行处理，将得到的可读图像存储于缓存并通过用户佩戴的vr终端进行显示。可知，由于采用了上述高分辨率图像处理方法，所述vr图像显示方法在缓存空间中存储高分辨率的可读图像，由于经过了分割、拼接及渲染处理，图像的读取和显示非常便捷，有助于增加显示帧率，提高显示效果。
由于vr图像要实现虚拟显示，用户佩戴的vr终端通常是vr头盔、vr眼镜等装置，在观看的过程中，用户沉浸在vr营造的场景中，会根据场景改变位置和观察方向。因此，虚拟图像的位置通常需要考虑到观察vr图像的真实物理空间的大小，虚拟图像与用户之间的距离如果超过了真实物理空间的进深(或长度)，需要在用户行走时设置相应的提示，以防止用户走到真实物理空间的边界，影响vr体验。
故而，一实施例的vr图像显示方法中，在利用上述高分辨率图像处理方法对所述vr图像素材的每一帧原始图像进行处理之前，还设定一观察vr图像的真实物理空间并根据所述真实物理空间的大小以及图像清晰度的要求，设定vr图像与用户的距离以及vr图像的尺寸。
图5是本发明一实施例的vr图像显示方法中真实物理空间与vr图像的示意图。图6是本发明一实施例的vr图像显示方法的流程示意图。以下参照图5和图6对本发明一实施例的vr图像显示方法进行描述。
如图5所示，所述vr图像显示方法中，用户要利用vr终端例如vr头盔在一个进深(或长度)、宽度和高度分别为x,y,z的真实物理空间中观测一个分辨率为w*h的vr图像。
设定用户在该真实物理空间的初始观察位置为长度方向的零点，用户的观看方向也为长度方向，因而vr图像在该真实物理空间的长度方向上与用户相距一定距离的屏幕进行显示。本发明不限于此，在观看过程中，vr图像的位置以及距离可以发生变化，因而可以在选择vr图像素材的原始图像进行处理之前，更新用户的位置，并更新vr图像与用户的距离。以下以图5所示的vr图像位于长度方向作为示例进行介绍。
为了充分利用vr终端的显示器的清晰度，确保观看到的vr图像的清晰度，优选方案中，显示vr图像的屏幕(简称vr屏幕)的dpi值不小于vr终端的显示器的dpi值。具体而言，设定vr图像素材中的原始图像的分辨率为w*h，w为横向分辨率，h为纵向分辨率，设定vr图像屏幕的dpi为dscreen，vr终端中显示器(例如头盔显示器，可采用硅基微显示器)的dpi为dhead，需要使dscreen≥dhead。设图像屏幕的高为size_w，宽为size_h，则可以得到：
而为了保证vr图像不产生形变，需要满足size_w/size_h＝w/h。利用dscreen≥dhead，可以得到vr图像的物理高度和宽度满足第一限定条件：
另外，为了观察清楚vr屏幕所显示的vr图像素材的细节，通常需要对vr图像素材进行一定倍率的放大，将原始图像的物理宽度记为size_w0，高度记为size_h0，放大倍率记为z0，通常z0设定为大于1。如果所采集的vr图像素材的原始尺寸非常大，达到甚至超过了上述vr图像的第一限定条件的最大值，即
具体在计算vr图像的物理尺寸时，由于图像的纵横比是一定的，因此可在获得vr图像的宽度之后，根据纵横比不变的条件适应性调整高度即可。
为了保证在特定空间内可以观察到屏幕图像的整体全貌，需要保证屏幕和用户的距离满足一定的限制。将vr头盔的水平视场角记为fovh，垂直视场角记为fovv，用户与vr屏幕的距离记为h，则需要满足以下距离约束条件(hv和hh分别为与所述水平视场角和所述垂直视场角的边界对应的观看距离)：
由于真实物理空间中的活动范围是受限的，其进深(长度)为x，根据上述分析可知，若max(hv,hh)＝x，只需要把vr图像的屏幕放在真实物理空间的对应边界位置(例如房间的墙)上即可满足上面的距离约束条件。若max(hv,hh)＜x，则需要把vr图像的屏幕放在墙内即可满足上面的距离约束条件，若max(hv,hh)＞x，如图5所示，该真实物理空间内的用户无法满足上面的距离约束条件，vr图像的屏幕需要放在墙外一定距离，即δh＝max(hv,hh)-x，才能满足上面的距离约束条件，在这种情况下，当用户朝向所述vr图像移动时，所述vr终端最好在所述真实物理空间的边界处设置标记或警示，以提醒用户。
此外，为了在屏幕较大时观察到屏幕左右边缘的细节，设置vr图像的宽度不超过真实物理空间的宽度，即应满足size_w≤y，而vr图像的高度根据纵横比一定的条件进行适应性调整。
通过上述过程，根据所述真实物理空间的大小以及图像清晰度的要求，确定了vr图像与用户的距离以及vr图像的尺寸。接着可以设定显示帧率并采用前述的高分辨率图像处理方法对vr图像素材的每一帧原始图像进行处理，实现vr图像的拼接和渲染，获得可读vr图像，实时更新帧缓冲，可在vr头盔上进行显示。
本发明一实施例中，还包括一种vr设备，所述vr设备包括供用户佩戴的vr终端、vr图像处理器以及vr存储器，所述存储器被配置为存储vr图像处理器的可执行指令，当所述可执行指令被所述vr图像处理器执行时，执行上述vr图像显示方法。所述vr设备的上述各个部件可以是位置分离的部件，例如vr终端可以是vr头盔或者vr眼镜的一部分或者整体，vr图像处理器以及vr存储器设置于计算机。但不限于此，所述vr设备可以是vr一体机，vr终端、vr图像处理器以及vr存储器各执行了该一体机的部分功能。
上述实施例中的vr图像显示方法及vr设备，为了实现对高分辨率的vr图像素材进行显示，采用了上述高分辨率图像处理方法，对原始图像进行了分割、拼接以及渲染，所得到的可读图像存储于缓存，方便读取并实时更新，有助于提高vr显示的图像质量。此外，通过将高分辨率图像在渲染平台上进行分割、拼接和渲染，并通过vr终端显示，与拼接显卡和显示器的系统相比，简化了系统复杂度，有助于降低硬件成本，并且有助于增加显示帧率，提高显示效果。
上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！