一种VR巨幕影院模式下的畸变预处理方法与流程

本发明属于vr光学成像技术领域，涉及vr显示屏画面的畸变预处理方法，尤其是一种vr巨幕影院模式下的畸变预处理方法。

背景技术：

vr(virtualreality虚拟现实)设备通过光学透镜让用户能随时体验到巨大的屏幕的观看效果，例如用vr设备播放视频，能让用户体验到类似在电影院观看电影的效果，同时vr设备本身具备的沉浸式效果能给用户带来身临其境的感受。但是，其光学成像系统及图像成像单元的成像原理会造成一定程度的畸变，需要在渲染时加入预畸变处理步骤，使vr显示屏的画面最终经过光学系统被用户接收到的图像无畸变。

一般vr的显示畸变主要分为两种，二维场景和三维场景。

二维场景：主要为普通视频全屏播放时的畸变处理，此时造成畸变的影响因素只有光学系统的畸变，只需要对光学系统的畸变系数进行多项式拟合，将拟合的光学畸变系数用于视频画面的渲染时预处理即可。

三维场景：主要为虚拟三维场景内容的显示和全景视频播放两种，其中全景视频播放包括360度全景视频及180度等不定角度的半全景视频。虚拟三维场景和全景视频播放的场景在vr设备上显示时，通常用球面或柱面坐标系来模拟用户观测位置和三维场景之间的关系，即虚拟三维场景和全景视频播放都会被当作一个球面或者柱面的三维场景来进行显示。显示屏只会显示三维场景中某个区域的画面，即设定一个投影平面，将三维场景中的某个区域的内容投影到当前投影平面，显示屏显示的内容即为投影平面上的内容。而投影的过程本身会带来畸变(投影畸变)，再加上光学系统本身造成的畸变效果(光学畸变)，通常三维场景下的畸变结果要更为严重，同时由于畸变预处理的过程无法完全消除畸变，所以最终的显示效果三维场景要较二维场景有更明显的畸变效果。

目前，巨幕影院模式通过生成虚拟的电影院三维场景来模拟电影院观影的效果，场景中包括巨幕电影屏和其它影院场景。用户能通过转动头部来看来整个影院场景，面向银幕时，为播放的视频内容，也可转头观察虚拟影院内的环境,用户播放的电影内容通过贴图的方式显示在虚拟影院场景中的电影屏上，然后整个个显示当作三维场景的显示畸变来处理。如前所述，由于投影畸变的引入，特别是投影畸变的恢复效果通常要明显地低于光学畸变的恢复效果，这种情况下观看视频时用户体验到的效果将比二维场景下观看视频的畸变效果要严重得多。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种vr巨幕影院模式下的畸变预处理方法，能够使三维场景中影院边界和屏幕区域的过渡区域的内容在vr设备显示屏上的显示效果更加平滑。

本发明解决其现实问题是采取以下技术方案实现的：

一种vr巨幕影院模式下的畸变预处理方法，包括以下步骤：

步骤1、记视角中轴线初始位置为与巨幕影院场景中的虚拟电影屏幕的垂直中轴线重叠，视角中轴线偏离初始位置的角度按顺时间方向记为α，α范围为0度到360度之间；

步骤2、如果α等于0度，此时畸变模式和二维场景畸变模式相同，即只需要处理光学畸变；

步骤3、如果α位于fov度到360-fov度之间，此时用户观测方向只包括巨幕影院场景的边界时，即只有影院边界部分在用户视野中，此时畸变模式为三维场景畸变模式；

步骤4、如果α位于0度到fov度之间或者360-fov度到360度之间，此时用户观测方向既包括巨幕场景中电影屏幕也包括影院边界时，此时畸变处理方式为混合畸变模式。

而且，所述步骤2的具体步骤包括：

(1)假设输入纹理为texi，输出为texo，texo即为vr设备显示屏上需要显示的内容，需要对texi进行反向畸变处理以让texo的内容经过光学透镜所产生的光学畸变后被人眼观测到的内容为无畸变内容；

(2)透镜中心与屏幕中心及观测点位于同一条直线上，texo上以屏幕中心为原点o，位于坐标(x，y)位置的像素值计为po，计r为当前坐标位置离原点o的距离，r＝x*x+y*y，根据透镜畸变公式计k＝k0+k1*r^2+k2*r^4+k3*r^6；po＝texi[x/k，y/k]，即texo上位于(x，y)位置的点的像素值po应取texi上位于(x*k，y*k)位置的像素值。

而且，所述步骤3的具体步骤包括：

(1)假设输入纹理为texi，此时texi为三维场景在当前观测视角下的投影结果；

(2)假定输出为texo，中间输出为texo1，计texo1上以中心为原点，位于坐标(x1，y1)位置的点为po1，计r1＝(x1^2+y1^2)^0.5为po1距离中心点的距离，计m＝tan(r1/l*fov)/tan(fov/2)，其中l为vr设备水平方向上的显示分辨率；则有如下关系：po1＝texi[x1/m，y1/m]，即texo1上位于(x1，y1)上的点的像素值应取texi上位于(x1/m，y1/m)位置的像素值；

(3)texo和texo1上的对应点应满足步骤2中对应关系，即texo上位于(x，y)位置的点的像素值po应取texo1上位于(x*k，x*k)位置的像素值，结合投影畸变关系可得，texo上位于(x，y)位置的点的像素值po应取texi上位于(x*k/m，y*k/m)位置的像素值。

而且，所述步骤4的具体步骤包括：

(1)构建一段并不存在的场景s1，将影院场景中屏幕上l1段需要显示的内容放到s1处，然后对整个视场角中的内容应用步骤3中的处理方式：

根据影院场景中电影屏幕上的内容生成s1的内容，计影院屏幕内容为texi，当前场景中的投影结果为texo，其中影院边界部分的内容经过投影为texo中的正常投影部分，s1的内容经过投影为texo剩余的部分即l2区域，l2区域内容的计算方法如下：

(2)计l1上的点p1，其在s1上对应的点为p0，p0经过投影落在l2上的点为p2；

(3)计球面坐标系半径为r，则根据θ2和θ3及r可计算得到l1，其中θ2＝fov-α，θ为当前视角与中心线的夹角；计θ与l1的关系为l1＝f(θ)，计投影结果为texi，中间输出为texo1，则texo1上位于坐标(x，y)位置的点其与观测点的连线与中心线的夹角为θ，以θ表示，刚该点位置的像素值对应在l1上的位置为tan(θ-θ1)/tan(fov/2-θ1)*l1，计为点p3，计θ＝f(l1)，则p3的投影结果对应在texi上的角度θ4＝f(tan(θ-θ1)/tan(fov/2-θ1)*l1)，其对应坐标在水平方向上为tan(θ4)/tan(fov/2)*l/2，l为半屏宽，以相同方式计算垂直方向坐标可得其在texi上的位置计为(x1，y1)，于是texo1上位于坐标(x，y)位置的点的像素值应取texi上位于(x1，y1)位置的像素值；

(4)texi上由影院场景投影得到的结果和步骤3中一样，根据步骤3的计算过程可由texo1得到texo，即为混合模式下畸变处理结果。

本发明的优点和有益效果：

本发明能使三维场景中影院边界和屏幕区域的过渡区域的内容在vr设备显示屏上的显示效果更加平滑。同时在当前观测情况下，三维场景中的屏幕区域的内容在vr设备显示屏上的显示效果能够和单纯的光学畸变情况下经过畸变处理后的显示效果一致，而该效果要优于将整个巨幕影院场景当作三维场景来处理的效果。

附图说明

图1为本发明的巨幕影院三维虚拟场景水平截面示意图；

图2为本发明的模拟球面场景投影示意图；

图3为本发明的混合模式下的成像示意图；

图4为本发明的图3中对应的影院边界与屏幕区域的过渡区域的详细示意图；

附图标记说明：

1-巨幕影院场景中的虚拟电影屏幕part1；2-影院边界part2；

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种vr巨幕影院模式下的畸变预处理方法，包括以下步骤：

步骤1、记视角中轴线初始位置为与巨幕影院场景中的虚拟电影屏幕part1的垂直中轴线重叠，视角中轴线偏离初始位置的角度按顺时间方向记为α，α范围为0度到360度之间；

如图1所示，中心位置为三维场景中相机位置即用户观测点。水平方向上的最大观测角度为水平视角(fov)，part1为巨幕影院场景中的虚拟电影屏幕，part2为影院边界，eye所示位置为用户观测点。

当vr设备显示屏上显示的内容中心与巨幕影院场景中的虚拟电影屏幕的中心重叠时，以时为观测初始位置，随着用户头部转动，vr设备显示屏上显示的内容随着改变，本发明中为简化问题描述只考虑角度变化而不讨论平移(某些应用场景下，随着用户佩戴vr设备平移，相应的vr设备显示屏上显示的内容也会随之发生尺度变化或者内容画面的平移)，计上述角度变化按顺时间方向记为α，α范围为0度到360度之间。

步骤2、如果α等于0度，此时畸变模式和二维场景畸变模式相同，即只需要处理光学畸变，其具体步骤包括：

(1)假设输入纹理为texi，输出为texo，texo即为vr设备显示屏上需要显示的内容，需要对texi进行反向畸变处理以让texo的内容经过光学透镜所产生的光学畸变后被人眼观测到的内容为无畸变内容，即使预处理过程和光学畸变的效果想到抵消以达到去畸变的效果；

所述纹理，在计算机图形学中，通过加载图像或者直接构成类似图像的数据，将数据加载到显存中，记为纹理，加载的内容即为输入纹理，将类似的显存中的内容输出到屏幕上显示刚该纹理记为输出纹理。

(2)透镜中心与屏幕中心及观测点位于同一条直线上，texo上以屏幕中心为原点o，位于坐标(x，y)位置的像素值计为po，计r为当前坐标位置离原点o的距离，r＝x*x+y*y，根据透镜畸变公式计k＝k0+k1*r^2+k2*r^4+k3*r^6；po＝texi[x/k，y/k]，即texo上位于(x，y)位置的点的像素值po应取texi上位于(x*k，y*k)位置的像素值。

以texo为例，纹理texo所表示的内容为类似图像的内容，上述图像以宽100像素高100像素为例，则该纹理有100*100共计10000个像素，以该图像中心为原点，po所指即为该图像中位于坐标(x，y)位置的像素点，该像素点上用于表征颜色的值根据畸变方式可通过输入纹理texi上某个或者某些位置的像素点计算得到。

其中，k0，k1，k2，k3为通过光学透镜的参数计算出来的光学畸变参数。

步骤3、如果α位于fov度到360-fov度之间，此时用户观测方向只包括巨幕影院场景的边界时，即只有part2部分在用户视野中，此时畸变模式为三维场景畸变模式，

其中，fov代表视场角度，vr设备将显示屏上的内容通过光学透镜显示在观测点即人眼中，从观测点到显示屏最左端边线的中点构成一条线段，从观测点到显示屏最右端边线的中点构成一条线段，上述两条线段之间的夹角即为水平方向上的视场角度。同理，亦有垂直于水平方向上的视场角度，本发明中为简化表述，文中所指fov即视场角度均指代水平方向视场角度。

其畸变步骤包括：

(1)假设输入纹理为texi，此时texi为三维场景在当前观测视角下的投影结果；

如图2所示，p为模拟球面上的一个点，其通过计算机图像学在三维空间中投影到虚拟显示平面位于p1处。θ为当前p点和球心(观测点)之间连线与中轴线的夹角；

可以看出，p1在texo中离原点的距离与p在球面坐标系中水平方向上离中心点的距离比例并不一致，由此带来一定程度的投影畸变。

(2)假定输出为texo，中间输出为texo1，计texo1上以中心为原点，位于坐标(x1，y1)位置的点为po1，计r1＝(x1^2+y1^2)^0.5为po1距离中心点的距离，计m＝tan(r1/l*fov)/tan(fov/2)，其中l为vr设备水平方向上的显示分辨率；则有如下关系：po1＝texi[x1/m，y1/m]，即texo1上位于(x1，y1)上的点的像素值应取texi上位于(x1/m，y1/m)位置的像素值。

(3)texo和texo1上的对应点应满足步骤2中对应关系，即texo上位于(x，y)位置的点的像素值po应取texo1上位于(x*k，x*k)位置的像素值，结合投影畸变关系可得，texo上位于(x，y)位置的点的像素值po应取texi上位于(x*k/m，y*k/m)位置的像素值。

步骤4、如果α位于0度到fov度之间或者360-fov度到360度之间，此时用户观测方向既包括巨幕场景中电影屏幕也包括影院边界时，此时畸变处理方式为混合畸变模式。

所述步骤4的具体方法为：

如图3所示，此时α位于0度到fov度之间或者360-fov度到360度之间，成像来源于两部分，一部分为影院边界，一部分为影院屏幕部分。

我们期望构建一段并不存在的场景s1，将影院场景中屏幕上l1段需要显示的内容放到s1处，然后对整个视场角中的内容应用步骤3中的处理方式：

根据影院场景中电影屏幕上的内容生成s1的内容，计影院屏幕内容为texi，当前场景中的投影结果为texo，其中影院边界部分的内容经过投影为texo中的正常投影部分，s1的内容经过投影为texo剩余的部分即图4所示的l2区域，l2区域内容的计算方式如下：

如图4所示，计l1上的点p1，其在s1上对应的点为p0，p0经过投影落在l2上的点为p2；图4中θ3和θ1根据场景中观测点和屏幕位置可知，即θ3和θ1为已知变量，只跟场景布局有关。

计球面坐标系半径为r，则根据θ2和θ3及r可计算得到l1，其中θ2＝θ-θ1，θ为当前视角与中心线的夹角；

θ3＝90–fov/2；θ2＝fov-α；

θ1+θ2＝fov/2；l1＝sin(θ2+θ3)/sin(θ2)*r

计θ与l1的关系为l1＝f(θ)，计投影结果为texi，中间输出为texo1，则texo1上位于坐标(x，y)位置的点其与观测点的连续与中心线的夹角为θ，以θ表示，刚该点位置的像素值对应在l1上的位置为tan(θ-θ1)/tan(fov/2-θ1)*f(fov/2)，计为点p3，计θ＝f1(l1)，则p3的投影结果对应在texi上的角度θ4＝f1(tan(θ-θ1)/tan(fov/2-θ1)*f(fov/2))，其对应坐标在水平方向上为tan(θ4)/tan(fov/2)*l/2，l为半屏宽，以相同方式计算垂直方向坐标可得其在texi上的位置计为(x1，y1)，于是texo1上位于坐标(x，y)位置的点的像素值应取texi上位于(x1，y1)位置的像素值。texi上由影院场景投影得到的结果和步骤3中一样，根据步骤3的计算过程可由texo1得到texo，即为混合模式下畸变处理结果。

经过上述处理能使三维场景中影院边界和屏幕区域的过渡区域的内容在vr设备显示屏上的显示效果更加平滑。同时在当前观测情况下，三维场景中的屏幕区域的内容在vr设备显示屏上的显示效果能够和单纯的光学畸变情况下经过畸变处理后的显示效果一致，而该效果要优于将整个巨幕影院场景当作三维场景来处理的效果。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。