一种基于三视角变换的真实场景实时虚拟漫游系统的制作方法

本发明涉及一种基于三视角变换的真实场景实时虚拟漫游系统，涉及计算机视觉中的虚拟现实领域。

背景技术：

在计算机视觉的虚拟现实领域，基于图片的渲染(Image-based Rendering)是一种有效的方法。这种方法通过拍摄少量的照片并将它们融合到一起就可以产生新的中间视角图片。

现有的基于图片的渲染方法可以分为三大类：1、完全不需要几何信息的渲染。2、需要少量几何信息的渲染。3、需要详细几何信息的渲染。第一种方法虽然不需要任何几何信息，但是需要以大数量的图片为代价。第三种方法需要的详细几何信息只有利用专门的设备才能得到，限制了它的应用范围。本系统属于第二种方法，既不需要详细的几何信息，也不需要以大量的图片为代价，并且能够根据用户头部位置和角度的变化实时计算出新视角的图片，以实现虚拟漫游的效果。

技术实现要素：

本发明公开了一种基于三视角变换的真实场景实时虚拟漫游系统，根据对同一场景在不同角度和位置拍摄的三张照片，实时计算出中间任意视角的图片。该技术连接了计算机视觉领域上游的数据采集和下游的视觉控制技术，极大地促进了虚拟现实、街景服务等应用的发展，并以提供至少以下描述的优点。

相比以往的系统，只需使用一个普通的相机与计算机，系统组成比较简单。

不需要过多人为操作，自动化程度较高，新视角还原精度较高。

能够根据用户的视角实时计算出新的视角图片。

为了实现上述目的，本发明公开的基于三视角变换的实时场景虚拟漫游系统，其特征在于包括以下步骤：

(1)利用相机拍摄同一个场景不同位置、不同角度的三张图片。

(2)前向变换，将原始图片投影到同一个平面得到校正后的图片。

(3)计算校正后图片的映射关系，并在映射关系突变的位置插值。

(4)线性融合三张校正后的图片，得到中间视角的图片。

(5)后向变换，把上一步骤所得到的中间视角图片投影到原始图片的视角。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1是本系统完整过程的流程图，图2是本系统的硬件组成图。

具体实施方式

以下将结合附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。

模块一、数据采集。用相机21从不同角度、不同位置拍摄同一个场景的三张照片。

模块二、数据处理。该模块主要包括步骤：13、前向变换；14、映射关系插值；15、线性融合；16、后向变换。该模块的计算在一台普通电脑22中完成。

13、前向变换：将三张原始图片分为两组，每组两张图片。利用SIFT特征点的匹配关系计算出两组投影矩阵，并分别将每组图片投影到同一个平面。再根据图片之间的映射关系，同时校正三张图片，将它们投影到同一个平面。

假设原始的三张图片为I₁，I₂，I₃，分组为I₁，I₂和I₁，I₃，可以得到平行的图片组I′₁，I′₂和I″₁，I″₃。使用目前最精确的立体视角匹配方法TSGO获得两组图片的映射关系和假设E是I′₁和I′₂的中间图像，对E和I₃再做一次校正，即可得到他们之间的校正矩阵H₆和H₅。结合之前的两组校正矩阵，就可以得到同时校正三张图片的投影矩阵。

14、映射关系插值：在上一个步骤已经得到两组图片的映射关系和结合投影矩阵的变换关系就可以得到平行的三张图片之间的映射关系，记为和

由于或的跳变会导致下一步骤在融合图片时产生较大的黑洞，填补这些黑洞需要花费额外的时间插值，且插值效果与黑洞的大小成反比，所以本步骤提前在映射关系上插值，既可以缩短在线部分的耗时，又能提高生成图片的质量。

15、线性融合：根据已有的理论，平行视角的线性融合满足透视几何理论。基于中间视角的重心位置λ＝(λ₁，λ₂，λ₃)定义一个映射函数用来融合三张平行的图片根据上述步骤，

16、后向变换：在前面的步骤中，已经得到平行图片的中间任意视角最后需要把它投影到原始图片的视角，获得插值原始图片的像素位置和颜色的中间图片I_s。我们扩展了已有的两张图片后向变换算法，并且提出新的大视差条件下的三张图片后向变换算法。

根据已有的两张图片后向变换算法，推算出三张图片的情况下，投影矩阵为H_t＝H₆(H₆^-1H_s)^t，这里H_s＝H₅H₁[(H₅H₁)^-1(H₅H₂)]^s。经证明，在原始图片视角相差较大的情况下H_t不收敛，因此这种情况下这种方法不能得到有效的结果。

在原始图片视角相差很大的情况下，我们提出一种简洁有效的后向变换算法：H_t＝(1-s)H₆+tH_s，这里H_s＝(1-s)H₅H₁+sH₅H₂。该方法将各个投影矩阵线性组合，获得了很好的效果。

把H_t^-1作用在上即可以得到正常视角图片I_s。由于前三个步骤都可以离线完成，只有这一个步骤需要在线计算，所以在GPU并行计算的帮助下，就可以达到0.05s每帧的速度，即20帧每秒，达到了实时的要求。

模块三、虚拟漫游。用户佩戴上虚拟现实头盔23(如Oculus Rift)，虚拟现实头盔捕捉用户头部的位置和方向信息，通过数据处理模块将其转化为上述的λ＝(λ₁，λ₂，λ₃)并实时计算出中间视角的图片。因此，用户可以体验真实世界场景的虚拟漫游。

本领域的技术人员应该明白，上述的本发明的系统结构和各个步骤可以用通用的相机和计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。