一种基于视点合成的立体图像垂直视差消除方法
【专利摘要】本发明公开了一种基于视点合成的消除立体图像垂直视差的方法。本发明按顺序可以分为四个步骤：（1）对原始立体图像进行传统方式的外极线校正，得到初始校正后的立体图像；（2）对初始校正后的立体图像进行立体匹配，得到对应的水平视差图；（3）根据投影关系，计算得到对应于原始立体图像的水平视差图和垂直视差图；（4）基于原始立体图像的水平视差图和垂直视差图，进行视点合成，得到校正后的立体图像。本发明的主要特点是引入视点合成技术，在消除立体图像的垂直视差的同时，减小校正过程带来的投影失真。
【专利说明】一种基于视点合成的立体图像垂直视差消除方法
【技术领域】
[0001]本发明涉及一种基于视点合成的立体图像垂直视差消除方法。
【背景技术】
[0002]3D电影近年来得到了快速发展。一般而言，3D电影可通过计算机动画合成、2D转3D技术以及立体相机拍摄三种方式获得，其中通过立体相机拍摄是未来3D电影发展的主流。立体相机通常由左右两个相机构成，它们被设计成光轴平行配置的形式。然而，由于机械对齐的精度问题，拍摄得到的立体图像或视频无法做到完全对齐。当立体摄像机镜头需要拉伸时，左右两个相机之间的动作不同步使得对齐问题变得更加复杂。这些都造成了最终得到的立体图像或视频左右视图之间或多或少存在垂直视差。Mayhew曾对7部商业3D影片中的70个立体视频帧进行过评估，发现只有6个(占8.5% )视频帧是不需要进行校正的。垂直视差的存在是造成观看者头晕、眼胀等视觉疲劳现象的主要原因之一，因而探寻通过对3D电影进行后期校正来消除垂直视差的理论和方法具有重要意义。
[0003]消除垂直视差的过程在计算机视觉中被称为“外极线校正”，通常是指对两幅图像各进行一次投影变换，使得变换后的两幅图像所对应的对极线位于图像的同一条扫描线上。立体图像的外极线校正方法可分为相机已标定情况下的校正和未标定情况下的校正两种。对于相机已标定情况而言，左右两个相机的内外参数已知，可以通过构造变换矩阵的方法来实现外极线校正。但是运用这种方法的前提是在3D影片拍摄前必须对立体相机进行标定，否则该方法就失效了。对于现实中大多数3D影片而言，相机参数是无法获取的，在这种情况下，只能运用未标定情况的方法。
[0004]对于未标定情况下的外极线校正，目前已存在多种方法，这些方法大多是针对计算机视觉应用而提出的，即使校正结果存在变形，也不会对三维重构产生较大的影像。然而，对于3D电影而言，我们必须考虑校正后的影片呈现给观众的视觉效果，也就必须使校正后的图像帧不能产生太大的畸变。
【发明内容】
[0005]本发明的目的是针对现有技术的不足，提供一种基于视点合成的立体图像垂直视差消除方法。
[0006]本发明的目的是通过以下技术方案实现的:一种基于视点合成的立体图像垂直视差消除方法，包括以下步骤:
[0007](I)采集原始立体图像的左视图1l和右视图1k ;
[0008](2)输入原始立体图像的左视图k和右视图1k，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图1i和右视图1?，并记录下分别施加在左视图和右视图上变换矩阵I；和Tk ；
[0009](3)对经过初始校正后的立体图像左视图1i和右视图1tk进行立体匹配，得到对应的水平视差图Di和Dtk ；[0010](4)根据投影关系，计算得到对应于左视图k的水平视差图Dm和垂直视差图Dm以及对应于右视图1k的水平视差图Dhk以及垂直视差图Dvk，通过以下步骤实现:
[0011](4.1)对左视图中的任意一点九，经过变换IY得到经过初始校正后的左视图1TL中的对应点Pu = Tl.Pp点Pu的坐标值一般为非整数，通过做双线性插值，在视差图DTl中得到对应于Pu位置的视差值(T1 ◎
[0012](4.2)记k中的点Pu的齐次坐标为Pu = [xTU yTL, 1]τ，则它在相对应的右视图1te 中的对应点 P? 为:ftR =[xTL.Jtl*1]1 °
[0013](4.3)将点ρτκ经过对应于Tk的逆变换Tr1投影回右视图1k得到点Ps =V./%，
从而建立起了左视图L中的点1?和右视图1k中的点Pk之间的对应关系，即和Pk是一对匹配点。
[0014](4.4)记Pl和Pk的坐标值分别为[Χ?，Κ]1Π [知，yK]T，可以根据下式计算得到对应于Plj的水平视差值dHI；和垂直视差值dVIj:
[0015]dHL = xl_xEj dVL = yL~yE
[0016](4.5)对左视图L中的每一点施加上述过程，可以得到对应于左视图L的水平视差图Dh1j和垂直视差图Dvij。
[0017](4.6)同理，对右视图1k施加上述过程，可以计算得到对应于右视图1k的水平视
差图Dhr以及垂直视差图Dvr。
[0018](5)基于原立体图像的左右视图1l和In，以及相应的水平和垂直视差图DHl、Dvl>DHK、Dvk，进行视点合成，得到新的右视图20%包括以下步骤:
[0019](5.1)采用反向映射的机制，即对于新的右视图《上的每一个点Ρ，记它的坐
标值为[Ο?+Ι ,根据由IL和IR的水平及垂直视差图Dm、Dvl, Dhe, Dvk所确定的投影关系，分别L和Ik上寻找各自的对应点P ^ L&P\,包括以下步骤:
[0020](a)设Ρ'点在左视图込中的对应点为口\，为了达到消除垂直视差的目的，需要
以满足水平视差约束为条件，在k中进行搜索。记P’ L的坐标值为，要求其X轴坐标值须满足下面的关系式:
【权利要求】
1.一种基于视点合成的立体图像垂直视差消除方法，其特征在于，该方法包括以下步骤: (1)采集原始立体图像的左视图k和右视图1k； (2)输入原始立体图像的左视图k和右视图1k，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图1i和右视图1?，并记录下分别施加在左视图和右视图上变换矩阵I；和Tk ； (3)对经过初始校正后的立体图像左视图\和右视图1tk进行立体匹配，得到对应的水平视差图Dix和Dtr ； (4)根据投影关系，计算得到对应于左视图k的水平视差图Dm和垂直视差图DVy以及对应于右视图1k的水平视差图Dhk以及垂直视差图Dvk ； (5)基于原立体图像的左右视图1l和Ικ，以及相应的水平和垂直视差图DHL、DVL、DHK、DVK，进行视点合成，得到新的右视图1『，原始立体图像的左视图L和新的右视图ΙT*已经消除了垂直视差，构成了新的立体图像。
2.根据权利要求1所述的一种基于视点合成的立体图像垂直视差消除方法，其特征在于，所述的步骤(4)中计算得到对应于左视图k的水平视差图Dm和垂直视差图DVy以及对应于右视图1k的水平视差图Dhk以及垂直视差图Dvk，通过以下步骤来实现: (4.1)对左视图L中的任意一点九，经过变换IY得到经过初始校正后的左视图L中的对应点Pu = Tl.pL ;点pTL的坐标值一般为非整数，通过做双线性插值，在视差图De中得到对应于Ptl位置的视差值Aft ο (4.2)记K中的点Pu的齐次坐标为Pu = [xTL, yTL, 1]τ，则它在相对应的右视图1tk中的对应点 Ptr 为:Pm — _? (4.3)将点ρτκ经过对应于Tk的逆变换!；1投影回右视图1k得到点=Tr'-/;TR *从而建立起了左视图L中的点1?和右视图1k中的点Pk之间的对应关系，即和Pk是一对匹配占.(4.4)记九和巧的坐标值分别为[^，1]7和[xK，yJT，可以根据下式计算得到对应于Pl的水平视差值dHI；和垂直视差值dVIj:
cW — xl_xr，dVL — Yl-Yr ; (4.5)对左视图L中的每一点施加上述过程，可以得到对应于左视图L的水平视差图Dhl和垂直视差图Dvii ； (4.6)同理，对右视图1k施加上述过程，可以计算得到对应于右视图1k的水平视差图Dhe以及垂直视差图Dvr。
3.根据权利要求1所述的一种基于视点合成的立体图像垂直视差消除方法，其特征在于，所述的步骤(5)中视点合成的方法，包括以下步骤: (5.1)采用反向映射的机制，即对于新的右视图?*上的每一个点/?T，记它的坐标值为|>；r，J；r]T，根据由和Ik的水平及垂直视差图Dm、Dvl, Dhe, Dvk所确定的投影关系，分别込和Ik上寻找各自的对应点P\及P’ κ ;(5.2)在找到了新的右视图上的点PnewR在左右视图上各自的对应点Ρ'L, Ρ’R后，比较这二点的水平视差值，将视差值大的点投影得到PnewR ； (5.3)对合成新右视图ΙnewR中空白点进行修补。
4.根据权利要求3所述的视点合成方法，其特征在于，所述的步骤(5.1)在IL和IR上寻找各自的对应点p'L及P’ R,包括以下步骤: (5.1.1)设JC点在左视图1l中的对应点为P’,为了达到消除垂直视差的目的,需要以满足水平视差约束为条件，在込中进行搜索，记P’ L的坐标值为
【文档编号】H04N13/00GK103945207SQ201410166939
【公开日】2014年7月23日 申请日期:2014年4月24日 优先权日:2014年4月24日
【发明者】杜歆, 邹泷, 朱云芳 申请人:浙江大学