专利名称：双目立体视频的几何校正方法及系统的制作方法
技术领域：
本发明涉及图像视频处理技术领域，特别涉及一种双目立体视频的几何校正方法及系统。
背景技术：
双目立体图像对是由两台位于同一高度的平行相机针对同一场景拍摄所得到的图像。三维空间中的一点在两个像平面上所呈的像称为对应点，它们满足极线约束。对于理想的立体图像对，对应点之间只有水平视差，而没有垂直视差，将这样的两个图像分别提供给观看者的左右眼观看，则大脑将根据水平视差提取出场景的深度信息，从而产生立体感。在实际的拍摄中，由于相机的摆放存在汇聚、旋转、高度不同等问题，无法得到理想的立体图像对，此时就需要几何校正技术来将实际获得的图像对变换为理想的图像对。图像或视频帧的几何校正方法主要分为两大类，一种是基于相机标定的方法，另一种是非相机标定的方法。基于相机标定的校正是一种理想情形，在知道相机内外参数的前提下，虚拟出两个内参相同的虚拟相机，并满足光心高度相同和像平面平行的条件，根据透视投影变换将原始图像投射到新的像平面上，从而实现校正的目的。由于相机在移动时， 原相机的外参数会发生变化，因此这种方法在应用时具有一定的局限性。非相机标定的方法则具有更大的适应性。这种方法在输入的左右视图中找到一系列特征点进行匹配，并根据对极几何的原理计算一对投影变换对原图像进行校正，从而使两幅图的对极线满足水平且平行的扫描线特征。目前已有的算法或者依赖于基本矩阵，或者依赖于匹配点坐标，对变换矩阵的参数进行优化，并尽量减小图像的畸变。然而，现有的方法普遍存在以下不足首先，在校正的过程中仅仅依赖于基本矩阵或匹配点，而忽略了场景本身的信息，导致校正后的立体图像对有可能满足扫描线特征，但却不符合观看要求。其次，校正后的图像一般都会产生黑边，通常通过剪裁与线性放大来消除。其不足之处不仅增加了处理工序，更在线性放大过程中改变了图像对的视差。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。为达到上述目的，本发明提出一种双目立体视频的几何校正方法，包括以下步骤 A 获取立体视频帧对的场景方向信息；B 根据所述场景方向信息对所述立体视频帧对进行极线校正，获得第一校正视频帧对；以及C 对所述第一校正视频帧对进行非线性变换， 获得最终的校正视频帧对。根据本发明实施例的双目立体视频的几何校正方法，通过引入场景方向信息进行极线校正，使得校正后的图像更符合场景特征和观看要求，并且通过非线性变换校正弥补了极线校正后单纯利用剪裁与线性缩放消除黑边的不足，具有更强的实用性。在本发明的一个实施例中，所述步骤A进一步包括通过人机交互的方法标注所述立体视频帧对的场景方向信息。
在本发明的一个实施例中，所述步骤B进一步包括B1 提取所述立体视频帧对的左右视频帧的特征点并进行匹配，获得匹配点；B2 根据所述匹配点计算基本矩阵和对极点；以及B3 根据所述对极点和所述场景方向信息计算极线变换矩阵，并根据所述极线变换矩阵对所述立体视频帧对进行极线校正。根据本发明的一个实施例，所述步骤B3进一步包括B31 根据所述立体视频帧对的图像信息获取平移变换矩阵；B32 根据所述对极点获得拉伸变换矩阵；B33 根据所述场景方向信息获取旋转变换矩阵；B34 根据所述旋转变换矩阵、所述拉伸变换矩阵、所述平移变换矩阵和所述立体视频帧对的像素点信息，获取仿射变换矩阵；以及B35 根据所述平移变换矩阵，所述拉伸变换矩阵、所述旋转变换矩阵和所述仿射变换矩阵，获取所述立体视频帧对的极线变换矩阵。在本发明的一个实施例中，所述步骤C进一步包括根据所述极线变换矩阵确定所述非线性变换的约束条件；确定所述非线性变换的边界条件；确定所述非线性变换的权重条件；根据所述约束条件和所述权重条件建立能量函数式，并根据所述能量函数式和所述边界条件获取非线性变换矩阵；以及根据所述非线性变换矩阵对所述第一校正视频帧对进行非线性变换。根据本发明的一个实施例，所述约束条件为
权利要求
1.一种双目立体视频的几何校正方法，其特征在于，包括以下步骤 A 获取立体视频帧对的场景方向信息；B:根据所述场景方向信息对所述立体视频帧对进行极线校正，获得第一校正视频帧对；以及C 对所述第一校正视频帧对进行非线性变换，获得最终的校正视频帧对。
2.根据权利要求1所述的双目立体视频的几何校正方法，其特征在于，所述步骤A进一步包括通过人机交互的方法标注所述立体视频帧对的场景方向信息。
3.根据权利要求1所述的双目立体视频的几何校正方法，其特征在于，所述步骤B进一步包括Bl 提取所述立体视频帧对的左右视频帧的特征点并进行匹配，获得匹配点； B2 根据所述匹配点计算基本矩阵，并根据所述基本矩阵计算对极点；以及 B3 根据所述对极点和所述场景方向信息计算极线变换矩阵，并根据所述极线变换矩阵对所述立体视频帧对进行极线校正。
4.根据权利要求3所述的双目立体视频的几何校正方法，其特征在于，所述步骤B3进一步包括B31 根据所述立体视频帧对的图像信息获取平移变换矩阵；B32 根据所述对极点获得拉伸变换矩阵；B33 根据所述场景方向信息获取旋转变换矩阵；B34:根据所述旋转变换矩阵、所述拉伸变换矩阵、所述平移变换矩阵和所述立体视频帧对的像素点信息，获取仿射变换矩阵；以及B35 根据所述平移变换矩阵，所述拉伸变换矩阵、所述旋转变换矩阵和所述仿射变换矩阵，获取所述立体视频帧对的极线变换矩阵。
5.根据权利要求1所述的双目立体视频的几何校正方法，其特征在于，所述步骤C进一步包括根据所述极线变换矩阵确定所述非线性变换的约束条件； 确定所述非线性变换的边界条件； 确定所述非线性变换的权重条件；根据所述约束条件和所述权重条件建立能量函数式，并根据所述能量函数式和所述边界条件获取非线性变换矩阵；以及根据所述非线性变换矩阵对所述第一校正视频帧对进行非线性变换。
6.根据权利要求5所述的双目立体视频的几何校正方法，其特征在于，所述约束条件为^(Pi-Po) = H(P1-P0) d^/dt = 0,其中，H为所述极线变换矩阵，应为所述非线性变换矩阵，P0^P1为所述立体视频帧对上相邻的像素点。
7.根据权利要求5所述的双目立体视频的几何校正方法，其特征在于，所述边界条件为(分(Py))y=0 (A(Px))x =0，其中，Py为原视频帧中对应最大内切矩形上下边的像素点，PxS原视频帧中对应最大内切矩形左右边的像素点；(.)y表示变换后的y坐标值，(.)χ表示变换后的χ坐标值，所述最大内切矩形为进行所述极线校正后得到的左右视频帧的重合相交部分的最大内切矩形。
8.根据权利要求5所述的双目立体视频的几何校正方法，其特征在于，所述权重条件为S=X iSE+ λ 2SM+ (1- λ「λ 2) Sf其中，&为边缘权重，、为运动权重，$为人脸权重，λ” λ 2为相应的比例系数，入工、 A2 e (0，1)，且满足0< λ ^A2 < I0
9.根据权利要求5-8中任一项所述的双目立体视频的几何校正方法，其特征在于，所述能量函数式为Pi=l2Et =Σ d{HP,)!dt ，P i=l2其中，Eh为基于极线校正约束的能量函数，Et为基于时序约束的能量函数，ω (ρ)为像素P的权重，Hpi为相对位置向量pi非线性变换后的值，Hp,i为相对位置向量ρ 极线变换后的值，11112为向量的二范数。
10.根据权利要求9所述的双目立体视频的几何校正方法，其特征在于，所述根据所述能量函数式和所述边界条件获取非线性变换矩阵，进一步包括根据所述能量函数式和所述边界条件，通过以下的公式获取所述非线性变换矩阵， H = arg min ( AhEh + AtEt)以及ΛtiΛt 八其中，λΗ、Xt为相应的比例系数，λ Η、λ t e (0，1)，且满足= 1。
全文摘要
本发明提出一种双目立体视频的几何校正方法，包括以下步骤获取立体视频帧对的场景方向信息；根据所述场景方向信息对所述立体视频帧对进行极线校正，获得第一校正视频帧对；以及对所述第一校正视频帧对进行非线性变换，获得最终的校正视频帧对。本发明通过引入场景方向信息进行极线校正，使得校正后的图像更符合场景特征和观看要求，并且通过非线性变换校正弥补了极线校正后单纯利用剪裁与线性缩放消除黑边的不足，具有更强的实用性。
文档编号H04N13/00GK102413342SQ20111026122
公开日2012年4月11日 申请日期2011年9月5日 优先权日2011年9月5日
发明者戴琼海, 赵昱, 邵航 申请人:清华大学