专利名称：一种立体图像对的极线校正方法
技术领域：
本发明涉及计算机视觉研究领域，具体来讲，涉及一种立体图像对的极线 校正方法。
背景技术：
在计算机视觉研究领域，立体图像对(stereo pairs)的特征匹配点一直是一个 关键问题。它的目的是从立体图像对的两幅图像中找出对应的特征点。目前大 多数匹配算法都是基于这样一个假设前提立体图像对的两幅图像对应的特征 点在同一扫描线上。这样就将匹配的搜索范围从二维降到了一维，加快了匹配 速度，提高了匹配精度。有些学者将满足这一假设前提称为满足扫描线特性 (scanlineproperty)。但是，现实中得到的大多数立体图像对不满足扫描线特性， 对应的特征点往往存在垂直视差，并且大多数点对的垂直视差也不是一个相同 的值，不能通过平移图像来达到消除垂直视差的目的。针对这种情况，有些学 者提出采用极线校正(epipolar line rectification)的方法使立体图像对的两幅图像 满足扫描线特性。极线校正又被称为图像校正(image rectification)、投影校正(projective rectification),指的是对两幅图像各进行一次投影变换，使得两幅图像对应的极 线在同一条扫描线上，从而满足扫描线特性。1996年，SIGRAPH96会议论文集中"View morphing" —文介绍了两幅图 像满足扫描线特性的充要条件，并据此给出了一种确定投影变换矩阵的方法。 该方法是一种完全依赖基本矩阵的方法，其缺点是过分依赖基本矩阵的精度。 如果基本矩阵的精度不够高，则该方法很容易崩溃。而到目前为止，由两幅图 像的匹配点计算基本矩阵还没有较为稳定的高精度算法。1999年，IEEE Conference on Computer Vision and Pattern Recognition会议论 文集中"Projective rectification without epipolar geometry" —文公开了一禾中无需 基本矩阵的极线校正方法，该方法只依赖于图像匹配点的坐标，利用线性最小二乘估计和非线性最优化方法来计算投影变换矩阵。该方法的不足之处是最优 化时对初始值敏感，有可能陷入局部最优。发明内容本发明的目的在于克服现有技术的不足，提供一种能够克服最优化时对初 始值敏感的缺点，同时又不过分依赖基本矩阵计算精度的立体图像对的极线校 正方法。为了达到上述发明目的，本发明立体图像对的极线校正方法，包括以下歩骤(1) 、利用立体图像对的两幅图像的匹配点计算出基本矩阵和各自的极点；(2) 、利用第一幅图像的极点计算出第一幅图像的深度旋转轴，再根据基 本矩阵，计算出第二幅图像的深度旋转轴；(3) 、根据两幅图像各自的深度旋转轴计算出两幅图像各自的深度旋转变 换矩阵；(4) 、根据两幅图像各自的深度旋转变换矩阵和极点计算出两幅图像经过 深度旋转后的新极点，根据新极点得到两幅图像各自的极线旋转变换矩阵；(5) 、根据步骤(1)得到的基本矩阵、步骤(3) 、 (4)得到的两幅图 像各自的深度旋转矩阵和极线旋转变换矩阵，得到两幅图像平面变成平行平面、 并且极线水平后的基本矩阵，再根据该矩阵计算出变成平行平面、并且极线水 平后的两幅图像的第二幅图像对于第一幅图像的变换比例和平移量；(6) 、将步骤(1)得到的两幅图像各自极点的坐标、步骤(2)得到第二 幅图像深度旋转轴的坐标以及步骤(5)得到的变换比例和平移量作为初始值， 采用非线性最小二乘法对初始值进行优化，得到它们的最优值；(7) 、根据得到的最优值，计算出两幅图像各自的投影变换矩阵，然后对 两幅图像进行变换，得到校正后的立体图像对。本发明由于在确定需要进行最优化的参数时引入深度旋转变换矩阵，使得 在进行最优化时，用于最优化的参数的个数由传统方法的至少IO个减少到了至 少7个，从而节省了计算量。同时，参数的初始值是由完全基于基本矩阵的方 法计算出来的，保证了初始值的精度，从而克服了最优化时对初始值敏感的点。由于得到参数的初始值后还要对其进行非线性最优化，因此相对完全基于 基本矩阵的方法而言，本发明又不过分依赖基本矩阵的精度。
图1是本发明一
具体实施方式
采用的逆向映射方法的具体流程图。
具体实施方式
为更好地理解本发明，下面结合
具体实施方式
对本发明进行更为详细描述。 在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容 时，这些描述在这儿将被忽略。在本实施方式中，设立体图像对的两幅图像分别是Io和I!， F是其对应的基本矩阵。H。、 Hi分别表示I。、 Ii对应的投影变换矩阵。设I。和L的极点分别 是eo和d， u。,和i^表示一对匹配点的齐次坐标，y=l,...，W。(1) 、根据两幅图像的匹配点uo,.和uv(/= 1, ...,iV，共7V对)采用改进的八点 算法计算出基本矩阵F、第一幅图像I。的极点e。=[《《IF和第二幅图像L的极 点e,[《"，其中《,《,《,《表示求得的齐次坐标值，上标x、j;分别表示x轴 上的坐标和y轴上的坐标，r表示转置。(2) 、根据第一幅图像Io的极点eo的坐标值，计算出其深度旋转轴的坐标为 <formula>formula see original document page 6</formula>将算得的《和《代入式①附 1=<formula>formula see original document page 6</formula>①根据式①得到的附、"，代入式②，计算出第二幅图像I!的深度旋转轴的坐标'在本实施例中，还进一步将算得的第二幅图像Ii的深度旋转轴的坐标《和《代入式③，得到角度参数CC:+《 a — arctan」 减②(3)、根据步骤(l)中计算出的极点坐标和步骤(2)中计算出的两幅图像 10、 L各自的深度旋转轴的坐标《、《及《、《，依据式 (/ = 0, 1)o义—《《计算出两幅图像I()、 Ii各自的深度旋转角度^)和^的值: 然后依据式⑤，④ )2+(<i,)2cos6 , 《《(1-cos 6>,) rf;''sin6>, 《《(卜cos(9,)(《)2+(《)2cos《-《sin6 , 一《sin《 《sin《 cos《('.=0, 1)计算出两幅图像Io、 L各自的深度旋转变换矩阵R》和R》。(4)、根据两幅图像Io、 L各自的深度旋转变换矩阵R3;和Ri'和极点eo和 ed衣据式⑥计算出两幅图像I() 、 Ii经过深度旋转后的新极点e。和e;。e;=[f 一 0f=R;'e, (/ = 0,1)然后，依据式(= _<arctan+ (/ = 0， 1)⑦得到两幅图像Io、 L的极线的旋转角度^、 A，由式⑧<formula>formula see original document page 8</formula> ⑧得两幅图像Io、 1,的极线旋转变换矩阵R^(5)、根据歩骤(1)得到的基本矩阵F、歩骤(3) 、 (4)得到的两幅图像各自的深度旋转矩阵R》和R》和极线旋转变换矩阵Rp 得到两幅图像平 面变成平行平面、并且极线水平后的基本矩阵F':<formula>formula see original document page 8</formula> (9)再根据该矩阵F'计算出变成平行平面、并且极线水平后的两幅图像的第二 幅图像L对于第一副图像1。变换比例a和平移量Z)。具体为将F'乘上一个不为O的比例因子，使它的第3行第2列的元素等于1。縮放后 的矩阵的第2行第3列的元素的相反数即为变换比例"，第3行第3列的元素的相反 数即为平移量6。如果a〈0时，则说明两幅图像中极线的上下顺序是相反的，也 就是图像颠倒了，此时旋转角度A需增加兀，即用^+兀代替原来的A重新计算。 (6)、将步骤(1)得到的两幅图像各自极点的齐次坐标《、《、《、《和 步骤(2)得到第二幅图像Ij罙度旋转轴的坐标《和《以及步骤(5)得到的变 换比例"和平移量6作为初始值，采用非线性最小二乘法对初始值进行优化， 得到它们的最优值。在本实施例中，将角度参数a代替第二幅图像I,深度旋转轴的坐标D1x和d1y<formula>formula see original document page 8</formula>这样，最终得到了7个参数的初始值，它们是ou "、 6、《、《、《和《。设 目标函数为<formula>formula see original document page 8</formula> ⑩其中<formula>formula see original document page 9</formula>将7个参数的初始值代入式⑩采用Levenberg-Marquardt算法对/进行最小化， 得到这些参数的最优值。(7)根据得到的7个参数《、 a、 6、《、《、《和《的最优值，计算出两 幅图像I。、 1,各自的投影变换矩阵H。和Hp然后对两幅图像I。、 I,进行变换， 得到校正后的立体图像对HoI()、 H山。得到投影变换矩阵Ho和Hi之后，对两幅图像Io、 Ii实施变换便可得到校正 后的图像对H()Ic)、 H山。但是这样做会使得新图像对HoI()、 H山中的某些点不能 在原始图像I。 、 I,中找到对应的点，从而产生"空洞(holes)"现象。在本实施例中，步骤(7)中得到的投影变换矩阵Ho和Hi对两幅图像I()、 I, 实施变换，采用逆向映射的方法得到校正后的立体图像对，从而消除空洞现象。图l是逆向映射方法的具体流程图，步骤如下(a) 、两幅图像Io、 I,分别与各自的投影变换矩阵Ho、 H,相乘，得到立体图像对HoI()、 H山；(b) 、求解相乘后得到的各自图像H。1。、 的最小边界矩形Recto、 Rect1;(c) 、对最小边界矩形Recto、 Recti分别进行平移，使其左上角的点平移到 各自坐标系的原点；然后，比较两幅图像H()Io、 H山的最小边界矩形在垂直方向 的平移量Ayo、 A力，平移量小的最小边界矩形，在垂直方向再平移，使其平移量 与平移量大的最小边界矩形的平移量相同。即若Ayo〈A"，则Recto在垂直方向 再平移A力- 0;否则Rec^在垂直方向平移Ayo-A)v(d) 、以从左到右、从上到下的顺序，计算两幅图像的最小边界矩形中的 每一个点uo'、 m'在各自原始图像Io、 L平面中的对应点iio、 m，检査对应点uo、W是否落在原始图像Io、 L范围内；若在，则将原始图像Io、 I,平面中的对应Uo、 m对应的像素拷贝到最小边界矩形中对应点iiQ'、 IM'的位置；否则将最小边 界矩形中对应点iio'、 u 变为黑色点，得到逆向影射校正后的立体图像对。 校正后的图像H。1()、 H山与原始图像Io、 Ii相比，尺寸可能发生改变。 表1是本发明的极线校正方法与现有技术中的Francesco极线校正方法、 Mallon极线校正方法相比的校正精度对比表。校正方法 校正精度 Francesco Method 0.75000 Mallon Method 0.62692 本发明的极线校正方法 0.25424表l表1中采用校正后两幅图像H()Io、 H山对应的特征点的垂直视差的平均值 来衡量校正精度。从表l我们可以看出，与Fmncesco方法、Mallon方法相比， 校正精度有较大提高。尽管上面对本发明说明性的
具体实施方式
进行了描述，但应当清楚，本发 吸不限于
具体实施方式
的范围，对本技术领域的普通技术人员来讲，只要各种 变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而 易见的， 一切利用本发明构思的发明创造均在保护之列。
权利要求
1、一种立体图像对的极线校正方法，其特征在于，包括以下步骤(1)、利用立体图像对的两幅图像的匹配点计算出基本矩阵和各自的极点；(2)、利用第一幅图像的极点计算出第一幅图像的深度旋转轴，再根据基本矩阵，计算出第二幅图像的深度旋转轴；(3)、根据两幅图像各自的深度旋转轴计算出两幅图像各自的深度旋转变换矩阵；(4)、根据两幅图像各自的深度旋转变换矩阵和极点计算出两幅图像经过深度旋转后的新极点，根据新极点得到两幅图像各自的极线旋转变换矩阵；(5)、根据步骤(1)得到的基本矩阵、步骤(3)、(4)得到的两幅图像各自的深度旋转矩阵和极线旋转变换矩阵，得到两幅图像平面变成平行平面、并且极线水平后的基本矩阵，再根据该矩阵计算出变成平行平面、并且极线水平后的两幅图像的第二幅图像对于第一幅图像的变换比例和平移量；(6)、将步骤(1)得到的两幅图像各自极点的坐标、步骤(2)得到第二幅图像深度旋转轴的坐标以及步骤(5)得到的变换比例和平移量作为初始值，采用非线性最小二乘法对初始值进行优化，得到它们的最优值；(7)、根据得到的最优值，计算出两幅图像各自的投影变换矩阵，然后对两幅图像进行变换，得到校正后的立体图像对。
2、 根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤 (1)所述的由立体图像对的两幅图像的匹配点计算出基本矩阵采用的是改进的八点算法。
3、 根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤 (6)所述的第二幅图像深度旋转轴的坐标进一步计算为角度参数作为初始值。
4、 根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(6) 所述的非线性最小二乘法为Levenberg-Marquardt算法
5、 根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(7) 所述的对两幅图像进行变换，包括以下步骤(a) 、将两幅图像分别与各自的投影变换矩阵相乘；(b) 、求解相乘后得到的各自图像的最小边界矩形；(C)、对各自图像的最小边界矩形分别进行平移，使其左上角的点平移到 各自坐标系的原点；然后，比较两幅图像的最小边界矩形在垂直方向的平移量， 平移量小的最小边界矩形，在垂直方向再平移，使其平移量与平移量大的最小 边界矩形的平移量相同。(d)、以从左到右、从上到下的顺序，计算两幅图像的最小边界矩形中的 每一个点在各自原始图像平面中的对应点，检査对应点是否落在原始图像范围 内；若在，则将原始图像平面中的对应点对应的像素拷贝到最小边界矩形中对 应点的位置；否则将最小边界矩形中对应点变为黑色点，得到校正后的立体图 像对。
全文摘要
本发明公开了一种立体图像对的极线校正方法，利用匹配点计算出基本矩阵和两幅图像各自的极点，然后计算第二幅图像深度旋转轴的坐标以及变换比例和平移量，并与图像对极点的坐标一起作为初始值，采用非线性最小二乘法进行优化，得到它们的最优值，计算出两幅图像各自的投影变换矩阵，然后进行变换，得到校正后的立体图像对。本发明最优化的参数由传统方法的至少10个减少到了至少7个，从而节省了计算量。同时，参数的初始值是由完全基于基本矩阵的方法计算出来的，保证了初始值的精度，从而克服了最优化时对初始值敏感的缺点。由于得到参数的初始值后还要对其进行非线性最优化，相对完全基于基本矩阵的方法而言，本发明又不过分依赖基本矩阵的精度。
文档编号G06T7/00GK101325724SQ20081004562
公开日2008年12月17日 申请日期2008年7月23日 优先权日2008年7月23日
发明者然 刘, 张小云, 刚 杨 申请人:四川虹微技术有限公司