一种减少图像畸变的极线校正方法
【专利摘要】本发明公开了一种减少图像畸变的极线校正方法，包括使用双目相机获得左右两张图像，利用surf算法分别获取左、右图像对应点的坐标及尺度范围；利用块对一致性和随机采用一致性进行误匹配点的删除，得到基本矩阵；根据基本矩阵和左、右单应性矩阵的关系，建立包含六个参数的用于极线校正的优化函数；利用遗传算法求解优化函数的初值；利用金字塔搜索方法及图像畸变性能指标得到当综合误差最小时的左单应矩阵及右单应矩阵；根据S5得到的左、右单应性矩阵，利用双线性插值求得校正后的图像。本发明能够有效减少极线校正后的图像畸变。
【专利说明】一种减少图像畸变的极线校正方法
【技术领域】
[0001] 本发明属于立体视觉领域，具体涉及一种减少图像畸变的极线校正方法。
【背景技术】
[0002] 立体匹配是从立体图像对中寻找对应点，为了提高搜索速度，要求立体图像对的 外极线位于同一水平线上，使两摄像机校正成理想的平视双目结构。立体视觉的应用研究 中，极线校正方法可应用于立体匹配、3D电视的摄像机姿态处理等方面。
[0003] 现有的极线校正方法，可以分成两类，包括需要摄像机标定的极线校正方法和弱 标定的极线校正方法。利用摄像机标定获取内部参数和外部参数，包括焦距、光心坐标、旋 转矩阵、平移矩阵等，利用物理意义明确的方法得到求解的单应性矩阵。弱标定的极线校正 方法，只通过两图像的匹配对应点，求解两个合适的单应性矩阵进行投影变换，让对应点不 存在坚直方向的视差。
[0004] 经典的弱标定极线校正方法包括Hartley提出的一种直接操作对应极点的方法 其算法思路是将其中一幅图像（设定为右图）的极点旋转到X轴，再平移到无穷远，得到使 这幅图像的所有极线与X轴平行的氏矩阵；根据两校正后基本矩阵的关系推导出札矩阵的 参数形式；然后利用两张图像校正后的视差最小的约束来得到札矩阵。
[0005] Andrea Fusiello等认为已知标定参数的极线校正方法求得的单应性矩阵是由无 穷远平面引入的，该方法不会引入额外的y方向视差，提出了 Quasi-Euclidean的极线校正 方法，将无穷远单应性矩阵的结构保留在优化函数Sampson距离当中，通过非线性优化得 到近似已知标定参数理想情形的结果。这种方法依赖于基本矩阵的求解精度，当存在误匹 配时，会使极线校正结果出现较大的图像畸变，损失匹配精度。
【发明内容】
[0006] 为了克服现有技术存在的缺点与不足，本发明提供一种减少图像畸变的极线校正 方法。
[0007] 本发明采用的技术方案：
[0008] -种减少图像畸变的极线校正方法，包括如下步骤：
[0009] S1使用双目相机获取同一目标的左、右两张图像，然后利用surf算法分别获取 左、右图像对应点的坐标及尺度范围；
[0010] S2利用块对一致性和随机采用一致性进行误匹配点的删除，得到基本矩阵；
[0011] S3根据基本矩阵和左、右单应性矩阵的关系，建立包含6个参数的用于极线校正 的优化函数；
[0012] S4利用遗传算法求解优化函数的初值；
[0013] S5利用金字塔搜索方法及图像畸变性能指标得到当综合误差最小时的左单应矩 阵及右单应矩阵；
[0014] S6根据S5得到的左、右单应性矩阵，利用双线性插值求得校正后的图像。
[0015] 如果侧重极线校正结果，选择省略S4。
[0016] 所述S2包括如下步骤：
[0017] S2. 1根据surf算法获得对应点的坐标及尺度范围，建立圆与圆之间的拓扑关系， 当拓扑关系为相交和包含的时候建立对应块；
[0018] S2. 2保留左右两图相同对应块的相同特征点，剔除误匹配点；
[0019] S2. 3将左或右图像进行数据分块，从不同的分块中抽取至少8组对应点，减少初 始点过于密集的情况；
[0020] S2. 4利用随机采样一致性重复多次抽取对应点，使用直接线性变换的8点算法得 到基本矩阵和剔除误匹配点。
[0021] 所述S3具体为：将左、右单应性矩阵采用quasi-Euclidean方法按照无穷远单应 性矩阵的形式分解，并且利用Sampson距离建立6个参数的优化函数，使用LM算法进行非 线性优化，得到用于极线校正的优化函数。
[0022] 所述S5具体为：
[0023] S5. 1设定最小缩放比例、最大缩放比例及缩放步长；
[0024] S5. 2将对应点坐标进行缩放，然后将优化函数的6个参数初值设为S4所得结果， 即[0,0,0, 0,0，w+h]求解，其中，w表不图像的宽度，h表不图像的1?度，所属左图像和右图 象的长宽相等，运算得到当次搜索6个参数的解；
[0025] S5. 3利用6个参数的解得到左、右单应性矩阵和误差；
[0026] S5. 4对左、右单应性矩阵进行尺度的缩放
[0027]
【权利要求】
1. 一种减少图像畸变的极线校正方法，其特征在于，包括如下步骤： S1使用双目相机获取同一目标的左、右两张图像，然后利用surf算法分别获取左、右 图像对应点的坐标及尺度范围； S2利用块对一致性和随机采用一致性进行误匹配点的删除，得到基本矩阵； S3根据基本矩阵和左、右单应性矩阵的关系，建立包含6个参数的用于极线校正的优 化函数； S4利用遗传算法求解优化函数的初值； S5利用金字塔搜索方法及图像畸变性能指标得到当综合误差最小时的左单应矩阵及 右单应矩阵； S6根据S5得到的左、右单应性矩阵，利用双线性插值求得校正后的图像。
2. 根据权利要求1所述的一种减少图像畸变的极线校正方法，其特征在于，如果侧重 极线校正结果，选择省略S4。
3. 根据权利要求1所述的一种减少图像畸变的极线校正方法，其特征在于，所述S2包 括如下步骤： S2. 1根据surf算法获得对应点的坐标及尺度范围，建立圆与圆之间的拓扑关系，当拓 扑关系为相交和包含的时候建立对应块； S2. 2保留左右两图相同对应块的相同特征点，剔除误匹配点； S2. 3将左或右图像进行数据分块，从不同的分块中抽取至少8组对应点，减少初始点 过于密集的情况； S2. 4利用随机采样一致性重复多次抽取对应点，使用直接线性变换的8点算法得到基 本矩阵和剔除误匹配点。
4. 根据权利要求1所述的方法，其特征在于，所述S3具体为：将左、右单应性矩阵采用 quasi-Euclidean方法按照无穷远单应性矩阵的形式分解，并且利用Sampson距离建立6个 参数的优化函数，使用LM算法进行非线性优化，得到用于极线校正的优化函数。
5. 根据权利要求1所述的方法，其特征在于，所述S5具体为： S5. 1设定最小缩放比例、最大缩放比例及缩放步长； S5. 2将对应点坐标进行缩放，然后将优化函数的6个参数初值设为S4所得结果，即 [0,0,0,0,0，w+h]求解，其中，w表示图像的宽度，h表示图像的高度，所属左图像和右图象 的长宽相等，运算得到当次搜索6个参数的解； S5. 3利用6个参数的解得到左、右单应性矩阵和误差； S5. 4对左、右单应性矩阵进行尺度的缩放
和：
式中，氏表示左单应矩阵，Hr表示右单应矩阵，S表示缩放比例 S5. 5根据图像畸变的性能指标得到综合误差err 1，并记录为当前最小值；
式中，errl表示综合误差，err表示Sampson的距离，下标1代表左图，下标r代 表右图，w是图像的宽度，h是图像的高度，Θ表示图像中点连线的正交性，且当图 其中，err为求解得到的Sampson距离，
像没有发生畸变的理想值Θ = 90 °，
，m = Hb-Hd，n = Hc-Ha，
rd表示对角线的长宽比，当图像没有发生畸变的理想值rd= 1，
，m = Hb-Hd,, η = Hc-Ha, a = (0,0,1),, b = (w, 0,1), c = (w, h, 1), d = (0, h, 1)； rwh表示图像的纵横比，当图像没有发生畸变的理想值为宽/长，
，m = Hb-Hd, , η = Hc-Ha,,
S5. 6按照缩放步长改变缩放比例，缩放顺序为从大到小缩放，重复S5. 2-S5. 5,直到缩 放比例为最小时停止，所述当次6个参数的初始值为上一次6个参数的解； S5. 7得到不同缩放比例下errl的最小值，并记录当errl最小时的左单应矩阵及右单 应矩阵。
6.根据权利要求1或4或5所述的方法，其特征在于，所述6个参数具体为 yu zu xK, yK, zK，f，f为相机的焦距，ypyH分别为左相机、右相机绕y轴旋转的角度，ΖρΖκ分 别为左相机、右相机绕Ζ轴旋转的角度，χ κ为右相机绕X轴旋转的角度。
【文档编号】G06T5/00GK104091308SQ201410262030
【公开日】2014年10月8日 申请日期:2014年6月12日 优先权日:2014年6月12日
【发明者】杜娟, 梁睿, 冯颖, 胡跃明 申请人:华南理工大学