专利名称：双目立体视觉系统中场景立体深度与视差的关系建立方法
技术领域：
本发明涉及ー种任意配置的立体视觉系统的场景深度恢复和三维重建方法，具体涉及ー种平行式双目立体视觉系统中场景立体深度与视差的一般关系的模型，适用于机器视觉和摄影测量中的场景立体深度恢复和三维重建。属于先进制造与自动化领域。
背景技术：
双目立体视觉的研究是机器视觉领域的热点问题之一，利用双目立体视觉系统可以实现场景点的立体深度恢复和三维重建。场景的立体深度恢复是根据场景点在立体视觉系统中的对应图像点的像素坐标求出场景点相对于某个摄像机沿主光轴方向的距离。而三维重建就是在深度恢复的基础上，进ー步求出场景点在某一摄像机坐标系下的三维坐标。双目立体视觉一般分为汇聚式和平行式，其中平行式双目立体视觉是汇聚式双目立体视觉模型的ー种特例。标准的平行式双目立体视觉系统中左、右两个摄像机特性完全相同，摄像机坐标系之间不存在旋转关系，即两个摄像机的光轴需要完全平行，且左、右两个摄像机坐标系仅沿着某个方向存在平移关系，平移量通常称为基线长度，对于标准的平行式双目立体视觉系统，场景立体深度与视差的关系模型是立体视觉领域所熟知的。但是，在现实条件下，标准的平行式双目立体视觉系统的理想化配置难以实现，其主要原因有两方面一方面，左、右两个摄像机的内部參数不能达到不完全相同；另一方面，通过机械方法将左、右两个摄像机的位置关系调整到完全平行放置是不可能的。对于非标准的平行式双目立体视觉系统，双目立体视觉系统中主要存在着镜头畸变、透视误差和系统误差等误差来源，导致双目立体视觉系统的场景立体深度与视差关系模型发生了一定的变化，使得场景立体深度恢复和三维重建的精确度有所降低。目前，由于还没有ー种方法可以直接进行场景深度恢复和三维重建，所以现有的方法都是采用间接的方法进行场景深度恢复和三维重建的，主要分为两类第一类是通过图像校正的方法将非平行轴立体视觉系统中的图像转化为标准平行轴立体视觉系统中的图像，然后调用标准平行轴立体视觉系统的深度恢复和三维重建方法；另ー第二类是将场景点在两个摄像机中的投影线反向延长，然后通过最优化方法在场景中寻找与两条投影线距离最近的一点来进行深度恢复和三维重建。第二类方法通常需要先进行初值估计，然后进行迭代寻优，既费时又容易收敛到局部最优解，因而在实际应用中很少采用。所以，目前在立体视觉中进行场景深度恢复和三维重建普遍采用第一类方法，但在采用第一类方法吋需要先进行图像校正，这也是一个费时的步骤，而且会在图像校正的变换过程中产生误差，影响场景立体深度和视差关系模型，同样使得场景立体深度恢复和三维重建的精确度降低。因此，本领域需要ー种适用于任意配置的平行式双目立体视觉系统的场景立体深度与视差的一般模型。
发明内容
为解决上述问题，本发明的目的是针对平行式双目立体视觉系统存在的主要误差对场景立体深度与视差关系模型的影响，提出ー种平行式双目立体视觉系统中场景立体深度与视差的一般关系模型，以实现场景立体深度的准确恢复和三维重建，且既不需要对双目立体视觉系统的图像对进行极线校正，也不需要进行初值估计和迭代寻优，具有直接、简单、准确的优点。为解决上述问题，本发明是采取以下的技术方案来实现的ー种双目立体视觉系统中场景立体深度与视差的关系建立方法，其特征在于，包括以下步骤I)通过单目摄像机标定和双目立体视觉系统标定的方法，求出左右摄像机的内參数和相对旋转矩阵与平移矢量；2)由摄像机透视成像的针孔模型，根据双目立体视觉系统基线长度和视差的变化，建立双目立体视觉系统的场景立体深度与视差的一般关系模型；3)通过选取一定数目的标定点，通过激光测距仪获得深度信息，进行基于最小ニ 乘法的标定，求出给定双目立体视觉系统场景立体深度与视差的关系模型；4)对于左右摄像机所获取同一场景的两幅图像，通过对应点匹配的方法，求出左右图像中的场景视差；5)通过场景视差，实现场景立体深度的精确恢复和三维重建。前述的双目立体视觉系统中场景立体深度与视差的关系建立方法，其特征在于，在所述步骤2)中，双目立体视觉系统的场景立体深度与视差的一般关系模型步骤为21)在只考虑模型误差情况下，双目立体视觉系统的场景立体深度与视差的一般关系t吴型如式(18)z = a + —(18)
d其中，a和b为常数，其求解通过采集ー些标定点的深度信息及其对应的视差信息利用最小二乗法得到；22 )在同时考虑模型误差和匹配误差情况下，完成步骤21)后，双目立体视觉系统的场景立体深度与视差的一般关系模型为式(20)
权利要求
1.ー种双目立体视觉系统中场景立体深度与视差的关系建立方法，其特征在于，包括以下步骤 1)通过单目摄像机标定和双目立体视觉系统标定的方法，求出左右摄像机的内參数和相对旋转矩阵与平移矢量； 2)由摄像机透视成像的针孔模型，根据双目立体视觉系统基线长度和视差的变化，建立双目立体视觉系统的场景立体深度与视差的一般关系模型； 3)通过选取一定数目的标定点，通过激光测距仪获得深度信息，进行基于最小二乗法的标定，求出给定双目立体视觉系统场景立体深度与视差的关系模型； 4)对于左右摄像机所获取同一场景的两幅图像，通过对应点匹配的方法，求出左右图像中的场景视差； 5)通过场景视差，实现场景立体深度的精确恢复和三维重建。
2.根据权利要求I所述的双目立体视觉系统中场景立体深度与视差的关系建立方法，其特征在于，在所述步骤2)中，双目立体视觉系统的场景立体深度与视差的一般关系模型步骤为 21)在只考虑模型误差情况下，双目立体视觉系统的场景立体深度与视差的一般关系模型如式(18)
3.利用双目立体视觉系统中立体深度与视差的关系实现立体深度恢复和三维重建的方法，其特征在于，包括以下步骤 (O通过单目摄像机标定和双目立体视觉系统标定的方法，求出左右摄像机的内參数和相对旋转矩阵与平移矢量； (2)由摄像机透视成像的针孔模型，根据平行式双目立体视觉系统基线长度和视差的变化，建立双目立体视觉系统的场景立体深度与视差的一般关系模型； (3)对于左右摄像机所获得的同一场景中标定板的两幅图像，通过点匹配的方法，提取对应的匹配点，获取对应点的像素坐标，并通过欧氏距离求取对应点的视差。
(4)对激光测距仪进行标定，使激光测距仪与标定模板保持垂直，同时保证摄像机坐标系与激光测距仪处于同一坐标系中，从而获取当前视差下，摄像机到标定板之间的深度； (5)移动光学平移台，重复(3)-(4)的操作，获取多组视差和深度的数据，在移动过程中，标定板与摄像机及激光测距仪保持垂直。(6)由对应点的视差以及场景点在摄像机坐标系中的深度值作为ー对数据进行最小ニ乘拟合，从而得到相应的參数，求出给定双目立体视觉系统的场景立体深度与视差的关系模型； (7)对于左右摄像机所获取同一场景的两幅图像，通过对应定匹配的方法，求出左右图像中的场景视差； (8 )通过场景视差，完成场景立体深度的精确恢复和三维重建。
4.根据权利要求3所述的利用双目立体视觉系统中立体深度与视差的关系实现立体深度恢复和三维重建的方法，其特征在于，在所述步骤2)中，双目立体视觉系统的场景立体深度与视差的一般关系模型步骤为 21)在只考虑模型误差情况下，双目立体视觉系统的场景立体深度与视差的一般关系模型如式(18)
全文摘要
本发明公开了一种双目立体视觉系统中场景立体深度与视差的关系建立方法，先求出左右摄像机的内参数和相对旋转矩阵与平移矢量；然后分析双目立体视觉系统的主要误差来源与误差模型；接着分析主要误差对平行式双目立体视觉系统的基线长度和视差的影响；然后建立双目立体视觉系统的场景立体深度与视差的一般关系模型；再选取一定量的标定点，由激光测距仪获得深度信息，进行基于最小二乘法的标定，求出给定双目立体视觉系统场景立体深度与视差的关系模型；最后通过对应定匹配的方法，求出左右图像中的场景视差，从而实现场景立体深度的精确恢复和三维重建。本发明的有益之处在于直接、简单、准确，极大地提高了立体深度恢复和三维重建的精确度。
文档编号G06T17/00GK102867304SQ20121032457
公开日2013年1月9日 申请日期2012年9月4日 优先权日2012年9月4日
发明者魏许, 徐贵力, 王彪, 郭瑞鹏, 田裕鹏 申请人:南京航空航天大学