一种提高测量范围的双目视觉测距方法
【专利摘要】本发明公开了一种提高测量范围的双目视觉测距方法，包括采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c；经过畸变和极线校正后图像的对应点只存在水平视差；然后利用预先求取的视差深度关系求取短焦对应点的深度。若短焦对应点深度在可信范围，则保留计算结果；若短焦对应点都在长焦图像上且计算深度在可信范围，则保留计算结果；否则，舍弃计算结果。在双目相机安装固定的情况下，在保持大范围测量视角的同时提高深度的测量范围。
【专利说明】一种提高测量范围的双目视觉测距方法
【技术领域】
[0001]本发明涉及视觉测量领域，具体涉及一种提高测量范围的双目视觉测距方法。
【背景技术】
[0002]常用的测距方法有超声波测距、激光测距、红外测距、光学测距等，主要应用于军事、工业测量、建筑施工等领域。目前常用的视觉测量技术主要有以下3种方法:双目立体视觉法、结构光法、几何光学法。
[0003]双目立体视觉测距具有非接触、自动测量、对人眼无害等优点。最常用的是平行光轴模型，两摄像机相距一个基线距离水平放置，先通过畸变校正和极线校正，使得同一特征点在两图像只有水平视差，利用图像配准的方法得到对应点的视差，利用视差和深度的关系最终得到场景中物点的深度信息。
[0004]结构光测距需要一个投影光源和摄像机，两者相距一个基线距离，通过确定场景物点反射光源的成像位置和投影角等参数，获得场景的深度信息。
[0005]几何光学法包括聚焦法和离焦法。聚焦法通过调整摄像机的像距，使得成像平面在被测点处聚焦，在已知像距和焦距的条件下，通过透镜成像公式求取物距。离焦法利用物点不聚焦时图像的模糊程度获取深度信息。
【发明内容】
[0006]为了克服现有技术存在的缺点与不足，本发明提供一种提高测量范围的双目视觉测距方法，本发明克服现有技术中固定安装的双目相机利用短焦镜头测距深度短，利用长焦镜头测距视角小的问题。
[0007]本发明采用如下技术方案:
[0008]一种提高测量范围的双目视觉测距方法，包括如下步骤:
[0009]SI采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄；
[0010]S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c ;
[0011]S3若短焦图像视角较大，需进行畸变校正后进入S4，否则直接进入S4 ；
[0012]S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算单应矩阵进行极线校正，得到仅存在水平视差的两张图像；
[0013]S5对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
[0014]所述S4中还包括针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并一个。
[0015]所述将畸变校正和极线校正的两个离散坐标表格合并成一个，具体采用线性插值的方法，具体为:
[0016]针对X坐标:X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于该浮点数的最大整数，I代表第i行，j代表第j列，则转换公式为X3 (i, j) =X2 (i, floor (Xi (i, j))) + (X2 (i, 1+floor (X1 (i, j)))-X2(i, floor (X1 (i, j))))*(X1 (i, j)-floor (X1 (i, j)))
[0017]针对Y坐标:Y1为畸变校正表格，Y2为极线校正表格，Y3为合成表乙(1，j)=Y2(floor (Y1 (i, j))，j) + (Y2 (1+floor (Y1 (i, j))，j) -Y2 (floor (Y1 (i, j))，j)) * (Y1 (i, j) -floor (Y1 (i, j)))。
[0018]所述极线校正具体为:
[0019]S4.1分别求解短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点；
[0020]S4.2分别将短焦图像和长焦图像的极点旋转到X轴并且移到无穷远使得两图像的极线与X轴平行，再对其中短焦图像中任一幅图像和长焦图像中任一幅图像进行y方向的线性缩放，得到用于短焦图像和长焦图像极线校正的单应矩阵；
[0021]S4.3求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Υ2为极线校正的X坐标表格和Y坐标表格。
[0022]还包括预先获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。
[0023]所述根据视差和深度的关系，确定不同焦距下的视差可信范围，具体为:利用某个已知深度的物体在不同距离下建立视差和深度的对应关系，再使用曲线拟合得到稠密的对应关系，最后根据视差相差I个像素对应深度相差的实际距离选定视差可信范围。
[0024]S3中所述畸变校正具体为:
[0025]S3.1拍摄棋盘格图像；
[0026]S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
[0027]X1=X (l+k^+k^y2)
[0028]yi=y(l+klX2+k2y2);调整参数匕和!^，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格Xl和Y1，其中X和y是原始棋盘格图像的浮点坐标，xl和yl是畸变校正后棋盘格图像的离散整数坐标，Xl和Yl为畸变校正的X坐标表格和Y坐标表格。
[0029]本发明具有如下有益效果:
[0030](I)在双目相机安装固定的情况下，能够保持大范围测量视角的同时提高深度的测量；
[0031](2)利用已知深度的物体在不同距离下建立视差和深度的对应关系，并利用曲线拟合得到稠密的对应关系， 提高测量的准确度；
[0032](3)无需对摄像机进行内部参数和外部参数的标定。
【专利附图】
【附图说明】
[0033]图1是本发明一种提高测量范围的双目视觉测距方法的工作流程图；
[0034]图2是本发明双目相机的安装示意图；
[0035]图3是本发明的获取视差和深度关系的流程图；[0036]图4是本发明当短焦图像进行畸变校正和极线校正的流程图。
【具体实施方式】
[0037]下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0038]实施例
[0039]一种提高测量范围的双目视觉测距方法，如图2所示，硬件结构包括两个相机镜头，该镜头具有变焦功能，用于获取短焦和长焦图像，两个镜头平行排列，位于左边的为左目相机，位于右边的为右目相机，保证两个相机为平行光轴结构。
[0040]如图1所示,具体包括如下步骤:
[0041]SI采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄；
[0042]S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c ;
[0043]所述寻找相互匹配对应点有三种方法，第一种为人工寻找兴趣点+人工匹配，第二种为人工寻找兴趣点+自动匹配，例如SAD块匹配/归一化互相关，第三种自动寻找特征点+自动匹配，例如SIFT/SURF+SAD+RANSAC方法。
[0044]S3若短焦图像视角过大，需进行畸变校正后进入S4，否则直接进入S4，如图4所示，所述畸变校正具体为:
[0045]S3.1拍摄棋盘格图像；
[0046]S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
[0047]X1=X (l+k^+k^y2)
[0048]Y=Y(1+^χ2+^Y)
[0049]调整参数匕和1^2，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格Xl和Υ1，其中X和y是原始棋盘格图像的浮点坐标，Xl和yl是畸变校正后棋盘格图像的离散整数坐标，Xl和Yl为畸变校正的X坐标表格和Y坐标表格。
[0050]S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算得到2个3*3单应矩阵进行极线校正，得到仅存在水平视差的两张图像，所述短焦图像包括未进行畸变校正的短焦图像或已进行畸变校正的短焦图像。
[0051]所述极线校正具体为:
[0052]S4.1分别求解进行畸变校正后的短焦图像或未进行畸变校正的短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点；
[0053]S4.2将短焦图像组和长焦图像组的极点旋转到X轴并且移到无穷远使得两图像的极线与X轴平行，再对每组图像中任一幅图像进行y方向的线性缩放，得到能够用于短焦图像和长焦图像极线校正的2个3X3单应矩阵；
[0054]S4.3遍历所有离散整数坐标，求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Y2为极线校正的X坐标表格和Y坐标表格；
[0055]S5获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。[0056]如图3所示，具体为:在不同的距离下拍摄某已知深度物体的双目图像，对图像进行前述的畸变和极线校正后；通过获取两张图像的对应点，建立对应点的离散视差和深度对应关系；再使用曲线拟合得到稠密的视差和深度关系，最后根据视差相差I个像素对应深度相差的实际距离选定视差可信范围。
[0057]S6对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
[0058]进一步，在S4中针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并成一个。
[0059]具体为:
[0060]针对X坐标:X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于该浮点数的最大整数，I代表第i行，j代表第j列，则转换公式为X3 (i, j) =X2 (i, floor (Xi (i, j))) + (X2(i, 1+floor (X1 (i, j)))-X2(i, floor (X1 (i, j))))*(X! (i, j)-floor (X1 (i, j)))。针对Y坐标:Y1为畸变校正表格，Y2为极线校正表格，Y3为合成表Y3 (i, j) =Y2 (floor (Y1 (i，j))，j) + (Y2 ( 1+floor (Y1 (i, j))，j) -Y2 (floor (Y1 (i, j))，j)) * (Y1 (i, j) -floor (Y1 (i, j)))。[0061 ] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
【权利要求】
1.一种提高测量范围的双目视觉测距方法，其特征在于，包括如下步骤: Si采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄； S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c ； S3若短焦图像视角较大，需进行畸变校正后进入S4，否则直接进入S4 ； S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算单应矩阵进行极线校正，得到仅存在水平视差的两张图像； S5对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
2.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述S4中还包括针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并一个。
3.根据权利要求2所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述将畸变校正和极线校正的两个离散坐标表格合并成一个，具体采用线性插值的方法，具体为: 针对X坐标:X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于该浮点数的最大整数，i代表第i行，j代表第j列，则转换公式为X3 (i，j)=X2(i, floor (X1 (i,j))) + (X2(i, 1+floor (X1 (i, j)))-X2 (i, floor (X1 (i, j))))*(X1 (i, j)-floor (X1 (i, j)))针对Y坐标:Y1为畸变校正表格，Y2为极线校正表格，Υ3为合成表Y3 (i，j) =Y2 (floor(Yi (i, j)), j) +(Y2 (1+floor (Y1 (i, j)), j)-Y2 (floor (Y1 (i, j)), j)) 5KY1Q, j)-floor (Y1 (i,j)))。
4.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述极线校正具体为: S4.1分别求解短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点； S4.2分别将短焦图像和长焦图像的极点旋转到X轴并且移到无穷远使得两图像的极线与X轴平行，再对其中短焦图像中任一幅图像和长焦图像中任一幅图像进行I方向的线性缩放，得到用于短焦图像和长焦图像极线校正的单应矩阵； S4.3求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Y2为极线校正的X坐标表格和Y坐标表格。
5.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，还包括预先获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。
6.根据权利要求5所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述根据视差和深度的关系，确定不同焦距下的视差可信范围，具体为:利用某个已知深度的物体在不同距离下建立视差和深度的对应关系，再使用曲线拟合得到稠密的对应关系，最后根据视差相差I个像素对应深度相差的实际距离选定视差可信范围。
7.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，S3中所述畸变校正具体为:S3.1拍摄棋盘格图像； S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
X1=X (1-^k1X2+k2j2) J1-J (l+klX2+k2y2);调整参数和k2，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格Xl和Y1，其中X和y是原始棋盘格图像的浮点坐标，xl和yl是畸变校正后棋盘格图像的离散整`数坐标，Xl和Yl为畸变校正的X坐标表格和Y坐标表格。
【文档编号】G01C3/00GK103776419SQ201410035353
【公开日】2014年5月7日 申请日期:2014年1月24日 优先权日:2014年1月24日
【发明者】杜娟, 梁睿, 胡跃明, 冯颖 申请人:华南理工大学