一种基于弱标定多目相机的立体匹配方法、装置及系统与流程

本发明涉及计算机视觉技术领域，尤其涉及一种基于弱标定多目相机的立体匹配方法、一种基于弱标定多目相机的立体匹配装置及包括该基于弱标定多目相机的立体匹配装置的基于弱标定多目相机的立体匹配系统。

背景技术：

人类视觉不仅可以分辨出颜色、外形等特征，还能通过双目所看到的不同图像的差别，分辨出物体的深度信息。双目视觉是机器视觉的一个重要形式，它是基于视差原理并利用不同位置的两台摄像装置拍摄同一场景，通过计算空间点在两幅图像中的视差，来获取物体的三维几何信息的方法。融合两只眼获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。

根据双目视觉原理，一旦获取了空间点的视差，如果能够在图像坐标系中确定两个匹配点，并知道其各自的图像坐标，那么就可以获得空间点的深度信息。

因此，实现深度信息获取的关键是获得空间点在两个图像平面内的一个匹配对，而立体匹配问题则是实现深度获取的关键。

双目立体匹配问题是一个″病态″问题，双目立体匹配实施要考虑诸多因素，并以计算复杂度和稳定性等总体性能指标来衡量方案实施的可行性和有效性。

立体匹配的算法很多，主要有区域匹配算法、特征匹配算法、基于全局约束算法、图割算法和基于人工智能的算法。

区域匹配算法通过固定尺寸窗口进行代价聚集，运算速度快，但在低纹理和深度不连续区域匹配效果差；特征匹配算法只能得到稀疏的视差场，要获得密集的视差场必须通过复杂的差值过程，往往适用于具有特征信息显著的环境中；基于全局约束算法虽然能够通过构建复杂的能量函数模型得到高精度的匹配结果，但计算速度慢，并且对计算机的内存需求较大；图割算法虽然能获得密集的结果，但是容易产生较大的匹配误差。

图1为视差和深度的关系图，由于三角形aabbcc与三角形ccddee相似，可得：(xr-xl)/f＝b/z，所以：z＝bf/(xl-xr)，其中xl-xr为视差，b为两个摄像机的基线的距离，f为相机的焦距。

对于第一图像中任意一个点，都要到第二图像中匹配一个点，假设图像的宽高为(w和h)有图的搜索范围为(h*v)，则计算量为w*h*h*v。

通常取值如下：w＝1280；h＝730；h(水平)＝100；v＝5，因此计算量会非常大。

对于不具有典型性的应用环境，运算量和识别精度是一对天然的矛盾，没有算法能够同时在两个方面得到优化。

而且，立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题，主要是受以下因素的影响：

(1)光学失真和噪声(亮度、色调、饱和度等失衡)

(2)平滑表面的镜面反射

(3)投影缩减(foreshortening)

(4)透视失真(perspectivedistortions)

(5)低纹理(lowtexture)

(6)重复纹理(repetitive/ambiguouspatterns)

(7)透明物体

(8)重叠和非连续。

上述所有的特性都会影响两个图中匹配点的误判，从而会影响两个图的匹配精度，从而影响视差计算的精度。

因此，如何能够对图像进行高精度识别成为本领域技术人员亟待解决的问题。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于弱标定多目相机的立体匹配方法、一种基于弱标定多目相机的立体匹配装置及包括该基于弱标定多目相机的立体匹配装置的基于弱标定多目相机的立体匹配系统。，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种基于弱标定多目相机的立体匹配方法，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配方法包括：

根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；

根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；

检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；

检测每条所述垂直边缘上的角点，并获得多个角点；

将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；

将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；

将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；

根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。

优选地，所述检测每条所述垂直边缘上的角点，并获得多个角点的步骤包括：

检测所述第一矫正图和所述第二矫正图中的所有水平边缘；

判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；

当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。

优选地，所述将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图的步骤包括：

将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；

计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；

将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。

优选地，所述匹配度的计算公式为：

其中，diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑δy表示每个角点的垂直偏移量的和，a表示角点的数量，δx表示角点的水平偏移量的方差。

优选地，所述第二矫正图的平移、旋转和缩放均是面向所述第二矫正图的当前位置的两侧的，且所述平移、旋转和缩放均是等间距的。

作为本发明的第二个方面，提供一种基于弱标定多目相机的立体匹配装置，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，所述立体匹配装置包括：

图像畸变矫正模块，所述图像畸变矫正模块用于根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；

图像极线矫正模块，所述图像极线矫正模块用于根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；

垂直边缘检测模块，所述垂直边缘检测模块用于检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；

角点检测模块，所述角点检测模块用于检测每条所述垂直边缘上的角点，并获得多个角点；

匹配单元获得模块，所述匹配单元获得模块用于将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；

匹配单元对获得模块，所述匹配单元对获得模块用于将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；

匹配度调节模块，所述匹配度调节模块用于将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；

视差计算模块，所述视差计算模块用于根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。

优选地，所述角点检测模块包括：

水平边缘检测单元，所述水平边缘检测单元用于检测所述第一矫正图和所述第二矫正图中的所有水平边缘；

判断单元，所述判断单元用于判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；

角点确定单元，所述角点确定单元用于当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。

优选地，所述匹配度调节模块包括：

调节组合获得单元，所述调节组合获得单元用于将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；

匹配度计算单元，所述匹配度计算单元用于计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；

新的第二矫正图的获得单元，所述新的第二矫正图的获得单元用于将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。

优选地，所述匹配度的计算公式为：

其中，diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑δy表示每个角点的垂直偏移量的和，a表示角点的数量，δx表示角点的水平偏移量的方差。

作为本发明的第三个方面，提供一种基于弱标定多目相机的立体匹配系统，其中，所述立体匹配系统包括多目相机和与所述多目相机连接的前文所述的基于弱标定多目相机的立体匹配装置。

本发明提供的基于弱标定多目相机的立体匹配方法，通过对多目相机获得的两个图像进行矫正处理，然后对矫正后的两个图形进行匹配，并对其中一个图像进行调节以提高匹配度，最后计算目标图像的视差，这种立体匹配方法不仅计算精度高，而且计算量小，从而实现了对目标图像的快速高精度识别。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为视差和深度的关系原理图。

图2为本发明提供的基于弱标定多目相机的立体匹配方法的流程图。

图3为本发明提供的角点获得的方法流程图。

图4为本发明提供的新的第二矫正图的获得的方法流程图。

图5为本发明提供的基于弱标定多目相机的立体匹配装置的结构示意图。

图6为本发明提供的角点检测模块的结构示意图。

图7为本发明提供的匹配度调节模块的结构示意图。

图8为本发明提供的基于弱标定多目相机的立体匹配系统的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

作为本发明的第一个方面，提供一种基于弱标定多目相机的立体匹配方法，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，如图2所示，所述立体匹配方法包括：

s110、根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；

s120、根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；

s130、检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；

s140、检测每条所述垂直边缘上的角点，并获得多个角点；

s150、将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；

s160、将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；

s170、将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；

s180、根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。

本发明提供的基于弱标定多目相机的立体匹配方法，通过对多目相机获得的两个图像进行矫正处理，然后对矫正后的两个图形进行匹配，并对其中一个图像进行调节以提高匹配度，最后计算目标图像的视差，这种立体匹配方法不仅计算精度高，而且计算量小，从而实现了对目标图像的快速高精度识别。

具体地，所述第一摄像设备为第一摄像头，所述第二摄像设备为第二摄像头。

作为一种具体地实施方式，为了获得角点，具体地，如图3所示，所述检测每条所述垂直边缘上的角点，并获得多个角点的步骤包括：

s141、检测所述第一矫正图和所述第二矫正图中的所有水平边缘；

s142、判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；

s143、当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。

作为另一种具体地实施方式，为了获得新的第二矫正图，具体地，如图4所示，所述将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图的步骤包括：

s171、将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；

s172、计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；

s173、将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。

优选地，所述匹配度的计算公式为：

其中，diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑δy表示每个角点的垂直偏移量的和，a表示角点的数量，δx表示角点的水平偏移量的方差。

需要说明的是，所述第二矫正图的平移、旋转和缩放均是面向所述第二矫正图的当前位置的两侧的，且所述平移、旋转和缩放均是等间距的。

作为基于弱标定多目相机的立体匹配方法的具体应用，由于道路环境图像与其它非道路环境图像相比有一个很显著的特性：道路环境图形具有更多的垂直线段，有笔直的线和明确的端点，并且该垂直线段与周围环境差异明显，识别上没有难度。

具体地，在某一较小区域中，出现两条类似垂直线段，并导致多目相机误判的可能性是极小的。因此，可以利用垂直线段作为图像矫正的标杆。

作为具体应用的实施方式，所述多目相机具有两个摄像头，包括：从多目相机获取一个图像对，包括左摄像头获得的左图和右摄像头获取的右图，左图和右图是同时拍摄的。其中可以理解的是，同时是相对的，只要被摄物体和相机相对位置没有发生变化，均认为是同时。

根据双目相机每个摄像头的内参对左图和右图进行畸变矫正得到左畸变矫正图和右畸变矫正图；根据双目相机的外参，对于左畸变矫正图和右畸变矫正图进行极线矫正，得到左矫正图，和右矫正图。

内参和外参的获得，以及根据上述的根据内参和外参对图像进行的处理是本领域的现有技术。本领域技术人员能根据需要来选用，为了描述的更加清楚，本发明在下面的内容中描述了一种方法，但仅作为示例，不作为对本发明的限定。

比较普遍使用的一种方法是张正友标定法，以及很多基于该方法的改进算法。

张氏标定的过程：

1.打印一张棋盘格，把它贴在一个平面上，作为标定物。

2.通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。

3.从照片中提取特征点(如角点)。

4.估算理想无畸变的情况下，五个内参和所有外参。

5.应用最小二乘法估算。实际存在径向畸变下的畸变系数。

6.极大似然法，优化估计，提升估计精度。

通过这样的过程，我们就获得了具有高估计精度的五个内参，三个外参和两个畸变系数。利用这些信息，我们可以进行畸变矫正、图像校正和最终的三维信息恢复。

获得的左矫正图和右矫正图中检测所有的垂直边缘。由于在道路环境图形中，垂直边缘出现概率高，模式确定，所以容易识别。例如，交通牌，汽车，建筑物，车道线都提供了大量的素材。只需要简单利用图像的灰阶差，即可识别出垂直边缘。

获取的每条垂直边缘上检测角点。具体地，在左矫正图和右矫正图中检测所有的水平边缘。优选的，还可以只检测垂直边缘端点附近的水平边缘，从而节省计算量，提高计算速度。如果垂直边缘点上的每个点，如果其还是处在水平边缘上，那么这个点就是角点。

把每条垂直边缘及每条边缘的角点组合成一个整体匹配单元。这样的整体匹配单元，在图像的某个具体区域里是具有确定性和唯一性的，是作为标杆的理想对象。

对于在左矫正图中的每个整体匹配单元匹配右矫正图中的匹配单元，形成匹配单元对。由于左图中的整体匹配单元具有明确的边缘，明确的大小，且在左图中的位置是明确的，那么在右图中寻找对应的匹配单元就很容易。只需要在右图的某个特定区域寻找类似的整体匹配单元即可。

通过平移、旋转或缩放右矫正图使得所有的匹配单元对匹配度最高，得到新的右矫正图。

每个匹配单元的匹配度(diff)可以用如下方式度量：

其中，diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑δy表示每个角点的垂直偏移量的和，a表示角点的数量，δx表示角点的水平偏移量的方差。

优选的，在右图的当前位置，平移9个位置，旋转9个位置，缩放9个位置，包括原始位置，共获得1000个组合。计算这1000个图像的匹配程度最高，得到新的右矫正图。

上述的平移，旋转和缩放的方向是面向原始位置的两侧的。

优选的，上述平移，旋转和缩放的量是等间距的。

最后，使用左矫正图和新的右矫正图计算整幅图像的视差。

作为本发明的第二个方面，提供一种基于弱标定多目相机的立体匹配装置，其中，所述多目相机包括第一摄像设备和第二摄像设备，所述第一摄像设备和所述第二摄像设备用于同时拍摄同一幅目标图像，且所述第一摄像设备拍摄所述目标图像后获得第一图像，所述第二摄像设备拍摄所述目标图像后获得第二图像，如图5所示，所述立体匹配装置10包括：

图像畸变矫正模块110，所述图像畸变矫正模块110用于根据所述第一摄像设备的内参对所述第一图像进行畸变矫正得到第一畸变矫正图，根据所述第二摄像设备的内参对所述第二图像进行畸变矫正得到第二畸变矫正图；

图像极线矫正模块120，所述图像极线矫正模块120用于根据所述第一摄像设备的外参对所述第一畸变矫正图进行极线矫正得到第一矫正图，根据所述第二摄像设备的外参对所述第二畸变矫正图进行极线矫正得到第二矫正图；

垂直边缘检测模块130，所述垂直边缘检测模块130用于检测所述第一矫正图和所述第二矫正图中的所有垂直边缘并获得多条垂直边缘；

角点检测模块140，所述角点检测模块140用于检测每条所述垂直边缘上的角点，并获得多个角点；

匹配单元获得模块150，所述匹配单元获得模块150用于将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；

匹配单元对获得模块160，所述匹配单元对获得模块160用于将所述第一矫正图中的每个匹配单元与所述第二矫正图中的匹配单元进行匹配，得到多个匹配单元对；

匹配度调节模块170，所述匹配度调节模块170用于将所述第二矫正图进行平移、旋转或者缩放以提高每个所述匹配单元对的匹配度，并获得新的第二矫正图；

视差计算模块180，所述视差计算模块180用于根据所述第一矫正图和所述新的第二矫正图计算所述目标图像的视差。

本发明提供的基于弱标定多目相机的立体匹配装置，通过对多目相机获得的两个图像进行矫正处理，然后对矫正后的两个图形进行匹配，并对其中一个图像进行调节以提高匹配度，最后计算目标图像的视差，这种立体匹配装置不仅计算精度高，而且计算量小，从而实现了对目标图像的快速高精度识别。

作为所述基于弱标定多目相机的立体匹配装置的一种具体地实施方式，如图6所示，所述角点检测模块140包括：

水平边缘检测单元141，所述水平边缘检测单元141用于检测所述第一矫正图和所述第二矫正图中的所有水平边缘；

判断单元142，所述判断单元142用于判断位于每条所述垂直边缘上的点是否同时位于所述水平边缘上；

角点确定单元143，所述角点确定单元143用于当位于每条所述垂直边缘上的点同时位于所述水平边缘上时，确定该点为角点。

作为所述基于弱标定多目相机的立体匹配装置的另一种具体地实施方式，如图7所示，所述匹配度调节模块170包括：

调节组合获得单元171，所述调节组合获得单元171用于将所述第二矫正图从当前位置平移9个位置，和/或将所述第二矫正图从当前位置旋转9个位置，和/或将所述第二矫正图从当前位置缩放9个位置，获得1000个所述第二矫正图的调节组合；

匹配度计算单元172，所述匹配度计算单元172用于计算所述1000个所述第二矫正图的调节组合中与所述第一矫正图组成的匹配单元对的匹配度；

新的第二矫正图的获得单元173，所述新的第二矫正图的获得单元173用于将匹配度最高的匹配单元对所对应的第二矫正图为新的第二矫正图。

优选地，所述匹配度的计算公式为：

其中，diff表示所述匹配度，α表示调整参数，α∈(0，1)，∑δy表示每个角点的垂直偏移量的和，a表示角点的数量，δx表示角点的水平偏移量的方差。

关于本发明提供的基于弱标定多目相机的立体匹配装置的具体工作原理及具体应用，可以参照前文的基于弱标定多目相机的立体匹配方法的描述，此处不再赘述。

作为本发明的第三个方面，如图8所示，提供一种基于弱标定多目相机的立体匹配系统1，其中，所述立体匹配系统包括多目相机20和与所述多目相机连接的前文所述的基于弱标定多目相机的立体匹配装置10。

本发明提供的基于弱标定多目相机的立体匹配系统，由于采用了前文所述的基于弱标定多目相机的立体匹配装置，因此能够实现对图像的高精度快速识别。

优选地，所述多目相机20包括双目相机，即所述多目相机包括两个摄像设备。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。