本发明属于立体匹配技术领域，具体涉及一种基于正交立体装置的实时立体匹配故障预测与解决方法。
背景技术：
立体匹配技术一直是三维场景结构信息获取的研究热点之一，也是计算机视觉领域中一个很有价值的热点问题，在工业、医疗器材、监控系统、视觉导航、人机交互和无人机等方面有广泛的应用，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像点，从而计算出视差并获得三维信息，立体匹配通常包括四个步骤：
(1)匹配代价的计算；
(2)匹配代价的聚合；
(3)视差的计算和优化
(4)视差的细化求精。
立体匹配算法主要可以分为三类，局部算法、全局算法和半全局算法。局部算法基于特定窗口聚合匹配代价，运算速度快，但是精度差。全局算法的出现提高了立体匹配的准确性，然而较慢的实时性限制了它在实际场景中的应用。半全局算法的提出有效地平衡了立体匹配的速度与精度的关系，半全局算法具有鲁棒性强和对光照影响不敏感的优势，但仍然存在弱纹理区域及重复纹理区域特征点误匹配率高的问题。
因此，申请人提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，其在提高精度避免故障的同时，运行时间也可大幅度提高。
技术实现要素：
针对现有技术的不足，本发明提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，其能够有效解决弱纹理区域的误匹配问题，提高立体匹配精度。
为了解决立体匹配中弱纹理区域出现的故障，本发明提出一种基于正交立体装置的实时立体匹配故障预测与解决方法，包括如下步骤：
s1、正交摄像装置；
s2、现场可编程门阵列；
s3、半全局匹配算法；
s4、高斯模糊核；
通过正交摄像装置的四图像传感器的低电压差分信号接口连接到单个现场可编程逻辑序列，fpga再同步四个独立的数据流对图像进行偏差操作，用半全局匹配算法对图像传感器扫描线和连续计算新线路的深度图进行缓冲，在多个方向上进行优化，最后使用纹理红指示器和立体匹配算法来避免弱纹理区域的故障发生。
进一步地，所述的正交摄像装置，如图3所示，是带有两个正交极线的传感器摄像头，由不同角度同时获得两幅数字图像，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的响应点，所以必须安装在一个稳定的平台上，半全局立体匹配算法直接在两个硬件上计算和运行，并通过usb3.0同步输出。
所有四个摄像机都使用内联函数进行校正，使用二维标记初始校准运行过程中获得的非本征数据，使用半全局立体匹配算法在硬件中计算水平对和垂直对的立体匹配，计算的两个深度映射和两个置信度图通过usb3.0传输到连接的计算机中。
多摄像机立体装置用每个立体对的匹配分数的加权平均来融合深度图，这是实时深度地图融合的前期工作，这种方法的问题是沿着一条直线的匹配分数很高，因此匹配的分数为深度图融合提供了一个不适当的加权。
上述匹配函数根据故障评分在正常操作中选择一个源图像为每个像素i,j在正常运作，然而，如果深度图都在彼此的10％范围内，使用它的匹配分数mi,j计算它们的加权平均值来融合这些像素，这为深度估计提供了一个稳固的交叉检查，还允许接受不具有由sgm分配的高分数的像素，这一步骤显著提高了召回率。
本发明使用额外的摄像机，提高单基线立体匹配系统的精确度和召回率，在同样的硬件上执行所有的计算，只增加成本和重量两个模型，标准的立体磁头上的低成本图像传感器，可以成功地避开错误测量并且在图像中的立体相关置信度低的地区增加召回率，获得可靠的测量结果。
进一步地，所述的现场可编程门阵列，为了理解硬件上实时立体匹配的基本约束，本发明在硬件上引入立体匹配的操作现场可编程门阵列，现场可编程门阵列(fpga)在处理之前不存储摄像机的完整帧，它只有缓冲很少的图像传感器扫描线和连续计算新线路进入系统的深度图，这允许用一个芯片快速地处理多达10个摄像机，但它对图像的访问和存储方式加了一些限制。
并不是所有的立体匹配算法都适合这种类型的操作，但是可以用半全局匹配算法，通过在多个方向上优化得到的深度图，它提高了块匹配，其中一条路径平行于对极线方向。
其中，所述的基本约束在这里是指织构化元素，立体视觉系统中成像方式以及场景中的几何关系都可以形成立体匹配的约束条件，它们对减少搜索的计算量，提高匹配正确性有着很大的帮助，极线条件是几何成像应该遵循的基本条件，可以把立体匹配的搜索范围从二维降到一维，如果有一个纹理沿着对极线是重复的，它满足纹理和匹配分数标准，但是匹配分数会很高，表明这种基本属性是不可避免的，纹理场景在城市中是很常见的，然而，它有足够的特性导致立体匹配相关故障，这个问题在运动域的结构中得到了很好的研究，并且在照片左右一致性检查中经常被隐式地解决，然而，因为本发明重点应用是机器视觉领域，因此本发明利用实时立体算法的属性提出了一种新的、更有效的方法，无人机和其他拥有单一立体匹配对的自动驾驶汽车或系统都受到立体匹配的对极线几何的约束。
系统给每个深度图都计算一个预测图像，创建最终深度图和最终匹配分数图，每个像素位置的最终匹配分数图ci,j是半匹配全局算法的图像a或b的匹配分数mi,j的加权平均值，从具有较低的故障评分fi,j的图像中进行选择，该加权平均值是一个联合的价值函数：
ci,j＝mi,j+s·fi,j(1)
s＝2，其从半匹配全局算法的匹配分数和故障预测提供一个稳定的权衡，用该值固定的参数执行的所有实验，得到的图像明亮的区域表示立体相关的可能出现故障的区域。
进一步地，半全局匹配算法，本发明利用sgm提供的匹配分数来确定极线几何的可能故障，当它遇到与极线平行的线时，匹配分数会达到峰值：本发明比较线路之间的匹配分数，以确定估计可能出现故障的区域。
sgm算法对图像的灰度值进行运算，不在图像的大梯度上传播视差值。然而，沿着外极线方向的虚假视差匹配不包含任何垂直梯度，并且sgm算法沿外极线的方向传播误匹配，利用其平滑步骤的这个特殊属性来检测故障。
进一步地，高斯模糊核，定性评价表明，上述sgm匹配分数在所有场景中都是最好的预测因子，当输入深度图被中值滤波时，本发明采用一个3δ(拉依达准则)的13×13高斯模糊核来调整匹配分数图像的尺度空间，预测下一步最可能的故障位置，利用前面讨论的半全局算法属性，而不是在强梯度上进行优化，其结果在图像分数也是可行的，通过找到这些分数差的梯度大小，可以可靠地预测平行于极线的线结构。为了达到这个目的，本发明将积分图像与一维在垂直方向上的sobel核与具有7个像素区域和0.3δ的高斯的外极线做卷积，匹配分数沿外极线的显著变化是对错误测量的可靠预测。
本发明的有益效果是：本发明能够有效解决弱纹理区域的误匹配问题，提高立体匹配精度。
附图说明
图1是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的系统框架图。
图2是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的立体匹配约束情况示意图。
图3是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的算法流程图。
具体实施方式
下面结合附图和具体实施对本发明作进一步详细说明。
图1是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的系统框架图，其主要内容包括正交摄像装置、现场可编程门阵列、半全局匹配算法、高斯模糊核。
其中，所述的正交摄像装置，如图3所示，是带有两个正交极线的传感器摄像头，由不同角度同时获得两幅数字图像，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的响应点，所以必须安装在一个稳定的平台上，半全局立体匹配算法直接在两个硬件上计算和运行，并通过usb3.0同步输出。所有四个摄像机都使用内联函数进行校正，使用二维标记初始校准运行过程中获得的非本征数据，使用半全局立体匹配算法在硬件中计算水平对和垂直对的立体匹配，计算的两个深度映射和两个置信度图通过usb3.0传输到连接的计算机中。多摄像机立体装置用每个立体对的匹配分数的加权平均来融合深度图，这是实时深度地图融合的前期工作，这种方法的问题是沿着一条直线的匹配分数很高，因此匹配的分数为深度图融合提供了一个不适当的加权。上述匹配函数根据故障评分在正常操作中选择一个源图像为每个像素i,j在正常运作，然而，如果深度图都在彼此的10％范围内，发明使用它们的匹配分数mi,j计算它们的加权平均值来融合这些像素，这为深度估计提供了一个稳固的交叉检查，还允许接受不具有由sgm分配的高分数的像素，这一步骤显著提高了召回率，另外本发明使用额外的摄像机，提高单基线立体匹配系统的精确度和召回率，在同样的硬件上执行所有的计算，只增加成本和重量两个模型，标准的立体磁头上的低成本图像传感器，可以成功地避开错误测量并且在图像中的立体相关置信度低的地区增加召回率，否则无法获得可靠的测量结果。
进一步地，所述的现场可编程门阵列，为了理解硬件上实时立体匹配的基本约束，本发明在硬件上引入立体匹配的操作现场可编程门阵列，fpga在处理之前不存储摄像机的完整帧，它只有缓冲很少的图像传感器扫描线和连续计算新线路进入系统的深度图，这允许用一个芯片快速地处理多达10个摄像机，但它对图像的访问和存储方式加了一些限制。并不是所有的立体匹配算法都适合这种类型的操作，但是可以用半全局匹配算法，通过在多个方向上优化得到的深度图，它提高了块匹配，其中一条路径平行于对极线方向。
其中，所述的基本约束在这里是指织构化元素，立体视觉系统中成像方式以及场景中的几何关系都可以形成立体匹配的约束条件，它们对减少搜索的计算量，提高匹配率有着很大的帮助，极线条件是几何成像应该遵循的基本条件，可以把立体匹配的搜索范围从二维降到一维，如果有一个纹理沿着对极线是重复的，它满足纹理和匹配分数标准，但是匹配分数会很高，表明这种基本属性是不可避免的，纹理场景在城市中是很常见的，然而，它有足够的特性导致立体匹配相关故障，这个问题在运动域的结构中得到了很好的研究，并且在照片左右一致性检查中经常被隐式地解决，然而，因为本发明重点应用是机器视觉领域，因此本发明利用实时立体算法的属性提出了一种新的、更有效的方法，无人机和其他拥有单一立体匹配对的自动驾驶汽车或系统都受到立体匹配的对极线几何的约束。
进一步地，所述的半全局匹配算法，本发明利用sgm提供的匹配分数来确定极线几何的可能错误，当它遇到与极线平行的线时，匹配分数会达到峰值：本发明比较线路之间的匹配分数，以确定估计可能出现故障的区域。sgm算法对图像的灰度值进行运算，不在图像的大梯度上传播视差值。然而，沿着外极线方向的虚假视差匹配不包含任何垂直梯度，并且sgm算法沿外极线的方向传播误匹配，利用其平滑步骤的这个特殊属性来检测故障。
进一步地，所述的高斯模糊核，定性评价表明，上述sgm匹配分数在所有场景中都是最好的预测因子，当输入深度图被中值滤波时，本发明采用一个3δ的13×13高斯模糊核来调整匹配分数图像的尺度空间，预测下一步最可能的故障位置，利用前面讨论的半全局算法属性，而不是在强梯度上进行优化，其结果在图像分数也是可行的，通过找到这些分数差的梯度大小，可以可靠地预测平行于极线的线结构。
为了达到这个目的，本发明将积分图像与一维在垂直方向上的sobel核与具有7个像素区域和0.3δ的高斯的外极线做卷积，匹配分数沿外极线的显著变化是对错误测量的可靠预测。
图2是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的立体匹配出现故障的特写镜头。当线出现在图中的位置时，该立体匹配故障就会出现，但是该区域的匹配分数很高，有很高的置信度。
本发明使用额外的摄像机，提高单基线立体匹配系统的精确度和召回率，在同样的硬件上执行所有的计算，只增加成本和重量两个模型，标准的立体磁头上的低成本图像传感器，这样可以成功地避开错误测量并且在图像中的立体相关置信度低的地区增加召回率。
图3是本发明一种基于正交立体装置的实时立体匹配故障预测与解决方法的算法流程图，当在两个方向上匹配时，两个方向之间的重叠区域是一个图中的小圆点区域，对该区域进行左右一致性检查。使用半全局立体匹配算法在硬件中计算水平对和垂直对的立体匹配，计算的两个深度映射和两个置信度图通过usb3.0传输到计算机中，多摄像机立体装置用每个立体对的匹配分数的加权平均来融合深度图，该算法流程图使用立体深度和置信度作为输入生成一个深度图输出。
最后得到了极线故障假设图像，本发明给每个深度图都计算了这样的预测图像，创建最终深度图和最终匹配分数图，每个像素位置的最终匹配分数图ci,j是半匹配全局算法的图像a或b的匹配分数mi,j的加权平均值，从具有较低的故障评分fi,j的图像中进行选择，该加权平均值是一个联合的价值函数：
ci,j＝mi,j+s·fi,j(1)
经验值s＝2从半匹配全局算法的匹配分数和故障预测提供一个稳定的权衡，用该值固定的参数执行的所有实验，得到的图像明亮的区域表示立体相关的可能出现故障的区域，深色区域对没有几何缺陷和纹理有很高的置信度。