一种基于双目采集图像提取景深信息的方法与流程

本发明属于图像处理领域，具体涉及到一种利用双目采集图像提取景深信息的方法。

背景技术：

对障碍物的准确检测和避让是室内机器人能够自主或半自主地完成任务的必要前提，能够及时有效的躲避近距离的障碍物已经成为该领域的重要研究方向。目前主流的应用于室内机器人的避障及安全防撞技术分为非接触式防撞技术和接触式防撞技术。其中接触式技术是通过接触式传感器感知障碍物，该方式没有预见性，虽然设计和实现简单，但具有盲目性，不仅避障效率低下，而且由于环境的不确定性，可能会给机器人及周围物品造成不可预知的后果。非接触式防撞是机器人通过所携带的非接触式传感器探测前方障碍物与本体的距离从而做出下一步的路径规划的技术。该方式属于主动避障，可以提前感知障碍物以保证本体和周围物品的安全。

目前，非接触式障碍检测多使用超声波、红外探测和激光测距等方式实现。超声波和红外探测探头少，由于信号沿直线传播，因此检测面积有限，对于条状物体检测精度较差，容易造成漏测。激光测距采用大面积扫描技术，测量范围大，精度相较前两种是最高的，但装置体积大，成本也是最高的，难以普及。因此，需要一种室内环境下，低成本、高准确度的识别技术。

基于视觉来进行距离信息的探测是可行的方案，方案的实现主要分为单目视觉和双目视觉。基于单目视觉的技术无法直接获得目标物体的三维坐标信息，必须通过改变相机的位置来获取环境中特征点的距离信息，该方案实现起来比较困难，并且检测精度也难以满足实际场景的需要。而双目视觉作为计算机视觉领域的一个重要分支，是获得环境中特定物体的景深信息的一种有效方式。该方案通过两个相同的摄像头对同一场景同时拍摄一对照片，经特定的算法处理之后，得到该场景中特定物体的三维坐标信息，进而识别场景中障碍物的景深信息。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于双摄像头采集的图像，实现在室内环境下，提取景深信息的方法。包括以下处理流程：

S1：图像采集，获得目标场景的左、右图像；

S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；

S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；

S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；

S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；

S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；

S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；

S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。

本发明的有意效果：使用图像畸变校正算法和双边滤波降噪算法对双摄像头拍摄的图像对进行处理后，能够有效去除原始图像的噪声干扰，保留细节信息和边缘信息，并且能将图像间的位置关系调整至近似理想的状态，保证了后续处理过程的准确性。

进一步的，所述步骤S4中算法的输入是经过S2～S3操作后的图像对，使用基于SAD匹配代价函数的SGBM算法来搜索左、右图像中的匹配像素点，具体公式为：

其中，S表示SAD窗口范围，d表示左右图像中匹配点间的横坐标之差。

该步骤中具体包括：

S41，对两幅图像中的每个匹配像素点计算前文提到的匹配代价函数C(x,y,d)，用零初始化总的匹配代价函数S(x,y,d)；

S42，从3、5或者8个方向进行匹配，用迭代的方法计算每个方向上的匹配代价S^(r)(x,y,d)以及所有方向代价的总和S(x,y,d)；

S43，S(x,y,d)计算完成后，找到其最小值d(x,y)；

S44，做左-右检验来保证从左向右和从右向左(即双通道)匹配结果的一致性，将不是完全匹配的像素点标记为“无效”；

S45，过滤边缘部分误匹配的像素点。

进一步的，所述步骤S5中，该步操作通过图像阈值分割把S4得到的深度信息图中需要提取景深信息的目标区域从背景区域中分离出来，方便后续的景深信息提取操作。

进一步的，所述步骤S6通过三维重建处理S5的结果，得到目标场景中的特征点的坐标数据。

进一步的，所述步骤S7读取S6得到的目标场景的特征点坐标信息，之后从景深信息过滤和障碍物高度信息过滤两个方面来对特征点做进一步的过滤处理，从而得到的有用特征点。

进一步的，所述步骤S8会首先构建三个检测区域，通过检测各个区域内有用特征点的数量和分布，得到用于实现避障功能所需的数据。

本发明的有益效果：通过上述对图像的处理过程，可以生成对应目标区域的深度信息图，保证了处理过程时间消耗的合理性，提出的避障方法实现了对目标场景中特征点的过滤和分区域检测，能够得到用于实现避障功能所需的数据。

附图说明

图1是本发明实施例1的一种基于基于双目采集图像提取景深信息的方法的流程图；

图2是本发明实施例3的一种图像畸变校正操作前后的对比示意图；

图3是本发明实施例7的一种实测场景景深信息提取结果的趋势图。

图4是本发明实施例9的一种对深度信息图分割区域进行障碍检测的示意图。

具体实施方式

为了更加清楚的阐述本发明实施例的技术方案、实现方法，下面结合本发明实施例汇总的附图，对本发明实施例中的技术方案做更加详细、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的基于双目采集图像提取景深信息的方法的工作流程图，该流程包括：

S1：图像采集，获得目标场景的左、右图像；

S2：图像校正，使用图像畸变校正算法处理S1得到的左、右图像，得到近似理想位置关系的图像对；

S3：图像降噪，使用双边滤波方法处理S2得到的左、右图像，去除噪声干扰，同时保留图像细节和边缘信息；

S4：立体匹配，通过实际测试对比不同匹配算法的时间消耗和精度，使用调优后的SGBM算法处理S3得到的左、右图像，得到对应的深度信息图；

S5：图像阈值分割，对S4得到的深度信息图进行阈值分割，提取原图像中有用区域，方便后续的处理；

S6：三维重建，使用三维重建算法处理S5得到的深度信息图，得到包含特征点三维坐标信息的结果；

S7：获取并过滤特征点，提取S6得到的特征点坐标信息，从景深信息过滤和障碍物高度信息过滤两个方面对特征点做进一步处理；

S8：构建障碍检测区域，处理S7得到的特征点的坐标信息，得到用于实现避障功能的数据。

通过本实施例1的方法，完善了对原始图像的预处理操作，并在提取景深信息前对处理算法得到的深度信息图进行了阈值分割，这样就大大方便了后续的处理操作。

实施例3

如图2所示，是本发明提供的一种图像畸变校正操作前后的对比图，图中，P是三维空间中一点，Ol和Or分别为左、右摄像头的投影中心。由P、Ol和Or三点确定的平面叫做极平面。极平面与左、右摄像头投影平面分别有两个交点。pl和pr是P在左右相机成像平面上的投影点，el和er叫做极点，而plel和prer就是极线。给定其中一个相机的成像平面上图像中的一个待匹配点，它在另一个相机成像平面上图像中的对应点如果存在的话，其必定位于与待匹配点所在极线相对应的极线上，这种关系就是极线几何约束。极线几何约束的存在就意味着左、右两幅图像中匹配点搜索的二维查找过程可以简化成沿着对应极线的一维搜索。图中虚线框是经过校正后的理想位置，框内的实线即为左右图像某一特征点所对应的极线。需要注意的是，校正后的两极线是共线的关系，这就大大简化了后期的立体匹配。

需要说明的是，本实施例3是在实施例2的基础上进行的进一步说明。

可选地，在另一实施例4中所述的对原始图像的降噪处理采用双边滤波方法来进行，输出像素的值依赖于邻域像素值的加权组合：

双边滤波权重函数如下：

以上所示的两个式子中(k,l)表示滤波模板窗口中心的像素坐标，(i,j)表示模板窗口内其他像素的坐标，σd和σr表示高斯函数标准差，f(i,j)表示图像在(i,j)点的像素值，g(i,j)表示输出图像在(i,j)点的像素值。

实施例5

在实施例5中，所述步骤S4中算法的输入是经过S2～S3操作后的图像对，使用基于SAD匹配代价函数的SGBM算法来搜索左、右图像中的匹配像素点，具体公式为：

其中，S表示SAD窗口范围，d表示左右图像中匹配点间的横坐标之差。

该步骤中具体包括：

S41，对两幅图像中的每个匹配像素点计算前文提到的匹配代价函数C(x,y,d)，用零初始化总的匹配代价函数S(x,y,d)；

S42，根据上文提出的从不同方向进行匹配点搜多的策略，从3、5或者8个方向进行匹配，用迭代的方法计算每个方向上的匹配代价S^(r)(x,y,d)以及所有方向代价的总和S(x,y,d)；

S43，S(x,y,d)计算完成后，找到其最小值d(x,y)；

S44，做左-右检验来保证从左向右和从右向左(即双通道)匹配结果的一致性，将不是完全匹配的像素点标记为“无效”；

S45，过滤边缘部分误匹配的像素点。

可选地，在另一实施例6中所述S5包括：

使用图像阈值分割算法，基于像素的聚类信息，将S4得到的深度信息图分割成不同的区域，利用目标区域与背景在灰度特性上的差异性，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，进而提取目标区域，具体计算公式为：

其中，Zmax表示能够检测的最远距离，b表示相机间的基线距离，f表示相机焦距。

实施例6

使用三维重建算法处理S7得到的深度信息图，并提取目标特征点的三维坐标信息，其中z坐标即为景深信息，不同距离时的景深信息提取结果如下：

图3是本发明实施例7的一种实测场景下景深信息提取结果的趋势图，可以看到，当实际距离在250mm～500mm之间时，景深信息的提取结果相对精确，精度达到95％以上，同时，立体匹配的时间也控制在了1.5s以下，综合性能符合要求。

实施例8

基于图3得到的数据，对于位于摄像头前方250mm～500mm范围内的障碍物，使用本发明提出的方法能够以不低于95％的准确度提取其景深信息。当实际距离相对这个范围有较大的差距时，距离信息的提取结果就会出现较大的误差。因此，本发明首先对通过深度信息图获取的特征点进行过滤，去掉景深信息超过600mm的点，也就是通过其三维坐标信息中的z坐标对特征点进行过滤。

考虑到室内移动机器人(例如扫地机器人)的尺寸信息及工作方式，并不是所有的障碍物或障碍物的所有部分都会对机器人的工作移动产生影响。因此，本发明将会把深度信息图中的高度信息限制在200mm范围内。

实施例9

如图4所示，大的矩形框表示深度信息图，深度信息图中场景的有效宽度W在500mm～600mm范围内，三个虚线框表示特征点检测区域，宽度为l，此处将其设置为30mm。这样一来，就形成了两个宽度为w的区域，宽度在200mm左右，这个宽度要设置成允许机器人安全通过的大小。这种情况下，机器人下一步的移动的方向就有左前、直行和右前三种选择。

移动方向的选择要根据三个检测区域内特征点的分布情况来决定，最终检测区域内的特征点是否要判定为障碍物要根据提取到的特征点的数量来决定，也就是说，要设定一个阈值，只有当位于检测区域内的特征点数量大于该阈值时，才能认定该区域内存在明显的机器人不能通过的障碍物。

在确定某个检测区域内确实存在明显的障碍物后，还要进一步确定其到摄像头的距离。由于特征点众多，本发明采取如下的策略：采集到区域内所有特征点的坐标信息后，对所有点的三个坐标值分别取平均，这样就会得到一个新的坐标信息，用它来表示该区域内障碍物的位置信息。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。