基于双目相机视差图的道路障碍物检测系统及检测方法
【专利摘要】本发明提供了一种基于双目相机视差图的道路障碍物检测系统及方法。主要包括以下几个模块：双目立体校正模块，根据两台相机之间的位置关系(R,T)对其中一幅图像进行变换，使左右相机图像的对应极线平行。双目立体匹配模块，采用图分割算法进行双目立体匹配，计算左右相机对应图像点之间的视差，得到场景的视差图。高斯滤波模块，对原始的视差图进行高斯滤波，得到模糊后的视差图。图像裁剪模块，引入先验信息，对视差图进行一定程度的裁剪。视差图扫描模块，通过对视差图进行逐列扫描，确定障碍物在视差图上的位置，然后对提取到的区域进行三维重建，确定障碍物的位置，从而为车载视觉系统提供决策依据。
【专利说明】基于双目相机视差图的道路障碍物检测系统及检测方法
【技术领域】
[0001]该发明属于计算机视觉领域，主要是数字图像处理和双目立体重建。具体涉及一种基于双目相机视差图的道路障碍物检测系统及检测方法。
【背景技术】
[0002]城市道路环境中，智能车系统如何准确地检测前面出现的障碍物，确定障碍物与智能车之间的位置(主要是距离信息)，从而为规避行人、车辆等提供决策依据，是一个十分迫切并且非常重要的问题。由于基于雷达或者激光的障碍物检测测量方法，易受实际环境干扰，且数据量大，近年来，基于立体视觉的道路障碍物检测方法开始受到人们的广泛关注，应用越来越多。双目立体视觉能够对目标进行三维重建，但需要首先获得左右相机图像中有关目标的匹配关系，视差图是这种关系的一种直观表示。在复杂场景中，如何准确获得目标的匹配关系，即视差图，一直是计算机视觉领域关注的重要问题。在实际的工程应用中，在获得视差图后，还应该考虑如何提取出行人、车辆等障碍物，并对其进行三维重建，计算这些障碍物与相机之间的距离。
【发明内容】
[0003]为解决上述问题，本发明提供了一种基于双目相机视差图的道路障碍物检测系统及检测方法，该系统及方法可以准确的检测到前面出现的障碍物，从而确定障碍物与智能车之间的位置，从而为规避行人、车辆提供决策依据。
[0004]为实现上述目的，本发明采用以下技术方案:
[0005]一种基于双目相机视差图的道路障碍物检测系统，包括双目立体校正模块、双目立体匹配模块、高斯滤波模块、图像裁剪模块，以及视差图扫描模块；所述双目立体校正模块根据两台相机之间的位置关系对其中一幅图像进行变换，使左右两台相机图像的对应极线平行；所述双目立体匹配模块计算出左右相机对应图像点之间的视差，得到场景的视差图；所述高斯滤波模块对视差图进行高斯滤波后，图像裁剪模块对滤波后的图像进行裁剪，最后视差图扫描模块对裁剪后的图像逐列扫描，根据视差图灰度的变化确定障碍物的位置。
[0006]所述图像裁剪模块中存储有先验信息，根据该先验信息对滤波后的视差图进行裁剪。
[0007]—种基于双目相机视差图的道路障碍物检测方法，利用双目相机分别采集一幅图像，根据两台相机之间的位置关系对其中一幅图像进行变换，使两台相机所采集的图像的对应极线平行；接着，采用图像分割算法对双目相机进行匹配，获得场景的视差图，对该视差图进行高斯滤波，得到模糊后的视差图，然后，对模糊后的视差图进行裁剪后，对视差图进行逐列扫描，获得障碍物在视差图上的位置。
[0008]在检测之前，首先对双目相机进行调整，保证两台相机的光轴平行。
[0009]采用基于相似区域的局部匹配算法对双目相机进行匹配，获得场景的视差图。[0010]在检测之前，首先在离线状态下，通过使用棋盘格标定板，采用张正友的平面标定算法，获得双目相机各自的内参以及两相机之间的外参，从而实现双目视觉系统的构建。
[0011]双目相机图像的匹配是沿着极线搜索得到对应的匹配点而实现的。
[0012]所述双目相机的视差图是根据以下方法获得的:以极线约束为基础，构造反映像素间匹配关系的能量函数，然后通过求解能量函数的极值，得到双目相机图像上每个像素点之间的匹配关系，从而实现双目视觉系统的立体匹配，其输出是双目图像的视差图。
[0013]与现有技术相比，本发明基于双目相机视差图的道路障碍物检测系统及检测方法至少具有以下有益效果:本发明首先通过立体匹配得到双目相机的视差图，然后基于视差图扫描的方式，确定显著性目标，并对主要目标进行三维重建，从而实现对城市道路环境中的障碍物的识别与检测。
【专利附图】
【附图说明】
[0014]图1是本发明的总体框架:基于视差图的道路障碍物检测流程图
[0015]图2是本发明中视差图分析模块的大致结构
[0016]图3是本发明的一个检测结果:行人目标，其中，Ca)和(b)分别为左右相机采集的图像，(C)为得到的视差图，Cd)为用伪彩色显示的视差图，Ce)为障碍物检测的结果。
[0017]图4是本发明的另一个检测结果:车辆目标，其中，(a)和(b)分别为左右相机采集的图像，(C)为得到的视差图，Cd)为用伪彩色显示的视差图，Ce)为障碍物检测的结果。
[0018]下面结合附图和发明人给出的实施例对本发明进一步详细说明。
【具体实施方式】
[0019]本发明首先通过立体匹配得到双目相机的视差图(即两个双目相机所得到的图像的视差图)，然后基于视差图扫描的方式，确定显著性目标，并对主要目标进行三维重建，从而实现对城市道路环境中的障碍物的识别与检测。为了实现上述功能，本发明采用的技术解决方案分为两个部分，分别是:
[0020]一是基于立体匹配算法获取双目相机的视差图。具体包括:
[0021]双目立体校正模块，由于双目相机的光轴在相机内部，无法直接确定，因此两台相机光轴之间无法保证严格平行，而是受摆放位置、角度等因素的影响，存在一定的偏差，两台相机之间的位置关系可用旋转矩阵R和平移向量T表示。通过引入对极几何约束，两台相机采集的上的匹配点对之间存在极线约束，即左相机图像上的一点的匹配点，一定在右相机图像上的某个直线上，该直线称为极线。为了简化计算，降低匹配的时间复杂度，通常要对左右相机采集的图像进行立体校正，即根据两台相机之间的位置关系(R，T)对其中一幅图像进行变换，使左右相机图像的对应极线平行。
[0022]双目立体匹配模块，由于已经对双目相机进行了立体校正，从而可以直接在对应的平行线上搜索得到点与点之间的匹配关系。本发明中采用图分割算法进行双目立体匹配，该算法是一种基于相似区域的局部匹配算法，能够准确的计算出左右相机对应图像点之间的视差，从而得到双目相机的视差图。
[0023]二是基于视差图扫描的方法确定障碍物及其位置。具体包括:
[0024]高斯滤波模块，由于双目立体匹配算法存在匹配误差，所以原始的视差图上便有一定程度的噪声，且某些部分之间可能存在无法匹配的情况。这些因素都会对视差图扫描造成一定的影响，为此首先对原始的视差图进行高斯滤波，得到模糊后的视差图，从而实现降低噪声、平滑图像的目的。
[0025]图像裁剪模块，由于城市道路环境中的障碍物位于前方的道路上，对应到视差图上则是:障碍物出现在视差图的中下部分，而天空、树叶等背景则出现在视差图的偏上的部分。因此，实际处理时，可以引入这一先验信息，对视差图偏上部分进行一定程度的裁剪，从而减少干扰，提高检测的准确度。
[0026]视差图扫描模块，由于视差图反映了场景中的深度信息，具有相同深度的目标在视差图上对应相同的灰度值，因此，对于前方平坦道路，视差图水平方向上呈现的应该是近似波纹的形状，且随着深度的增加，图像亮度逐渐降低，而当某个距离上存在障碍物时，该位置的波纹形状便会发生显著的变化。通过对视差图进行逐列扫描，便可以确定视差图发生变化的位置，即障碍物在视差图上的位置，从而实现障碍物的检测，然后对提取到的区域进行三维重建，便可以确定障碍物的位置，从而为车载视觉系统提供决策依据。
[0027]本发明提出了一种有效的基于视差图的障碍物检测方法。首先使用双目相机，计算得到视差图，然后从视差图上提取特定目标(障碍物)，并进行重建。具体技术包括:
[0028]I)通过双目相机内外参标定技术，实现双目视觉系统的构建。
[0029]2)通过图像校正技术，实现双目相机图像校正功能。
[0030]3)通过立体匹配技术，实现立体匹配功能。
[0031]4)通过视差图扫描技术，实现障碍物提取与三维重建。
[0032]所述的双目相机内外参标定技术，是指通过使用棋盘格标定板，采用张正友的平面标定算法，准确地获得双目相机各自的内参以及两相机之间的外参，从而实现双目视觉系统的构建。该技术在离线状态下完成，可以先标定出双目相机各自的内参，然后再进行外参的标定；也可以对双目相机系统整体标定，同时得到双目相机的内外参。
[0033]所述的图像校正技术，是指基于Bouquet算法，利用标定获得的双目相机内外参，对双目相机采集的图像进行校正，目标是使双目相机图像的极线平行，且把对应极线调整到同一水平线上。采用图像校正技术后的双目图像，由于对应极线经过了调整，因而能够方便地沿极线搜索得到对应的匹配点，实现双目相机图像的匹配。
[0034]所述的立体匹配技术，是指基于Graph Cut算法，以极线约束为基础，采用图论中无向图的相关思想，构造能够反映像素间匹配关系的能量函数，然后通过求解能量函数的极值，得到双目相机图像上，每个像素点之间的匹配关系，从而实现双目视觉系统的立体匹配。该技术输出是双目图像的视差图，视差图直观地显示了双目图像之间的匹配关系。
[0035]所述的视差图扫描技术，是指对视差图进行列扫描，确定视差图中视差发生显著变化的区域。由于视差图反映了场景的深度信息，因此，对于理想的无障碍物道路上的视差图，列方向上的灰度值应该是均匀递增或递减的，不存在发生显著变化的区域。而当道路上存在障碍物时，视差图在列方向上便不再是均匀变化，所以通过视差图扫描，就可以确定视差图中灰度值发生显著变化的区域，从而实现障碍物的提取。通过调整灰度值变化阈值，便可以对不同深度范围的障碍物进行提取。对于提取出的障碍物区域，计算其相对于双目视觉系统的深度，从而实现对障碍物的三维重建。
[0036]按照上述技术方案，给出了以下的实施例。[0037]图1给出了基于双目相机视差图的道路障碍物检测技术的整体流程图。包括双目相机图像采集模块、双目校正模块、立体匹配模块、视差图扫描模块，最终给出图像中存在的障碍物以及对应的深度信息。整体框架是一种串行结构，对双目相机采集到的每帧图像同时进行分析，最终给出对障碍物进行三维重建后的结果。
[0038]图2给出了视差图扫描模块的具体实施流程。对于经过立体匹配技术得到的视差图，首先进行高斯模糊，以降低噪声水平，然后根据先验信息，对视差图进行一定程度的裁剪，以减少视差图扫描的复杂度和时间消耗，最后对视差图进行逐列扫描，得到检测结果。
[0039]图3给出了基于双目相机视差图的道路障碍物检测技术的一个检测结果，图像中主要障碍物是行人目标。图中第一行分别为左右相机采集的图像，第二行为计算得到的视差图以及用伪彩色显示的视差图，最后一行为障碍物检测的结果。从图中明显看出，该技术能够对道路上的障碍物实现检测，并能对其进行三维重建，给出障碍物的深度信息。
[0040]图4给出了基于双目相机视差图的道路障碍物检测技术的另一个检测结果，图像中主要障碍物是汽车目标。图中第一行分别为左右相机采集的图像，第二行为计算得到的视差图以及用伪彩色显示的视差图，最后一行为障碍物检测的结果。
【权利要求】
1.一种基于双目相机视差图的道路障碍物检测系统，其特征在于:包括双目立体校正模块、双目立体匹配模块、高斯滤波模块、图像裁剪模块，以及视差图扫描模块；所述双目立体校正模块根据两台相机之间的位置关系对其中一幅图像进行变换，使左右两台相机图像的对应极线平行；所述双目立体匹配模块计算出左右相机对应图像点之间的视差，得到双目相机的视差图；所述高斯滤波模块对视差图进行高斯滤波后，图像裁剪模块对滤波后的图像进行裁剪，最后视差图扫描模块对裁剪后的图像逐列扫描，根据视差图灰度的变化确定障碍物的位置。
2.如权利要求1所述的检测系统，其特征在于:所述图像裁剪模块中存储有先验信息，根据该先验信息对滤波后的视差图进行裁剪。
3.一种基于双目相机视差图的道路障碍物检测方法，其特征在于:利用双目相机分别采集一幅图像，根据两台相机之间的位置关系对其中一幅图像进行变换，使两台相机所采集的图像的对应极线平行；接着，采用图像分割算法对双目相机进行匹配，获得双目相机的视差图，对该视差图进行高斯滤波，得到模糊后的视差图，然后，对模糊后的视差图进行裁剪后，对视差图进行逐列扫描，获得障碍物在视差图上的位置。
4.如权利要求3所述的检测方法，其特征在于:在检测之前，首先对双目相机进行调整，保证两台相机的光轴平行。
5.如权利要求3所述的检测方法，其特征在于:采用基于相似区域的局部匹配算法对双目相机进行匹配，获得双目相机的视差图。
6.如权利要求3所述的检测方法，其特征在于:在检测之前，首先在离线状态下，通过使用棋盘格标定板，采用张正友的平面标定算法，获得双目相机各自的内参以及两相机之间的外参，从而实现双目视觉系统的构建。
7.如权利要求3所述的检测方法，其特征在于:双目相机图像的匹配是沿着极线搜索得到对应的匹配点而实现的。
8.如权利要求3所述的检测方法，其特征在于:所述双目相机的视差图是根据以下方法获得的:以极线约束为基础，构造反映像素间匹配关系的能量函数，然后通过求解能量函数的极值，得到双目相机图像上每个像素点之间的匹配关系，从而实现双目视觉系统的立体匹配，其输出是双目图像的视差图。
【文档编号】G06T7/00GK103679707SQ201310619180
【公开日】2014年3月26日 申请日期:2013年11月26日 优先权日:2013年11月26日
【发明者】杨海伟, 王飞, 何一聪, 徐林海, 杨梓, 何永健 申请人:西安交通大学