采用视差图像检测路边的方法及系统的制作方法
【专利摘要】本发明提供了一种采用视差图像检测路边的方法，包括：在视差图像上估计路面区域并去噪；通过道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边区域；以及通过判断视差图像上相关像素点间的视差差别，检测出路边的类型和位置。
【专利说明】采用视差图像检测路边的方法及系统
【技术领域】
[0001]本发明涉及一种利用视差图像快速检测道路路边类型的新方法。
【背景技术】
[0002]随着汽车的普及，日常交通运输越来越繁忙，交通安全日益成为人们所关注的焦点。因此，人们希望参与交通的车辆能够具备更多的智能特点，从而替代驾驶人员判断一部分安全事宜。交通安全一个方面涉及车辆本身构成元件是否安全，另一个方面涉及车辆行进的环境是否安全。对于后者，主要通过驾驶员了解路面的情况来进行判断。然而，在驾驶员处于疲劳或注意不到的情况下，往往会发生危险。因此，人们需要一种方法和系统能够在驾驶员未能作出判断的情况下代替驾驶员进行一些道路安全情况的判断，以规避危险。
[0003]美国专利US6813370B1利用灰度图上的亮度信息以及由视差图像计算出来的距离信息检测路面上的白线。该专利由上一帧中白线检测的结果得到这一帧的白线检测区域，并利用亮度信息和距离信息来检测白线。
[0004]美国专利US7346190B2通过一种投影映射的方法来检测道路上的交通线。该方法将视差图像上的交通线区域里的点按照与道路垂直的方向进行投影，投影后得到一个直方图，再根据直方图上的信息来检测道路上的交通线。虽然它用到了三维的信息来检测，但主要利用了道路垂直方向得到的投影直方图。当道路路边的高度不同时(倾斜路面)，这种方法就不好用了。
[0005]以上专利描述的方法并不能有效地提供一种快速检测各种道路路边的方法。利用视差图像的传统的道路路边检测方法需要用到U视差图和V视差图。它先在U视差图上得到消失点的位置和各个待选路边直线，然后再在V视差图上计算各个待选路边直线所属的路边类型。这种方法能得到很准确的路边检测结果，但它非常耗时。视差图像上的每个像素点都被用到了不止一遍。U图上留下的待选路边直线的数目，取决于阈值。每条路边直线的判定，都需要U视差图和V视差图上的2次计算。
【发明内容】
[0006]因此，人们需要一种准确而又快速地检测出路边的方法。本专利提供了一种方法，可以快速检测出道路路边的类型和位置。该方法可以被用到车载摄像机的多种应用中。
[0007]本发明提供了一种采用视差图像检测路边的方法，包括:在视差图像上估计路面区域并去噪；通过道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边区域；以及通过判断视差图像上相关像素点间的视差差别，检测出路边的类型和位置。
[0008]根据本发明的采用视差图像检测路边的方法，所述在视差图像上估计路面区域并去噪包括:利用边缘算子，在原视差图的基础上生成边缘图像；由V视差图上估计的路面方程，在边缘视差图中分割出路面区域；以及去噪模块利用路边上像素点在边缘视差图上值的单调性，去除噪声。
[0009]根据本发明的采用视差图像检测路边的方法，其中所述通过道路真实宽度与路边倾斜角度在视差图像上的对应关系来确定路边区域包括:通过过去η帧中的，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立路边区域估计模型；基于建立的路边区域估计模型以及常用预测方法，预测出当前帧的路边检测区域；以及更新模块由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。
[0010]根据本发明的采用视差图像检测路边的方法，其中所述建立路边区域估计模型包括:选择图像上的感兴趣区域来减少计算时间；采用某种计算方法，将上述区域中直线的位置确定出来；通过道路真实宽度与路边直线在视差图像上的对应关系，来确定感兴趣区域中的路边区域；以及利用路边延伸性来生长源路边区域。
[0011]根据本发明的采用视差图像检测路边的方法，其中所述检测出路边的类型和位置包括:扫描路边区域一遍，利用像素之间视差值的差别，只留下有用的路边上的像素点；采用某种计算方法，将上述区域中直线的位置确定出来；以及根据直线上像素点的路边类型，从而确定整条直线的路边类型
[0012]根据本发明的另一个方面，提供了一种采用视差图像检测路边的系统，包括:视差图像预处理模块，在视差图像上估计路面区域并去噪；路边区域估计模块，通过道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边区域；以及路边检测模块，通过判断视差图像上相关像素点间的视差差别，从而检测出路边的类型和位置。
[0013]根据本发明的采用视差图像检测路边的系统，所述视差图像预处理模块包含:
[0014]边缘视差图生成模块，利用边缘算子，在原视差图的基础上生成边缘图像；
[0015]路面区域分割模块，由V视差图上估计的路面方程，在边缘视差图中分割出路面区域；以及
[0016]去噪模块，利用路边上像素点在边缘视差图上值的单调性，去除噪声。
[0017]根据本发明的采用视差图像检测路边的系统，所述路边区域估计模块包含:路边区域建模模块，通过过去η帧中的，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立路边区域估计模型；路边区域预测模块，基于建立的路边区域估计模型以及常用预测方法，预测出当前帧的路边检测区域；路边区域估计模型更新模块，由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。
[0018]根据本发明的采用视差图像检测路边的系统，所述路边区域建模模块包含:感兴趣区域选择模块，选择图像上的感兴趣区域来减少计算时间；直线生成模块，采用某种计算方法，将上述区域中直线的位置确定出来；角度约束区域判别模块，通过道路真实宽度与路边直线在视差图像上的对应关系，来确定感兴趣区域中的路边区域；以及路边区域生长模块，利用路边延伸性来生长源路边区域。
[0019]根据本发明的采用视差图像检测路边的系统，所述路边检测模块包含:待选像素生成模块，扫描路边区域一遍，利用像素之间视差值的差别，只留下有用的路边上的像素点；直线生成模块，采用某种计算方法，将上述区域中直线的位置确定出来；以及路边类型判断模块，根据直线上像素点的路边类型，从而确定整条直线的路边类型。
[0020]概括而言，本专利提出了一种在视差图像上，基于视差图性质直接检测路边的方法。在估计出路面区域并利用路边视差值单调性进行去噪后，路边的快速检测方法包含如下2个部分:由路边区域估计模型生成当前帧的路边检测区域，再由视差图像上相关像素点间的视差差别，在路边检测区域中检测出路边的类型和位置。通过过去η帧中的，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立路边区域估计模型。再由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。扫描当前路边区域一遍，只留下有用的路边上的像素点，通过判断这些相关像素点间的视差差别，确定每个像素点的路边类型，从而确定出整条路边的实际类型。
[0021]可见，本发明由道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边检测区域。其中利用像素间视差值的差别来一次性检测出路面上的各种路边，包括白线，路肩石等。
【专利附图】
【附图说明】
[0022]通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
[0023]图1所示的利用了根据本发明的方法和系统的图像处理系统的示意图；
[0024]图2所示的是图像处理模块的方框图；
[0025]图3所示的是采用根据本发明的路边检测系统的模块图；
[0026]图4所示的是采用根据本发明的路边检测方法的数据流向示意图；
[0027]图5所示的是根据本发明的路边检测方法的主流程图.
[0028]图6A所示的是根据本发明的路边检测系统的视差图像预处理过程的流程图；
[0029]图6B所示的是表示路边上的点的窗口示意图；
[0030]图7所示的是根据本发明的路边检测系统的路边区域估计过程的流程图；
[0031]图8所示的是根据本发明的路边检测系统的路边区域建模过程的流程图；
[0032]图9所示的是根据本发明的路边检测系统的路边检测过程的流程图；
[0033]图1OA和IOB所示的是根据本发明的路边检测系统的待选像素生成过程的流程图；
[0034]图11所示的是边缘视差图和路面区域示意图；
[0035]图12A-12C所示的是根据本发明的路边检测方法的路边区域估计模型建模过程示意图；
[0036]图13A和13B所示的是根据本发明的路边检测方法的路边检测过程示意图；
[0037]图14A和14B所示的是立体视觉原理图；
[0038]图15A-15C所示的是两条路边与Rwidth之间的角度关系的示意图。
【具体实施方式】
[0039]下面结合附图描述本发明实施例。
[0040]图1所示的利用了根据本发明的方法和系统的图像处理系统的示意图。图像处理系统安装在车辆100之上。该系统包括双目摄像头101或两个单独摄像头，以及图像处理模块102。摄像头101安装在靠近车辆后视镜的位置，用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的图像信号，计算它们的场景类别，基于类别赋予不同的权重来融合两幅图像，并所获得融合图像检测路面白线。车辆控制模块103接收由图像处理模块102输出的信号，根据检测得到的当前白线，生成控制信号来控制车辆100的行驶方向和行驶速度。[0041]图2所示的是根据本发明的方法和系统的图像处理系统的结构示意图。摄像头101包括图像传感器201和摄像头数字信号处理器(digital signal processing, DSP)202。图像传感器201将光信号转换为电子信号，将捕获的当前车辆100前方的图像转换为模拟图像信号，再将结果传入摄像头DSP202。如果需要，摄像头101还可以进一步包括镜头，滤镜，等等。尽管在本发明的实施例中仅仅给出了两个摄像头，但是本发明的实施方式可以包含多个摄像头101，这些摄像头配准后可以同时捕获多幅图像。
[0042]摄像头DSP202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。图像输入接口 203按规定的时间间隔取得图像。视差图成像模块204利用立体视觉原理，将输入的一对数字图像转换为视差图。然后视差图像被写入内存206，由程序207进行分析和处理。此处的图像处理包括多种操作，诸如去噪，建立路边区域估计模型，检测路边类型等等。在ROM中的程序207执行一系列的操作来检测最终的路边类型。在此过程中，CPU 205负责控制操作及运算操作，例如由接口获得数据，执行图像处理等。
[0043]图3所示的是采用根据本发明的路边检测系统的模块图。对于待检测的一幅视差图像，视差图像预处理单元Fl在视差图像上由路面方程估计路面区域，并基于路边视差值的单调性去噪。路面区域由道路表面每点所在位置决定，无论它是平路还是颠簸路面，上坡还是下坡。如果路边区域估计模型还没有建立的话，那么由路边区域模型建模单元F2，根据过去η帧中，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立模型。如果路边区域估计模型已经建立的话，那么就由路边区域预测单元F3根据此模型和常用预测方法，预测出当前帧的路边检测区域。然后路边检测单元F4通过判断这些区域内留下的相关像素点间的视差差别，从而检测出路边的类型和位置。这种方法只需扫描路边区域一遍，只留下有用的路边上的像素点，再通过这些像素点的路边类型，从而检测出整条路边的实际类型。路边区域模型更新单元F5由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。
[0044]图4所示的是采用根据本发明的路边检测方法的数据流向示意图。首先由立体相机得到视差图像SI和S2。然后经过路面区域选取和去噪等操作后，得到预处理后的视差图像S3。路面区域估计模型S4通过过去η帧中，道路真实宽度与路边倾斜角度在视差图像上的对应关系来建立。然后由此模型S4，结合常用预测方法，得到待检测视差图像S2上的预测的路边区域S5。在路边区域S5中扫描一遍，只留下有用的路边上的像素点S6，每个像素点都有一个路边类型。经过拟合像素点S6，得到路边的位置；路边上像素点数目最多的路边类型，即为整条路边的类型。得到最终的路边检测结果S7。
[0045]图5所示的是根据本发明的路边检测方法的主流程图。首先，视差图像预处理模块21在边缘视差图上估计路面区域并去噪。然后，路边区域估计模块22通过道路真实宽度与路边倾斜角度在视差图像上的对应关系来预测路边区域。最后，路边检测模块23在预测的路边区域内，利用相关像素点间的视差差别，检测出路边的类型和位置。所有这些都将在后面详细论述。
[0046]图6Α所示的是根据本发明的路边检测系统的视差图像预处理过程的流程图。在密集视差图像中，很难检测到路边，因此第一步，需要先生成边缘视差图，即边缘视差图生成模块211所做的工作。可以通过Sobel算子等边缘算子来对原密集视差图像进行处理，得到边缘视差图。然后由估计得路面方程，分割出路面区域，即路面区域分割模块212所做的工作。路面区域包括路面以及路面上的各种物体。我们用高度信息来近似估计路面方程。有很多方法可以用于此处的路面估计，一种实施方法是，采用基于V视差图的方法。当我们得到路面方程后，根据高度信息，取适当的阈值，移除路面区域之外的边缘视差图像上的点，只留下边缘视差图上的路面区域。图11是对边缘视差图像以及路面区域选取后的示意图。
[0047]去噪模块213利用路边视差值的单调性来去除噪声。路边上点的视差值应该是连续的。越靠近驾驶员方向的像素点的视差值越大，越接近消失点的像素点的视差值越小。因此，在边缘视差图上，路边上的点P应该满足:
[0048]d (above_pt) <d (p) <d (below_pt)
[0049]这里，d(p)是p点处的视差值，above_pt是p点上面位置的点，below_pt是p点下面位置的点，具体位置如下图所示。所有这些点都在一个去噪窗口里，例如一个3*3或者5*5大小的窗口。图6B所示的是该窗口的示意图。
[0050]所有的路边在远处交于消失点这一个点的地方，并且路边都在消失点以下，因此，当去噪窗口在消失点左下方的时候，above_pt应该在p点的右上方，below_pt应该在p点的左下方；当去噪窗口在消失点右下方的时候，above_pt应该在p点的左上方，below_pt应该在P点的右下方；当去噪窗口在消失点正下方的时候，above_pt应该在P点的正上方，below_pt应该在P点的正下方。
[0051]图7所示的是根据本发明的路边检测系统的路边区域估计过程的流程图。对于一幅待检测的输入图像，如果路边 区域估计模型还没建立的话，那么先由路边区域建模模块221建立此模型。路边区域建模模块221根据过去η帧中，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立模型。除去有干扰的线，只留下路边线。这个模块将在后面详细叙述。如果路边区域估计模型已经建立了的话，路边区域预测模块222根据此模型和常用预测方法，预测出当前帧的路边检测区域。这可以减少之后路边检测的范围，减少路边检测的时间。在一种实施方法中，卡尔曼滤波被选作预测的方法。预测目标包含四个参数(X方向位置坐标(x-position)，y方向位置坐标(y-position)，宽度(width),高度(height)),这四个参数描述了路边区域的信息。
[0052]状态向量表示为x(t) = (x, y, dx, dy, W，h)T,其中x, y是目标中心点的坐标，dx, dy是中心点在水平和垂直方向的改变，w,h是预测目标的宽度和闻度。状态转移矩阵表不为:
【权利要求】
1.一种采用视差图像检测路边的方法，包括: 在视差图像上估计路面区域并去噪； 通过道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边区域；以及 通过判断视差图像上相关像素点间的视差差别，检测出路边的类型和位置。
2.如权利要求1所述的采用视差图像检测路边的方法，所述在视差图像上估计路面区域并去噪包括: 利用边缘算子，在原视差图的基础上生成边缘图像； 由V视差图上估计的路面方程，在边缘视差图中分割出路面区域；以及 去噪模块利用路边上像素点在边缘视差图上值的单调性，去除噪声。
3.如权利要求2所述的采用视差图像检测路边的方法，其中所述通过道路真实宽度与路边倾斜角度在视差图像上的对应关系来确定路边区域包括: 通过过去η帧中的，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立路边区域估计模型； 基于建立的路边区域估计模型以及常用预测方法，预测出当前帧的路边检测区域；以及 更新模块由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。
4.如权利要求3所述的采`用视差图像检测路边的方法，其中所述建立路边区域估计模型包括: 选择图像上的感兴趣区域来减少计算时间； 采用某种计算方法，将上述区域中直线的位置确定出来； 通过道路真实宽度与路边直线在视差图像上的对应关系，来确定感兴趣区域中的路边区域；以及 利用路边延伸性来生长源路边区域。
5.如权利要求1所述的采用视差图像检测路边的方法，其中所述检测出路边的类型和位置包括: 扫描路边区域一遍，利用像素之间视差值的差别，只留下有用的路边上的像素点； 采用某种计算方法，将上述区域中直线的位置确定出来；以及 根据直线上像素点的路边类型，从而确定整条直线的路边类型
6.一种采用视差图像检测路边的系统，包括: 视差图像预处理模块，在视差图像上估计路面区域并去噪； 路边区域估计模块，通过道路真实宽度与路边倾斜角度在视差图像上的对应关系，来确定路边区域；以及 路边检测模块，通过判断视差图像上相关像素点间的视差差别，从而检测出路边的类型和位置。
7.如权利要求6所述的采用视差图像检测路边的系统，所述视差图像预处理模块包含: 边缘视差图生成模块，利用边缘算子，在原视差图的基础上生成边缘图像； 路面区域分割模块，由V视差图上估计的路面方程，在边缘视差图中分割出路面区域；以及 去噪模块，利用路边上像素点在边缘视差图上值的单调性，去除噪声。
8.如权利要求6所述的采用视差图像检测路边的系统，所述路边区域估计模块包含: 路边区域建模模块，通过过去η帧中的，道路真实宽度与路边倾斜角度在视差图像上的对应关系，建立路边区域估计|吴型； 路边区域预测模块，基于建立的路边区域估计模型以及常用预测方法，预测出当前帧的路边检测区域；以及 路边区域估计模型更新模块，由当前帧的路边检测结果以及过去m帧的可信区域累计结果，更新路边区域估计模型。
9.如权利要求8所述的采用视差图像检测路边的系统，所述路边区域建模模块包含: 感兴趣区域选择模块，选择图像上的感兴趣区域来减少计算时间； 直线生成模块，采用某种计算方法，将上述区域中直线的位置确定出来； 角度约束区域判别模块，通过道路真实宽度与路边直线在视差图像上的对应关系，来确定感兴趣区域中的路边区域；以及 路边区域生长模块，利用路 边延伸性来生长源路边区域。
10.如权利要求6所述的采用视差图像检测路边的系统，所述路边检测模块包含: 待选像素生成模块，扫描路边区域一遍，利用像素之间视差值的差别，只留下有用的路边上的像素点； 直线生成模块，采用某种计算方法，将上述区域中直线的位置确定出来；以及 路边类型判断模块，根据直线上像素点的路边类型，从而确定整条直线的路边类型。
【文档编号】G06K9/00GK103679121SQ201210342374
【公开日】2014年3月26日 申请日期:2012年9月14日 优先权日:2012年9月14日
【发明者】胡平, 师忠超, 鲁耀杰, 王刚 申请人:株式会社理光