道路边缘检测方法和装置制造方法

道路边缘检测方法和装置制造方法
【专利摘要】公开了一种道路边缘检测方法和装置。该道路边缘检测方法可以包括：获得包括道路区域的视差图和对应的V-视差图；在V视差图中提取道路线Lv；基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及在该子U视差图中自适应地提取道路边缘。根据本发明实施例的道路边缘检测方法和装置，即使在不具有精确的路面信息的情况下，也能够准确地检测到道路边缘。
【专利说明】道路边缘检测方法和装置

【技术领域】
[0001]本发明涉及立体图像处理，更具体地涉及道路边缘检测方法和装置。

【背景技术】
[0002]驾驶辅助系统的应用日渐普及。道路或车道警告系统(Lane/Road detect1nwarning, LDW/RDW)是驾驶辅助系统的子系统，可以避免碰撞，更准确地确定驾驶方向等。道路检测对于LDW/RDW系统非常关键，只有在知道了道路/[目息的基础上才可能做进一步的处理，例如警告。道路检测又包括路面检测、道路边缘(或道路边界)检测等等。
[0003]道路边缘检测本身可以为司机提供提示信息，以防止驶离道路。同时，道路边缘检测和路面检测会相互影响，并且对3D驾驶环境理解技术中的路边护栏检测，消失点检测，车辆识别等有很大的影响。
[0004]立体相机具有可以获得高精度视差图及距离图像的优势，因而得到了广泛的应用。
[0005]在美国专利公开US2011063097中，公开了一种检测路边界的设备，其中假定路面已知，首先基于三维对象距离信息高于预定值，检测在第一道路区域中存在的路面边界的高度；对于无法检测到路面边界高度的第二道路区域，计算与第一道路区域的相似度；如果二者相似，则判定第二道路区域为道路边界。
[0006]在美国专利公开US2010017060中，提出了一种检测道路边界的方法和系统，其中，使用基于光的感测系统捕获输入距离数据(range data);将输入距离数据分解为高度上的信号和投射到地面的信号；首先，通过过滤技术处理基于高度(elevat1n)的信号以识别是否为一段道路候选区域，并通过模式识别技术来判定该段道路候选区域是否为一段道路；然后识别投射在地面上的信号的线表示(line representat1n),并将该线表示与俯视图(top-down view)中的简单道路模型相比较，以确定该候选区域是否是具有道路边缘的一段道路。


【发明内容】

[0007]现有技术中经常以已经检测到正确的路面为前提来进行道路边缘检测，然而在进行道路路面检测时，尤其是在距离较远的情况下，检测到的道路路面很可能是错误的，例如经常会将道路外侧的物体等误认为是道路。而如果基于错误给出的路面来进行道路边缘检测，则很可能检测到的道路边缘也是错误的。
[0008]本发明的一个目的是提高道路边缘的鲁棒性，以便即使不具有精确的路面信息，也能够准确地检测到道路边缘。
[0009]根据本发明的一个方面，提供了一种道路边缘检测方法，可以包括:获得包括道路区域的视差图和对应的V-视差图；在￥视差图中提取道路线Lv;基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及在该子U视差图中自适应地提取道路边缘。
[0010]根据本发明的另一方面，提供了一种道路边缘检测装置，可以包括:视差图和V视差图获得部件，获得包括道路区域的视差图和对应的V-视差图^视差图中道路线提取部件，在V视差图中提取道路线Lv ;子U视差图获得部件，基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及道路边缘自适应提取部件，在该子U视差图中自适应地提取道路边缘。
[0011]根据本发明实施例的道路边缘检测方法和装置，即使在不具有精确的路面信息的情况下，也能够准确地检测到道路边缘。

【专利附图】

【附图说明】
[0012]图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图。
[0013]图2示例地示出了在车上安装双目相机情况下的系统操作示意图。
[0014]图3是根据本发明一个实施例的道路边缘检测方法的整体流程图。
[0015]图4中的(a)和(b)分别示意性地示出了根据一个实施例由车载双目相机拍摄得到的灰度图和对应的视差图。
[0016]图5(a)示意性地示出了根据本发明一个实施例的V视差图；图5(b)示意性地示出了根据本发明一个实施例V视差图中提取到的分段道路线段。
[0017]图6 (a)示出了 V视差图中比提取到的分段道路线段Lv高的曲线Lh ;图6 (b)示出了视差图中与V视差图中的曲线Lh以下对应的部分；图6(c)示出了子U视差图。
[0018]图7示出了在子U视差图中自适应提取道路边缘的示例方法的流程图。
[0019]图8(a)中示出了根据一个实施例的V视差图中提取的道路线Lv的示意图，图8(b)示出了视差图中的近距离道路点(可靠点)，图8(c)示出了灰度图中的近距离道路点(可靠点)，图8(d)示出了可靠点在U视差图中的投影，图8(e)示出了可靠点在子U视差图中的部分。
[0020]图9(a)中示意性示出了 U视差图中的可靠道路点，图9(b)示出了根据一个示例在子U视差图中提取到的第一道路边缘线的示意图。
[0021]图10示出了根据本发明一个实施例的提取与先前提取到的道路边缘线段连续的道路边缘线段的示例性方法的流程图。
[0022]图11示意性地示出了示例性第一道路边缘线段。
[0023]图12示出了获得的用于提取下一道路边缘的的感兴趣区域ROI的示意图。
[0024]图13中的(a)示意性地示出了用于提取下一道路边缘线段的可靠点(在U视差图中)，图13中的(b)示意性地示出了在子U视差图中基于这样的可靠点提取的下一道路边缘线段。
[0025]图14示意性地在灰度图中示出了所提取的道路边缘。
[0026]图15示出了根据本发明一实施例的道路边缘检测装置4000的框图。
[0027]图16是示出按照本发明实施例的道路边缘检测系统6000的硬件配置的概念图。

【具体实施方式】
[0028]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。另外，为了避免混淆本发明的要点，对于一些本领域公知的技术将不做详细说明。
[0029]将按如下顺序进行描述:
[0030]1、基本概念介绍
[0031]2、应用环境示意和车载环境下的操作示意图
[0032]3、道路边缘检测方法的实施例
[0033]4、子U视差图中自适应提取道路边缘的方法示例
[0034]5、基于子U视差图中提取的道路边缘在视差图中提取道路边缘
[0035]6、道路边缘检测装置
[0036]7、系统硬件配置
[0037]8、总结
[0038]1、基本概念介绍
[0039]下面介绍一下本发明所涉及的基本概念，以便于理解。
[0040]视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
[0041]视差图:视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。
[0042]普通二维视差图中的某点以(U，V，d)表示，其中U为横坐标，V为纵坐标，d表示由U，V限定的点处的视差。
[0043]U视差图和V视差图:为便于理解，形象地说，V视差图可以视为视差图的侧视图，而U视差图可以视为视差图的俯视图。V视差图可以从视差图中计算得到。V-视差图中任意一点(d，V)的灰度值是对应视差图的纵坐标为V的行中视差值等于d的点的个数。V视差图中的V对应于(U，V)图像坐标系统中的垂直坐标V。对于视差图中的一点(u，v，d)，其在V视差图中将投影到点(v，d)。类似地，U视差图可以从视差图中计算得到。U-视差图中任意一点(u，d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。U视差图中的U对应于(U，V)图像坐标系统中的水平坐标U。对于视差图中的一点(u，v，d)，其在U视差图中将投影到点(u，d)上。
[0044]在本文中，U视差图中的用于提取道路边缘的部分点组成的图被称为子U视差图。
[0045]有关视差图、V视差图和U视差图以及在路面检测中的应用可以参考相同发明人游赣梅等的中国专利申请第201110434873.X号和发明人陈超等的中国专利申请第201210513215.4号，这里通过引用将这两篇专利全部并入本文。
[0046]2、应用环境示意和车载环境下的操作示意图
[0047]图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图。本发明的软件或者硬件实现可以作为其中的道路边缘检测部件。
[0048]图2示例地示出了在车上安装双目相机情况下的系统操作示意图。
[0049]如图2所示，汽车上配备有双目相机，双目相机拍摄左右图像，左右图像存储在系统的存储器中，芯片处理该左右图像，获得视差图、V-视差图和U-视差图等，以及可以进行道路边缘检测等。
[0050]3、道路边缘检测方法的实施例
[0051]图3是根据本发明一个实施例的道路边缘检测方法1000的整体流程图。
[0052]在步骤SllOO中，获得包括道路区域的视差图和对应的V-视差图。
[0053]可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到V视差图，有关双目相机、多目相机、立体相机等可以例如如图1或图2所示安装在车辆的前端。或者，可以从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到V视差图。
[0054]前文描述的情形是先获得视差图，然后从视差图获得V视差图。不过这仅为示例，也可以通过对例如双目相机获得的图像进行处理或计算，直接获得V视差图。
[0055]有关视差图和视差图在V视差图(以及在U视差图)中的投影，可以参考作者为 Zhencheng Hu, Francisco Lamosa, Keiichi Uchimura 的标题为，，A CompleteU-V-Disparity Study for Stereovis1n Based 3D Driving EnvironmentAnalysis”.3DM2005:204-211的非专利文献中的介绍。
[0056]图4中的(a)和(b)分别示意性地示出了根据一个实施例由车载双目相机拍摄得到的灰度图和对应的视差图。
[0057]另外，根据一个实施例对于视差图或者V视差图可以进行去噪处理。
[0058]在步骤S1200中，在V视差图中提取道路线Lv。
[0059]如相同发明人游赣梅等做出的中国专利申请第201110434873.X号中所公开的，一段平坦路面在V-视差图中近似呈现为一段斜线段，而对于不平的路面，其可以视为由多段平坦路面组成，该多段平坦路面在V-视差图中呈现为多段斜率不同的斜线段。
[0060]从V视差图中提取线段的技术可以例如基于霍夫变换或者最小二乘法技术等。
[0061]V视差图中的道路线Lv可以表示为y=cl*d+c2，其中(y，d)表示所提取的道路直线Lv上的一点坐标，y表示V视差图中垂直轴上的点的坐标，d表示视差,其中的cl表示直线的斜率，而c2表示在垂直轴上的截距(即视差等于O时)。在以多段斜率不同的斜线段拟合不平路面的情况下，每条斜线段对应的参数Cl和c2可以不同。
[0062]根据一个实施例，从V视差图中提取线段作为路面包括:按照视差从大到小，即按照距离(如相对于安装在车辆上的相机而言)由近到远的顺序，从V视差图中提取分段线段作为路面；其中每段线段是基于约束的霍夫变换进行估计得到的；以及基于前一段估计出的直线参数来限定后一段线段的初始直线参数。
[0063]关于从V视差图中提取分段线段来模拟路面，可以参考由发明人游赣梅等做出的申请号为CN201110434873.X的中国发明专利申请中的技术内容。也可以参考作者为Jun Zhao, Mark Albert ffhitty, Jayantha Katupitiya 的标题为 Detect1n of non-flatground surfaces using V-Disparity images.1R0S2009:4584-4589 的文章。这里，通过引用将上述文献的全文合并于本文。
[0064]图5 (a)示意性地示出了根据本发明一个实施例的V视差图，其中给出了示例性的V坐标轴和d坐标轴，后续的V视差图均采用该形式的vd坐标系统；图5 (b)示意性地示出了根据本发明一个实施例V视差图中提取到的分段道路线段，其中由标号I指示的线段代表的路面距离拍摄的相机最近，由标号2指示的线段代表的路面距离拍摄的相机次之，而由标号3指示的线段代表的路面距离拍摄的相机最远，图5 (b)中的三条竖线表示三段路面之间的分界。
[0065]在步骤S1200中提取道路线Lv之后，前进到步骤S1300。
[0066]在步骤S1300中，基于V视差图中提取的道路线Lv，获得包含道路的子U视差图。
[0067]如前文所述，U视差图可以视为视差图的俯视图。这里获得的子U视差图是所涉及的视差图的俯视图的一部分，或者说是视差图中的一部分的俯视图，具体地是道路相关的部分，因此本文称之为子U视差图。
[0068]为了获得子U视差图，在一个实施例中，可以首先选择视差图中与道路相关的部分；然后，使用视差图中所选择的部分来创建子U视差图，该子U视差图将用于提取道路边缘。
[0069]优选地，在选择视差图中与道路相关的部分时，希望能够覆盖所有可能为道路的点。在一个实施例中，考虑在视差图中选择距在步骤S1200中初步提取出的道路路面的距离小于预定高度阈值h的点，该预定高度阈值应该足够大以包含即使在非平坦路面情况下的道路点，在一个示例中可以设置为2m。为了进行道路点选择,在一个示例中，首先在V视差图中获得到道路线Lv (在上述步骤S1200中提取)的垂直距离为预定高度阈值h的曲线Lh。在实际三维世界中的高度h与V视差图中的像素数目之间存在一定的换算关系。具体地，对于每个视差值d，每个像素所对应的实际高度hpiMl可以由拍摄视差图的两个相机之间的距离Disteamera来根据下面的公式⑴来确定。
[0070]hpixel=DistCamera/d (I)
[0071]在每个视差d处，我们可以根据下面的公式(2)确定实际三维世界中距离道路路面高度为h的情况对应于在V视差图中到道路线Lv的垂直距离为k个像素的情况。
[0072]k=h/hpixel (2)
[0073]以此方式，可以获得图6(a)中所示的曲线Lh，其中Lh与Lv之间在垂直方向上的距离对应于真实三维世界中的h。
[0074]在V视差图中得到曲线Lh之后，将V视差图中所有在曲线Lh以下的点回溯到视差图中，从而获得了视差图中所有距路面高度在h以下的点，或者说，所有其在V视差图中的投影在Lh以下的点。由此，可以获得视差图所选择的部分，如图6(b)所示。
[0075]在视差图中获取了所选择的部分之后，该所选择的视差图部分的俯视图即为子U视差图，如图6(c)所示。
[0076]总结言之，根据一个实施例，基于V视差图中拟合的道路线Lv，从视差图获得包含道路的子U视差图包括:提取V视差图中满足y〈cl*d+c2+H的点,其中H为与实际三维世界中距道路的预定垂直高度对应的正数值；在视差图中获得与所述V视差图中提取的点对应的点；以及将所述视差图中获得的点投影到U视差图中，从而得到子U视差图。
[0077]根据另一个实施例，可以仅将V视差图中拟合到道路线Lv上的点回溯到视差图，并投影到U视差图来得到子U视差图。这例如对于完美的道路视差图，即道路上的很多点都有精确的视差值的情况是可行的。
[0078]根据再一个实施例，可以将三维世界中处于V视差图中拟合到的道路线Lv上下预定范围内的所有点视为要投影到子U视差图中的点。具体地，在此示例中，例如可以在V视差图中找到距道路线Lv上下预定垂直距离的两条曲线，然后将此两条曲线内的所有点回溯到视差图中，在对视差图中的这些回溯得到的点进行俯视投影来得到子U视差图。
[0079]在另一个示例中，如果事先知道一些关于路面情况的信息，例如，知道关于路面的平坦程度、路面坡度等等，或者能够通过某种手段评估V视差图中提取的道路线Lv的准确度，则基于V视差图中提取的道路线Lv从视差图获得包含道路的子U视差图的操作可以包括考虑这些路面情况的信息和/或道路线评估准确度信息来确定视差图中所选择的路面点的范围。
[0080]上面给出了基于V视差图中提取的道路线Lv获得包含道路的子U视差图的示例。这些仅用于示例性说明，并非作为本发明的限制，可以根据需要和实际情况而选择任何方法来基于V视差图中提取的道路线Lv，获得包含道路的子U视差图。
[0081]在步骤S1300中获得包含道路的子U视差图之后，前进到步骤S1400。
[0082]在步骤S1400中，在该子U视差图中自适应地提取道路边缘。
[0083]一般地，根据路面平坦情况和是否转弯等，道路边缘会表现为一段线段或者多段分段线段。
[0084]这里的“自适应”表示并非人为规定道路边缘为几段线段和每段线段的形式，而是根据道路边缘的连续性、渐变性特征和道路边缘位于道路外侧的特征来适应性地自动进行道路边缘提取。
[0085]根据一个示例性实施例中，所述在该子U视差图中自适应地提取道路边缘可以包括:基于V视差图中拟合的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点；在子U视差图中，基于可靠的道路点，提取满足预定的道路边缘条件的道路边缘线段。
[0086]在一个示例性实施例中，所述预定的道路边缘条件可以包括道路边缘线段处于道路的最外侧边缘、该道路边缘线段的在真实三维世界中的长度大于预定长度阈值、该道路边缘线段的点密度大于对应的预定密度阈值。
[0087]在一个示例性实施例中，如果提取到道路边缘线段，则计算提取到的道路边缘线段的端点，并基于道路连续性、渐变性的特征，确定用于提取下一道路边缘线段的感兴趣区域，并在该感兴趣区域中提取以所计算的端点为起始端点的下一道路边缘线段；以及重复道路边缘线段的提取过程，直到无法提取到道路边缘线段。
[0088]在一个示例性实施例中，所述基于V视差图中拟合的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点可以包括:获取拟合的道路线Lv上与视差相关的距离小于预定值的道路线段；在视差图中，提取那些在V视差图上的投影在道路线Lv上或之下的点；以及将所述在视差图中提取的点投影到U视差图中作为可靠的道路点。
[0089]下面，将参考图7具体介绍在该子U视差图中自适应地提取道路边缘的示例。
[0090]根据本发明上述实施例的道路边缘检测方法，可以在不具有精确的路面信息的情况下，也能够准确地检测到道路边缘。
[0091]4、子U视差图中自适应提取道路边缘的方法示例
[0092]下面参考图7描述根据本发明一个实施例的在子U视差图中自适应提取道路边缘的示例方法。
[0093]图7示出了在子U视差图中自适应提取道路边缘的示例方法1400的流程图。该方法1400可以应用于图3所示的步骤S1400。
[0094]如图7所示，在步骤S1410中，提取子U视差图中的可靠道路点。
[0095]在一个示例中，基于V视差图中拟合的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点。
[0096]例如，在一个示例中，可以认为在V视差图中的投影在Lv线以下且在真实三维世界中的距离(即距拍摄的相机的距离)小于预定距离阈值的点为可靠路面点。这是因为，一般地，近距离的检测比较精确，因此道路线Lv中的近距离部分相对精确，因此基于此相对精确部分来获得的道路点认为是相对可靠的，进而能基于可靠的道路点提取出相对可靠的道路边缘。
[0097]具体地，首先，在视差图中，对于每个点P (u’，V’，d’)，如果V坐标轴上的值V’满足下面的公式(3)表示的第一条件，
[0098]V，≤ a*d，+b (3)
[0099]即该点在V视差图中在道路线Lv(v=a*d+b)以下，且该点满足第二条件，即距相机的真实距离Distp小于预定距离阈值Distthres，如下面的公式(4)所示。
[0100]Distp ≤ Distthres (4)
[0101]则认为这样的点为可靠点。
[0102]如本领域技术人员清楚的，距相机的真实距离Distp可以从相机之间的间距Distcamera以及相机的焦距F和该点的视差值d’导出，如下式(5)所示。
[0103]Distp=DistCaniera*F/d， (5)
[0104]在一个示例中，预定距离阈值为10m，因为在该距离中所使用的双目相机的测量误差较低。不过可以根据相机性能和实际应用而选取合适的距离阈值。
[0105]在视差图中找到可靠点之后，可以例如将视差图中找到的可靠点p(u’，V’，d’)投影到U视差图中，该点在U视差图中的投影为(u’，d’)，以及可以在子U视差图中将该部分点突出示出，从而在子U视差图中得到了可靠的道路点。
[0106]图8(a)中示出了根据一个实施例的V视差图中提取的道路线Lv的示意图，图8(b)示出了视差图中的近距离道路点(可靠点)，图8(c)示出了灰度图中的近距离道路点(可靠点)，图8(d)示出了可靠点在U视差图中的投影，图8(e)示出了可靠点在子U视差图中的部分，该部分由环绕的曲线圈出示意。
[0107]不过上述在子U视差图中提取可靠点的方法仅为示例，而非作为本发明的限制。在另一示例中，可以根据其他关于道路和相机等的先验知识来提取可靠点。
[0108]回到图7，在步骤S1410中在子U视差图中提取出可靠的道路点后，前进到步骤S1420。
[0109]在步骤S1420中，在子U视差图中，基于可靠的道路点，提取满足预定的道路边缘条件的道路边缘线段。
[0110]在一个示例中，使用霍夫变换对子U视差图中的可靠道路点进行直线拟合，并选择满足预定道路边缘条件的线段作为道路边缘线段。
[0111]在一个示例中，道路边缘条件可以例如包括以下几项:
[0112](I)该线段处于道路的最外侧边缘
[0113]具体地，以提取道路左侧边缘为例，此时，与道路的最左侧边缘对应的线段在子U视差图中位于图像的左上角。为此，可以寻找所有线段中水平截距(由线段对应直线与水平轴的交点(U”，O)决定)和垂直截距(由线段对应直线与垂直轴的交点(0，d”)决定)绝对值之和最小(min(|u，，| + |d” I))的线段。
[0114](2)该线段的实际长度大于预定长度阈值
[0115]这里线段的实际长度，是指该线段在真实三维世界坐标系中对应的真实长度。子U视差图中的一段线段所对应的真实三维世界中的长度可以从相机的参数等转换得到，例如可以通过公式(6)得到。
[0116]Length=Di stCamera*F/d2-DistCamera*F/dl (6)
[0117]其中，Length表示该线段的长度，Distcamera表示例如双目相机情况下的两个相机之间的距离，dl, d2是线段的两个端点对应的视差值，其中d2〈dl。
[0118]在实际生活中，道路在通常意义上是连续的，因此道路的长度不应该过短。
[0119]因此，通过设定预定长度阈值，该滤除较短的非道路线段。例如，在一个示例中，设置长度阈值为9m。
[0120](3)线段的点密度大于预定密度阈值
[0121]线段的点密度可以通过用线段上的可靠点的数目除以线段的长度来确定。一般地，点密度越大，拟合出的线段越可靠。
[0122]不过上述所列的道路边缘条件仅为示例，可以根据需要和实际情况下而添加或删除或修改道路边缘条件。
[0123]由此，在步骤S1420中，可以基于可靠的道路点，来提取第一道路边缘线。
[0124]图9(a)中示意性示出了 U视差图中的可靠道路点，图9(b)示出了根据一个示例在子U视差图中提取到的第一道路边缘线的示意图。
[0125]在步骤S1420之后，接下来前进到步骤S1430。
[0126]在步骤S1430中，确定是否提取到了满足道路边缘条件的道路边缘线段。
[0127]如果在步骤S1430中判定结果是否定的，即没有提取到满足道路边缘条件的道路边缘，则处理结束。
[0128]反之，如果在步骤S1430中判定结果是肯定的，即提取到满足道路边缘条件的道路边缘，则前进到步骤S1440。
[0129]在步骤S1440中，提取与先前提取到的道路边缘线段连续的道路边缘线段。
[0130]下面参考图10描述根据本发明一个实施例的提取与先前提取到的道路边缘线段连续的道路边缘线段的方法示例。
[0131]图10示出了根据本发明一个实施例的提取与先前提取到的道路边缘线段连续的道路边缘线段的示例性方法1440的流程图。该方法1440可以用于图7中所示的步骤S1440。
[0132]如图10所示，在步骤S1441中，计算先前提取到的道路边缘线段(在先前提到的道路边缘线段是第一道路边缘线段的情况下，即第一道路边缘线段)的端点，在此示例中即道路边缘线段的距离较远端的端点。
[0133]在一个示例中，将此端点取为位于第一道路边缘线上的距离最远(即视差最小)的可靠点。另外可以根据需要和实际情况采用其它合适的方法来确定第一道路边缘线段的端点。
[0134]在确定第一道路边缘线段的端点后，第一段道路边缘也即确定。图11示意性地示出了示例性第一道路边缘线段，如水平线以下的由edgel标示的较粗的线段所表示的。
[0135]在步骤S1441中确定先前提取的道路边缘线段的端点之后，前进到步骤S1442。
[0136]在步骤S1442中，确定用于提取下一道路边缘线段的感兴趣区域。
[0137]确定用于提取下一道路边缘线段的感兴趣区域ROI (Reg1n Of Interest)例如能够缩小处理范围，从而提高处理效率和提取道路边缘的准确度。
[0138]在一个示例中，考虑到道路是连续的，道路的倾斜角度一般是渐变的。因此，基于先前道路边缘线段的角度，可以设置一个角度变动范围，将此角度变换范围内的区域视为用于提取下一道路边缘线段的感兴趣区域R0I。在一个示例中，将角度变动范围设置为20度。不过此角度变动范围仅为示例，可以根据实际道路情况和需要而改变。
[0139]图12示出了由此获得的感兴趣区域ROI的示意图，其中标号I指示的直线为第一道路边缘线段延伸对应的直线，标号2和3指示的直线可以由第一道路边缘线I以先前确定的端点为角顶点以第一道路边缘线I为中心线上下转动20度得到，并用作感兴趣区域ROI的两条边界线。此边界线2和3内的区域即为用于提取下一道路边缘线段的感兴趣区域R0I。或者说，感兴趣区域ROI内的点可以视为用于提取下一道路边缘线段的可靠点。
[0140]在步骤S1442中确定了感兴趣区域ROI之后，前进到步骤S1443。
[0141]在步骤S1443中，在该感兴趣区域ROI中提取以所计算的端点为起始端点的下一道路边缘线段。
[0142]在一个示例中，该道路边缘线段提取方法可以类似于前文结合图7的步骤S1420描述的第一道路边缘线段的提取方法。即，可以例如利用霍夫变换拟合感兴趣区域ROI中的点，并且选择满足预定道路边缘条件的线段作为该感兴趣区域ROI内的道路边缘线段。这里的道路边缘条件可以与前述第一道路边缘线段提取方法中所采用的道路边缘条件相同或者不同。
[0143]图13中的(a)示意性地示出了用于提取下一道路边缘线段的可靠点(在U视差图中)，图13中的(b)示意性地示出了在子U视差图中基于这样的可靠点提取的下一道路边缘线段，在此示例中，即第二道路边缘线段edge2。
[0144]上文参考图10到图13描述了用于实现图7中的提取与先前提取到的道路边缘线段连续的道路边缘线段的步骤S1440的示例性实现方法。
[0145]现在，回到图7，在图1440中提取与先前提取到的道路边缘线段连续的道路边缘线段之后，回到步骤S1430，即继续判断是否提取到符合道路边缘条件的道路边缘线段，如果提取到了，则继续进行下一道路边缘线段提取的下一轮循环，否则如果没有提取到合理的道路边缘线段，则认为道路边缘提取结束，则结束处理。
[0146]上文中给出了在子视差图中自适应地提取道路边缘的方法示例。利用此自适应性道路边缘提取方法，对于无论是平坦型道路还是非平坦的斜坡型道路均能够进行道路边缘提取，而且例如能够不依赖于精确的道路路面信息地准确提取道路边缘。
[0147]5、基于子U视差图中提取的道路边缘在视差图中提取道路边缘
[0148]在一个示例中，基于子U视差图中提取的道路边缘，在视差图中提取道路边缘。
[0149]例如，基于子U视差图中提取的道路边缘在视差图中提取道路边缘可以如下实现。
[0150]在视差图中提取满足下述条件的点作为道路边缘上的点:该点在U视差图中的投影点到U视差图中的道路边缘的水平距离小于第一预定距离，以及该点在V视差图中的投影点到V视差图中的道路边缘的垂直距离小于第二预定距离。
[0151]上述第一预定距离和第二预定距离是很小的值，以使得提取的点确实在道路边缘之上或者近邻的周围。
[0152]图14示意性地在灰度图中示出了所提取的道路边缘，椭圆形曲线所包围的点即指示作为道路边缘的点。
[0153]根据另一实施例，在视差图中提取出道路边缘之后，可以再次细化道路路面检测，具体地，在V视差图中将在道路边缘外侧的点排除在道路候选点之外，并基于排除后的道路候选点进行道路路面检测。
[0154]6、道路边缘检测装置
[0155]图15示出了根据本发明一实施例的道路边缘检测装置4000的框图。
[0156]如图15所示，道路边缘检测装置4000可以包括:视差图和V视差图获得部件4100，获得包括道路区域的视差图和对应的V-视差图；V视差图中道路线提取部件4200，在V视差图中提取道路线Lv;子U视差图获得部件4300，基于V视差图中拟合的道路线Lv，获得包含道路的子U视差图；以及道路边缘自适应提取部件4400，在该子U视差图中自适应地提取道路边缘。
[0157]在一个示例中，道路边缘自适应提取部件4400在该子U视差图中自适应地提取道路边缘可以包括:基于V视差图中拟合的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点；在子U视差图中，基于可靠的道路点，提取满足预定的道路边缘条件的道路边缘线段。
[0158]在一个示例中，所述预定的道路边缘条件包括道路边缘线段处于道路的最外侧边缘、该道路边缘线段的在真实三维世界中的长度大于预定长度阈值、该道路边缘线段的点密度大于对应的预定密度阈值。
[0159]在一个示例中，道路边缘自适应提取部件4400可以被配置为如果提取到道路边缘线段，则计算提取到的道路边缘线段的端点，并基于道路连续性、渐变性的特征，确定用于提取下一道路边缘线段的感兴趣区域，并在该感兴趣区域中提取以所计算的端点为起始端点的下一道路边缘线段；以及重复道路边缘线段的提取过程，直到无法提取到道路边缘线段。
[0160]在一个示例中，道路边缘自适应提取部件4400被配置为获取拟合的道路线Lv上与视差相关的距离小于预定值的道路线段；在视差图中，提取那些在V视差图上的投射在道路线Lv上或之下的点；以及将所述在视差图中提取的点投射到U视差图中作为可靠的道路点。
[0161]在一个示例中，子U视差图获得部件4300被配置为提取V视差图中满足y<cl*d+c2+H的点，其中H为与实际三维世界中距道路的预定垂直高度对应的正数值；在视差图中获得与所述V视差图中提取的点对应的点；以及将所述视差图中获得的点投影到U视差图中，从而得到子U视差图。
[0162]在一个示例中，所述道路边缘检测装置4000还可以包括视差图中道路边缘提取部件，被配置为基于子U视差图中提取的道路边缘，在视差图中提取道路边缘。在一个示例中视差图中道路边缘提取部件被配置为在视差图中提取如下点作为道路边缘上的点:该点在U视差图中的投影点到U视差图中的道路边缘的水平距离小于第一预定距离，以及该点在V视差图中的投影点到V视差图中的道路边缘的垂直距离小于第二预定距离。
[0163]在一个示例中，所述道路边缘检测装置4000还可以包括道路路面检测细化部件，被配置为基于视差图中提取的道路边缘，在V视差图中将在道路边缘外侧的点排除在道路候选点之外，并基于排除后的道路候选点进行道路路面检测。
[0164]关于道路边缘检测装置的具体功能和实现，可以参考前面结合图3的相关描述。
[0165]根据本发明实施例的道路边缘检测装置，即使在不具有精确的路面信息的情况下，也能够准确地检测到道路边缘。
[0166]7、系统硬件配置
[0167]本发明还可以通过一种道路边缘检测系统来实施。图16是示出按照本发明实施例的道路边缘检测系统6000的硬件配置的概念图。如图16所示，道路边缘检测6000可以包括:输入设备6100，用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等，该输入设备例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备6200，用于实施上述的按照本发明实施例的道路边缘检测方法，或者实施为上述的按照本发明实施例的道路边缘检测设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要而从网络获取数据例如左右图像等等；输出设备6300，用于向外部输出实施上述道路边缘检测过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备6400，用于以易失或非易失的方式存储上述道路边缘检测过程所涉及的V视差图、子U视差图、道路线、道路边缘线段等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0168]8、总结
[0169]上文描述了根据本发明实施例的道路边缘检测方法和道路边缘检测装置。
[0170]根据本发明的一个方面，提供了一种道路边缘检测方法，可以包括:获得包括道路区域的视差图和对应的V-视差图；在￥视差图中提取道路线Lv;基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及在该子U视差图中自适应地提取道路边缘。
[0171]根据本发明的另一方面，提供了一种道路边缘检测装置，可以包括:视差图和V视差图获得部件，被配置为获得包括道路区域的视差图和对应的V-视差图；v视差图中道路线提取部件，被配置为在V视差图中提取道路线Lv ;子U视差图获得部件，被配置为基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及道路边缘自适应提取部件，在该子U视差图中自适应地提取道路边缘。
[0172]本发明实施例的描述仅为示例，本领域技术人员可以根据需要进行变化、替代或组合。
[0173]在前面的描述中提到，从视差图计算得到的V视差图，不过，可以想见的是，V视差图也可以直接从特殊相机例如双目相机、多目相机、立体相机拍摄的左右图像中直接计算得出，或者直接通过立体视图中的深度图计算得到。
[0174]另外，前述实施例中，示意的是车向前行驶，双目相机拍摄车前景的情况。不过本发明同样适用于倒车情况下，双目相机拍摄车后景的情况，只不过这时检测的是车后方的路面。
[0175]以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0176]因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0177]还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0178]上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
【权利要求】
1.一种道路边缘检测方法，包括: 获得包括道路区域的视差图和对应的V-视差图； 在V视差图中提取道路线Lv; 基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及 在该子U视差图中自适应地提取道路边缘。
2.根据权利要求1的道路边缘检测方法，所述在该子U视差图中自适应地提取道路边缘包括: 基于V视差图中提取的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点； 在子U视差图中，基于可靠的道路点，提取满足预定的道路边缘条件的道路边缘线段。
3.根据权利要求2的道路边缘检测方法，所述预定的道路边缘条件包括道路边缘线段处于道路的最外侧边缘、该道路边缘线段的在真实三维世界中的长度大于预定长度阈值、该道路边缘线段的点密度大于对应的预定密度阈值。
4.根据权利要求2的道路边缘检测方法，还包括: 如果提取到道路边缘线段，则计算提取到的道路边缘线段的端点，并基于道路连续性、渐变性的特征，确定用于提取下一道路边缘线段的感兴趣区域，并在该感兴趣区域中提取以所计算的端点为起始端 点的下一道路边缘线段；以及 重复道路边缘线段的提取过程，直到无法提取到道路边缘线段。
5.根据权利要求2的道路边缘检测方法，所述基于V视差图中提取的道路线Lv，提取子U视差图中满足预定条件的点作为可靠的道路点包括: 获取提取的道路线Lv上与视差相关的距离小于预定值的道路线段； 在视差图中，提取那些在V视差图上的投射在道路线Lv上或之下的点；以及 将所述在视差图中提取的点投射到U视差图中作为可靠的道路点。
6.根据权利要求1的道路边缘检测方法，所述基于V视差图中提取的道路线Lv，从视差图获得包含道路的子U视差图包括: 提取V视差图中满足y〈cl*d+c2+H的点，其中H为与实际三维世界中距道路的预定垂直高度对应的正数值； 在视差图中获得与所述V视差图中提取的点对应的点；以及 将所述视差图中获得的点投影到U视差图中，从而得到子U视差图。
7.根据权利要求1的道路边缘检测方法，还包括: 基于子U视差图中提取的道路边缘，在视差图中提取道路边缘。
8.根据权利要求7所述的道路边缘检测方法，还包括: 基于视差图中提取的道路边缘，在V视差图中将在道路边缘外侧的点排除在道路候选点之外，并基于排除后的道路候选点进行道路路面检测。
9.根据权利要求7的道路边缘检测方法，所述基于子U视差图中提取的道路边缘，在视差图中提取道路边缘包括: 在视差图中提取如下点作为道路边缘上的点:该点在U视差图中的投影点到U视差图中的道路边缘的水平距离小于第一预定距离，以及该点在V视差图中的投影点到V视差图中的道路边缘的垂直距离小于第二预定距离。
10.一种道路边缘检测装置，包括: 视差图和V视差图获得部件，获得包括道路区域的视差图和对应的V-视差图； V视差图中道路线提取部件，在V视差图中提取道路线Lv ； 子U视差图获得部件，基于V视差图中提取的道路线Lv，获得包含道路的子U视差图；以及 道路边缘自适应 提取部件，在该子U视差图中自适应地提取道路边缘。
【文档编号】G06T7/00GK104050654SQ201310075780
【公开日】2014年9月17日 申请日期:2013年3月11日 优先权日:2013年3月11日
【发明者】游赣梅, 陈超, 师忠超, 鲁耀杰, 王刚 申请人:株式会社理光