道路转弯类型检测方法和装置制造方法
【专利摘要】本发明公开了道路转弯类型检测方法和装置，该方法包括：获得包括路面区域的第一U视差图；以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。根据本发明实施例的道路转弯类型检测方法和装置能够检测各种道路转弯类型，同时不易受到非检测对象的干扰。
【专利说明】道路转弯类型检测方法和装置
【技术领域】
[0001]本发明涉及图像处理，更具体地涉及道路转弯类型检测方法和装置。
【背景技术】
[0002]驾驶辅助系统的应用日渐普及。而道路或车道警告系统(Lane/Road detectionwarning, LDW/RDW)是驾驶辅助系统的子系统，可以避免碰撞，更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW系统非常关键，只有在知道了道路信息的基础上才可能做进一步的处理，例如警告。
[0003]汽车辅助驾驶系统遇到的最复杂的交通情况之一，就是道路转弯的情况。在道路出现转弯时，对于驾驶员来说，路况十分复杂，也很容易出现事故。检测到道路转弯的类型，可以提高驾驶者和行人在这种情况下的安全，预防交通事故的发生，减少事故造成的伤亡数量。因此在汽车辅助驾驶系统中，比起其他路况，应该给道路转弯时的行人和车辆检测更大的权重。
[0004]道路转弯类型的检测对于无人驾驶也有重要作用，它可以预测行驶路线，提供自动刹车指导。
[0005]当前GPS定位系统广泛用于地图导航中，可以检测道路转弯。不过由于定位误差(一般在I米到30米之间)导致准确性不高。
[0006]美国专利N0.US7289138B2提供了一种利用多个全景视频序列来检测十字路口的系统。它将全景视频序列中的图像分成各个条状带，每个条状带计算权重值，条状带与条状带之间计算距离度量。十字路口通过最小距离的图像得到。
[0007]美国专利N0.US2009/0085913A1提出了如下技术，其中采用路边按一定次序排列的三维物体来检测道路的转弯情况。具体地，通过提取三维物体的特征值得到消失点，然后从所有通过消失点的直线中，得到一条最靠近左右车辆物体的直线，用来估计道路的转弯情况。
【发明内容】
[0008]道路转弯类型检测的难点在于:存在多种道路转弯类型，例如，左转弯、右转弯、T字路口、分岔路、十字路口等，各种道路转弯类型具有各自不同的特征；并非检测对象的物体，例如车辆等，会给道路转弯检测带来干扰。
[0009]需要一种适合于检测各种道路转弯、且不易被其他物体对象干扰的道路转弯类型检测方法。
[0010]为此，提出了本发明。
[0011]根据本发明的一个方面，提供了一种道路转弯类型检测方法，可以包括:获得包括路面区域的第一U视差图；以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及基于基本点的聚合度分布，确定该第一 U视差图对应的道路的转弯类型。
[0012]根据本发明的另一个方面，提供了一种道路转弯类型检测方法，可以包括:获得包括路面区域的时间上连续的多个U视差图；对于每个U视差图:以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。
[0013]根据本发明的再一个方面，提供了一种道路转弯类型检测装置，可以包括:U视差图获得部件，获得包括路面区域的第一 U视差图；经过基本点直线概率计算部件，以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；聚合度分布计算部件，基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及道路转弯类型确定部件，基于基本点的聚合度分布，确定该第一 U视差图对应的道路的转弯类型。
[0014]根据本发明的再一个方面，提供了一种道路转弯类型检测装置，可以包括:多帧U视差图获得部件，获得包括路面区域的时间上连续的多个U视差图；聚合度分布获得部件，用于对于每个U视差图:以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及道路转弯情况确定部件，基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。
[0015]根据本发明实施例的道路转弯类型检测方法和装置利用不同道路转弯类型对应的U视差图上的基本点的聚合度分布不同的特性，来确定各种道路转弯类型，其能够检测各种道路转弯类型，同时不易受到非检测对象的干扰。
【专利附图】
【附图说明】
[0016]图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图；
[0017]图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图；
[0018]图3示出了根据本发明一个实施例的道路转弯类型检测部分300的基本功能组成示例；
[0019]图4示出了根据本发明一个实施例的道路转弯类型检测方法的总体流程图；
[0020]图5示意性地示出了包括路面区域的视差图和视差图变换得到的U视差图；
[0021]图6示意性示出U视差图上的基本点以及经过基本点的直线的表示；
[0022]图7 (A)示意性地示出了所有基本点的所有直线的概率分布图；
[0023]图7(B)示出了图7 (A)的概率分布图对应的基本点的聚合度分布曲线示意图；[0024]图8 (a)到8 (e)示意性地示出了道路转弯的几种基本类型和其对应的聚合度分布曲线图；
[0025]图9示出了根据本发明一个实施例的道路转弯类型确定方法示例的流程图；
[0026]图10示出了根据本发明一个实施例的基于时间顺序的多帧图像确定道路转弯情况的方法的流程图；
[0027]图11示意性地示出了十字路口道路类型对应的道路基本类型的情况；
[0028]图12示出了根据本发明一个实施例的基于多帧连续图像的道路转弯类型的确定方法的流程图；
[0029]图13示出了根据本发明一个实施例的基于多帧的道路转弯类型检测装置的框图；以及
[0030]图14是示出按照本发明实施例的道路转弯类型检测系统的硬件配置的概念图。【具体实施方式】
[0031]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0032]本发明各实施例中道路转弯类型检测以视差图和/或U视差图为操作对象，下面对视差图以及作为视差图的俯瞰图的U视差图进行简要介绍。
[0033]视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，兀素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。
[0034]普通二维视差图中的某点坐标一般以(U，V)表示，其中u为横坐标，V为纵坐标；点(U，V)处的像素的像素值用d(U，V)表示，表示该点(U，V)处的视差。
[0035]视差俯敵图或U-视差图可以从视差图中计算得到。U-视差图中任意一点(u, d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。
[0036]有关视差图的概念、获得、以及如何从视差图获得U-视差图的详细介绍，可以在本 申请人:的另一篇题目为“道路分割物检测方法和装置”、申请号为N0.201110409269.1的在先申请中得到。
[0037]下面，将按如下顺序进行描述:
[0038]〈1、第一实施例〉
[0039]〈1.1、车辆自动控制系统〉
[0040]〈1.2、摄像头和图像处理模块>
[0041]〈1.3、道路转弯类型检测装置>
[0042]〈2、第二实施例>
[0043]〈2.1、道路转弯类型检测方法的总体流程>
[0044]<2.1.1、U视差图的获得>
[0045]〈2.1.2、经过基本点的直线存在的概率的计算>
[0046]<2.1.3、基本点的聚合度分布的获得>
[0047]<2.1.4、道路转弯类型的确定>
[0048]〈2.1.4.1、基于规则的道路转弯类型的确定方法>[0049]〈2.1.4.2、基于特征向量匹配的道路转弯类型的确定方法>
[0050]〈3、变形实施例>
[0051]〈3.1、基于多帧连续图像的道路转弯类型的确定>
[0052]<3.1.1、基于多帧连续图像的道路转弯类型的确定方法示例1>
[0053]〈3.1.2、基于多帧连续图像的道路转弯类型的确定方法示例2>
[0054]<3.2与其它道路转弯类型确定方法的结合>
[0055]〈4、基于多帧的道路转弯类型检测装置>
[0056]〈5、系统硬件配置〉
[0057]<6、总结〉
[0058]〈1、第一实施例〉
[0059]〈1.1、车辆自动控制系统〉
[0060]图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图。车辆自动控制系统100安装在车辆之上。该车辆自动控制系统100包括例如两个摄像头101、图像处理模块102、车辆控制模块103。摄像头101可以安装在靠近车辆后视镜的位置，用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的视差图像，进行各种检测处理，例如本发明实施例的道路转弯类型检测，以及其他的路面检测处理、分道线检测处理、栅栏检测处理、行人检测处理等等。车辆控制模块103接收由图像处理模块102输出的信号，根据检测得到的当前道路转弯类型，以及路面、分道线、栅栏、行人等信息生成控制信号来控制车辆的行驶方向和行驶速度等。
[0061]图中所示的车辆自动控制系统100仅为示例，其还可以包括其他部件，例如GPS导航部分等。
[0062]〈1.2、摄像头和图像处理模块>
[0063]图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图。
[0064]如图2所示，图中左侧示出了两个摄像头101，摄像头101包括图像传感器201和摄像头数字信号处理器(digital signal processing, DSP) 202。图像传感器201将光信号转换为电子信号，将捕获的当前车辆前方的图像转换为模拟图像信号，再将结果传入摄像头DSP202。如果需要，摄像头101还可以进一步包括镜头，滤镜，等等。在本设备中，可以包括两个或多个(未示出)摄像头101，这些摄像头配准后可以同时捕获多幅图像，以便用于双目成像或多目成像。摄像头DSP202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。
[0065]如图像处理模块102的功能框图所示，图像处理模块102可以包括，例如，图像输入部分203、视差图成像部分204、路面检测部分204、分道线检测部分205、道路转弯类型检测部分206等。图像输入部分203可以按规定的时间间隔取得图像。视差图成像部分204利用双目视觉原理，将输入的一对数字图像转换为视差图。路面检测部分204可以例如基于来自视差图成像部分204的视差图而检测路面。分道线检测部分205可以例如基于来自视差图成像部分204的视差图而检测分道线。道路转弯类型检测部分206可以例如基于来自视差图成像部分204的视差图而检测道路转弯类型。
[0066]图2中所示的用于后续获得视差的双目摄像机成像仅为示例，也可以例如采用其他基于红外光飞行速度和基于纹理光的立体摄像机等等。设置，车辆上可以不配置摄像设备，而例如通过有线网络或者无线网络连接接收来自外部的图像数据等。
[0067]图2中所示的图像处理模块仅为示例，其可以省略其中的某些部分例如省略路面检测部分204，以及包括额外的其他部分，例如栅栏检测部分、U视差图获得部分、V视差图获得部分、基于灰度图的对象检测等。
[0068]下面将重点介绍本发明所关注的道路转弯类型检测部分的组成和操作过程。
[0069]〈1.3、道路转弯类型检测装置>
[0070]下面将结合图3描述根据本发明一个实施例的道路转弯类型检测装置的基本功能组成示例。
[0071]图3示出了根据本发明一个实施例的道路转弯类型检测装置300的基本功能组成示例，该道路转弯类型检测装置300可用于图2中所示的道路转弯类型检测部分206.[0072]如图3所示，根据本发明一个实施例的道路转弯类型检测装置300可以包括:U视差图获得部件310，用于获得包括路面区域的第一 U视差图；经过基本点直线概率计算部件320，用于以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；聚合度分布计算部件330，用于基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及道路转弯类型确定部件340，用于基于基本点的聚合度分布，确定该第一 U视差图对应的道路的转弯类型。
[0073]下面参考图4-9详细描述道路转弯类型检测装置300的各部件的功能和操作的示例。
[0074]〈2、第二实施例>
[0075]〈2.1、道路转弯类型检测方法的总体流程〉
[0076]图4示出了根据本发明一个实施例的道路转弯类型检测方法400的总体流程图。
[0077]如图4所示，在步骤S410，U视差图获得部件310获得包括路面区域的第一 U视差图。
[0078]<2.1.1、U视差图的获得>
[0079]如前所述，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到U视差图；或者从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到U视差图。
[0080]在首先获得包括路面区域的视差图，然后从视差图转换得到U视差图的情况下，关于如何从例如立体相机获得的图像中获得路面区域的视差图，可以采用例如下述几种途径:由手动指定路面区域；也可以例如采用预定高度阈值rh来将视差图中自路面起高度大于rh的所有点移除，因为，高度大于rh的点可能代表路上的车辆、骑自行车的人或者电线杆等噪声等；或者可以采用各种路面估计或检测方法来检测路面从而获得包括路面区域的视差图，例如采用本 申请人:的题目为“路面检测方法和装置”、申请号为N0.201210194074.4中介绍的路面检测方法。
[0081]在获得包括路面区域的视差图后，可以获得视差图的俯瞰图，即U视差图。
[0082]图5示意性地示出了包括路面区域的视差图和视差图变换得到的U视差图。[0083]此外，这里还可以对如此得到的U视差图进行一些后处理，例如去噪，其中一种实现方式是，将所有灰度值小于预定阈值的点都从视差俯瞰图中去除，也即将所有灰度值小于预定阈值的点的灰度值改为零。这是因为，噪声一般是离散点，在视差图的各列中，不会存在很多视差一样的噪声点。另外，为了避免无意地去除诸如白线的分道线，优选地，将预定阈值设置为较小值，例如设置为I。
[0084]前文描述的情形是先获得视差图，然后从视差图获得U视差图。不过这仅为示例，也可以通过对例如双目相机获得的图像进行处理或计算，直接获得U视差图。或者，也可以直接从外部通过有线网络或者无线网络通信来接收包括路面区域的U视差图。
[0085]〈2.1.2、经过基本点的直线存在的概率的计算>
[0086]回到图4，在步骤S420中，经过基本点直线概率计算部件320以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定。
[0087]本发明中从基本点出发，考察经过基本点的直线存在的概率是基于如下考虑:道路的情况，例如是直路、左转弯路、右转弯路、十字路口中的哪种，一定程度上可以由其上的道路分割物如栅栏、路肩石、白线等的特征来表征，直路上的道路分割物一般是相互平行的直线，而转弯路的道路分割物为相应的弯曲近似平行的线、十字路口的道路分割物一般会呈现为例如相互垂直的两组平行线等。由本领域技术人员公知的射影变换原理可知，原三维空间中相互平行的直线在U视差图中相交于视差值等于零(即d=0)的点，我们将此交点称为道路消失点。在视差俯瞰图中，视差值等于零的点位于一条横线上，我们将视差值等于零的点统称为基本点。如果考察经过各个基本点的各个直线存在的概率的话，那么应该是经过道路消失点的作为道路分割物的直线存在的概率最大，或者说最集中(即最不分散)。而本发明人发现，在不同的道路转弯情况下，经过各个基本点的分道线存在的概率的分布的聚合度分布明显不同，由此提出基于这样的聚合度分布的差异来判断道路转弯类型的构思和实现。
[0088]关于“计算第一 U视差图上经过每个基本点的各个直线存在的概率”，需要说明的是，这里的概率并不一定是数学上严格意义上的概率，而只是一种可能性大小的表征手段。直观上而言，经过一个基本点的一个直线存在的概率反映了经过该基本点的一个方向上的视差非零点的多少。换一个视角看，经过一个基本点的一个直线存在的概率也可以从该基本点和该直线上的对应视差非零点确定的直线与等视差线之间的夹角的角度分布来考察，如本 申请人:的另一篇题目为“道路分割物检测方法和装置”、申请号为N0.201110409269.1的在先申请所介绍的那样。
[0089]作为例子，下面具体描述如何计算经过一个基本点的各个直线存在的概率。
[0090]图6示意性示出U视差图上的基本点以及经过基本点的直线的表示。
[0091]如图6所示,设基本点以b(x, O)表示,其中X e [0，w),各个基本点所在的视差线以m表示(后文称之为基本线)，U视差图中任一视差非零点表示为p(u，d) e U，以及通过基本点b和P的直线以η表示，直线m和η之间的夹角以Θ表示。
[0092]则通过基本点b(x，O)和任一视差非零点P (U，d)的直线可以用基本点b(x，O)和夹角角度Θ表示。假设落在这条直线上的U视差图像上的非零点的个数记作C(0，b)，因此这条直线的概率Dis(0，b)可以利用下述公式(I)计算:[0093]
【权利要求】
1.一种道路转弯类型检测方法，包括: 获得包括路面区域的第一U视差图； 以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定； 基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及 基于基本点的聚合度分布，确定该第一 U视差图对应的道路的转弯类型。
2.根据权利要求1的道路转弯类型检测方法，其中: 基于表征基本点的聚合度分布的第一聚合度分布的形状特性和/或统计特性，根据预定规则来确定道路转弯类型。
3.根据权利要求1的道路转弯类型检测方法，其中确定道路转弯类型包括: 获得与预定道路转弯类型对应的特征向量信息，该特征向量包括表征与该预定道路转弯类型相关联的聚合度分布的特性的特征； 抽取对应于表征基本点的聚合度分布的第一聚合度分布的特征向量；以及通过比较对应于该第一聚合度分布的特征向量和与预定道路转弯类型对应的特征向量，确定该第一 U视差图对应的道路的转弯类型。
4.根据权利要求3所述的道路转弯类型检测方法，其中所述特征向量的分量包括如下特征中的一项或多项:· 聚合度分布的均值、聚合度分布的方差、聚合度分布上的峰个数、聚合度分布上的波峰的位置和值、聚合度分布上的波谷的位置和值、聚合度分布上的波峰之间的距离、聚合度分布上的波谷之间的距离、聚合度分布上的波峰和波谷之间的距离。
5.根据权利要求1的道路转弯类型检测方法，还包括: 获取另外的一张或多张按时间顺序的包括道路区域的第二 U视差图； 得到该另外的一张或多张第二 U视差图对应的聚合度分布，并确定该另外的一张或多张第二 U视差图对应的道路的转弯类型；以及 基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二U视差图对应的道路的转弯类型，确定与第一 U视差图和另外的一张或多张第二 U视差图对应的整段道路的转弯情况。
6.根据权利要求5的道路转弯类型检测方法，其中基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二 U视差图对应的道路的转弯类型，确定与第一 U视差图和另外的一张或多张第二 U视差图对应的整段道路的转弯情况包括: 针对不同的预定道路转弯情况，确定对应的连续帧U图像应该实质上整体满足的道路基本类型的组合规则； 基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二 U视差图对应的道路的转弯类型以及不同的预定道路转弯情况对应的连续帧U图像应该满足的道路基本类型的组合规则，确定与第一 U视差图和另外的一张或多张第二 U视差图对应的整段道路的转弯情况。
7.根据权利要求1的道路转弯类型检测方法，还包括:基于全球定位系统GPS、或者其它确定道路转弯类型的方法确定道路转弯类型； 然后基于GPS、或者其它确定道路转弯类型的方法确定的道路转弯类型和基于该第一聚合度分布确定的该第一 U视差图对应的道路的转弯类型，来判定道路转弯类型。
8.一种道路转弯类型检测方法，包括: 获得包括路面区域的时间上连续的多个U视差图； 对于每个U视差图: 以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定； 基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及 基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。
9.一种道路转弯类型检测装置，包括: U视差图获得部件，获得包括路面区域的第一 U视差图； 经过基本点直线概率计算部件，以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定； 聚合度分布计算部件，基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及 道路转弯类型确定部件，基于基本点的聚合度分布，确定该第一 U视差图对应的道路的转弯类型。
10.一种道路转弯类型检测装置，包括: 多帧U视差图获得部件，获得包括路面区域的时间上连续的多个U视差图； 聚合度分布获得部件，用于对于每个U视差图: 以视差值为零的点作为基本点，针对预定的各基本点，计算第一 U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定； 基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及 道路转弯情况确定部件，基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。
【文档编号】G06K9/00GK103577790SQ201210262021
【公开日】2014年2月12日 申请日期:2012年7月26日 优先权日:2012年7月26日
【发明者】胡平, 鲁耀杰, 师忠超, 刘媛 申请人:株式会社理光