基于单目视觉与激光雷达融合的道路可行驶区域检测方法与流程

本发明属于智能交通领域中的方法研究，涉及一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法。

背景技术：

近年以来，道路检测一直是无人驾驶领域研究的重要内容。目前广泛采用的道路检测方法有：单目视觉方法、立体视觉方法、激光雷达方法和基于融合的方法。其中，单目视觉方法只考虑了场景的视觉信息，极易受光照条件，天气状况影响；立体视觉的方法在三维重建上时间耗费巨大，不适用于实际运用；激光雷达的方法存在点云数据稀疏的缺点。基于像素信息和深度信息融合的道路检测方法既充分利用了来自照相机提供的关于场景的纹理、颜色等信息，又结合激光雷达的深度信息弥补视觉信息对环境不鲁棒的缺点，在算法效率上克服了非融合方法效率低，难以进行实时运算，难以实际运用的问题，故基于融合的道路检测方法迅速发展起来为无人车道路检测的首选。基于融合的道路检测方法是在单目视觉,激光雷达方法，传感器融合等基础上发展起来的一种最佳的道路检测。从而在工程实际中,尤其在无人车驾驶中得到了广泛的应用。

无人车道路检测还分为有监督方法与无监督方法。由于路面信息的多样性、场景信息的复杂性和光照天气条件的多变性，无人车对于道路检测方法的鲁棒性和泛化性能要求很高。故无监督的无人车道路检测方法也是无人驾驶领域研究的重要内容。一方面，无监督的道路检测方法不需要大量的标记数据和费时的训练过程，能够根据提取的特征自主地学习出道路信息，是一种高泛化能力的方法。另一方面，现实世界的交通场景复杂多变，在不可能为无人驾驶提供所有场景的训练样本的情况下，有监督的方法在遇到与训练样本的场景相差较大的驾驶场景时危险性极大，而无监督的道路检测方法对几乎所有场景鲁棒，适用于无人驾驶的实际应用。

技术实现要素：

本发明的目的在于提供一种基于单目视觉与激光雷达融合的道路可行驶区域检测方法。

为达到上述目的，本发明采用了以下技术方案。

首先，该融合的方法使用超像素与激光点云数据的融合，将点云数据按照激光参数标定投影到超像素分割后的图片上，超像素方法充分利用了场景的纹理特征，极大地缩小定位道路区域的范围，大大提升了算法效率；其次，运用三角剖分寻找点的空间关系，根据得出的空间关系三角形建立无向图和并计算每一点的法向量，根据无向图分类障碍点；然后，本方法采用基于最小滤波的方法定义新的特征(ray)，并找到道路区域的初始备选区域，进一步缩小道路区域的检测范围，极大提升算法效率；通过定义新的特征(level)从深度信息方面数值化各点的可行驶程度，有效地利用了深度信息。另外，融合方法还利用一种无监督的融合方法，即基于自学习的贝叶斯框架，融合各个特征(颜色特征，level特征，法向量特征，强度特征)学习到的备选道路区域的概率信息，这种算法效率高，鲁棒性能强。

所述超像素与激光点云数据融合具体步骤如下：

利用已有的结合边缘分割的改进的线性迭代聚类的方法对相机采集的图片进行超像素分割，将图片分割为n个超像素，每个超像素pc＝(xc,yc,zc,1)^t包含若干个像素点，其中xc,yc,zc表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的rgb均统一为该超像素内所有像素点的平均rgb。再利用已有的标定技术将激光雷达获得的每一点pl＝(xl,yl,zl,1^t)投影到超像素分割后的图片上，最终得到点集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示该点的激光坐标系下的位置信息的，(ui,vi)表示该点对应的相机坐标系下的位置信息。最后通过共点约束，只保留被投影在超像素边缘附近的激光点。

基于最小滤波的方法定义新的特征(ray)找到道路区域的初始备选区域；具体步骤如下：

首先，定义该道路区域的初始备选区域为其中，si代表是超像素si所包含的所有像素点的集合，定义idrm为”directionraymap”，并点集将pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐标转化到以图片最后一行的中心点(pbase)为原点的极坐标下，则有是点集(ui,vi)的真子集，其中表示第i个点属于第h角度，表示的是中的障碍点的集合，计算方法见后文及流程图。

其次，为解决激光射线泄露的问题，采用最小滤波的方法处理得到的idrm得到期望的idrm，最终得到

定义新的特征(level)；具体步骤如下：

定义每一点的level特征为算法见流程图，并与超像素结合得到超像素si的level特征l(si)：

所述采用自学习的贝叶斯框架来融合的具体步骤如下：

首先，结合初始备选区域为分别利用者4种特征无监督学习地备选区域的概率。

对于初始备选区域为中的超像素点si，si包含的每一个像素点pi＝(xi,yi,zi,ui,vi)的rgb值已经统一了，利用高斯参数μc和自学习颜色特征，公式如下：

θ＝45°

利用高斯参数μl和自学习超像素si的level特征l(si)的公式为：

利用高斯参数μn和自学习超像素si的法向量特征n(si)的公式为：

定义sg(si)为穿过超像素si的ray的数量，自学习超像素si的强度特征sg(si)的公式为：

最后，建立贝叶斯框架融合4种特征，公式如下：

其中，p(si＝r|obs)表示超像素si属于道路区域的概率，obs表示基于这4种特征的观测。

本发明的有益效果体现在：

其一，由于传统的融合方法采用全局融合，这大大限制了这些算法的实用性和计算效率。本发明提出使用超像素与激光点云数据的融合。该方法极大缩小了道路区域的备选范围，极大提升了算法效率。其二，因此，本发明提出的新的特征(ray)找到道路区域的初始备选区域，进一步缩小道路区域的检测范围，极大提升算法效率。其三，本发明提出的level特征从深度信息方面数值化各点的可行驶程度，克服了深度信息的稀疏问题，有效地利用了深度信息，对算法精度贡献极大。其四，本发明提出的利用强度特征量化超像素与深度信息的融合关系，充分考虑了视觉信息近大远小的问题，对算法精度贡献极大。故算法具有较为重要的研究意义和广泛的工程应用价值。其五，自学习的贝叶斯框架，融合各个特征学习到的备选道路区域的概率信息，这种算法效率高，鲁棒性能强

附图说明

图1是基于单目视觉与激光雷达融合的道路可行驶区域检测方法原理框图；

图2是得到ray特征的算法流程图；

图3是由未利用最小滤波处理ray泄露(下)与使用后(上)的初始备选区域效果图；

图4是得到level特征的算法流程图；

图5是由颜色特征自学习得到的备选道路区域概率分布效果图；

图6是由level特征自学习得到的备选道路区域概率分布效果图；

图7是由法向量特征自学习得到的备选道路区域概率分布效果图；

图8是由强度特征自学习得到的备选道路区域概率分布效果图；

图9是自学习的贝叶斯框架的融合得到的最终区域的概率分布图；

具体实施方式

参照图1所示，利用已有的结合边缘分割的改进的线性迭代聚类的方法对相机采集的图片进行超像素分割，将图片分割为n个超像素，每个超像素pc＝(xc,yc,zc,1)^t包含若干个像素点，其中xc,yc,zc表示该超像素内所有像素点的相机坐标系下的位置信息的平均值，同时，这些像素点的rgb均统一为该超像素内所有像素点的平均rgb。再利用已有的标定技术和旋转矩阵和转化矩阵按照公式(1)得到转化矩阵

利用旋转矩阵和建立2个坐标系的转化关系，如公式(2)：

将激光雷达获得的每一点pl＝(xl,yl,zl,1)^t投影到超像素分割后的图片上，如公式(3)：

得到点集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示该点的激光坐标系下的位置信息的，(ui,vi)表示该点对应的相机坐标系下的位置信息。最后，只保留超像素边缘附近的激光点。

利用数据融合分类障碍点，得到映射关系ob(pi)，ob(pi)＝1表示pi为障碍点，反之为0。对于pi的坐标系(ui,vi)运用三角剖分(delaunaytriangulation)，得到众多空间三角形和生成无向图e表示图中与节点pi存在关联关系的边缘的集合。剔除坐标系(ui,vi)下欧式距离不满足公式(4)的边缘(pi,pj)：

||pi-pj||＜ε…………………………………………………………………(4)

定义为与pi连接的点的集合为nb(pi)，则与有关的空间三角形的表面即为{(uj,vj)|j＝iorpj∈nb(pi)}。计算各个空间三角形的法向量，显然，当pi周围的空间三角形越平坦接近地面，pi成为非障碍点的可能性越大，我们取pi周围的空间三角形的法向量的平均值作为pi的法向量公式(5)表示ob(pi)的判断方法：

基于最小滤波的方法定义ray特征并找到道路区域的初始备选区域首先，根据如图2所示的算法流程图得到”directionraymap”--idrm，其中，表示根据上一步障碍点分类方法计算的中的障碍点的集合，表示pi属于第h角度。算法将pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐标转化到以图片最后一行的中心点(pbase)为原点的极坐标下，则有是点集(ui,vi)的真子集。其次，如图3所示，由于激光数据的稀疏性，需要处理ray泄露的问题，本方法创新地采用最小滤波的方法处理得到的idrm得到期望的idrm。结合超像素分割，定义该道路区域的初始备选区域为其中，si代表是超像素si所包含的所有像素点的集合，最终融合超像素得到

定义level特征，图4给出计算属于第h角度的每一点的level特征公式(6)表示，与超像素结合得到超像素si的level特征l(si)：

如图5，利用颜色特征得到的备选道路区域的可行驶度概率信息。对于初始备选区域中的超像素点si，si包含的每一个像素点pi＝(xi,yi,zi,ui,vi)的rgb值已经统一了，由于rgb颜色对光照条件和天气状况不鲁棒，故利用颜色空间转换方法，将处于rbg空间的原始图像i转化为illuminant-invariant颜色空间下的图像ilog，如公式(7)：

其中ilog(u,v)是在ilog坐标系(u,v)下的像素值，ir,ig,ib表示i的rgb值，θ表示正交于光照变化线的不变角度。公式(8)利用高斯参数μc和自学习颜色特征以得到备选道路区域的可行驶度概率信息：

如图6，利用level特征得到的备选道路区域的可行驶度概率信息。公式(9)利用高斯参数μl和自学习超像素si的level特征l(si)：

如图7，利用法向量特征得到的备选道路区域的可行驶度概率信息。计算中的超像素si的法向量特征n(si)，即si中的法向量最低的点的高度坐标值如公式(10)：

公式(11)利用高斯参数μn和自学习超像素si的法向量特征n(si)：

如图8，利用强度特征得到的备选道路区域的可行驶度概率信息。sg(si)为穿过超像素si的ray的数量，自学习超像素si的强度特征sg(si)如公式(12)：

最后，如图9，建立贝叶斯框架融合4种特征得到自学习的贝叶斯框架的融合得到的最终区域的概率分布图，如公式(13)：

其中，p(si＝r|obs)表示超像素si属于道路区域的概率，obs表示基于这4种特征的观测，从图9可以看出本方法很好地完成了道路检测任务。

为了证明本方法的优势，我们在road-kittibenchmark上利用3中不同环境的数据集，标记的城市环境(urbanmarked，um)，多标记的城市环境(urbanmultiplemarked，umm)和未标记的城市环境(urbanunmarked，uu)测试本方法，从最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假阳性率(falsepositiverate，fpr)，和假阴性率(falsenegativerate，fnr)这六个指标进行分析。分析的同时，进行对比实验，与目前已公布的在road-kittibenchmark数据集上利用激光取得了最好效果的方法mixedcrf和融合方法res3d-velo对比，对比结果见表1--4。

表1是本方法(ourstest)，mixedcrf，res3d-velo在um数据集上的对比实验结果：

表1在um数据集上的对比实验结果

表2是本方法(ourstest)，mixedcrf，res3d-velo在umm数据集上的对比实验结果：

表2在umm数据集上的对比实验结果

表3是本方法(ourstest)，mixedcrf，res3d-velo在uu数据集上的对比实验结果：

表3在uu数据集上的对比实验结果.

表4是本方法(ourstest)，mixedcrf，res3d-velo在urban(即um，umm，uu整体考虑)数据集上的实验结果的平均值的对比结果：

表4在urban数据集的对比实验结果.

mixedcrf是需要训练的方法，本方法在不需要任何训练的条件下得到了相似的精度，并且在ap这一项指标上取得了最高的精度，说明了本方法的优越性。

为了表明本方法所采用的自学习贝叶斯框架融合的优越性，在road-kittibenchmark上利用3中不同环境的数据集，标记的城市环境(urbanmarked，um)，多标记的城市环境(urbanmultiplemarked，umm)和未标记的城市环境(urbanunmarked，uu)测试本方法，从最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假阳性率(falsepositiverate，fpr)，和假阴性率(falsenegativerate，fnr)这六个指标，分析单一采用ray特征得到的初始备选区域(initial)，颜色特征(color)，强度特征(strength)，level特征和法向量特征(normal)的精度，与贝叶斯框架融合(fusion)精度对比，对比结果见表5--8。

表5是单一采用ray特征得到的初始备选区域(initial)、颜色特征(color)，强度特征(strength)、level特征和法向量特征(normal)，与贝叶斯框架融合(fusion)在um数据集上的对比结果：

表5comparisononumtrainingset(bev).

表6是单一采用ray特征得到的初始备选区域(initial)、颜色特征(color)，强度特征(strength)、level特征和法向量特征(normal)，与贝叶斯框架融合(fusion)在umm数据集上的对比结果：

表6comparisononummtrainingset(bev).

表7是单一采用ray特征得到的初始备选区域(initial)、颜色特征(color)，强度特征(strength)、level特征和法向量特征(normal)，与贝叶斯框架融合(fusion)在uu数据集上的对比结果：

表7comparisononuutrainingset(bev).

表8是单一采用ray特征得到的初始备选区域(initial)、颜色特征(color)，强度特征(strength)、level特征和法向量特征(normal)，与贝叶斯框架融合(fusion)在um，umm，uu数据集上的实验结果的平均值的对比结果：

表8comparisononurbantrainingset(bev).

由表4和表8可知，基于单目视觉与激光雷达融合的道路可行驶区域检测方法取得了当前的最高精度ap，ap也是衡量检测方法的最重要指标，在其他指标上也取得了良好优势，故本方法适用于实际应用。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。