一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法

本发明属于车路协同与智慧交通领域，涉及一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法。

背景技术：

1、近年来，随着新能源技术、计算机通信技术等汽车相关领域的快速发展，推动着传统汽车朝着智能化、电动化、网联化的方向发展。随着人们生活水平的提高以及对汽车性能的要求不断提高，人们越来越注重车辆的安全性与平顺性，而道路环境感知是保证车辆安全性与平顺性的关键之一。

2、道路环境感知是车路协同技术成熟发展的关键环节，环境感知层主要是利用各种传感器为车辆提供交通环境信息，包括车道标线、信号灯、标识牌等，以及障碍物轮廓信息、自车与障碍物的位置、相对距离等信息。它是车路协同首要挑战，为智能车的全局路径规划、驾驶行为决策和运动规划提供依据，结合底层执行机构实现对车辆的控制。对于单纯从车端进行道路的感知具有很大的局限性，智能汽车感知硬件系统无论是摄像头还是雷达，都是基于生物感官的产物，且都搭载在车端，这就必然会有“盲区”现象存在，即便系统再智能，也仅能在视觉范围内做出快速精确的决策，这就导致“鬼探头”这样的人类司机难以避免的现象，对于单车智能来说同样很难避免。且在恶劣天气、变道场景中，因为单车对环境感知的不足容易发生交通事故。

3、路侧摄像头可以很好的完成部分对象识别、分类、检测等功能，但是因其缺少深度信息，对于车辆或者障碍物的所处位置和距离无法准确掌握，不能建立更为精准的道路可行驶区域。所以在路侧可行驶区域的建立中使用激光雷达与毫米波雷达融合的策略，激光雷达和毫米波雷达的数据可以互相补充，从而提高检测准确性。激光雷达可以提供高精度的点云数据，用于检测物体的形状和位置，而毫米波雷达可以提供高精度的速度和距离测量，用于检测目标的运动状态。将这两种数据融合起来，可以更准确地检测道路上的障碍物和行人等，可以提高路侧可行驶区域感知不同环境下的鲁棒性，例如，在雨雪天气中，激光雷达可能会受到干扰而失去精度，而毫米波雷达则可以更好地适应这种环境。

4、道路环境感知作为通用基础技术，在自动驾驶，车路协同等方向起着重要作用。然而，到目前为止车载智能道路可行驶区域感知仍然是主流的方案。未来自动驾驶车辆需要实时感知获取道路可行驶区域，单车感知的局限性造成无法准确获取可行驶区域，造成车辆无法有效生成局部路径。另外在恶劣天气、变道场景中，因为单车对环境感知的不足容易发生交通事故。

5、因此，为了解决单车存在的不足以及车路协同的需要，提供不受环境约束的道路环境感知服务，保障出行安全和推进协同发展，需要一种基于激光雷达与毫米波雷达融合的道路可行使区域检测技术，为车联网下智慧交通场景下提供准确的可行驶区域信息，从而实现车路协同以及后续的无人驾驶。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法，通过融合利用激光雷达和毫米波雷达的实时数据，提高道路可行驶区域的识别率以及不同天气环境下的适应性。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法，该方法包括以下步骤：

4、s1、针对路侧激光点云单帧数据过多对所有点进行聚类增加系统负担，以及广泛应用的聚类仅通过点云空间密度来判断是否隶属同一目标难以适应不同场景区域的问题，设计道路区域点云提取与自适应聚类方法对激光雷达的点云数据进行提取和聚类；

5、随后采用改进的基于大律法的局部自适应阈值分割法分割出点云数据中的车道线和路面，从而构建得到电子围栏，其过程为：首先将地面点云图中每条扫描线划分为大小相等的邻域块，然后遍历所有邻域块，最后针对不同邻域块的反射强度值分布，用大律法来确定每个邻域块的最佳阈值从而构建出道路区域的电子围栏。如此可提高点与周围的联系，提高阈值选择准确率，获得更加精准的道路边界进而构建出合理的电子围栏。

6、s2、针对单一尺寸体素无法适应点云不同距离下点密度分布不均，会消耗数倍的计算和内存资源，降低网络检测的实时性且无法更好与毫米波雷达识别物体速度融合的问题，设计基于扇形的点云与毫米波编码方法，使用扇形编码方式取代pillar编码。

7、s3、针对路侧设备计算能力不足，采用目标级融合时，因恶劣天气导致扭曲激光雷达点云从而使得检测失真，不能适应传感器数据间的差异的问题，设计基于pointpillar特征层注意力融合模型，引用注意力机制计算不同特征在当前场景下的重要性，然后根据重要性对不同特征加权融合，从而得到融合特征；再借鉴残差模块的概念得到最终的融合结果。根据检测以激光雷达为主、毫米波雷达为辅的融合特点，动态调整权重，提高模型环境适应性。

8、进一步地，步骤s1中，提取和聚类的方式为：首先将激光雷达原始点云数据进行过滤以提取出有效点云数据，再通过自适应dbscan聚类算法选择感兴趣区域；聚类算法的参数通过sigmoid函数进行修正。其中通过sigmoid函数进行修正的参数为聚类集群的生长半径，修正关系如下：

9、e′ps＝eps×f(ri)

10、式中，e′ps表示修正后的半径参数，eps表示初始半径参数；

11、

12、式中，kr、br、εr和r0均为算法模型参数，通过对参数的不同取值进行枚举获得最优f(ri)；ri表示搜索同一集群点的种子点。

13、进一步地，步骤s1中，所述的改进的基于大律法的局部自适应阈值分割法具体为：经过提取和聚类后得到的点云数据按照扫描线进行了分类，对每条扫描线内的反射强度数据进行灰度转换，计算所有扫描线内灰度值的全局均值，再找出大于全局均值的灰度值并计算这些灰度值的均值得到类内二次灰度均值；以所述类内二次灰度均值为初始阈值限定一阈值选择区间，在所述阈值选择区间内存在一阈值th，阈值th将图像分为前景图像和背景图像，结合前景图像和背景图像的概率和平均灰度值，以及灰度值大于类内二次灰度均值的全局灰度均值计算类间方差；最大类间方差对应的阈值th记为最佳阈值，将灰度值大于所述最佳阈值的数据标记为车道线点云数据，将灰度值小于所述最佳阈值的数据标记为路面点云数据。

14、其中，所述类间方差的计算式为：

15、σ2＝p1(μ1-μg)2+p2(μ2-μg)2

16、式中，σ2表示类间方差，p1表示背景图像的概率，p2表示前景图像的概率，μ1表示表示背景图像的平均灰度值，μ2表示前景图像的平均灰度值，μg表示灰度值大于类内二次灰度均值的全局灰度均值。

17、进一步地，步骤s2中，对毫米波雷达点云数据和经过步骤s1处理的激光雷达点云数据分别进行扇形编码，过程为：扇形编码在极坐标系下完成，在点云数据中设置一圆环检测区域，将圆环检测区域划分为若干个扇环区域，再对扇环区域沿径向划分为若干个网格；将点云数据中点的坐标系转化为极坐标系，再将落在网格区间内的点划分至该网格中，从而在三维空间中生成极坐标柱体素。其中，网格的径长等内弧长，径长表示网格直线边沿沿径向的长度，内弧长表示网格中较短的弧边的长度。在三维空间生成极坐标柱体素后，将点云柱转化为伪图像并提取特征图。

18、进一步地，步骤s3中，激光雷达与毫米波雷达的特征图输入特征层注意力融合模型后，先分别进行卷积和归一化处理，然后再进行注意力融合：

19、

20、式中，wq、wv分别表示激光雷达特征图x1经过卷积学习到的权重矩阵，wk表示毫米波雷达特征图xr经过卷积所学习的权重矩阵，q、v分别表示激光雷达矩阵，k表示毫米波雷达矩阵；将激光雷达矩阵v与毫米波雷达矩阵k做矩阵乘，矩阵乘结果再与激光雷达矩阵q做矩阵乘即得到融合结果o。融合结果o与一比例系数相乘后再与原始激光雷达特征图x1加和即得到最终的融合结果。

21、本发明的有益效果在于：本发明通过将激光雷达的数据和毫米波雷达的数据融合使用，可以结合两种数据的优点实现更准确的可行驶区域的检测，提高路侧可行驶区域感知在不同环境下的鲁棒性；此外，对于两种数据的融合，本发明设计伪图像融合方式，使用注意力机制进行融合动态调整权重，提高了识别模型的环境适应性。

22、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。