一种融合Lidar与4DRadar原始点云的方法、装置和可读存储介质与流程

本发明涉及自动驾驶定位，具体而言，涉及一种融合lidar与4d radar原始点云的方法、装置和可读存储介质。

背景技术：

1、目前提供安全、便捷、舒适的交通体验的自动驾驶技术正在快速发展。要实现高水平的自动驾驶，环境感知和定位能力至关重要。因此，自动驾驶汽车上的传感器，如相机、激光雷达和雷达，以及它们的算法，正吸引着越来越多的研究兴趣。

2、激光雷达(lidar)发射激光束，通过测量光线打到物体或表面再反射回来所需要的时间，来计算激光雷达到目标点的距离并形成数据点，这个过程可能会获得的数百万个数据点，科学家将之称为“点云”。但激光雷达容易受到雨雾天气变化的影响。

3、而当前汽车的毫米波雷达主要用于确定目标和发射点的距离、相对速度、方位等信息，所以汽车普通的雷达也叫3d毫米波雷达。4d毫米波雷达之所以称为4d，是因为它不仅可以检测物体的距离、相对速度和方位角(球坐标系中的角度测量值)，还可以利用时间来确定高度相关的信息。4d成像雷达就算遇到下雨天气，侦测范围还是可以达到数百米，但4d毫米波雷达点云的稀疏性和噪声比激光雷达点云更严重。

技术实现思路

1、因此，本发明实施例提供一种融合lidar与4d radar原始点云的方法，为下游的目标检测任务与定位任务提供更准确的信息，并且该方法可以适应复杂天气。

2、为解决上述问题，本发明提供一种融合lidar与4d radar原始点云的方法，包括：通过lidar装置获取第一点云数据，并对第一点云数据进行地面去除，再使用dbscan进行聚类，并对同一类别的点云计算第一外接3d矩形框；通过4d radar装置获取第二点云数据，并对第二点云数据使用dbscan进行聚类，对属于一个类别的点云计算第二外接3d矩形框；根据当前车辆的坐标系，设置roi区域，并根据roi区域得到第一过滤条件；根据第一过滤条件对第一外接3d矩形框和第二外接3d矩形框进行过滤，分别对应得到第一结果和第二结果；获取当前车辆的目标信息，根据目标信息对第一结果和第二结果进行时间补偿，并通过标定参数对进行时间补偿后的第一结果和第二结果进行坐标转换，分别对应得到第一转换值和第二转换值；将第一转换值和第二转换值进行计算匹配，得到匹配结果，根据匹配结果使用分类器进行分类，得到分类结果；根据分类结果进行累加得到5d点云。

3、与现有技术相比，采用该技术方案所达到的技术效果：通过设置lidar装置和4dradar装置一起来获取不同的点云数据，并且构建各自的外接3d矩形框，用以后续的融合方案，同时对其进行过滤，并进行时间补偿以及时空同步，使得二者的点云能被有效融合，进而使得在自动驾驶技术中，通过二者的融合，使得单一的雷达识别的缺陷被克服，即通过单一的激光雷达进行定位和环境感知中容易受到雨雾天气影响的问题，通过融入4d毫米波雷达的点云，继而能赋予激光雷达检测到的点云的速度，高度信息等更加精准的位置信息，进而再雨雾天气也能进行自动识别定位，使得自动驾驶技术中检测位置时更加方便以及应对不同天气的能力更强，更能保障用户在使用自动驾驶技术时的安全，同时通过累加点云，也避免了4d毫米波雷达的点云的稀疏性和噪声，使得检测结果更加准确，同时也更能适应复杂的天气。

4、在本发明的一个实例中，根据当前车辆的坐标系，设置roi区域，并根据roi区域得到第一过滤条件还包括：将roi区域内的3d外接矩形框利用外接矩形框的中心点进行拟合直线，并判断得到的直线为左直线还是右直线；若为左直线，则过滤掉左直线往左的外接3d矩形框；若为右直线，则过滤掉右直线往右的外接3d矩形框。

5、与现有技术相比，采用该技术方案所达到的技术效果：通过设置roi区域来进行过滤，使得借助roi区域内直线拟合，能使得借助roi区域的拟合直线能快速将两个外接3d矩形框中收集的数据信息进行过滤，进而能更加方便快速的得到需要的点云数据，避免噪声干扰，使得点云数据更加准确，进而能更加准确的识别到路沿的情况，保障车辆在自动驾驶中的行驶安全，避免车辆在雨雾天气时由于探测距离的变短而导致车辆在自动驾驶时发生安全事故，保障了驾驶人员的安全。

6、在本发明的一个实例中，获取当前车辆的目标信息，根据目标信息对第一结果和第二结果进行时间补偿还包括：获取当前车辆的底盘信息，并通过运动学模型计算从lidar装置获取第一点云数据和4d radar装置获取第二点云数据的时刻到当前时刻内，当前车辆运动的距离和方向；将距离和方向补偿到第一结果和第二结果上。

7、与现有技术相比，采用该技术方案所达到的技术效果：通过设置获取车辆的底盘信息，并通过运动学模型计算车辆运动的距离和方向，进而能将速度和方向补偿到lidar装置和4d radar装置获取的点云数据中，进而使得点云数据得到的空间上的数据和实际的数据，进而使得后续在进行转换时更加方便快捷，同时也更加准确，进而能保障获取的点云数据而生成的定位数据更加准确，进一步保障自动驾驶中车辆和驾驶人员的安全。

8、在本发明的一个实例中，并通过标定参数对进行时间补偿后的第一结果和第二结果进行坐标转换，分别对应得到第一转换值和第二转换值还包括：通过标定参数将时间补偿后的第一结果和第二结果中的点云转换到当前车辆的车身坐标系下，实现点云的时空同步。

9、与现有技术相比，采用该技术方案所达到的技术效果：通过设置标定参数来将时间补偿后的第一结果和第二结果中的点云转换到当前车辆的车身坐标系下，使得当前的点云数据能更加具体化，能更加贴合实际情况，使得车辆在自动驾驶的过程中对路面情况的检测定位更加准确，保障了自动驾驶中的安全。

10、在本发明的一个实例中，将第一转换值和第二转换值进行计算匹配，得到匹配结果还包括：计算第一转换值下第一外接3d外接矩形框与第二转换值下第二外接3d矩形框的iou阈值；根据iou阈值来判断当前第一转换值下第一外接3d矩形框与第二转换值下第二外接3d矩形框是否匹配。

11、与现有技术相比，采用该技术方案所达到的技术效果：通过计算两个外接3d矩形框的iou阈值，来判断当前两个外接3d矩形框是否匹配，借助iou阈值能更加方便的判断当前两个外接3d矩形框的重叠度，使对于两个外接3d矩形框的匹配判断更加快速，提高了判断效率，进而提高了检测识别的效率。

12、在本发明的一个实例中，根据iou阈值来判断当前第一转换值下第一外接3d矩形框与第二转换值下第二外接3d矩形框是否匹配还包括：若iou阈值大于第一设定值，则判断匹配成功；若iou阈值小于等于第一设定值，则判断匹配失败，并将匹配失败的第一外接3d矩形框和第二外接3d矩形框进行上传储存。

13、与现有技术相比，采用该技术方案所达到的技术效果：通过设置第一设定值来与iou阈值进行比较，能快速判断当前iou阈值是否代表了匹配成功，使得对iou阈值的判断更加方便快捷，进而对后续的整合更加方便，进而也保障了检测定位的快捷。

14、在本发明的一个实例中，根据匹配结果使用分类器进行分类，得到分类结果之前还包括：计算匹配成功的第二外接3d矩形框中点云的平均速度，得到速度值；将速度值赋给第一外接3d矩形框中的点云，得到转换外接3d矩形框；将转换外接3d矩形框与第二外接3d矩形框中的点云进行叠加，得到叠加结果。

15、与现有技术相比，采用该技术方案所达到的技术效果：通过设置计算匹配成功的第二外接3d矩形框中点云的平均速度，并把这个平均速度与给第一外接3d矩形框中的点云，使得激光雷达获取的点云能有速度信息，进而使得激光雷达获取的点云在与4d毫米波雷达的点云叠加后的检测定位更加准确，使能适应不同的复杂天气，保障了自动驾驶的安全性。

16、在本发明的一个实例中，根据匹配结果使用分类器进行分类，得到分类结果还包括：对叠加结果，未匹配成功的第一外接3d矩形框和第二外接3d矩形框中的点云使用分类器进行点云分类，得到点云的类别信息。

17、与现有技术相比，采用该技术方案所达到的技术效果：通过设置通过分类器进行分类，并获取到点云的类别信息，使得后续的对于目标检测任务与室外定位任务使用更方便。

18、本发明还提供一种融合lidar与4d radar原始点云的装置，装置包括：获取模块，获取模块用于通过lidar装置获取第一点云数据，并对第一点云数据进行地面去除，再使用dbscan进行聚类，并对同一类别的点云计算第一外接3d矩形框；通过4d radar装置获取第二点云数据，并对第二点云数据使用dbscan进行聚类，对属于一个类别的点云计算第二外接3d矩形框；计算模块，计算模块用于根据当前车辆的坐标系，设置roi区域，并根据roi区域得到第一过滤条件；根据第一过滤条件对第一外接3d矩形框和第二外接3d矩形框进行过滤，分别对应得到第一结果和第二结果；获取当前车辆的目标信息，根据目标信息对第一结果和第二结果进行时间补偿，并通过标定参数对进行时间补偿后的第一结果和第二结果进行坐标转换，分别对应得到第一转换值和第二转换值；匹配控制模块，匹配控制模块用于将第一转换值和第二转换值进行计算匹配，得到匹配结果，根据匹配结果使用分类器进行分类，得到分类结果；根据分类结果进行累加得到5d点云。

19、本实施例中的融合lidar与4d radar原始点云的装置用于实现和如本发明任一实施例的融合lidar与4d radar原始点云的方法，因此其具有如本发明任一实施例的融合lidar与4d radar原始点云的方法的全部有益效果，在此不再赘述。

20、本发明还提供一种可读存储介质，可读存储介质上存储的计算机程序，其中，在计算机程序被处理器运行时控制可读存储介质所在设备执行实现如上述任一项的融合lidar与4d radar原始点云的方法的步骤。

21、本实施例中的可读存储介质用于储存和如本发明任一实施例的融合lidar与4dradar原始点云的方法，因此其具有如本发明任一实施例的融合lidar与4d radar原始点云的方法的全部有益效果，在此不再赘述。

22、采用本发明的技术方案后，能够达到如下技术效果：

23、(1)通过设置lidar装置和4d radar装置一起来获取不同的点云数据，并且构建各自的外接3d矩形框，用以后续的融合方案，同时对其进行过滤，并进行时间补偿以及时空同步，使得二者的点云能被有效融合，进而使得在自动驾驶技术中，通过二者的融合，使得单一的雷达识别的缺陷被克服，即通过单一的激光雷达进行定位和环境感知中容易受到雨雾天气影响的问题，通过融入4d毫米波雷达的点云，继而能赋予激光雷达检测到的点云的速度，高度信息等更加精准的位置信息，进而再雨雾天气也能进行自动识别定位，使得自动驾驶技术中检测位置时更加方便以及应对不同天气的能力更强，更能保障用户在使用自动驾驶技术时的安全，同时通过累加点云，也避免了4d毫米波雷达的点云的稀疏性和噪声，使得检测结果更加准确，同时也更能适应复杂的天气。