视觉、激光SLAM和探地雷达结合的无人机检测方法与流程

本发明涉及土木工程，具体为视觉、激光slam和探地雷达结合的无人机检测方法。

背景技术：

1、路面性能检测是公路建设与管理中的关键性、基础性技术，它不仅对检测和控制工程质量至关重要，而且决定着路网养护决策的科学性，直接影响养护资金分配的合理性。

2、根据相关规范，旧路面检测的主要指标包括弯沉、平整度、摩擦系数、破损状况等。此外，还可根据实际项目需求加入车辙、厚度、基层完整性等指标。传统的检测手段主要包括：(1)采用贝克曼梁弯沉仪，百分表，配合标准轴载黄河车，利用杠杆原理测试路表回弹弯沉；(2)采用3米直尺，测试路面纵向平整度、横向断面车辙状况；(3)采用摆式摩擦系数仪，人工逐点测试路面摩擦系数；(4)采用取芯机，钻取芯样测试路面厚度，判断芯样完整性；(5)采用人工破损调查，了解路面破损状况。这些早期测试方法不仅费时费力、影响交通，而且有些还要破坏路面结构，数据精度也难以得到可靠保证，因此，已经在逐步被新型检测设备所取代，如无人机监测。

3、而针对土木工程领域，目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，道路表面病害实际上反映了道路地下病害的存在，忽略地下病害可能导致工程人员错失最佳病害处治时机，目前，为了分析地面和地下病害，无人机需要与其他设备如车载探地雷达和车载fwd共同协作，但这会引发设备众多、数据源分散、后期数据难以融合的问题，此外，车载探测设备在繁忙交通地段还可能影响交通流畅。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了视觉、激光slam和探地雷达结合的无人机检测方法，解决现有技术中存在的目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，忽略地下病害可能导致工程人员错失最佳病害处治时机的问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现，本发明提供了视觉、激光slam和探地雷达结合的无人机检测方法，包括：

5、步骤1.集成传感器无人机部署，无人机上集成传感器单元，传感器单元包括摄像头、激光雷达以及探地雷达传感器；

6、步骤2.检测计划执行实施，基于工程要求规划无人机的任务区域和路线，确定任务的优先级和关键区域，启动无人机，执行任务计划，同时记录地面和地下数据；

7、步骤3.数据采集传输，通过摄像头和激光雷达进行地面检测，同时使用探地雷达传感器进行地下探测，传感器定期采集数据生成详细的地图，同时实时将数据传输到地面站；

8、步骤4.多信息融合，设置地面站，在地面站上对数据进行预处理，包括去噪、数据校准和格式转换，采用优化slam算法，将地面和地下数据进行融合，生成一体化的地图，地图包括地下病害的位置和性质，以及地面病害的详细信息；

9、步骤5.实时反馈，在飞行过程中，通过地面站将地下病害的检测结果实时反馈给工程人员。

10、本发明进一步地设置为：所述检测计划执行实施步骤中，规划无人机的任务区域和路线方式具体为：

11、根据工程地图确定任务边界区域，设任务区域的边界坐标为(xb,yb)；

12、基于工程需求确定任务优先级和目标区域，设目标区域的坐标为(xt,yt)，表示目标关注区域；

13、任务区域的面积a使用多边形面积计算公式计算，具体为：

14、

15、其中n为边界上的点数，xi,yi表示边界上的点的坐标，i+1表示邻近的坐标点；

16、任务飞行高度h通过地面分辨率d和传感器视场角α计算，地面分辨率表示无人机能够识别的最小地面特征尺寸，具体为：

17、

18、其中α表示传感器视场角，d表示地面分辨率；

19、定义任务区域的边界和飞行高度，确定路径点(xp,yp)，具体为：

20、

21、

22、其中n表示路径点的总数，i表示当前路径点的索引；

23、本发明进一步地设置为：所述任务计划和飞行步骤中，规划无人机的任务区域和路线方式还包括：

24、确定任务飞行时长t，通过任务区域飞行总长度、飞行速度v以及任务区域的形状计算；

25、飞行总长度使用边界点坐标计算，具体的：

26、

27、其中l表示任务飞行总长度，n为边界上的点数，xi，yi为边界上的点的坐标，xi+1，yi+1为邻近的边界点坐标；

28、任务飞行时长t计算公式表示为：

29、

30、本发明进一步地设置为：所述数据采集和传输步骤中：

31、无人机上的摄像头用于地面检测，以150000帧/秒的频率拍摄照片，i(t)表示在时刻t拍摄的图像，图像用于地面特征提取和地图生成；

32、激光雷达用于获取地面的三维点云数据，激光雷达将以5000hz的频率执行扫描操作，生成点云数据p(t)，其中t表示时间，点云数据提供了地面的高程和形状信息；

33、控制雷达传感器用于地下病害检测，通过地下发送信号并接收反射信号，接收反射过程表示为：

34、

35、其中d(t)表示探地雷达测得的深度，c为电磁波在地下传播的速度，δt为从发送到接收的时间差；

36、本发明进一步地设置为：所述数据采集和传输步骤中：

37、在地面站上对采集的数据进行预处理，包括数据去噪、坐标系校准和数据格式转换；

38、无人机将经过预处理的数据实时传输到地面站；

39、本发明进一步地设置为：所述多信息融合步骤中，采用优化slam算法将地面和地下数据融合，以生成一体化的地图，具体包括：

40、在进行数据融合之前，对采集的数据进行预处理，包括去噪、坐标系校准和数据格式转换；

41、采用视觉slam、激光slam、多传感器slam进行数据融合，同时估计无人机的位姿以及地面和地下病害的位置；

42、通过传感器融合以及特征点匹配将地下数据和地面数据进行关联；

43、本发明进一步地设置为：所述多信息融合步骤中，数据融合步骤具体包括：

44、使用视觉slam算法提取图像特征，包括关键点和描述子；

45、采用harris角点检测、sift尺度不变特征法变换识别图像中的关键点；

46、harris角点检测使用角点响应函数确定角点：

47、r＝det(m)＝k*trace(m)2，

48、其中r表示m矩阵，det(m)表示m矩阵的行列式，trace(m)2表示m矩阵的迹，即矩阵对角元素之和，k为矩阵常数；

49、采用sift描述子为每个关键点计算描述子，描述关键点周围的图像局部特征；

50、采用基于最近邻法将不同图像中的关键点和描述子进行匹配，确定在不同图像之间的对应关系；

51、本发明进一步地设置为：所述多信息融合步骤中，数据融合步骤还包括：

52、基于双目slam算法使用相机图像和特征匹配来估计无人机的位姿，采用运动方程和相机投影方程进行估计，具体为：

53、从双目相机采集的图像中提取特征点，包括角点、斑点；

54、为每个特征点计算描述子，描述子用于描述特征点周围的图像局部特征；

55、将左右相机图像中的特征点和描述子进行匹配，确定在不同相机视图之间的对应关系；

56、双目slam使用相机投影方程将特征点的三维位置与其在图像中的投影关联，相机成像过程的形式表示为：

57、

58、其中s表示尺度因子，(u,v)表示特征点在图像中的像素坐标，k为相机内参矩阵，(r,t)为相机的位姿，即旋转矩阵和平移向量，(x,y,z)表示是特征点的世界坐标；

59、双目slam使用基础矩阵确定相机位姿和特征点的三维位置，矩阵通过特征点的像素坐标和对应的图像中的特征点计算；

60、本发明还提供一种终端设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的视觉、激光slam和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光slam和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现上述视觉、激光slam和探地雷达结合的无人机检测方法；

61、本发明还提供一种存储介质，该介质应用于计算机，所述存储介质上存储有视觉、激光slam和探地雷达结合的无人机检测方法的控制程序，所述视觉、激光slam和探地雷达结合的无人机检测方法的控制程序被所述处理器执行时实现上述视觉、激光slam和探地雷达结合的无人机检测方法。

62、(三)有益效果

63、本发明提供了视觉、激光slam和探地雷达结合的无人机检测方法。具备以下

64、有益效果：

65、本技术所提供的视觉、激光slam和探地雷达结合的无人机检测方法中，无人机装备多种传感器，包括摄像头、激光雷达和探地雷达传感器，传感器的集成使得无人机能够同时获取地面和地下的数据，基于工程需求确定任务的优先级和关键区域，用于设定任务区域的边界和目标关注区域，同时计算任务区域的面积和任务飞行高度，基于坐标点的计算，保证无人机在任务执行期间的路径和任务优先级。

66、任务计划和飞行执行的同时，无人机使用搭载的摄像头、激光雷达和探地雷达传感器采集数据，摄像头以高帧率拍摄地面图像，激光雷达生成地面的三维点云数据，而探地雷达用于地下病害检测，数据定期采集和传输至地面站，保证实时数据的可用性，数据采集和传输的步骤还包括预处理，包括去噪、坐标系校准和数据格式转换，保证数据的质量和一致性。

67、然后进行多信息融合，通过视觉slam、激光slam和探地雷达协同工作，对无人机的位姿、地面和地下病害的位置进行确定，数据融合的过程包括特征点的提取、匹配、相机图像处理、双目slam位姿估计、激光slam和地下雷达数据的转化，以及最终的地图生成，确保地面和地下数据的融合，生成了一体化的地图，其中包括地下病害的位置和性质，以及地面病害的详细信息，同时通过地面站，将无人机的检测结果实时反馈给工程人员，及时提供信息，使工程人员能够迅速作出决策。

68、解决了现有技术中存在的目前应用的无人机检测主要依赖于摄像头和激光雷达，用于表面检测，但未涵盖道路地下病害情况，忽略地下病害可能导致工程人员错失最佳病害处治时机的问题。