一种结合智能机器人的管网非开挖修复方法及系统与流程

本发明涉及管网检测领域，尤其涉及一种结合智能机器人的管网非开挖修复方法及系统。

背景技术：

1、管道缺陷检测与修复工作是城市建设的重要环节，成为当前计算机视觉的热点研究问题。但是获取到高质量的管道视频数据是十分困难的。目前管道探测主要依靠管道机器人搭载高清摄像头来获取管道内部数据，通过人工控制机器人进行检测，但是由于很多管网由于建设时间较早，建设的管网地图缺失，容易导致管网检测不完全，而且效率很低，严重影响修复进度。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种结合智能机器人的管网非开挖修复方法及系统，实现对管道内部的快速、精准检测，为管道的修复工作提供准确的信息和数据支持。

2、为实现上述目的，本发明采用以下技术方案：

3、一种结合智能机器人的管网非开挖修复方法，包括以下步骤：

4、步骤s1：智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；

5、步骤s2:基于激光雷达数据构建的初始三维地图，使用lio-sam算法来同时进行定位和地图构建，并基于实时建立的三维地图和智能机器人的定位信息，利用路径规划算法进行导航，实现智能机器人在未知环境中的自主移动和执行任务；

6、步骤s3:通过智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；

7、步骤s4：使用直方图均衡化来增强图像的对比度，使用高斯滤波来降低图像中的噪声并对图像进行亮度和色彩的调整，适应低光照条件下的图像采集；将预处理后的图像数据转换为时序图像数据；

8、步骤s5:将预处理后的时序图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像的时序数据；

9、步骤s6:基于该图像时序数据及智能机器人运动数据，获取破损点定位；

10、步骤s7:当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。

11、进一步的，所述步骤s1具体为：

12、步骤s11:智能机器人基于激光雷达扫描管道内部的环境，获取激光雷达扫描数据，表示为一系列的点云数据，用来描述管道内部的结构和环境；

13、步骤s12:对激光雷达扫描得到的点云数据进行预处理;

14、步骤s13:基于icp算法对不同位置获取的点云数据进行配准，将它们融合成一个全局的三维地图，并基于配准后的点云数据，利用体素网格方法将点云数据转换为三维地图，得到初始三维地图。

15、进一步的，所述预处理具体如下：

16、对于给定点，计算其周围邻居点与该点的距离；

17、基于下式计算给定距离u下的权重值：

18、；

19、其中，是高斯函数的标准差；

20、根据计算得到的距离和权重值，计算每个邻居点的权重；

21、对于每个点，根据其周围邻居点的加权平均值，进行滤波处理；

22、去除那些经过滤波后的点，根据预设阈值行判断，将权重小于阈值的点视为噪声点并将其去除。

23、进一步的，所述步骤s13具体为：

24、选择一个初始变换矩阵，将参考点云待配准点云进行初步对齐，采用欧氏距离衡量点云之间的差异，并通过最小二乘法来调整变换矩阵以减小这些差异，优化变换矩阵直至达到收敛条件，得到最终的变换矩阵；

25、将配准后的点云数据划分为规则的体素网格，对每个体素内的点云数据进行处理，取体素内点云数据的平均值作为代表，从而获得三维地图的表示。

26、进一步的，所述步骤s2具体为：

27、设智能机器人的状态变量 x=(x 1 ,x 2 ,...,x i ,...,x n ),其中 x i表示智能机器人在时间步i的位姿，地图特征变量 m=(m 1 ,m 2 ,...,m k ,...,m k ),其中 m k表示地图中的点；

28、lio-sam算法的目标是最大化后验概率,其中z表示激光雷达观测数据，u表示imu测量数据；

29、lio-sam算法的优化问题表示为以下公式：

30、；

31、根据贝叶斯公式，将上式转换为：

32、；

33、其中，表示观测数据在给定机器人位姿和地图的条件下的概率分布；表示机器人位姿和地图的先验概率分布；

34、通过最大化后验概率，联合优化机器人的轨迹和地图，实现同时定位与地图构建，并利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图。

35、进一步的，所述利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图，具体如下：

36、设智能机器人的位姿表示为，其中为表示机器人在三维空间中的位置坐标，分别表示滚转角、俯仰角和偏航角；地图中的特征点表示为 m k =(x k ,y k ,z k ), 表示地图中的特征点的位置坐标;

37、构建因子图，其中节点包括机器人的位姿和地图中的特征点，边表示观测约束或运动约束;

38、对于每个观测约束，定义一个误差函数，表示激光雷达观测值与预测值之间的差异,设观测约束，表示机器人在位姿 x i处观测到地图中特征点  m j,定义误差函数为,其中是观测模型，将机器人位姿和地图中的特征点映射到观测空间；同时，定义运动约束的误差函数，表示两个连续时刻的位姿之间的差异；

39、对于每个观测约束根据误差函数计算信息矩阵和信息向量，设观测数据的协方差矩阵为 ,则信息矩阵和信息向量表示为:

40、；

41、其中是误差函数 e ij相对于优化变量的雅可比矩阵,为的转置；类似地，对于运动约束，计算对应的信息矩阵和信息向量；

42、在每次迭代中，利用因子图优化算法，通过迭代的方式调整节点的值，以最小化误差函数，更新节点值的公式表示为：

43、；

44、其中，为节点值的更新量，h是正规因子图的信息矩阵，b是整个因子图的信息向量。

45、进一步的，所述步骤s5具体为：

46、将预处理后的时序图像数据输入到管道破损检测模型中，管道破损检测模型对每帧图像进行分析，检测管道内部的异常情况；

47、如果模型发现异常图像数据，即表示检测到了异常情况，当检测到异常图像数据时，将异常图像的时序数据，即异常发生时的时间戳记录下来。

48、进一步的，所述管道破损检测模型基于yolov3算法构建，具体如下：

49、收集管道内部的图像数据，并标注其中的破损或异常区域，得到管道破损检测数据集；

50、使用预训练的 yolov3 模型作为基础，在管道破损检测数据集上进行微调，以学习管道破损的特征；

51、训练过程中，采用交叉熵损失函数来衡量模型输出与标注之间的差异，并通过反向传播算法更新模型参数；

52、经过训练的 yolov3 模型,用于实时检测管道内部的破损检测,模型将图像分成网格，并对每个网格预测边界框和类别，以确定破损区域的位置和类别。

53、进一步的，所述步骤s7具体为：

54、智能机器人巡检完管网后，将采集到的图像数据和破损点的位置信息进行处理，提取出破损点的具体位置坐标；

55、使用 gis 系统将破损点的位置信息映射到管网的地图上，将标记了破损点的地图进行可视化展示，通过交互式地图展示工具来实现，方便相关人员查看管道系统的状况，以及具体的破损点位置；

56、根据破损点的布局图，生成详细的故障报告，包括破损点的位置、类型、严重程度信息。

57、一种结合智能机器人的管网非开挖修复系统，包括智能机器人和后台控制端，所述智能机器人搭载有激光雷达和高清摄像机；所述智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；基于智能机器人位置和周围环境的三维建模，采用同时定位与地图构建技术，实现智能机器人在未知环境中的自主定位和导航；所述智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；所述后台控制端对图像数据进行预处理，包括增强图像的对比度、降低噪声、调整亮度，并将预处理后的图像数据转换为时序图像数据将预处理后的图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像时序数据；基于该图像时序数据及智能机器人运动数据，获取破损点定位；当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。

58、本发明具有如下有益效果：

59、1、本发明实现对管道内部的快速、精准检测，为管道的修复工作提供准确的信息和数据支持；

60、2、本发明通过结合激光雷达传感器和slam技术，智能机器人可以在管道内部实现自主定位和导航，通过结合管网布局图信息和激光雷达实时更新管道内部的地图，在未知环境中实现高效的同时定位和地图构建，并进一步利用因子图优化、信息矩阵和信息向量来实现lio-sam算法中的同时定位与地图构建，以获得更准确的定位和地图；

61、3、本发明通过实时检测管道破损，并处理异常图像数据并获取时序数据，可以及时发现管道的异常情况，并将破损点定位在地图中进行标记，并得到破损点的布局图，帮助相关人员全面了解管道系统的状况，及时发现和处理破损点，辅助修复管网。