基于图像语义分割用于路面修补的灌浆控制方法及系统

本发明涉及路面病害检测与维修，特别涉及一种基于图像语义分割用于路面修补的灌浆控制方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

2、道路是最重要的基础设施之一，作为连接各地的纽带，在加快城市化、现代化进程等方面都具有无可替代的作用，由于道路的自然特性，无可避免地会损坏，因此需要进行长期养护。路面常见的病害为裂缝、坑槽和龟裂。对于这些病害的小修保养，通常是采用沥青混合料或者水泥混合料进行修补。随着当前公路网的规模不断扩大，根据公路设计年限的要求，公路养护需求呈现出快速增长的趋势。同时公路养护维修专业人员急缺，因此，实现公路小修养护机械化、智能化是非常重要的。

3、裂缝、坑槽等道路病害出现的频率高，对过往车辆会造成安全隐患，如果路面病害得不到及时修补，这些病害将会承受路面水的下渗和过往车辆荷载的冲击，严重影响路面结构的使用寿命；长期存在的裂缝、坑槽可能会导致以下结果：增加交通事故风险、影响行车舒适度、加剧路面老化速度、增加维修成本以及限制道路的可持续发展。因此，对道路养护的首要任务是：及时发现道路病害并进行修补。对海量的公路进行人工筛查是一种费事费力的行为。因此，需要利用计算机视觉技术实现路面病害的自动识别与修复。而目前对路面病害的检测和识别，还是以传统的二维图像技术为主，辅以人工判断，对图像内的病害检测效果差，容易出现误判，并且检测精度不高，就使得养护的成本偏大、效率低下。

4、例如，专利号cn 112160227a公开了一种智能化路面裂缝修补系统，包括：二维模块，用于实时采集路面二维图像；三维模块，用于采集裂缝三维数据；识别模块，用于对路面二维图像进行分析，判断路面是否存在裂缝；控制模块，用于在路面存在裂缝时发送控制信号；立体模块，用于根据裂缝三维数据建立裂缝立体模型；处置模块，用于根据路面裂缝识别反馈的结果对路面裂缝进行扩槽等处理；除尘模块，用于根据除尘的控制信号对开槽后的路面进行清理；修补模块，用于根据修补的控制信号对裂缝进行修补。可以看到，其三维模块主要是对识别模块检测到的路面裂缝进行三维数据的采集，为后续根据路面裂缝的三维数据建立裂缝立体模型做铺垫，通过路面二维图像主导路面裂缝的识别过程，只有在路面二维图像检测到裂缝出现时，才会采集三维数据，也就是说，当二维图像数据分析结果为无裂缝时，三维模块不会工作。

5、而且，发明人发现，虽然现有技术中也有采用三维数据进行路面监测分析的应用，但是单纯的采用三维数据存在如下问题：

6、(1)数据不完整或不准确，三维数据的获取受到限制，例如传感器的分辨率或扫描范围有限，这可能导致数据缺失或不准确，影响对病害的准确识别和定位；(2)数据处理复杂，处理大量的三维数据需要专业的软件和算法支持，数据的处理和分析过程可能复杂耗时，需要专业技术人员进行操作和解释结果；(3)病害分类困难，尽管三维数据提供了更多的几何和空间信息，但对于某些复杂的病害类型，如微裂缝或隐蔽的病害，仍然可能难以准确分类和识别；(4)灌浆处理的适用性较差，根据三维数据进行灌浆处理需要考虑材料的渗透性和填充性能，如果病害的形状复杂或深度较大，灌浆材料可能无法完全填充和固定，导致处理效果不佳；(5)成本和设备要求较高，获取和处理三维数据可能需要昂贵的设备和专业知识，对于一些小型道路维修项目或资源有限的地区，使用三维数据可能不切实际或成本过高。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种基于图像语义分割用于路面修补的灌浆控制方法及系统，不再局限于病害表面的粗量化喷涂，真正实现了精准修补，减少了修补材料的浪费，降低了修补成本。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种基于图像语义分割用于路面修补的灌浆控制方法。

4、一种基于图像语义分割用于路面修补的灌浆控制方法，包括以下过程：

5、对获取的路面rgb图像和深度图像进行预处理，根据预处理后的rgb图像、预处理后的深度图像以及预训练的语义分割模型，得到路面病害区域的语义分割结果；

6、根据rgb-d相机的内参和深度信息，结合路面灾害区域的语义分割结果，将路面灾害区域的像素映射到世界坐标系中，根据映射后的路面病害实际尺寸，得到路面病害区域的体积；

7、根据路面病害区域的体积以及路况信息，对路面病害区域进行灌浆操作控制，根据灌浆前后的rgb图像和/或深度图像生成路面修补评估结果。

8、作为本发明第一方面进一步的限定，检测到与当前路面距离变化大于设定阈值时，灌浆车辆停止并对当前路面位置进行复检，根据复检结果是否发生路面病害。

9、作为本发明第一方面进一步的限定，预训练的语义分割模型为基于transformer架构的语义分割模型，将预处理后的rgb图像和深度图像堆叠在一起，形成一个多通道图像作为语义分割模型的输入。

10、作为本发明第一方面进一步的限定，根据rgb-d相机的内参和深度信息，结合路面灾害区域的语义分割结果，将路面灾害区域的像素映射到世界坐标系中，包括：

11、从rgb-d相机的内参参数中获取焦距和主点坐标；

12、对于每个像素坐标，将其转换为相机坐标系下的归一化坐标，其中归一化坐标的范围是[0，1]；

13、从深度图像中获取与相应像素坐标相对应的深度值z；

14、使用焦距和主点坐标，将归一化坐标映射到相机坐标系下的坐标(x，y，z)，x＝z*(u-cx)/fx，y＝z*(v-cy)/fy；其中，(fx，fy)为焦距，(cx，cy)为主点坐标；

15、如果相机坐标系与世界坐标系不同，进行坐标系变换，将相机坐标系下的坐标(x，y，z)转换为世界坐标，根据实际场景的比例尺，将世界坐标系下的坐标映射为实际尺寸，得到映射后的路面病害实际尺寸。

16、作为本发明第一方面进一步的限定，根据映射后的路面病害实际尺寸，得到路面病害区域的体积，包括：

17、利用深度图像，将二维图像中的病害区域映射到三维空间，通过将深度信息与rgb图像中的像素坐标相结合，得到对应的三维点云数据，并对三维点云数据进行后处理；

18、基于后处理后的三维点云数据，使用基于体素的方法计算体积，将三维空间划分为小体素，计算体素中包含的点的数量或体素的体积，将所有体素的体积相加，得到病害的体积。

19、作为本发明第一方面进一步的限定，根据路面病害区域的体积以及路况信息，对路面病害区域进行灌浆操作控制，包括：

20、若道路上的交通量低于当前情况下设定的阈值，则对检测到的病害立即进行修补；若道路上的交通量高于或等于设定的阈值，则对当前位置的病害进行标定，等待道路交通空窗期对标定位置的路面病害进行修补；

21、根据路面病害体积，通过路径规划算法确定路面病害的修补路径，根据路面病害体积数据和位置信息，计算灌浆液的用量和注入压力，控制伸缩探针完成灌浆作业。

22、作为本发明第一方面进一步的限定，根据灌浆前后的像素标签的差异生成路面修补评估结果，包括：

23、获取灌浆修复后的路面rgb图像和深度图像；

24、使用图像相似度计算方法，计算灌浆前后rgb图像和深度图像的结构化相似性、颜色匹配度计算指标和边缘清晰度计算指标以及余弦相似度，进而得到修复前后图像的相似度评分；

25、根据像素标签的差异以及相似度评分，进行修复质量的评估，根据评估结果，进行灌浆控制的参数调整。

26、第二方面，本发明提供了一种基于图像语义分割用于路面修补的灌浆控制系统。

27、一种基于图像语义分割用于路面修补的灌浆控制系统，包括：

28、语义分析模块，被配置为：对获取的路面rgb图像和深度图像进行预处理，根据预处理后的rgb图像、预处理后的深度图像以及预训练的语义分割模型，得到路面病害区域的语义分割结果；

29、病害提及估算模块，被配置为：根据rgb-d相机的内参和深度信息，结合路面灾害区域的语义分割结果，将路面灾害区域的像素映射到世界坐标系中，根据映射后的路面病害实际尺寸，得到路面病害区域的体积；

30、灌浆控制模块，被配置为：根据路面病害区域的体积以及路况信息，对路面病害区域进行灌浆操作控制，根据灌浆前后的rgb图像和/或深度图像生成路面修补评估结果。

31、第三方面，本发明提供了一种基于图像语义分割用于路面修补的灌浆控制系统。

32、一种基于图像语义分割用于路面修补的灌浆控制系统，包括：

33、激光雷达、rgb-d传感器、伸缩探针、控制中心、车体支架、rgb-d相机、方形导轨和行走轮；

34、行走轮布置在车体支架的底部，激光雷达布置在车体支架的前部，rgb-d传感器布置在车体支架的前方顶部位置，控制中心位于车体支架内部；

35、rgb-d相机位于车体支架的正上方，方形导轨位于车体支架上，且伸缩探针与方形导轨滑动连接，控制中心被配置为执行权利要求1-7任一项所述的基于图像语义分割用于路面修补的灌浆控制方法。

36、作为本发明第三方面进一步的限定，控制中心包括：主控制单元、传感器模块、执行器控制模块和通信模块，主控制单元用于整体控制和协调灌浆车辆的运动、感知和决策，传感器模块管理各类传感器提供的环境感知数据，执行器控制模块控制灌浆车辆运动和导航，通信模块用于进行主控制单元与其他系统的通信。

37、与现有技术相比，本发明的有益效果是：

38、1、本发明创新性的提出了一种基于图像语义分割用于路面修补的灌浆控制策略，通过预训练的语义分割模型以及rgb图像和深度图像，解决了现有技术中对路面病害漏检误检的情况；对于检测到的路面病害，通过分析路面病害的大小以及感知到的路况信息，使得灌浆车辆做出相应决策，确保最大程度上减少对道路交通的影响。

39、2、本发明创新性的提出了一种基于图像语义分割用于路面修补的灌浆控制策略，通过体素化处理为后续体积计算提供了便利，通过对离散化的体素进行体积估算，能够更高效地计算裂缝、坑槽等路面病害的体积，为精准修补提供了有力支持。

40、3、本发明创新性的提出了一种基于图像语义分割用于路面修补的灌浆控制策略，使用可自由伸缩的智能化伸缩探针深入裂缝、坑槽内部进行除尘和精准灌浆，有利于填封质量的提高；在伸缩探针深入路面病害内部的操作中，其伸缩探针的自由伸缩性能能够适应不同尺寸和形状的病害，确保全面而灵活的探测。

41、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。