一种基于无人清扫车的井盖异常智能检测识别方法及系统与流程

本发明涉及图像处理，尤其是涉及一种基于无人清扫车的井盖异常智能检测识别方法及系统。

背景技术：

1、井盖广泛分布在现代城市中的各个角落，例如常见的自来水井盖和下水道井盖等，是城市环境中必不可少的组成构件，为了保证行人、车辆安全，需要对井盖进行定期巡检，并及时对缺失、损坏的井盖进行更换或者修复。现有的路面井盖异常情况检查主要是通过人工在城市管理作业车上进行视觉判断，不仅效率低下，而且相当耗费时间和人力。智能井盖，虽然可以对自身的情况进行识别和上报，但成本较高，且极易由于环境因素或人为因素导致智能井盖中的电子元件失灵，报废率较高。由此可见，现有技术中的诸多监测手段都存在一定的缺陷，难以满足准确巡检井盖的应用要求。

2、传统的道路井盖识别主要是用传感器检测和数字图像处理的方法，前者基于传感器采集井盖图片信息，然后再对采集到的信息进一步分析，最终结合一定算法来实现井盖的检测与识别；后者基于图像分割，边缘检测等原理对不同类型的井盖进行检测、识别和分割。由于井盖的种类繁多，特征不易提取等原因，传统的道路井盖识别方法正确率较低，出现误判的几率较大，投入实际使用的效果并不理想，所以传统的检测方法不是最好的选择。

技术实现思路

1、为了解决上述提到的问题，本发明提供一种基于无人清扫车的井盖异常智能检测识别方法及系统。

2、第一方面，本发明提供的一种基于无人清扫车的井盖异常智能检测识别方法，采用如下的技术方案：

3、一种基于无人清扫车的井盖异常智能检测识别方法，包括：

4、获取无人清扫车的视频流；

5、对获取的视频流进行预处理，得到rgb通道的彩色图像和depth通道的深度图像；

6、利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；

7、通过深度学习模型识别彩色图像，得到井盖状态；

8、若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；

9、识别井盖破损点，根据井盖破损点计算井盖破损面积；

10、根据深度图像的数值，判断井盖的倾斜程度。

11、进一步地，所述对获取的视频流进行预处理，包括基于深度摄像头的深度传感器、红外通滤光片、rgb 传感器和红外投影仪的结合，得到rgb通道的彩色图像和depth通道的深度图像。

12、进一步地，所述利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置，包括利用目标检测模型对彩色图像进行检测，得到井盖的候选框或掩码，根据深度图像中roi的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值，通过深度值和彩色图像坐标相融合，得到井盖的位置坐标。

13、进一步地，所述将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度，包括将深度图像点阵化得到井盖图像点云，根据井盖图像点云中纵坐标变化判断变形深度或变形高度。

14、进一步地，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，包括利用边缘检测、斑点检测和纹理分析提取彩色图像中井盖破损点，并提取破损点的特征。

15、进一步地，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，还包括根据破损点的特征确定破损点在图像中的位置，并计算其二维表面积，通过将所有破损点的二维表面积相加，得到井盖破损的总面积。

16、进一步地，所述根据深度图像的数值，判断井盖的倾斜程度，包括利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度，通过井盖的倾斜角度判断井盖的倾斜程度。

17、第二方面，一种基于无人清扫车的井盖异常智能检测识别系统，包括：

18、数据获取模块，被配置为，获取无人清扫车的视频流；对获取的视频流进行预处理，得到rgb通道的彩色图像和depth通道的深度图像；

19、位置检测模块，被配置为，利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；

20、状态检测模块，被配置为，通过深度学习模型识别彩色图像，得到井盖状态；

21、深度检测模块，被配置为，若识别为非正常状态，将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度；

22、破损检测模块，被配置为，识别井盖破损点，根据井盖破损点计算井盖破损面积；

23、倾斜检测模块，被配置为，根据深度图像的数值，判断井盖的倾斜程度。

24、第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。

25、第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于无人清扫车的井盖异常智能检测识别方法。

26、综上所述，本发明具有如下的有益技术效果：

27、1、自动化检测：利用无人清扫车进行井盖异常检测，不需要人工巡查，提高了工作效率和安全性。

28、2、多重检测手段：采用了多种技术手段，包括目标检测模型、深度学习识别模型和点云图像处理等，可以全面、准确地检测井盖的位置、状态、变形深度、破损面积和倾斜程度等。

29、3、高效识别井盖状态：通过图像视觉处理与深度学习相结合的方法，可以快速准确地识别井盖状态，为维护和修复工作提供参考依据。

30、4、实时监测和预警：无人清扫车可以实时采集数据并进行处理，及时发现井盖异常情况，并通过系统提供的预警功能，及时通知相关人员进行处理。

31、综上所述，本发明的方法和系统在井盖异常检测领域具有广阔的应用前景，可以提高工作效率、降低安全风险，并为城市管理和维护提供重要技术支持。

技术特征：

1.一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述对获取的视频流进行预处理，包括基于深度摄像头的深度传感器、红外通滤光片、rgb 传感器和红外投影仪的结合，得到rgb通道的彩色图像和depth通道的深度图像。

3.根据权利要求2所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置，包括利用目标检测模型对彩色图像进行检测，得到井盖的候选框或掩码，根据深度图像中roi的深度信息，筛选出与彩色图像中井盖候选框或掩码相对应的深度值，通过深度值和彩色图像坐标相融合，得到井盖的位置坐标。

4.根据权利要求3所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述将深度图像转化为点云图像，根据点云图像判断井盖变形深度或变形高度，包括将深度图像点阵化得到井盖图像点云，根据井盖图像点云中纵坐标变化判断变形深度或变形高度。

5.根据权利要求4所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，包括利用边缘检测、斑点检测和纹理分析提取彩色图像中井盖破损点，并提取破损点的特征。

6.根据权利要求5所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述识别井盖破损点，根据井盖破损点计算井盖破损面积，还包括根据破损点的特征确定破损点在图像中的位置，并计算其二维表面积，通过将所有破损点的二维表面积相加，得到井盖破损的总面积。

7.根据权利要求6所述的一种基于无人清扫车的井盖异常智能检测识别方法，其特征在于，所述根据深度图像的数值，判断井盖的倾斜程度，包括利用深度图像中的几何信息，通过计算井盖区域的表面法线或拟合平面，估计井盖的倾斜角度，通过井盖的倾斜角度判断井盖的倾斜程度。

8.一种基于无人清扫车的井盖异常智能检测识别系统，其特征在于，包括：

9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的一种基于无人清扫车的井盖异常智能检测识别方法。

技术总结
本发明涉及图像处理技术领域，尤其是涉及一种基于无人清扫车的井盖异常智能检测识别方法及系统，方法包括获取无人清扫车的视频流；对获取的视频流进行预处理，得到RGB通道的彩色图像和DEPTH通道的深度图像；利用目标检测模型检测彩色图像，并融合深度图像的深度信息，得到井盖的位置；通过深度学习模型识别彩色图像，得到井盖状态；本发明的方法和系统在井盖异常检测领域具有广阔的应用前景，可以提高工作效率、降低安全风险，并为城市管理和维护提供重要技术支持。

技术研发人员：乔文静,董利亚,杨克显,宫玮玮
受保护的技术使用者：山东博昂信息科技有限公司
技术研发日：
技术公布日：2024/1/15