市政立杆类附属设施倾倒检测的方法与流程

本发明涉及一种市政立杆类附属设施倾倒检测的方法。

背景技术：

1、市政立杆类附属设施倾倒检测是指对市区内的立杆类设施(如交通信号灯、路灯、标志牌、监控立杆等)进行倾斜角度的检测和倾倒状态的判断，主要目标是及时发现和处理设施倾倒情况，以减少潜在的安全风险、维护城市的正常运行并提高公共设施的可靠性。

2、针对市政立杆类附属设施倾倒检测，现阶段主要依赖人工巡检的方式，巡检人员驾驶巡检车辆巡视立杆设施并拍照记录异常设施，并依靠路边桩号进行定位。此方式存在记录不精确、信息的遗漏、错误或混淆等问题，尤其在复杂的城市环境中，增加了维修和处理的难度。

3、近些年有学者研发了各类灯杆倾斜检测装置，但在实际养护项目中，改造具备倾倒检测功能的灯杆需要重新设计和制造，涉及到材料成本、劳动力成本和工程成本等方面的大量投入，同时大大增加了设备的维护和管理成本。

技术实现思路

1、本发明的目的在于提供一种市政立杆类附属设施倾倒检测的方法。

2、为解决上述问题，本发明提供一种市政立杆类附属设施倾倒检测的方法，包括：

3、步骤1：对车载摄像头的原始图像进行预处理，以得到车载影像集合p″＝{p1″，p2″，p3″，……，pn″}，

4、步骤2：基于车载影像集合p″＝{p1″，p2″，p3″，……，pn″}，获取独立的杆类附属设施要素区域；

5、步骤3：基于独立的杆类附属设施要素区域，进行杆类附属设施的倾倒判定；

6、步骤4：基于倾倒判定的结果，构建杆类附属设施异常档案库，跟踪养护情况。

7、进一步的，在上述方法中，

8、步骤1：对车载摄像头的原始图像进行预处理，以得到车载影像集合p″＝{p1″，p2″，p3″，……，pn″}，包括：

9、步骤1.1：对采集到的车载摄像头的原始图像进行畸变矫正，以得到畸变矫正后的影像；

10、步骤1.2：对畸变矫正后的影像进行曝光校正，以得到车载影像集合p″＝{p1″，p2″，p3″，……，pn″}。

11、进一步的，在上述方法中，步骤1.1：对采集到的车载摄像头的原始图像进行畸变矫正，以得到畸变矫正后的影像，包括：

12、步骤1.1.1：利用已知尺寸的棋盘格标定板，保持棋盘格标定板基本垂直于车载摄像头的方向，从不同的角度和位置下拍摄一组标定图像，构成标定图像集合p＝{p1，p2，p3，……，pi}；其中，棋盘格标定板中每个格子的边长为d，棋盘格标定板每行内角点的数量为a和每列的内角点数量为b；

13、步骤1.1.2：利用预设相机标定算法，对标定图像集合p进行分析和处理，计算得到相机的内部参数和相机畸变系数，获取相机矩阵cameramatrix和畸变参数数组h；

14、步骤1.1.3：获取车载摄像头回传的原始影像，利用相机矩阵cameramatrix和畸变参数数组h，通过校正映射将原始影像中的每个像素重新映射到无畸变的位置；

15、步骤1.1.4：预设投影的roi区域，将矫正后的车载影像裁剪至指定大小，得到畸变矫正后的车载影像集合p′＝{p1′，p2′，p3′，……，pn′}；其中，所述roi区域为一个矩形，用四元组(x，y，width，height)表示，x为roi区域中左上角的x坐标，y为roi区域中左上角的y坐标，width为roi的宽度，height为roi的高度。

16、进一步的，在上述方法中，步骤1.2：对畸变矫正后的影像进行曝光校正，以得到车载影像集合p″＝{p1″，p2″，p3″，……，pn″}，包括：

17、步骤1.2.1：设置畸变矫正后的车载影像集合p′＝{p1′，p2′，p3′，……，pn′}中各图像初始状态为normal；

18、步骤1.2.2：判断车载影像集合p′中各图像是否是单通道图像：

19、若不是单通道图像，则将rgb图像转为hsv图像后，进行下一步骤1.2.3；

20、若是单通道图像，则直接进行下一步骤1.2.3；

21、步骤1.2.3：定义每个滑块的大小为k*k，其中，k代表所定义的滑块边长所占像素数量，滑块步长为stride，stride的单位为像素，滑块在所述单通道图像或hsv图像上按照预设滑块步长滑动，依次获取滑块在所述单通道图像或hsv图像上不同位置的平均亮度mean_brightness；

22、步骤1.2.4：预设局部过曝的阈值为m和预设局部欠曝的阈值为n：

23、若平均亮度mean_brightness>m，则对应的滑块位置过曝，赋予该滑块中心像素点“overexposure”标签；

24、若平均亮度mean_brightness<n，则对应的滑块位置欠曝，赋予该滑块中心像素点“underexposure”标签；

25、若n<平均亮度mean_brightness<m，则对应的滑块位置正常，赋予该滑块中心像素点“normal”标签；

26、步骤1.2.5：预设异常比例阈值为threshold，统计所有标签的数量为ntotal，统计“overexposure”的标签数量为noverexposure，统计“underexposure”的标签数量为nunderexposure，则：

27、若则将对应的单通道图像的状态改为“overexposure”；

28、若则将对应的单通道图像的状态改为“underexposure”；

29、否则，保持对应的单通道图像的初始状态为“normal”；

30、步骤1.2.6：对状态为“overexposure”的单通道图像，使用ace算法进行过曝矫正，以得到过曝矫正后的单通道图像；

31、步骤1.2.7：对状态为“underexposure”的单通道图像，使用msrcp算法进行图像增强，以得到图像增强后的单通道图像；

32、步骤1.2.8：最终获取保持对应的单通道图像的初始状态为“normal”的单通道图像、过曝矫正后的单通道图像和图像增强后的单通道图像，作为车载影像集合p″＝{p1″，p2″，p3″，……，pn″}。

33、进一步的，在上述方法中，步骤2：基于车载影像集合p″＝{p1″，p2″，p3″，……，pn″}，获取独立的杆类附属设施要素区域，包括：

34、步骤2.1：选择无人驾驶类图像语义信息分割模型；

35、步骤2.2：利用选择的无人驾驶类图像语义分割模型，对车载影像集合p″中影像进行快速语义分析，以得到得到掩模图集合p″′＝{p1″′，p2″′，p3″′，……，pn″′}；

36、步骤2.3：提取掩模图集合p″′中的单张掩模图中的所有语义信息为pole的对象，利用连通域分析方法，逐一分割独立的杆类附属设施要素区域。

37、进一步的，在上述方法中，步骤2.2：利用选择的无人驾驶类图像语义分割模型，对车载影像集合p″中影像进行快速语义分析，以得到得到掩模图集合p″′＝{p1″′，p2″′，p3″′，……，pn″′}，包括：

38、利用预设选择的图像语义分割模型用于影像的语义类别分割，其中输入为车载影像集合p″中的图像，输出为带有语义信息的掩模图，即掩模图的每个像素点为对应的类别值；最终得到掩模图集合p″′＝{p1″′，p2″′，p3″′，……，pn″′}。

39、进一步的，在上述方法中，步骤2.3：提取掩模图集合p″′中的单张掩模图中的所有语义信息为pole的对象，利用连通域分析方法，逐一分割独立的杆类附属设施要素区域，包括：

40、步骤2.3.1：提取出掩模图集合p″′中的单张掩模图中的语义类别为pole的像素点，构成对应的二值化图像；

41、步骤2.3.2：构建用于形态学操作的矩形结构要素kernel，该结构要素的尺寸为m*n点像素；

42、步骤2.3.3：使用所述矩形结构要素kernel对步骤2.3.1中所述二值化图像进行两次膨胀操作，以得到膨胀后的二值图像；

43、步骤2.3.4：对膨胀后的二值图像进行连通域分析，依次获取独立的杆类附属设施要素区域。

44、进一步的，在上述方法中，步骤3：基于独立的杆类附属设施要素区域，进行杆类附属设施的倾倒判定，包括：

45、步骤3.1：对各独立的杆类附属设施要素区域内的像素点进行ransac二维直线拟合，从而得到对应杆件的拟合直线；

46、步骤3.2：计算拟合直线与竖直方向之间的夹角，记为k0；

47、步骤3.3：预设倾斜预警角度k1和倒伏预警角度k2(k1<k2)，根据k0的取值判断杆件的状态；

48、其中：如果k0<k1，表示杆件状态正常，没有倾斜；

49、如果k1<k0<k2，表示杆件倾斜，则对含有倾斜的杆件的图像增加“倾斜”标签；

50、如果k0>k2，表示杆件倒伏，则对含有倒伏的杆件的图像增加“倒伏”标签。

51、进一步的，在上述方法中，步骤4：基于倾倒判定的结果，构建杆类附属设施异常档案库，跟踪养护情况，包括：

52、步骤4.1：建立档案库，初始化传入的杆类附属设施异常数据，所述异常包括：倾斜和倒伏；

53、其中，传入的杆类设施异常数据应至少包含车载原始图像、异常高亮标注、倾斜角度、gps定位数据、时间戳信息和车辆朝向；

54、步骤4.2：对有“倾斜”标签的图像传入时，向后台发送预警信息，要求相关人员进行进一步的检查和处理；对有“倒伏”标签的图像传入时，向后台发送紧急信号，要求相关人员采取紧急措施进行修复；

55、步骤4.3：对每次新传入的异常数据，根据车辆朝向、gps定位数据和时间进行重复检测：其中，对于同一时间段连续传入的异常图像数据，判定异常图像数据的gps定位信息，若相邻位置小于阈值s，则判定此处连续传入的异常信息描述了唯一的异常情况；

56、对于不同时间段传入的异常图像数据，判定其gps定位信息：若此位置和档案库中已存在的异常数据相邻大于阈值s，则此异常数据为新的异常情况；否则继续判断车辆走向，若车辆走向与档案库中已存在的异常数据记录的车辆走向不同，则此异常数据为新的异常情况，否则此异常数据为档案库内已记录的异常，将新检测的异常数据关联到原有异常数据中。

57、进一步的，在上述方法中，步骤4.3之后，还包括：

58、步骤4.4：根据gps定位和车辆走向信息，自动抓取不同时间段车辆经过相同位置的数据进行跟踪监测；

59、其中，若捕捉到的数据经检测并未发现异常，表明该异常已被成功处理，异常记录备份后输出，并从档案库中删除；若捕捉到的数据经检测仍发现异常，或者持续有关联到此位置的异常，则向后台发送未处理提示，要求相关人员采取对应措施。

60、与现有技术相比，为解决上述市政立杆类附属设施倾倒检测的一系列问题，本发明提出一种利用车载摄像头自动识别立杆类附属设施并判别其倾倒状态方法，旨在借助深度学习方法自动识别与提取立杆类附属设施要素，进而基于计算机视觉计算倾斜角度、判定倾倒状态，保证精度和鲁棒性的同时大大提高检测速度，构建档案库跟踪异常状态和养护情况，为市政工作中杆类附属设施异常检测和养护提供一种方案。

61、本发明提出的一种市政立杆类附属设施倾倒检测的方法，具有如下优点：

62、1、对车载摄像头拍摄的图形进行畸变矫正，消除畸变对杆类附属设施倾倒判别的干扰；

63、2、自动检测车载图像的亮度分布信息并进行相应的曝光调节，提高图像的整体质量和视觉效果，保证车辆摄像头在背光环境、太阳直射情况下的数据质量；

64、3、基于纯视觉的技术手段自动进行道路语义分割与灯杆要素提取，大大节省计算开销，实现了实时检测；

65、4、计算各杆类附属设施进行倾斜角度，实现倾倒判定和异常检测的自动化，同时保证了检测精度和鲁棒性；

66、5、构建杆类附属设施异常档案库，为市政附属设施异常自动跟踪监测提供一种可行方案。