高速路面病害识别及告警方法与流程

本发明涉及交通道路监测，尤其涉及一种高速路面病害识别及告警方法。

背景技术：

1、高速公路为人们的出行带来了很大的方便，结合全域旅游、智慧交通等智慧城市城市的不断推进，交通出行日益频繁，路面承重越来越多，路面出现病害的间隔也越来越短，随之而来的高速公路道路养护和道路监控的重要性日渐突出。

2、道路巡检更多是依赖人工巡检和车主的报案，以被动式的方式去应对，由此也带来了效率低下、成本高、信息不顺畅等问题。考虑到当前计算机软硬件的不断发展，人工智能算法在当今已经广泛在社会上应用，在道路监管上完全可以考虑通过人工智能算法来实现道路的监控。特别是现在5g已经逐步完善，覆盖率已经超越4g网络，结合5g低时延高覆盖的特点，可以考虑通过一整套完整的解决方案，进而实现高速道路自动化养护和异常告警信息的实时、精准触达。

3、在中国专利文献cn114998713b中，公开了一种路面病害识别方法，包括：获取待识别路面图像；将所述待识别路面图像输入至病害识别模型，得到所述病害识别模型输出的所述待识别路面图像中的路面信息，所述路面信息的类别包括病害信息；其中，所述病害识别模型基于携带有路面信息标签的病害路面图像样本训练得到，所述病害路面图像样本包括真实病害路面图像样本以及合成病害路面图像样本，所述合成病害路面图像样本基于所述真实病害路面图像样本中的病害区域对应的纹理特征图像的表观信息，对所述纹理特征图像与健康路面图像进行融合得到；所述将所述待识别路面图像输入至病害识别模型，得到所述病害识别模型输出的所述待识别路面图像中的路面信息，具体包括：将所述待识别路面图像分别输入至所述病害识别模型的第一特征提取层以及第二特征提取层，得到所述第一特征提取层输出的所述待识别路面图像的第一分辨率的细节特征以及所述第二特征提取层输出的所述待识别路面图像的语义特征；将所述细节特征以及所述语义特征均输入至所述病害识别模型的融合层，得到所述融合层输出的所述细节特征与所述语义特征的融合特征；将所述融合特征输入至所述病害识别模型的分类层，得到所述分类层输出的所述路面信息。

4、在中国专利文献cn114863122a中，公开了一种基于人工智能的智能化高精度路面病害识别方法，包括以下步骤：提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对像主体所在具体位置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。

5、现有技术至少存在以下不足：

6、1.现有技术主要集中在图像的特征提取上，无法满足高速公路车速快，重型车辆多，路面损毁严重可能导致严重，单靠巡检车辆无法及时发现路面病害的问题；

7、2.不能实时对路面病害向车主进行推送；

8、3.目前主要采用人工巡检和车主的报案发现路面病害，效率低下、成本高、信息不顺畅。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种高速路面病害识别及告警方法，包括步骤s1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；步骤s2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；步骤s3、基于yolov5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；步骤s4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5g网络传输至云端服务器；步骤s5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。本发明实现了自动化巡检工作，及时、有效的监控路面病害，降低了运营成本，实时通知车主避开路面病害，保障安全驾驶。

2、本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：

3、步骤s1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；

4、步骤s2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；

5、步骤s3、基于yolo v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；

6、步骤s4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5g网络传输至云端服务器；

7、步骤s5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。

8、优选地，步骤s3中，通过yolo v5算法识别出各种病害并用边界框框出来。

9、优选地，步骤s3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；

10、优选地，步骤s3还包括如下步骤：

11、识别任一网格中的目标，并获得边界框的该目标的目标类别概率；

12、根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；

13、对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。

14、优选地，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。

15、优选地，高速路面病害模型库中，将路面病害以像素点的形式做标记。

16、优选地，步骤s4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。

17、优选地，步骤s4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。

18、优选地，与云端服务器有接口的车辆通过公网api接口将拍摄的视频数据传输到云端服务器。

19、优选地，云端服务器与多个gpu服务器连接，高速路面病害模型库与多个gpu服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个gpu服务器上并行进行。

20、优选地，步骤s4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。

21、优选地，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。

22、优选地，所述告警通过微信小程序发送给行驶在路面病害预设范围内的车主。

23、与现有技术相对比，本发明的有益效果如下：

24、(1)本发明通过人工智能算法对路面病害进行识别，极大减少了人工巡检的次数，从而降低了运营成本。

25、(2)本发明利用了5g网络低时延高覆盖的特性，采用5g网络及时将高速路面图像实时传递回后台，完成自动化巡检工作，及时、有效的监控路面病害。

26、(3)本发明结合5g网络和微信小程序，实时将路面病害告警信息有效通知到用户，及时提醒司机注意前方危险路段，从而达到安全保障。

27、(4)本发明通过巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，实时进行高速路面病害的检测，可以及时发现路面病害，减少事故的发生。