一种基于物联网和深度学习的道路病害智能巡检平台

1.本发明属于道路检测领域，尤其涉及一种基于物联网和深度学习的道路病害智能巡检平台，适用于道路病害智能巡检。


背景技术：

2.道路病害对于交通出行的安全性有着严重威胁，对道路病害进行检测是交通行业的重要工作。目前常用的道路病害检测方式是人工检测法和检测车检测法。人工检测需要投入大量人力资源，检测效率低，并且需要检测过程中需要封路，对交通产生严重不利影响。检测车检测需要购置专业车辆，设备成本高昂，适用范围只包括机动车道，并且检测车各种时需要以较低的速度行驶，会形成交通瓶颈，对交通产生不利影响。


技术实现要素：

3.本发明提出了一种基于物联网和深度学习的道路病害智能巡检平台，可以实现对道路病害的实时检测和对道路病害检测设备的远程控制。
4.本发明采用的技术方案为一种基于物联网和深度学习的道路病害智能巡检平台，该平台由道路病害检测车和计算机系统两部分组成。该平台的道路病害检测车使用视频传感器获取道路图像信息，使用树莓派作为主板，使用无线网卡作为通信模块，并安装gps定位模块；该平台的计算机系统由三部分组成，分别是信息传输系统、道路病害检测系统、车辆控制系统。信息传输系统用于接收道路病害检测车传输的信息以及向道路病害检测车发送控制指令，道路病害检测系统用于根据接收的道路病害检测车传输的信息检测道路病害，车辆控制系统用于根据道路病害检测系统检测结果生成道路病害检测车行驶方案。
5.该平台的具体实施步骤如下：
6.步骤一，道路病害检测车与计算机系统间连接通信。
7.在计算机系统的服务器上搭建flask框架，基于python语言的开源微型web 框架，并具有相当的可扩展性。服务器用来接收道路病害检测车发送的图片以及 gps定位信息。计算机系统本地开启80端口作为服务器的收发端口。
8.实施道路病害检测车使用jetson nano 8265ngw型号的网卡来连接网络，选择2.4g频率的网卡，它的优势在于同时有蓝牙和wifi两种模式并且兼容linux系统，不需要再安装驱动来使用。在得到道路病害检测车的ip地址之后，用计算机系统通过公网与道路病害检测车通信。在道路病害检测车把得到的照片传送到计算机系统的服务器过程中，使用frp技术，把计算机系统的80端口与服务器的8000端口连接，通过反向代理把道路病害检测车作为客户端传输的照片发送到frp服务器里，再通过frp发送到计算机系统的网络端口里。这种通讯模式比之前用本地网络的优势在于，通讯的效率更高且道路病害检测车可以活动的范围更广，不受到本地网络信号范围的限制。
9.步骤二，深度学习检测模型建立。
10.建立基于深度学习的路面病害识别模型。选取多种天气状态和时间下的场景作为
训练集，使得网络训练具有更强的适用性，更加贴近实际应用。
11.使用yolo v5算法进行深度学习，并使用mosaic数据增强、自适应锚框、自适应图片缩放，加强模型的准确性与鲁棒性。
12.步骤三，道路巡检。
13.对于道路病害检测车拍照原理，主要分为三步：初步在道路病害检测车端调用高清广角摄像头获取路面情况；之后将路面状况传回pc端，进行道路病害识别；最后，由服务器处理得到识别结果后发送行驶指令到道路病害检测车。
14.对于路面状况获取，处理技术主要调用nvidia官方提供的jetbot库。初步引用camera，并完成该对象实例化。经由该对象获取robot摄像头数据，操控该摄像头完成实时路面状况获取，以视频帧形式写入存储既定地址。
15.对于pc端传输及处理，调用python开源库request实现pc端与jetbot端图像实时传输。通过构建request命令，完成发送实时路面状况到服务器既定地址。在pc端调用yolo v5网络训练模型对路面状况做出病害识别处理，识别结果包括目标位置、大小、类别、置信度，并结合阈值分析输出jetbot自动驾驶指令。
16.jetbot端接收行驶指令，在pc端执行request命令，将驾驶指令发送到jetbot 端。并于jetbot端建立request响应对象，该对象接收驾驶指令后，依照该指令完成自动驾驶。
17.在接收到服务器传回的行驶指令后，调用行驶函数控制道路病害检测车四个电机的转速，从而控制道路病害检测车的行驶速率与方向。道路病害检测车的四个电机速率分为10档，可根据图片的传输速率与计算机端检测速率来设置适合的转率，从而设置合适的道路病害检测车行驶速率。从而做到在有限的时间内，使道路病害检测车减速到目标速度或者更换车道。通过设置不同的左右电机转速，可以实现以左右轮差速的转向方法，这种原地转向的方法也能增大避障的成功率。
18.道路病害检测车在检测到路面检测对象后，根据不同的检测对象类别，并依据道路病害检测车动力性能，进行不同的行驶策略调整。
19.检测对象类别分为以下4类：
20.a类：对行驶产生严重影响的检测对象，包括坑槽等；
21.b类：对行驶产生较大影响的检测对象，包括裂缝等；
22.c类：对行驶产生较小影响的检测对象，包括井盖等；
23.d类：对行驶几乎没有影响的检测对象，包括标线等；
24.行驶策略调整包括以下4个等级：
25.a级响应：当道路病害检测车检测到行驶前方存在a类检测对象时，道路病害检测车依次进行ⅰ级减速行驶、避让行驶、加速行驶。
26.b级响应：当道路病害检测车检测到行驶前方存在b类检测对象时，道路病害检测车依次进行ⅰ级减速行驶、匀速行驶、加速行驶。
27.c级响应：当道路病害检测车检测到行驶前方存在c类检测对象时，道路病害检测车依次进行ⅱ级减速行驶、匀速行驶、加速行驶。
28.d级响应：当道路病害检测车检测到行驶前方存在d类检测对象时，道路病害检测车保持原有行驶状态。
29.驾驶策略调整具体行动说明如下：
[0030]ⅰ级减速行驶：道路病害检测车以减速时最大加速度am将速度由正常行驶速度v0减小至v1，v1＝0.25v0。
[0031]
避让行驶：绕行共包括4次转向和3段行驶，共7步。
[0032]
对于a类检测对象所产生的矩形框，前向边长为2a，右侧边长为b；道路病害检测车与a类检测对象前向边初始距离为x0，且该距离较长；道路病害检测车行驶方向为正北方向，方位角α0＝0
°
，且与a类检测对象前向边垂直，并经过a类检测对象重心；初始时刻道路病害检测车速度为v1；道路病害检测车与a类检测对象间安全距离为xs。
[0033]
①
第一次转向：道路病害检测车在很短的时间内将方位角调整为α1，α1＝60
°
，同时保持速度大小不变。
[0034]
②
第一段行驶：道路病害检测车以速度v1匀速行驶距离x1，
[0035]
③
第二次转向：道路病害检测车在很短的时间内将方位角调整为α2，α2＝0
°
，同时保持速度大小不变。
[0036]
④
第二段行驶：道路病害检测车以速度v1匀速行驶距离x2， x2＝x
0-x
1 cosα1+b+xs。
[0037]
⑤
第三次转向：道路病害检测车在很短的时间内将方位角调整为α3，α3＝-60
°
，同时保持速度大小不变。
[0038]
⑥
第三段行驶：道路病害检测车以速度v1匀速行驶距离x3，x3＝x1。
[0039]
⑦
第四次转向：道路病害检测车在很短的时间内将方位角调整为α4，α4＝0
°
，同时保持速度大小不变。
[0040]
加速行驶：道路病害检测车以加速时标准加速度as将速度由当前行驶速度v
t
增大至正常行驶速度v0。
[0041]
匀速行驶：道路病害检测车保持当前行驶速度v
t
大小和方向均不变，向前行驶。
[0042]ⅱ级减速行驶：道路病害检测车以减速时最大加速度am将速度由正常行驶速度v0减小至v2，v2＝0.5v0。
[0043]
道路病害检测车避障过程中，不再重复执行新的避障指令，直至本次避障动作执行完毕。
[0044]
与现有技术相比较，本发明实现道路病害实时检测和道路病害检测车实时控制功能。本发明可以实现对道路病害的实时检测和对道路病害检测设备的远程控制。
附图说明
[0045]
图1是路面病害检测模型训练过程中性能指标变化图。
[0046]
图2是路面病害检测召回率曲线图。
[0047]
图3是路面病害检测精确度曲线图。
[0048]
图4是路面病害检测pr曲线图。
[0049]
图5是路面病害检测f1曲线图。
[0050]
图6是路面病害检测混淆矩阵图。
[0051]
图7是本发明整体结构示意图。
具体实施方式
[0052]
以下结合附图和实施例对本发明进行详细说明。
[0053]
如图1-7所示，一种基于物联网和深度学习的道路病害智能巡检平台，其特征在于：该平台由道路病害检测车和计算机系统两部分组成。
[0054]
该平台的道路病害检测车使用视频传感器获取道路图像信息，使用树莓派作为主板，使用无线网卡作为通信模块，并安装gps定位模块。
[0055]
该平台的计算机系统由3部分组成，分别是信息传输系统、道路病害检测系统、车辆控制系统。信息传输系统用于接收道路病害检测车传输的信息以及向道路病害检测车发送控制指令，道路病害检测系统用于根据接收的道路病害检测车传输的信息检测道路病害，车辆控制系统用于根据道路病害检测系统检测结果生成道路病害检测车行驶方案。
[0056]
该平台的实施方式如下：
[0057]
步骤一，道路病害检测车与计算机系统间连接通信。
[0058]
在计算机系统的服务器上搭建flask框架，flask是一个开源的微型web框架，具有极高的可扩展性。本地搭建的服务器用于处理道路病害检测车发送的携带图片数据和gps数据的请求。
[0059]
在道路病害检测车安装gps模块，通过ttl转usb接口连接道路病害检测车主板，以与拍照频率相同的固定频率向计算机发送nmea协议格式数据，记录图片位置坐标。
[0060]
应用frp内网穿透技术，将的80端口连接服务器的8000端口，通过反向代理把道路病害检测车作为客户端传输的照片发送到frp服务器中，再通过frp发送到计算机的网络端口。这种通讯模式的优势在于，通讯的效率更高且道路病害检测车可以活动的范围更广，不受本地网络信号范围的限制。
[0061]
步骤二，深度学习检测模型建立。
[0062]
为得到路面病害检测模型，选取多种天气状态和时间下的场景作为训练集，使得网络训练具有更强的适用性，更加贴近实际应用。
[0063]
使用yolo v5算法进行深度学习，并使用mosaic数据增强、自适应锚框、自适应图片缩放，加强模型的准确性与鲁棒性。
[0064]
步骤三，道路巡检。
[0065]
道路病害检测车安装相机模块，调用英伟达官方提供的jetbot库，建立 camera对象，从camera中获取摄像头数据完成拍照，完成后写入道路病害检测车。使用python开源库request，构建request命令，发送照片到计算机服务器既定地址。
[0066]
道路病害检测车每次拍照后进行一次数据传输，拍照频率由道路病害检测车行驶速度决定。当车辆行驶速度大于18km/h时，拍照频率为每次0.1秒；当车辆行驶速度小于或等于18km/h时，拍照频率为每次0.2秒。
[0067]
对于pc端传输及处理，调用python开源库request实现pc端与jetbot端图像实时传输。通过构建request命令，完成发送实时路面状况到计算机服务器既定地址。在pc端调用yolo v5网络训练模型对路面状况做出病害识别处理，识别结果包括目标位置、大小、类别、置信度，并结合阈值分析输出jetbot自动驾驶指令。
[0068]
jetbot端接收行驶指令，在pc端执行request命令，将驾驶指令发送到jetbot 端。并于jetbot端建立request响应对象，该对象接收驾驶指令后，依照该指令完成自动驾驶。
[0069]
在接收到计算机端传回的行驶指令后，调用行驶函数控制道路病害检测车四个电机的转速，从而控制道路病害检测车的行驶速率与方向。道路病害检测车的四个电机速率分为10档，可根据图片的传输速率与计算机端检测速率来设置适合的转率，从而设置合适的道路病害检测车行驶速率。从而做到在有限的时间内，使道路病害检测车减速到目标速度或者更换车道。通过设置不同的左右电机转速，可以实现以左右轮差速的转向方法，这种原地转向的方法也能增大避障的成功率。
[0070]
道路病害检测车避障过程中，不再重复执行新的避障指令，直至本次避障动作执行完毕。
[0071]
对于本发明中的深度学习路面病害检测模型，使用yolo v5神经网络，各训练参数设置如下：
[0072]
meta＝{'lr0':(1,1e-5,1e-1),
[0073]
'lrf':(1,0.01,1.0),
[0074]
'momentum':(0.3,0.6,0.98),
[0075]
'weight_decay':(1,0.0,0.001),
[0076]
'warmup_epochs':(1,0.0,5.0),
[0077]
'warmup_momentum':(1,0.0,0.95),
[0078]
'warmup_bias_lr':(1,0.0,0.2),
[0079]
'box':(1,0.02,0.2),
[0080]
'cls':(1,0.2,4.0),
[0081]
'cls_pw':(1,0.5,2.0),
[0082]
'obj':(1,0.2,4.0),
[0083]
'obj_pw':(1,0.5,2.0),
[0084]
'iou_t':(0,0.1,0.7),
[0085]
'anchor_t':(1,2.0,8.0),
[0086]
'anchors':(2,2.0,10.0),
[0087]
'fl_gamma':(0,0.0,2.0),
[0088]
'hsv_h':(1,0.0,0.1),
[0089]
'hsv_s':(1,0.0,0.9),
[0090]
'hsv_v':(1,0.0,0.9),
[0091]
'degrees':(1,0.0,45.0),
[0092]
'translate':(1,0.0,0.9),
[0093]
'scale':(1,0.0,0.9),
[0094]
'shear':(1,0.0,10.0),
[0095]
'perspective':(0,0.0,0.001),
[0096]
'flipud':(1,0.0,1.0),
[0097]
'fliplr':(0,0.0,1.0),
[0098]
'mosaic':(1,0.0,1.0),
[0099]
'mixup':(1,0.0,1.0)}
[0100]
以检测坑槽、裂缝、井盖、标线四类目标为例，训练100周期，路面病害检测模型训
练过程中性能指标变化如图1所示。训练完成后，路面病害检测召回率曲线如图2所示，路面病害检测精确度曲线如图3所示，路面病害检测pr曲线如图4所示，路面病害检测f1曲线如图5所示，路面病害检测混淆矩阵如图6 所示。