基于5G和自动驾驶的路面病害智能检测小车及沙盘展示系统

基于5g和自动驾驶的路面病害智能检测小车及沙盘展示系统
技术领域
1.本发明属于路面智能检测设备技术领域，尤其涉及一种基于5g和自动驾驶的路面病害智能检测小车及沙盘展示系统。


背景技术：

2.近年来，随着经济持续增长，我国交通基础设施建设的重心已经从道路建设转向了道路养护。作为道路养护的重点内容之一，路面病害的检测与路面服役寿命有直接关系，也与行车的舒适性密切相关。此外，对路面病害的有效检测对公共交通安全起到了不可或缺的保障作用。因此，路面病害检测的智能性、快速性与必要性变得尤为重要。
3.目前较先进的路面病害检测工作方法是通过人工驾驶的路面检测车进行检测，事后进行路面病害识别处理。该方法存在病害检测及结果上传速度慢，受环境因素影响大，人力资源投入量大，检测车体积过大影响灵活性等缺点。由于图像检测和传输技术的局限，道路病害检测工作对病害图像的采集都是使用垂直于地面直接拍摄的图像集，对于实现自动驾驶，该图像集不具有实用性，应用价值低。其次，受限于不完善的硬件条件(如摄像头)及复杂的道路环境，路面病害的图像采集困难，路面病害检测的速度和效率相对较低。
4.另外，受限于实地调查学习的困难性及能够实现真实、直观展示路面病害功能的教学平台的缺乏，大学生对于路面病害检测与处理的认识仍停留在理论层面，与工程实践层面的理解尚有差距。因此，基于自动驾驶的路面病害检测车与沙盘的协调开发具有重要意义。


技术实现要素：

5.路面病害直接关系路面服役寿命与服役性能，严重影响公共交通安全。当前，路面病害多依靠人力，检测速度慢、效率低。本发明创新性地将自动驾驶技术与路面病害检测技术相结合，运用5g技术，研发基于自动驾驶的路面病害智能检测平台，并创新性地将其应用于智能检测小车上。采用摄像头水平拍摄，以更快获取路面病害信息，并结合深度学习技术，实现了路面病害的实时检测与上报，尤其适用于受车流影响较小的非市政道路。同时进行相关沙盘研发，实现路面病害智能检测小车的功能可视化，并赋予教育意义。
6.相比于现在市场上流行的路面病害检测方法，本发明的智能检测小车具有：人力资源需求量小；不用封道、不影响正常的交通流；体型较小，灵活性强；可以应对不同复杂天气状况检测；检测反馈速度快；价格相对较低等优势。
7.同时，本发明提出系统，将智能检测小车与预制沥青路面病害制作的沥青混凝土病害模拟沙盘相结合，进行想法展示，提升智能检测小车的功能可视性，并用于大学生综合素质教育。
8.基于5g和自动驾驶的路面病害智能检测小车及沙盘展示系统，包括智能检测小车、沥青混凝土病害模拟沙盘。智能检测小车与沥青混凝土病害模拟沙盘相互独立。作为独立个体，智能检测小车可以在车流量较小的道路上进行实时检测。与沥青混凝土病害模拟
沙盘相结合，智能检测小车放置于其上，可以按预设路线行驶，并进行相应的路面病害检测，用于高校教学展示。
9.系统组成如图1所示。
10.智能检测小车包括车体、上位机、下位机三部分。其中车体包括车架、动力系统、辅助行驶系统、摄像系统。车架为两层结构，动力系统组装在车架下层下方，辅助行驶系统组装在车架下层前侧与上层前侧，摄像系统组装在车架上层中后侧。上位机与下位机交叠安装在车架下层中后侧，上位机在下位机上方。上位机与下位机之间通过40pin排线相连，动力系统、辅助行驶系统、摄像系统控制部件与下位机之间分别通过排线相连，摄像系统拍摄部件与上位机之间通过usb接口连接线相连。下位机可直接安装蓝牙通信模块。
11.沥青混凝土病害模拟沙盘(以下简称沙盘)由沥青混凝土病害模拟试件和沙盘基础结构组成。沥青混凝土病害模拟试件包括车辙试件、横向裂缝试件、纵向裂缝试件、网状裂缝试件、坑槽试件，各试件大小相同、相互独立。沙盘基础结构由沙盘底板和沙盘主体组成，沙盘底板与沙盘主体间紧密粘连。沙盘基础结构设有5个大小相同的空槽，可与沥青混凝土病害模拟试件进行不同排列顺序的嵌入式组合。
12.本发明包括智能检测小车的组装与设置、路面病害识别、自动驾驶策略调整、预制沥青试件展示。
13.具体步骤如下：
14.步骤一：智能检测小车的组装与设置
15.选用智能检测小车硬件由车体、上位机、下位机三部分组成，保证智能检测小车基础功能实现。智能检测小车技术路线图如图2所示。
16.车体由车架、动力系统、辅助行驶系统、摄像系统等组成。智能检测小车demo模型如图3所示。
17.车架组装：以铝合金板为车架底板，并以亚克力板为车架上层板，两层之间以长度适宜的铜柱为支撑，使得车架具有较大的拓展空间，同时结构强度高，抗压能力强。
18.动力系统组装：在底板上侧安装4个1：48强磁减速电机，保证智能检测小车动力强劲；在底板下侧安装1个动力锂电池组电源，增强续航时间。
19.辅助行驶系统组装：在上层板上侧安装1个超声波探测器，该超声波探测器的功能包括发射和接收超声波，并通过计算智能检测小车与前方障碍物之间的距离，安装时使超声波探测器指向智能检测小车正前方；在底板上侧安装2个红外探测器，该红外探测器的功能包括发射和接收红外线，并计算智能检测小车与前侧方障碍物之间的距离，安装时使2个红外探测器分别指向智能检测小车左前方、右前方。
20.摄像系统组装：在上层板上侧安装sg90双层云台，该云台由2个舵机和支撑结构组成，拥有2个自由度，更加灵活，有利于路面病害的视频图像采集；同时选取1080p分辨率摄像头，使得画面更清晰。
21.上位机采用树莓派主板。该主板包括64位1.5ghz四核cpu与broadcom videocore
ⅵ
@500mhz gpu，使得智能检测小车具有更为优越的控制性能与摄像性能。
22.下位机采用亚博智能拓展板。并在拓展板上安装5g通信模块，用以实现计算机对智能检测小车的实时控制，并将智能检测小车摄像头所拍摄到的视频实时回传到计算机。
23.控制智能检测小车的计算机连接云服务器，并设置云服务器连续读取计算机指定
位置文件。设置计算机，将智能检测小车回传数据存储至上述指定位置文件。以此实现对智能检测小车所获取的视频数据进行计算分析。
24.步骤二：路面病害识别
25.本发明采用基于候选区域的faster r
‑
cnn算法实现道路病害的识别。
26.faster r
‑
cnn是针对fast r
‑
cnn的一种改进算法，它利用卷积神经网络(cnn)直接生成候选区域，综合性能有较大提高，在检测速度方面尤为明显。
27.faster r
‑
cnn的基本结构，如图4所示。faster r
‑
cnn包括四个主要部分，分别是卷积神经网络(conv layers)、区域建议网络(rpn)、roi池化和分类器(classification)。
28.卷积神经网络(conv layers)。该网络包含13个卷积层、4个池化层、13个激活函数relu层。并且所有的卷积层核尺寸为3，步长为1,进行扩边处理，即填充一圈0；所有的池化层核尺寸大小为2，步长为2。使用卷积神经网络(conv层)对图像的特征进行提取，其中整幅图像作为输入，提取的特征作为输出。录制的道路实景图像具有高复杂度、辨识度较大的特点，因此本发明采用imagenet预训练的vgg
‑
16模型作为分类任务的基础网络。vgg的输入大小是1280*720*3。卷积层的输出作为conv层的输出特征图。
29.区域建议网络(rpn)。本发明抛弃了传统的滑动窗口和ss方法，直接使用rpn生成检测框，这也是faster r
‑
cnn的巨大优势，能极大提升检测框的生成速度。利用区域建议网络对提取的卷积特征图进行处理。其用于查找可能包含预定义数量的对象的区域。它是一个输入来自conv层的特征映射并输出建议区域的卷积网络。在区域建议网络中，锚点是通过使用多种不同的尺寸和尺度放置在图片上的固定大小的方框，作为第一次预测物体位置的参考方框。二分类层的输出是每个锚点是否为背景的概率。区域建议网络的回归层输出与预测对象匹配的锚框的位置信息，如图5所示，可以看到rpn网络实际分为2条线，上面一条通过softmax函数进行分类，通过锚点获得正样本和负样本分类，下面一条用于计算对于锚点的预测框偏移量，以获得精确的特征值proposal。
30.roi池化。roi池化将不同大小的输入转换为固定长度的输出。输入是不同的候选区域，使用插值将裁剪特征图固定到14*14*512大小，最大池化后输出固定大小的7*7*512的特征图。
31.分类(classification)。这一层利用已经获得的特征图谱，计算每个特征值具体属于的类别的概率，其输出是候选区域所属类别和候选区域在图像中的确切位置。它在faster r
‑
cnn中的作用类似于常规卷积神经网络的全连接层。两个输出层包含n+1和4n个神经元。分别地，一个是给出每种候选对象的得分，另一个输出n类预测框的位置信息。这个网络和rpn函数是一致的，所以两个网络的权值共享可以大大提高计算速度。
32.本发明具体识别路面病害为5类，包括：横向裂缝、纵向裂缝、网状裂缝、车辙、坑槽。
33.裂缝是沥青路面的主要破坏形式，密集时影响行车舒适性，且极易随着时间的推移引发更为严重的路面病害，因此是路面病害检测的重点。横向裂缝是指垂直于行车方向的裂缝，多为沥青面层温度裂缝和基层反射裂缝。纵向裂缝是指平行于行车方向的裂缝，产生原因多为沥青面层分路摊铺接茬处理不当、路基压实度不均匀或路基不均匀沉降、行车轮迹带边缘高压轮胎引起。网状裂缝则多为疲劳开裂，由于沥青结构层受车轮荷载的反复弯拉作用而逐渐产生。
34.车辙是在车辆反复碾压作用下路面结构产生的塑性累积变形，一般发生在温度较高的季节。由于对沥青路面产生累积永久变形，影响行车舒适性，且严重时易于在凹陷处积水，对行车安全有着严重影响，因此需要进行检测。
35.坑槽是在行车作用下，路面骨料局部脱落而产生的坑洼，是沥青路面易发多发的常见病害，凹凸的表面，影响行车安全性、舒适性和路容路貌。如果养护维修不及时，会对行车安全构成极大威胁，同时会加剧养护成本的增加，需要进行及时检测。
36.步骤三：基于路面状况的自动驾驶策略调整
37.本发明提出的智能检测小车在检测到路面检测对象后，根据不同的检测对象类别，结合智能检测小车动力性能，进行不同的行驶策略调整。
38.当智能检测小车检测到前方存在对行驶产生严重影响的检测对象，如坑槽时，采用减速绕行的应对策略；当智能检测小车遇到对行驶产生较大影响的检测对象，如车辙时，采用减速并保持较低速度通过的应对策略；当智能检测小车遇到对行驶产生较小影响的检测对象，如裂缝(横向裂缝、纵向裂缝、网状裂缝)时，采用减速并保持中等速度通过的应对策略。
39.步骤四：沥青混凝土病害模拟沙盘制作
40.本发明的智能检测小车，可用于高校沙盘作品展示和大学生综合素质教育，拟通过将预制沥青混凝土病害模拟试件嵌入沙盘基础结构中，制作沙盘，并用以智能检测小车路面病害检测成果展示，更加真实地模拟检测场景。
41.步骤4.1：制作沥青混凝土病害模拟试件。
42.沥青混凝土病害模拟试件通过预制试件模具完成。采用ac
‑
16级配，按照公路工程沥青及沥青混合料试验规程(jtge20
‑
2011)通过模具，制作尺寸为600mm*600mm*100mm沥青混凝土病害模拟试件。
43.沙盘涉及沥青混凝土路面病害一共五类，包括：车辙、横向裂缝、纵向裂缝、网状裂缝、坑槽。具体参数设置为：1.车辙试件。距离试件xy平面中心线150mm各设置两个对称平滑下凹的“槽”。槽深50mm，槽宽120mm；长度与试件长度一致，为600mm，具体如图6所示。2.横向裂缝试件。在试件中心设置一道裂缝，裂缝长度为600mm，宽度为20mm，深度为50mm，如图7所示，其仅为示意图，具体裂缝走向呈现延展性随机曲线，可进行相应调整。3.纵向裂缝试件。与横向裂缝设置参数一致，仅摆放方向与其不同。4.网状裂缝试件。设置“井”字型网状裂缝，长度和宽度为500mm，深度为50mm，如图8所示，裂缝同样具随机延展性，此处用直线示意。5.坑槽试件。坑槽设置在试件中心，为圆形圆滑凹坑。参数为：坑圆形半径250mm，最深处距路面60mm，如图9所示。
44.步骤4.2：制作沙盘基础结构。
45.沙盘基础结构由沙盘主体和沙盘底板，经粘连组成，尺寸均为5000mm*5000mm*500mm。沙盘主体为abs塑料，沙盘底板则使用木质贴装饰板制成。粘连后，在板面上喷涂灰色、黑色涂料，模拟真实沥青混凝土路面。
46.步骤4.3：合成沙盘。
47.将步骤4.1中制作的五种路面病害模拟试件嵌入步骤4.2制作的沙盘基础结构中，分别设置在沙盘中间、上下左右五个区域，如图10所示。
48.通过沥青混凝土病害模拟沙盘，可以更好地将路面病害智能检测小车的功能和想
法进行展示。将智能检测小车放置于沙盘中，智能检测小车按程序先后沿五种预制的路面病害路线行驶，智能检测小车连接检测平台，摄像头进行实时数据采集，并通过5g传入云平台进行病害检测，云平台依据识别目标，将驾驶策略结果返还智能检测小车，实现智能检测小车的驾驶策略调整。
49.本发明中的沙盘，可用于展示和高校教育，具有立体感强、形象直观等特点，形成一套情景式教学教学、互动教学为一体、较为完善的教学体系。在展示智能检测小车思路的同时，开拓大学生创新思维，并向学生和公众指明智能道路检测的方向和趋势。
附图说明
50.图1系统组成结构示意图。
51.图2智能检测小车技术路线图。
52.图3智能检测小车模型示意图。
53.图4faster r
‑
cnn结构图。
54.图5rpn网络图示意图。
55.图6预制车辙试件示意图。
56.图7预制裂缝试件示意图。
57.图8预制网状裂缝试件示意图。
58.图9预制坑槽试件示意图。
59.图10路面病害沙盘分布位置示意图。
具体实施方式
60.对于车辆信息采集部分，利用无线高清5g摄像头进行道路信息的采集。采集模块录制道路的实时场景，该场景清晰度可达1080p，上传至实验室固定端的平台进行相关处理。
61.对于平台的数据传输部分，依托于已建设的5g基站利用标准类型为802.1.n的5g传输技术，实现平台与智能检测小车之间的通信。
62.对于智能检测小车的策略调整部分，根据遇到的路面病害对行车安全造成的影响程度不同，对于严重影响、较大影响、较小影响，分别采用减速绕行通过、减速并保持较低速度通过、减速并保持中等速度通过的控制策略。与病害识别使用相同的基于候选区域的faster r
‑
cnn算法用于实现智能检测小车的指导策略。
63.在该发明的路面病害识别部分。训练及测试均采用基于道路实景的开源数据集。该数据以车辆上的高清摄像头拍摄视频，每段视频约40
‑
50秒。对搜集的视频进行截取图像处理，选取检测目标分布较大、目标明显、特征显著的图像作为原始数据集。相比于处理视频数据，处理图像数据速度更快、效果更好，速度可达到0.12s/张，基本实现实时处理。
64.本发明训练中，所有模型都是基于tensorflow实现的，所使用momentum优化算法中动量设置为0.9。模型训练时，小批量参数(batchsize)的大小被设置为256。学习率(learning rate)设置0.1，随着每30000迭代次数乘以0.1。经过100，000epoch后(一个epoch等于使用训练集中的全部样本训练一次)，学习率设置到0.0001。
65.经过10万次训练，共计18小时，faster r
‑
cnn在测试集上的表现良好，可以实现规
定种类的病害识别，且精度符合工程标准。