一种天地一体化公路检测系统及方法与流程

1.本发明属于公路检测技术领域，涉及一种集成无人机、检测车和手持式检测终端于一体的公路检测系统及方法。


背景技术：

2.随着新基建的快速发展，基于“人-车-路-环境协同”的智慧公路成为必然趋势，桥梁、边坡、隧道、路面等基础设施作为智慧公路的重要组成部分，面对其巨大的存量与稳定的增量，其养护管理的智慧程度迫切需要紧跟发展趋势，并予以适配。因此，利用互联网+、云计算、北斗、大数据、物联网、人工智能等新兴技术进行产业转型升级与治理能力提升，是科学、高质量养护管理的有效手段。
3.虽然行业在智能化领域有所进展，但目前针对公路交通基础设施的检测方面，依靠传统人工目测加简单仪器测量的工作方式依然占据着主导地位。传统检测方式的弊端主要有下面几点：1)人工检测记录和整理报告文档，效率极低、错漏率很高；2)数据零散，利用率差；3)成本高、精细化程度不够；4)人工检测危险性高、存在检查盲区。随着信息化的不断发展，目前研发了一系列的检测系统可有效提示检测质量及效率，但仍然存在不少弊端，如：基于移动端的检测软件仅支持录入可达到位置的外观病害，繁琐且易遗漏和出错；无人机和检测车检查系统仅能检查桥梁、边坡外观病害，且需人工判定病害和数据处理。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种天地一体化公路检测系统，提高现场检测和报告整理的效率，且能普遍运用推广，本发明公开了天地一体化检测装备及系统研发，利用无人机、检测车和移动检测终端集成智能化数据采集系统，实现天(无人机)、地(检测车和移动检测终端)于一体的检测装备完成数据采集、数据处理、数据应用、数据共享和报告整理，在现有的检测技术上进一步集成与完善，利用智能化检测装备和技术，提高效率，降低成本，广泛普及，使检测信息化。
5.为达到上述目的，本发明提供如下技术方案：
6.一种天地一体化公路检测系统，包括搭载有无人机起降机场的检测车、无人机、移动检测终端(如手持式检测终端)、智能识别系统和服务器；
7.所述检测车上安装有高清防抖摄像头，用于采集路面及路侧的病害图像；
8.所述无人机上安装有高清防抖摄像头，用于采集高处或人力难以到达区域的病害图像；所述无人机的起降机场搭载在检测车上；
9.所述移动检测终端(如手持式检测终端)上带有高清防抖摄像头，用于采集公路隐蔽处和无人机、检测车无法达到位置处的病害图像；所述移动检测终端还能人为直接输入病害类型(如破损、滑移等)和病害参数(长度、宽度、面积等)等相关信息；
10.所述检测车、无人机和移动检测终端(如手持式检测终端)将采集的病害图像传输至内置有图像识别算法的智能识别系统，利用图像识别算法的识别出病害类型和提取出病
害参数信息，并与设定阈值比较得到病害标度信息，然后将识别提取出的信息传输至服务器进行数据处理，生成检测报告。
11.进一步，所述检测车能采集到的病害图像信息包括：
12.①
路面：路面的开裂或坑槽；
13.②
桥梁：护栏内侧的破损、开裂、缺失，伸缩缝的堵塞；
14.③
隧道：衬砌的开裂、渗水，检修道的破损；
15.④
边坡及路基：路缘、防护设施的垮塌、缺失，边沟的堵塞。
16.进一步，所述无人机能采集到的病害图像信息包括：
17.①
桥梁：索塔、混凝土的主梁(净空≥3m)、桥墩(高度≥3m)、桥台的开裂、破损、露筋、蜂窝麻面、受水侵蚀、冲刷，拉索、主缆、钢结构主梁的锈蚀、变形，护栏外侧的破损、开裂，护坡的开裂、垮塌；
18.②
隧道：洞口、洞门的开裂、渗水或垮塌；
19.③
边坡及路基：边坡滑坡、冲刷、坍塌，边坡排水沟、路肩截水沟的堵塞，挡土墙的垮塌。
20.进一步，所述移动检测终端(如手持式检测终端)能采集到的病害图像信息包括：
21.①
桥梁：支座的剪切、脱空，混凝土箱梁内部、索塔内部、桥墩(高度＜3m)的开裂、破损、露筋、蜂窝麻面、受水侵蚀、冲刷，以及检测车和无人机无法检测的其它部位；
22.②
隧道：排水设施的堵塞，以及检测车和无人机无法检测的其它部位；
23.③
边坡及路基：检测车和无人机无法检测的其它部位；
24.④
路面：检测车和无人机无法检测的其它部位。
25.进一步，图像识别算法识别提取病害类型的参数包括数量、长度、宽度或面积等。
26.进一步，图像识别算法识别预设不同病害类型不同标度值的阈值范围(a＜标度＜b)，利用识别的参数信息，根据阈值范围判定识别病害的标度信息，识别参数信息为长度和宽度的，以宽度阈值范围为判定标准，如a＜宽度＜b为标度1，c＜宽度＜d为标度2；识别参数信息为面积的，以面积阈值范围为判定标准，如e＜面积＜f为标度1，g＜面积＜h为标度2。
27.进一步，图像识别算法识别出病害类型，具体包括：采用基于yolo目标检测算法来进行病害识别和病害区域定位，快速地检测出病害所在的位置以及判别其病害类型；首先，yolov4网络模型在输入层加入了mosaic数据增强方法、sat自对抗训练和cmbn，以扩充训练数据集；其次，在主干特征提取网络结构中采用cspdarknet53，结合残差网络resnet中的跳跃连接，增强卷积神经网络对目标特征的学习能力，能够使网络轻量化的同时保证检测精确度；并在批次归一化层后使用misra提出的mish激活函数，可以更好地提取目标的特征信息，提高目标的检测精度。
28.进一步，图像识别算法提取出病害参数信息，具体包括：首先获得yolov4模型定位出的病害区域，然后进行自适应阈值分割病害边缘提取，将分割后的图像进行坐标系转换，最后获取像素点的当量尺寸，从而计算出病害的参数。
29.本发明的有益效果在于：本发明利用现有无人机、检测车等快速性和灵活性设备，集成ai智能识别技术，可同时对目标区域进行快速病害检测和识别，并配合手持式检测终端进行人工数据采集，三者协同工作使其对目标区域检测更加全面、更加节省时间，避免单
一检测方式存在检查盲区、细致度不够、数据零散等问题，大大提高现场检测的效率和准确率，同时系统可完成采集数据的处理，人工复核即可生成病害检测报告，极大提高信息化和智能化水平。
30.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
31.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
32.图1为空地一体化检测系统示意图；
33.图2为桥梁病害类型识别流程图；
34.图3为桥梁病害参数提取流程图。
具体实施方式
35.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
36.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
37.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
38.请参阅图1～图3，本发明提供了一种天地一体化检测系统，在检测车上搭载无人机起降机场、高清防抖摄像头、智能识别终端等装置，集成ai图像识别技术，搭配手持式检测终端，在对公路交通基础设施(桥梁、隧道、边坡、路面)检测过程中，天、地配合完成检测和识别。该系统包括检测车、高清防抖摄像头、无人机、起降机场、智能识别终端、手持式检测终端、服务器等，其中高清防抖摄像头安装于检测车的前方、左右两侧、上方上，用于路面及路测检测时的病害拍照，由装载起降机场起飞的无人机在上方和下方分别搭载高清摄像头用于高处或人力难以到达区域的病害拍照检测，装载高清摄像头的手持式检测终端用于
隐蔽处和无人机、检测车无法达到位置处的病害和图像数据采集；将检测车和无人机拍摄的病害图片传输至智能识别终端利用ai智能识别技术识别病害类型(如破损、滑移等)和提取参数(长度、宽度、面积等)，将识别的缺陷信息、参数信息及标度信息传输至云服务器，进行数据处理，最后在服务器检测软件中完成数据的确认和报告的生成。
39.该检测系统可应用于公路交通基础设施的桥梁、隧道、边坡、路面的检测。
40.1、该检测系统可检测和识别的内容包含：
41.(1)检测车可检测并识别的缺陷信息包括：
42.①
路面：路面的开裂、坑槽。
43.②
桥梁：护栏(内侧)的破损、开裂、缺失，伸缩缝的堵塞。
44.③
隧道：衬砌的开裂、渗水，检修道的破损。
45.④
边坡及路基：路缘、防护设施的垮塌、缺失，边沟的堵塞。
46.(2)无人机可检测并识别的缺陷信息包括：
47.①
桥梁：索塔、混凝土的主梁(净空≥3m)、桥墩(高度≥3m)、桥台的开裂、破损、露筋、蜂窝麻面、受水侵蚀、冲刷，拉索、主缆、钢结构主梁的锈蚀、变形，护栏(外侧)的破损、开裂，护坡的开裂、垮塌。
48.②
隧道：洞口、洞门的开裂、渗水、垮塌。
49.③
边坡及路基：边坡滑坡、冲刷、坍塌，边坡排水沟、路肩截水沟的堵塞，挡土墙的垮塌。
50.(3)手持式检测终端可检测和识别的缺陷信息包括：
51.①
桥梁：支座的剪切、脱空，混凝土箱梁(内部和净空＜3m)、索塔(内部)、桥墩(高度＜3m)的开裂、破损、露筋、蜂窝麻面、受水侵蚀、冲刷，以及检测车和无人机无法检测的其它部位。
52.②
隧道：排水设施的堵塞，以及检测车和无人机无法检测的其它部位。
53.③
边坡及路基：检测车和无人机无法检测的其它部位。
54.④
路面：检测车和无人机无法检测的其它部位。
55.2、识别缺陷类型可提取的参数信息，包括数量、长度、宽度、面积等。具体缺陷类型需提取参数信息见表1。
56.表1缺陷类型的参数信息
[0057][0058][0059]
3、预设不同缺陷类型不同标度值的阈值范围(a＜标度＜b)，根据识别的参数信息，根据阈值范围判定识别病害的标度信息，识别参数信息为长度和宽度的，以宽度阈值范围为判定标准，如a＜宽度＜b为标度1，c＜宽度＜d为标度2；识别参数信息为面积的，以面积阈值范围为判定标准，如e＜面积＜f为标度1，g＜面积＜h为标度2。
[0060]
4、智能识别终端植入图像识别算法
[0061]
(1)病害识别算法模型及方法
[0062]
采用基于yolo目标检测算法来进行病害识别和病害区域定位，快速地检测出病害所在的位置以及判别其病害类型。首先，yolov4网络模型在输入层加入了mosaic数据增强方法、sat自对抗训练、cmbn，以扩充训练数据集。其次，在主干特征提取网络结构中采用了cspdarknet53，结合残差网络resnet中的跳跃连接，增强了卷积神经网络对目标特征的学习能力，能够使网络轻量化的同时保证检测精确度；并在批次归一化层后使用misra提出的mish激活函数，可以更好地提取目标的特征信息，提高目标的检测精度。
[0063]
(2)参数提取算法模型及方法
[0064]
采用基于深度信息(rgb-d图像)的方式来获取病害参数信息。rgb-d图像是指同时包含彩色图像(rgb图像)和图像的深度信息，图像深度信息是指空间中点到摄像头的距离，桥梁病害参数提取流程如图2所示。
[0065]
通过yolov4模型定位出的病害区域，使用数字图像的处理方式完成了对蜂窝，剥落(破损、掉角、剥落)，孔洞(孔洞、空洞)，钢筋锈蚀等病害像素参数的提取。对桥梁病害进行边缘提取后，就可以实现桥梁病害的长度、宽度、面积等参数的提取。通过病害图像来获取桥梁病害参数信息主要有方法是根据图像深度信息来获取像素点的当量尺寸。获取像素
点的当量尺寸后就可以计算出病害的参数。
[0066]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。