一种无人机桥梁底面裂纹检测方法及系统与流程

本发明属于图像处理与无人机技术领域，特别涉及无人机桥下自主飞行技术及基于无人机图像的桥梁底面裂纹检测方法，是一种无人机桥梁底面裂纹检测方法。

背景技术：

这些年来，大量的混凝土桥梁在全国各地兴起，桥梁工程的安全与否直接关系到人民群众的生命安危。我国桥梁底面裂纹检测的现状是以人工为主，依靠桥梁检测车等大型机械将桥梁检测专家送到桥底，用肉眼寻找裂纹并用裂纹观测仪或者标尺去测量裂纹尺寸。这种人工检测方法效率低下、成本高且存在安全隐患。

随着无人机技术的发展、高精度的各类传感器和高性能的电子器件的问世和应用，无人机在民用方面有着广泛的用途。无人机通过搭载各类传感器在警用、城市管理、农业、地质、气象、电力、抢险救灾等行业发挥着越来越重要的作用。因此，若能采用无人机对桥梁底面裂纹进行巡检，通过挂载照相机和多种传感设备，辅以高精度的导航模块和避障模块，通过地面工作站裂纹检测和图像拼接系统，可以为桥梁检修提供科学和精准的判别。相比传统的人工检测手段，无人机可以轻松到达桥梁底部获取桥梁底面高清图像，无需桥梁检测专家近距离接触桥底面，极大提高了桥梁检测的安全性；在日常巡检中，无需封闭道路中断交通，同时具备较高的检测精度和检测效率。

然而，无人机在桥下飞行时存在诸多问题，例如GPS信号丢失、定位不准、遥控信号因遮挡丢失、障碍物躲避等，这使得无人机需要借助其他传感器进行自身定位，同时提高自主飞行能力，才能避免在桥下飞行时撞击障碍或坠毁。用于桥梁底面裂纹检测时，无人机携带的云台相机需要拍摄分辨率在亚毫米级的图片才可以用于裂纹检测。此外，如何从大量的高分辨率影像自动高效地检测裂纹并对裂纹进行定位也是亟待解决的问题。目前的无人机桥梁底面裂纹检测方法及其系统还未有人实现过。

技术实现要素：

鉴于现有的人工桥梁底面裂纹检测的不足之处，本发明的目的在于提供一种的无人机桥梁底面裂纹检测方法及系统，旨在代替现有人工桥梁底面裂纹检测方案，提高桥梁底面裂纹巡检的效率及检测精度，提高桥梁检测安全系数同时降低桥梁检测的成本。

为达到上述目的，本发明采取了以下技术方案：

一种无人机桥梁底面裂纹检测方法，所述方法包含以下步骤：

A：依靠机载激光雷达(LiDAR)和惯性测量单元(IMU)对桥下无人机自身进行定位；

B：依靠机载激光雷达(LiDAR)获取无人机周围障碍物点云进行避障和路径规划；

C：利用无人机机载高清相机拍摄桥梁底面影像并存储；

D：对机载高清相机进行标定并对拍摄影像进行预处理；

E：利用图像拼接方法获取大尺度完整桥梁底面影像，并进行裂纹检测；

F：利用裂纹影像和激光点云对裂纹进行定位，同时评估裂纹等级。

所述步骤A具体包括：

A1:激光雷达对无人机周围360°环境进行扫描，获取无人机飞行过程中的激光点云数据；

A2:获取每时刻激光点云相对于无人机的坐标，并匹配相邻时刻的激光点云数据，计算对应的坐标差，通过优化算法估计相邻两个时刻无人机的位移和姿态变化。

A3:以无人机初始位置建立三维坐标系，利用相邻两时刻无人机的姿态位移变化累计估计无人机位置，并利用无人机自身携带的IMU数据对累计误差进行校正。

所述步骤B具体包括：

B1:利用无人机自身携带的超声波数据控制无人机离地面以及离桥梁底面的安全拍摄距离；

B2:利用无人机当前时刻的位置和姿态信息，以及激光雷达所获取的360°障碍物点云数据，规划从当前位置到目标位置的飞行轨迹。

所述步骤C是在完成无人机自身定位，避障和路径规划的基础上，依靠机载云台相机等间隔时间向上拍摄桥梁底面影像，并存储在SD卡中供后续裂纹检测。

所述步骤D具体包括:

D1:用棋盘格法对高清相机进行标定，获取相机的焦距，径向畸变等参数；

D2:利用畸变参数对无人机拍摄的桥梁底面影像进行校正；

D3:对图像预处理，包括图像增强，去运动模糊。

所述步骤E具体包括:

E1:利用点云数据和影像数据拍摄时的关系获取两个桥墩间的所有影像数据；

E2:对两桥墩间的所有影像进行拼接处理，形成一张大尺度的高清桥底面影像；

E3:利用边缘检测算法获取大尺度高清桥底面影像中存在的所有边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的裂纹条纹。

所述步骤F具体包括:

F1:完成桥梁底面影像裂纹检测后，通过利用拼接的影像和激光点云实现对裂纹的粗定位；

F2:测量裂缝的长度和宽度，以及分布密度等信息。

一种无人机桥梁底面裂纹检测系统，包括无人机端和地面工作站端，无人机端包括无人机系统模块、定位避障导航模块和桥梁底面影像获取模块，地面工作站端包括桥梁底面裂纹检测处理模块；

无人机系统模块：主要由多旋翼无人机构成。主要完成飞行功能，为其它各个模块提供载体；

定位避障导航模块：由激光雷达、机载惯性测量单元，GPS模块、超声波、机载计算机组成。机载计算机作为核心控制器，处理激光雷达等传感器的数据，对无人机自身进行定位，并获取无人机周围障碍信息，避开障碍并按照路径规划算法规划的路径进行飞行；

桥梁底面影像获取模块：由机载云台相机、存储器组成。主要在无人机在飞行作业时完成桥梁底面影像拍摄和存储功能；

多旋翼无人机分别与机载惯性测量单元，GPS模块、超声波模块、机载计算机连接，机载计算机分别与激光雷达、机载云台相机、存储器连接。

桥梁底面裂纹检测处理模块将存储的影像导入地面工作站并进行预处理，裂纹检测，裂纹评估等工作。

一种无人机桥梁底面裂纹检测系统，所述桥梁底面裂纹检测处理模块包括依次连接的影像预处理单元、影像拼接单元、裂纹检测定位单元、裂纹评估单元；

影像预处理单元，对拍摄的桥梁底面影像进行校正，去运动模糊，图像增强；

影像拼接单元，对两个桥墩之间的所有影像快速拼接形成大尺度高清影像；

裂纹检测定位单元，检测大尺度高清影像中的边缘，并通过数学形态学腐蚀膨胀，连接等过程形成完整的裂纹纹理；

裂纹评估单元，测量裂缝的长度和宽度，以及分布密度等信息。

本发明所述的无人机桥梁底面裂纹检测方法及系统，其完成的效果是：首先，无人机在桥梁下方飞行，离桥梁底面固定安全距离按照事先规定的轨迹飞行，避开桥墩等障碍物，在飞行过程中，安装在无人机上的云台相机以固定频率拍摄桥梁底面并将高清影像存储在存储器中；飞行任务结束后，地面工作站对存储器中的影像进行处理，首先对影像进行拼接，拼接完成后自动检测影像中存在的裂纹，依靠拼接影像所处的桥墩位置来对裂纹进行粗略定位；裂纹检测出来后，对裂纹进行评估，分析测量裂纹的长度、宽度、分布密度等信息。

本发明通过结合无人机技术和图像处理技术将无人机应用于桥梁检测领域，利用多种传感器，采用同时定位与制图算法、路径规划算法、边缘检测算法，实现桥梁底面裂纹检测和评估。相对于传统的基于桥梁检测车的人工检测方法，本发明自动化程度高，效率高，安全系数高，成本低。可广泛应用于桥梁裂纹检测，桥梁底面异常检测等应用。

附图说明

图1为无人机硬件模块示意图。

图2为无人机端工作流程。

图3为预先设定的无人机桥下巡检路线。

图4为地面工作站端的系统工作流程。

具体实施方式

本发明提供了一种无人机桥梁底面裂纹检测方法及其系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。

本发明主要包含两个部分，无人机端和地面工作站图像数据处理端。无人机端的硬件结构和模块示意图参考图1，所述无人机端工作流程如图2。所述无人机桥梁底面裂纹检测系统无人机端包含如下步骤：

步骤S100:依靠机载激光雷达和惯性测量单元(IMU)对桥下飞行的无人机自身进行定位；

步骤S200:依靠S100获取的无人机当前的位置和姿态，以及利用机载激光雷达(LiDAR)获取无人机周围障碍物点云进行避障和路径规划；

步骤S300:当无人机在桥下飞行时，利用机载的高清云台相机拍摄桥梁底面影像，并将影像存储在内存卡中，供后续裂纹检测使用。

本发明的无人机端主要属于无人机技术领域，涉及空中机器人的基本问题，包括无人机自身定位、对飞行环境制图、避障、路径规划等。其中步骤S100主要利用机载激光雷达来增量式地计算里程计对无人机进行定位，同时由于增量累积法的误差会逐渐增大，因此采用IMU和激光点云融合来获取里程计，从而实现对无人机定位。步骤S200以S100为基础，只有在对无人机本身精确定位的条件下，才能实现路径规划，按照事先规定的巡检路线进行飞行。预先设定的无人机飞行路线请参考图3，主要是采用等间隔横切式巡检，这样能保证摄像头拍摄的面积足够大。同时，依靠激光点云，可以知道桥墩与无人机之间的距离，实现避障功能。步骤S300则是在完成无人机自身定位，避障和路径规划的基础上，依靠机载云台相机等间隔时间向上拍摄桥梁底面影像，并存储起来供后续裂纹检测。步骤S300实现则比较简单，依靠现有的大疆M100上的禅思X3或者X5相机就可以完成。下面主要对步骤S100和S200进行详细描述。

所述无人机桥梁底面裂纹检测方法，其中，无人机端步骤S100具体包括：

步骤S101:激光雷达对无人机周围360°环境进行扫描，获取无人机周围的激光点云数据通过串口或者USB连接到机载计算机上。由于桥下巡检时按照离桥梁底面固定高度飞行，不需要竖直方向的信息，因此我们采用的Hokuyo UTM-30LX型号的激光雷达，该雷达属于2D雷达，可以获取360°水平面的激光点云数据；

步骤S102:机载计算机获取每时刻激光点云相对于无人机的2维平面坐标，并匹配相邻时刻的激光点云数据，计算对应的坐标差，通过优化算法估计相邻两个时刻无人机的位移和姿态变化。

步骤S103:以无人机初始位置建立三维坐标系，主要是选择巡航任务开始的点为原点，固定竖直高度，保证无人机在水平的二维平面飞行所需的横坐标和纵坐标。利用相邻两时刻无人机的姿态位移变化累计估计无人机相对于坐标原点的位置移动和姿态变化，并利用无人机自身携带的IMU数据对累计误差进行校正。

所述无人机桥梁底面裂纹检测方法，其中，无人机端步骤S200具体包括：

S201:利用无人机自身携带的超声波数据控制无人机离地面以及离桥梁底面的安全拍摄距离。其具体做法是在无人机上安装向上和向下的超声测距模块，向下的测距模块主要是为了计算无人机的飞行高度，为飞行过程所需。向上则是为了计算无人机离桥梁底面的实际距离。为拍摄相同高分辨率的桥梁底面影像，拍摄过程中应维持拍摄距离，因此飞行任务采用的恒定高度水平面飞行。具体的，在实际飞行时，为保证拍摄的影像足够清晰，能够拍摄到桥梁底面的裂纹，同时又避免无人机靠桥梁底面过近引起局部风场的变化使无人机不稳定，采用的4～5米的恒距离飞行。所采用超声模块的可信测量距离范围最大可达到10米，因此满足实际需求。

S202:利用无人机当前时刻的位置和姿态信息，以及激光雷达所获取的360°障碍物点云数据，规划从当前位置到目标位置的飞行轨迹。对于桥墩与桥墩之间的无障碍区域，无人机将按照事先规划的路径进行巡航，而对于桥墩等复杂障碍物，我们采用代价地图的方法，首先利用激光雷达生成障碍物点云信息，然后不断更新当前无人机系统到达目的点的代价地图。其中，灰白色区域表示无障碍区域，其代价要比黑色区域的代价低，因此生成的轨迹航线如图中绿线所示。

本发明所包含的第二部分为地面工作站图像数据处理端。考虑到无人机机载计算机资源有限，处理大量的高清桥梁底面影像检测裂纹在地面工作站进行。所述无人机桥梁底面裂纹检测系统地面工作站图像数据处理端工作流程如图4，包含如下步骤：

步骤S400:首先对机载的高清相机进行标定，获取相机的焦距和畸变参数，并对拍摄影像进行预处理，得到高清、畸变小、无运动模糊的影像；

步骤S500:按照拍摄的影像序列，对不同桥墩之间的影像进行拼接获取大尺度完整桥梁底面影像，并进行裂纹检测；

步骤S600:利用裂纹影像和激光点云对裂纹进行定位，同时对裂纹的长度、宽度、深度等信息进行测量，评估裂纹等级。

地面工作站端主要涉及对影像进行批量处理，首先是对影像预处理，主要是对影像进行校正、增强和去运动模糊、消除不均匀光照，以得到高清无畸变的桥梁底面影像。由于无人机拍摄的每幅影像的视觉范围有限，因此需要通过图像拼接算法获取大视野的桥梁底面影像以进行裂纹检测。而桥梁底面裂纹检测主要包含图像边缘检测、形态学腐蚀和膨胀、边缘连接等步骤。最后是对检测的裂纹进行评估。

所述无人机桥梁底面裂纹检测方法，其中，无人机端步骤S400具体包括：

步骤S401:用棋盘格法对高清相机进行标定，获取相机的焦距，径向畸变等参数。由于采用的相机是广角定焦相机，相机标定相对简单。采用Matlab相机标定工具箱进行标定。相机参数包含相机的本真矩阵P(其中包含水平和垂直的相机焦距f_x,f_y,主点c＝[c_x,c_y]，偏移s),径向畸变k和偏心畸变p。

步骤S402:利用畸变参数对无人机拍摄的桥梁底面影像进行校正。此步主要利用相机的参数对所有拍摄的影像进行校正获取畸变小的影像。(x_u,y_u)为校正后的坐标，(x,y)为实际的像点坐标，校正过程为：

x_u＝x+k₁x(x²+y²)+p₁(3x²+y²)+2p₂xy

y_u＝y+k₂y(x²+y²)+p₂(x²+3y²)+2p₁xy

步骤S403:获取校正的影像后，需要对影像进一步处理。主要是去运动模糊，由于无人机在拍摄影像时处于运动状态，难免会引起图像模糊。采用的方法是首先计算模糊核，然后通过模糊核映射得到去运动模糊的影像。

所述无人机桥梁底面裂纹检测方法，其中，步骤S500具体包括:

步骤S501:利用点云数据和影像数据拍摄时的关系获取两个桥墩间的所有影像数据。此步主要是依靠影像拍摄和激光点云的同步扫描关系，每拍摄一幅影像，可以对应有一系列的激光点云。通过点云可以知道所拍摄影像离桥墩的距离。通过设定的无人机离桥墩的安全距离为依据，无人机两次到达此安全距离之间所有的影像为两个桥墩间的所有影像，得到许多的影像集合；

步骤S502:对两桥墩间的所有影像进行拼接处理，形成一张大尺度的高清桥底面影像。为实现快速高精度拼接，采用基于特征配准的方法。首先对所有图像利用SURF算法进行特征点定位，利用局部差分二进制描述子(LDB)描述。得到特征点后进行快速匹配，并估计初始的相机姿态，然后利用levenberg-Marquardt算法进行全局优化，得到精确的重映射相机参数。在二次投影时，选择强度代价和结构代价最小的拼接缝进行拼接，得到大尺度的高清桥梁底面影像。

步骤S503:利用边缘检测算法获取大尺度高清桥底面影像中存在的所有边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的裂纹条纹。对于拼接后的影像，像幅一般很大，为快速得到图像中的裂纹信息，采用了一种基于子波变换树的边缘检测算法。这种方法依赖于子波变换树和对应的二叉树结构。这最终生成边缘概率图，然后通过KI阈值法提取裂纹图。

所述无人机桥梁底面裂纹检测方法，其中，步骤S600具体包括:测量裂缝的长度和宽度，以及分布密度等信息。测量长度为首先计算裂纹在图像中包含的像素个数，然后再利用相机参数(焦距，主点)和图像大小粗略计算裂缝的实际长度。关于裂缝宽度，则采用相似策略，统计垂直裂纹流线方向的像素个数，统计裂纹宽度最宽的像素个数，相似映射到真实桥梁的裂缝宽度。对于裂缝分布密度，则主要针对桥梁地面中存在大量的细小裂缝，统计细小的裂纹个数占区域面积的百分比，再就是裂缝区域占图像区域面积的百分比等等。

综上所述，本发明所述的无人机桥梁底面裂纹检测方法及系统，主要分为无人机端和地面工作站两部分。对于无人机端，主要以无人机在桥梁下方飞行同时拍摄桥梁底面高清影像存储在存储器中；地面工作站端则主要是对拍摄的影像进行处理，完成影像拼接和裂纹自动检测，并依靠拼接影像所处的桥墩位置来对裂纹进行粗略定位，之后则是对裂纹进行评估，分析测量裂纹的长度、宽度、分布密度等信息。本发明通过结合无人机技术和图像处理技术将无人机应用于桥梁检测领域，利用多种传感器，采用同时定位与制图算法、路径规划算法、边缘检测算法，实现桥梁底面裂纹检测和评估。相对于传统的基于桥梁检测车的人工检测方法，本发明自动化程度高，效率高，安全系数高，成本低。在桥梁底面巡检方面具有广阔的应用前景。