一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法与流程

1.本发明涉及桥梁裂缝巡检技术领域，更具体的说是涉及一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法。


背景技术：

2.目前，传统的人工检测桥梁裂缝时，一般借助桥梁检测支架，专用检测车等辅助设备，配合小型裂缝测宽仪、钢尺和相机等工具近距离人工观察和测量裂缝分布特征，包括长度、宽度等信息。然而，人工检测受环境、恶劣条件影响大，同时还有耗费高、危险性高、精确度低、效率低等缺点，已经不能满足日益发展的需要。为了更好更有效的桥梁巡检，提出设计一种基于多传感器融合的无人机桥梁裂缝巡检系统，该系统自动、便捷、定量、准确的优势，可使裂缝的检出与提取更加客观、可靠，可准确记录裂缝的形态和参数。
3.因此，减少高空作业并提高效率，实现桥梁结构裂缝的自动化巡检和病害的实时识别、监测是本领域技术人员亟需解决的问题。


技术实现要素：

4.有鉴于此，本发明提供了一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法，通过定位模块、惯性导航模块、雷达模块、信息融合模块、中控模块，生成无人机控制策略，实现无人机智能巡检，通过边缘计算模块、裂缝信息获取模块，实现裂缝智能采集检测，实现裂缝的实时识别和裂缝宽度长度信息的定量分析和监测。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种基于多传感器融合的无人机桥梁裂缝巡检系统，包括：无人机、定位模块、惯性导航模块、雷达模块、信息融合模块、中控模块、边缘计算模块、裂缝信息获取模块、数据传输模块和终端；
7.所述定位模块用于获取所述无人机的位置信息，所述惯性导航模块用于获取无人机的状态信息，所述雷达模块用于获取障碍物信息，所述信息融合模块与所述定位模块、所述惯性导航模块和所述雷达模块连接，用于融合接收到的信息，所述中控模块接收融合信息，生成避障和路径规划策略；
8.所述裂缝信息获取模块用于获取裂缝信息并发送至边缘计算模块，所述边缘计算模块对裂缝信息进行处理、计算和分析，将分析结果通过所述数据传输模块发送至所述终端。
9.优选的，所述定位模块包括实时差分定位模块和超带宽模块；所述雷达模块包括激光雷达和毫米波雷达；所述裂缝信息获取模块包括摄像模块和激光测距模块。
10.优选的，所述位置信息包括无人机的经度、纬度、高度、速度信息和三维坐标信息；所述状态信息包括无人机的加速度及姿态角。
11.一种基于多传感器融合的无人机桥梁裂缝巡检方法，包括以下步骤：
12.s1、建立桥梁三维模型，规划无人机巡检路线；
13.s2、获取无人机位置信息、状态信息和障碍物信息；
14.s3、对信息进行预处理、融合，生成控制策略；
15.s4、无人机依据控制策略采集裂缝信息，通过裂缝检测模型对裂缝信息进行处理，获得检测结果。
16.优选的，所述步骤s2具体包括：通过所述定位模块获取所述无人机的位置信息，通过所述惯性导航模块获取无人机的状态信息，通过所述雷达模块获取障碍物信息。
17.优选的，所述步骤s3具体包括：
18.s31、获取实时差分定位信息和超带宽定位信息，对实时差分定位信息和超带宽定位信息进行预处理，判断实时差分定位模块的定位是否为浮点解，若是，则输出实时差分定位信息，若否，则输出超带宽定位信息；
19.s32、融合无人机位置信息、状态信息和障碍物信息。d1、d2为毫米波雷达和激光雷达测量输出的无人机与障碍物的距离信息。将惯导模块测量的无人机姿态角度信息结合预处理后的差分定位模块和超带宽模块测量的无人机位置信息，通过无人机的位置姿态角度以及周边环境空间三维坐标计算出无人机与障碍物的最近距离信息为d3，
[0020][0021]
其中(x1,y1,z1)为惯导和定位模块定位的无人机空间位置坐标,(x2,y2,z2)
…
(x
n
,y
n
,z
n
)为空间环境三维坐标。
[0022]
将三者进行加权平均最终计算出无人机与周边环境的距离dis，
[0023][0024]
其中，n∈{1,2,3}，k1,k2,k3≥0，且k1+k2+k3＝1；
[0025]
s33、将距离值dis与安全距离比较，进行决策分析，生成控制策略。
[0026]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法，通过定位模块、惯性导航模块、雷达模块、信息融合模块、中控模块，生成无人机控制策略，实现无人机智能巡检，通过边缘计算模块、裂缝信息获取模块，实现裂缝智能采集检测，实现裂缝的实时识别和裂缝宽度长度信息的定量分析和监测。
附图说明
[0027]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0028]
图1附图为本发明提供的系统结构示意图。
[0029]
图2附图为本发明提供的方法流程示意图。
[0030]
图3附图为本发明提供的多传感器数据融合示意图。
[0031]
其中，1为定位模块，2为惯性导航模块，3为雷达模块，4为信息融合模块，5为中控模块，6为边缘计算模块，7为裂缝信息获取模块，8为数据传输模块，9为终端，11为实时差分
定位模块，12为超带宽模块，31为激光雷达，32为毫米波雷达，71为摄像模块，72为激光测距模块。
具体实施方式
[0032]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
本发明实施例公开了一种基于多传感器融合的无人机桥梁裂缝巡检系统，包括：无人机、定位模块1、惯性导航模块2、雷达模块3、信息融合模块4、中控模块5、边缘计算模块6、裂缝信息获取模块7、数据传输模块8和终端9；
[0034]
定位模块1用于获取无人机的位置信息，惯性导航模块2用于获取无人机的状态信息，雷达模块3用于获取障碍物信息，信息融合模块4与定位模块1、惯性导航模块2和雷达模块3连接，用于融合接收到的信息，中控模块5接收融合信息，生成避障和路径规划策略；
[0035]
裂缝信息获取模块7用于获取裂缝信息并发送至边缘计算模块6，边缘计算模块6对裂缝信息进行处理、计算和分析，将分析结果通过数据传输模块8发送至终端9。
[0036]
为进一步优化上述技术方案，定位模块1包括实时差分定位模块11和超带宽模块12；雷达模块3包括激光雷达31和毫米波雷达32；裂缝信息获取模块7包括摄像模块71和激光测距模块72。
[0037]
为进一步优化上述技术方案，位置信息包括无人机的经度、纬度、高度、速度信息和三维坐标信息；状态信息包括无人机的加速度及姿态角。
[0038]
一种基于多传感器融合的无人机桥梁裂缝巡检方法，包括以下步骤：
[0039]
s1、建立桥梁三维模型，规划无人机巡检路线；
[0040]
s2、获取无人机位置信息、状态信息和障碍物信息；
[0041]
s3、对信息进行预处理、融合，生成控制策略；
[0042]
s4、无人机依据控制策略采集裂缝信息，通过裂缝检测模型对裂缝信息进行处理，获得检测结果；通过卷积神经网络大量正负样本模型训练，将训练好的模型放在嵌入式具有算力的硬件设备中实现裂缝的实时检测识别。
[0043]
为进一步优化上述技术方案，步骤s2具体包括：通过定位模块获取无人机的位置信息，通过惯性导航模块获取无人机的状态信息，通过雷达模块获取障碍物信息。
[0044]
为进一步优化上述技术方案，步骤s3具体包括：
[0045]
s31、获取实时差分定位信息和超带宽定位信息，对实时差分定位信息和超带宽定位信息进行预处理，判断实时差分定位模块的定位是否为浮点解，若是，则输出实时差分定位信息，若否，则输出超带宽定位信息；
[0046]
s32、融合无人机位置信息、状态信息和障碍物信息。d1、d2为毫米波雷达和激光雷达测量输出的无人机与障碍物的距离信息。将惯导模块测量的无人机姿态角度信息结合预处理后的差分定位模块和超带宽模块测量的无人机位置信息，通过无人机的位置姿态角度以及周边环境空间三维坐标计算出无人机与障碍物的最近距离信息为d3，
[0047][0048]
其中(x1,y1,z1)为惯导和定位模块定位的无人机空间位置坐标,(x2,y2,z2)
…
(x
n
,y
n
,z
n
)为空间环境三维坐标。
[0049]
将三者进行加权平均最终计算出无人机与周边环境的距离dis，
[0050][0051]
其中，n∈{1,2,3}，k1,k2,k3≥0，且k1+k2+k3＝1；
[0052]
s33、将距离值dis与安全距离比较，进行决策分析，生成控制策略。
[0053]
通过地面站人工遥控无人机巡检系统的方式，进行桥梁空间三维模型的建立，得到高精度三维地图。依据巡检的任务要求，通过地面控制站的预设无人机的巡检路线；开启rtk模块、超带宽uwb模块、imu、激光雷达、毫米波雷达，所述的rtk模块、超带宽uwb模块、imu、激光雷达、毫米波雷达会实时接收感知信息，并发送给多传感器融合模块，多传感器融合模块首先进行一些信息的预处理，接着进行多传感器融合，如图3所示，具体的信息融合步骤如下：
[0054]
将rtk信息和uwb信息进行融合，通常rtk精度一般为水平
±
1cm，高层
±
2cm，uwb的定位精度通常为
±
10cm，通常融合策略为根据rtk输出是否为浮点解，来在两者输出结果间切换。当开阔时选择rtk数据，当遮挡比较严重时选择uwb定位数据，可以做到定位数据的无缝衔接；将惯导模块imu测量的无人机姿态角度信息结合预处理后的差分定位模块和超带宽模块测量的无人机位置信息，通过无人机的位置姿态角度以及周边环境空间三维坐标计算出无人机与障碍物的最近距离信息，最后将激光雷达、毫米波雷达和上述定位模块和惯导模块的信息再融合。激光雷达扫描范围30m～40m，距离测量误差
±
25mm；毫米雷达扫描范围30米内，距离误差正负10mm。融合方式采用加权平均的算法，各传感器的融合系统kn，其中n∈{1,2,3}，最终计算无人机与周边环境的距离dis为：
[0055][0056]
其中，k1,k2,k3≥0，且k1+k2+k3＝1；
[0057]
中央控制单元通过多传感器融合模块计算出的障碍物距离与预设的安全距离的比较，进行分析决策，最终把控制策略发送给飞控模块，控制无人机进行避障操作；边缘计算模块内置有训练好的裂缝检测模型，可以实现对云台相机采集到的桥梁结构裂缝的实时检测，检测结果可以通过数据传输模块发送至服务器，也可以通过数传模块实时显示在地面控制站；服务器运行有裂缝的识别、提取、计算、拼接和展示程序，结合云台相机采集到的裂缝图像、标识靶标和激光测距信息，实现裂缝长度、宽度的定量分析和监测，最后通过三维或者二维的表达方式配合定量数据展示裂缝巡检结果。
[0058]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0059]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。
对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。