一种多传感器协同的无人机公路桥梁形变检测方法及系统与流程

本

技术实现要素：
涉及公路桥梁形变检测方法及系统，特别是利用一种多传感器协同的无人机公路桥梁形变检测方法及其无人机公路桥梁形变检测管理系统，属于公路桥梁形变检测技术应用领域。

背景技术：

公路桥梁作为我国现代化建设的重要基础设施，在交通线中发挥着极其重要的作用，公路桥梁在建成后长期受到环境因素、自然条件、载荷作用等因素影响，加之桥梁设计、施工建设过程中的缺陷问题，以及超载、超负荷运营，必然造成公路桥梁使用功能的降低以及服务质量的退化，甚至发生坍塌、影响交通等重大事故，为了确保公路桥梁运营安全，及时采取有效的运营管理措施与维修养护方案，因此对公路桥梁形变进行科学合理的检测成为公路桥梁养护部门必不可少的工作。

公路桥梁在日常的运营和维护期间所进行的检测工作主要有，对桥面、桥墩的形变监测、对桥梁底板裂缝的检测，传统的桥面形变检测仪器主要有，水准仪、全站仪、gps接收机、测量机器人等，传统方法是利用这些仪器对桥梁进行连续、定期的单点观测，获得多期观测数据，经过分析离散监测点的位移变化，对桥梁的安全性能做出评价，传统方法在对桥梁进行检测时需保证车流量小，外界干扰小，甚至有时需要阻断交通，这影响了人们的正常出行，此外，对桥梁至关重要的桥梁底板裂缝的检测，主要依靠桥梁巡检车、检测员，在检测过程中巡检车通过吊篮装置将人工吊至桥面底板下面，然后检测人员通过放大镜观测桥梁底板裂缝情况，传统的检测方法存在着安全性、便捷性、高效性、手段单一、可靠性低、观测的整体性不足等方面的缺陷。

无人机、传感器技术以及云计算的快速发展，为我们提供了一种新型的作业方式，使我们能够很好的结合三者的诸多优点去完成日常的公路桥梁形变检测工作，通过无人机飞行平台搭载能够采集桥梁形变、裂缝的传感器去完成数据采集工作，另外通过对无人机采集的数据进行处理和分析完成桥梁的检测工作，这种作业方式相比传统的作业方式具有；可以直接到达检测部位,无需其它辅助措施，相比传统的桥梁检测车（注，此处的桥梁检测车非传统意义上的桥梁检测车，而是一种便捷的、小型的移动办公平台）节省大量经费和人力资源，可以检测桥墩、支座、桥腹等桥检车不易够到的危险场所，无需搭架或者吊篮配合人员检测，大大地提高了作业的安全性，同时对于部分无法企及或者极难检测到的桥腹、拉索等部位，无人机（注，本发明所述的无人机为四旋翼或六旋翼无人机，另外需要续航时间长，能有效搭载多种传感器工作,具有可扩展模块，如大疆的经纬m200系列）可以抵近观察了解更多细节，在一些高速跨线桥或者城市桥梁进行定期检测时，用无人机技术无需中断交通，不会影响到人们的正常出行。

在现有技术中，主要有以下文献与本发明申请相关。

文献1株洲时代电子技术有限公司于2018年1月5日申请，并于2018年7月27日公开，公开号为cn108332926a的中国发明专利《一种桥梁巡检系统》，该系统包括无人机、数据传输模块、地面控制中心,及搭载于无人机上的数据采集模块，数据采集模块包括激光三维扫描仪和地质雷达，无人机采集的现场数据通过数据传输模块发送至地面控制中心，地面控制中心的数据处理与故障检测模块对采集数据进行处理,完成对桥梁被检测区域的三维建模,数据处理与故障检测模块通过对三维建模和雷达回波数据进行分析,检测出桥梁的缺陷及缺陷所在的位置。

文献2武汉大学于2015年04月28日申请，并于2017年04月19日公开，公开号为cn104843176a的中国发明专利《一种用于桥梁隧道自动巡检旋翼无人机系统及导航方法》，该发明描述的桥梁隧道自动巡检旋翼无人机系统依靠gps与激光雷达、imu进行自主导航的旋翼无人机巡检系统，实现了在空旷的桥梁区域利用gps导航系统与封闭隧道里面利用激光雷达导航系统进行自主巡检，依靠自动避障系统实现对桥梁隧道以及机动车的闪避，拍摄重点区域的图像发回地面站，由地面站生成桥隧的病害专题图，供相关人员使用。

文献3为天津大学于2018年1月11日申请，并于2018年5月29日公开，公开号为cn108082515a的发明专利《一种基于无人机机载成像的桥梁裂缝识别装置》，该装置包括避雷针、螺旋桨、螺旋杆、支撑杆、横杆、封盖、数控平台、连接杆、相机、固定平台、动力系统、导航系统、通讯系统、控制系统、成像系统、辅助系统、无线网、电源、led灯、报警系统、存储器和语音提示模块，该装置可在雷雨天气使用，具有避雷的效果，稳定性强，受力均匀，识别功能强，成本低。

文献4武汉大学于2017年2月24日申请，并于2017年5月10日公布，公布号为cn106645205a的中国发明专利《一种无人机桥梁底面裂纹检测方法及系统》，该发明的内容包括无人机端和地面工作站，无人机端利用机载激光雷达和惯性测量单元对无人机进行定位，并形成无人机周围障碍物点云，进行避障和路径规划，机载云台相机以固定频率拍摄桥梁底面并将高清影像存储在存储器中,地面工作站端对拍摄的影像进行处理，对桥墩间的影像进行拼接形成大尺度的桥底面影像，之后对影像信息进行提取。

文献5王泽启于2018年2月6日申请，并于2018年7月27日公布，公布号为cn108332928a的发明专利《一种基于物联网的高精度桥梁裂缝智能检测设备》，该基于物联网的高精度桥梁裂缝智能检测设备，当无人机需要利用摄像头对桥梁某部位进行精确拍摄时，通过启动固定装置，可将机身固定在桥梁上，避免无人机始终处于边飞行边拍摄的状态，使其能够在静止状态下进行拍摄，提高了摄像头拍摄画面的清晰度，当拍摄完成后，再次启动固定装置，可将机身与桥梁分离。

文献6刘凯于2014年12月25日申请，并于2015年4月22日公布，申请公布号为cn104535649a的中国发明专利《裂缝无人智能检测机》，该检测机包括机身、收缩脚架、减震平稳云台、安全气囊包、电机、电池仓、浆，另外机身上还设有与飞行控制器电路连接的超声探伤仪、红外测距传感仪、gps、图像传送器、前置摄像头、上置摄像头、激光灯、电机、电机调速器，在工作环境复杂的地方自动发现水利、桥梁、建筑各个地方的裂缝,对事故裂缝进行安全而精确的测量,最后由计算机清楚的显现其结果。

文献7柳州欧维姆机械股份有限公司于2016年7月21日申请，并于2016年11月16日公布，申请号为cn106124517a的发明专利《检测结构件表面裂缝的多旋翼无人机检测结构件表面裂缝的方法》，一种检测结构件表面裂缝的多旋翼无人机检测平台系统，包括多旋翼无人机、控制系统和无线通信系统，所述用于提供任务载荷和检测结构件表面裂缝的多旋翼无人机包括机体、动力系统和传感系统，所述的控制系统包括上位机、下位机以及手持遥控器。

虽然，以上7篇专利中有6篇都提出了利用无人机搭载的相应检测仪器对桥梁、隧道等交通基础设施进行检测，但是，上述六篇文献描述的技术方案中还存在以下明显的缺陷。

本发明通过利用无人机平台搭载相机对桥梁裂缝检测识别的实验中，发现有些桥梁的部位是无法利用相机进行拍摄的，比如有遮挡的部位、阴暗处、光线无法到达处，另外，由于公路桥梁形变检测精度的实际需要、桥梁周边环境的复杂性，需要保证采集桥梁细胞数据的可靠性，单纯的采用高清相机去拍摄，存在较高的不确定性和低的可靠性，这时就需要我们借助一些其他传感器去完成，如此可以将传感器、无人机的优势体现出来。

桥梁形变的检测、养护、管理是一个系统的工作，工作中需要将其检测的数据进行合理的管理和存储，而上述的六个文献中只涉及数据的处理、裂缝的识别工作，在实际的桥梁形变检测和养护中，桥梁形变的检测是一个需要定期进行的工作，这时需要根据待检测桥梁的检测形变数据进行桥梁风险评估、桥梁健康档案的管理。

桥梁的检测中还应考虑，所检测出的形变现象（裂缝、破损）在桥梁中的准确位置，以及如何将所检测到的数据一一种更加直观可视的方式进行展示，以方便检测机构准确的商定养护措施与方案。

在无人机的实际操作和应用环境中，外界条件比较复杂，需要去考虑，主要包括作业时保证无人机作业平台的安全，提升作业时的可靠性、稳定性。

鉴于以上文献所述专利当中的一些不足和缺陷，本发明进行了以下几点的创新。

公路桥梁所处的周边环境一般都比较复杂，这使得运用单一的检测手段和方法就存在着检测数据与检测精度的可靠性低、不确定性高的问题，因此本发明对此类问题进行了创新，通过搭载多组传感器，利用多组不同类型的传感器对所采集的数据进行相互的验证，这样可有效的提高采集数据的可靠性和确定性。

针对无人机作业环境条件的复杂性，需要保证无人机作业时的安全性，而公路桥梁在利用无人机进行桥梁形变检测作业时，由于所处环境及其桥梁结构本身的原因，在进行桥梁下部数据采集时处于风速较大环境中，这对无人机的作业带来比较大的影响，除了需要对无人机自身条件进行加强外，还需要观测风速，以确保无人机工作的安全性，此外对于结构比较复杂的桥梁，利用无人机平台在进行抵近观测时，同样需要保证无人机平台的安全性，本发明采用激光测距仪（113）和激光雷达（lidar）（1111）来进行保证，通过传感器所采集的数据传输至智能报警传感器（119），传感器经过简单的逻辑处理与判断，当无人机处于设定的阈值之内时，进行报警、智能提示。

公路桥梁形变的检测工作是公路桥梁检测相关部门日常必须要做的一项工作，其检测工作的成果可以为公路桥梁养护部门提供一定的养护决策支持，所以需要对公路桥梁形变检测的内容进行系统的管理，需要根据检测数据对公路桥梁进行风险评估，另外还需要对公路桥梁进行健康档案的管理（22113）。

在实际的公路桥梁检测中，检测出桥梁形变的部位、形变量是检测工作中的核心内容，为使公路桥梁形变检测的结果变得更加直观、可视、更易于去视觉感受，本发明特地将利用三维激光扫描仪（111）和高清可量测相机（116）获得的数据进行桥梁的仿真三维建模，三维激光扫描仪（111）获得数据构建公路桥梁精细点云模型，而高清可量测相机（116）获得的数据叠加于公路桥梁精细点云模型之上，从而形成待检测桥梁的仿真三维模型，之后公路桥梁形变检测获得的数据经过渲染叠加于仿真三维模型之上，达到很好的视觉效果，既保证了桥梁形变检测的实用性，又具有美观性。

发明内容

本发明的目的在于提供多传感器协同的无人机公路桥梁形变检测方法及系统，以解决现有桥梁检测中成本高、手段单一、安全性低、可靠性低的技术问题。

本发明的目的是为了克服上述背景技术中所述的现有公路桥梁形变检测工作中的不足，提供了一种利用无人机作为飞行平台，通过搭载多种传感器来对公路桥梁形变进行检测的方法及系统，该发明可以通过利用无人机及传感器的优势克服现有公路桥梁形变检测中的一些缺陷和不足之处。

为实现上述目的,本发明提供如下技术方案，一种多传感器协同的无人机公路桥梁形变检测方法及系统，其中主要包括无人机模块（ⅰ）和桥梁形变检测工作站模块（ⅱ）。

无人机模块主要由搭载可有效检测桥梁形变、桥梁底板裂缝的传感器组成，无人机通过搭载的传感器对桥梁形变检测的数据获取传回地面控制中心移动端（21），所述的数据采集传感器模块主要包括；激光三维扫描仪（111）、微型gps接收机（112）、激光测距传感器（113）、小型照明装置（114）、红外传感器（115）、高清摄影测量相机（116）、陀螺姿态仪（117）、风速传感器（118）、智能报警传感器（119）、地质雷达（1110）、激光雷达（lidar）（1111）、惯性测量单元imu（1112），无人机搭载的传感器所采集的数据通过数据传输模块（13）发送至地面控制中心移动端（21），所述的地面控制中心移动端（21）主要包括，桥梁检测工作人员（211）、无人机公路桥梁形变检测管理系统（212）、数传电台（213）、gps接收机（214）、gps信号发射天线（215）、电瓶（216）、移动桥梁检测车（217）、移动办公电脑（218）、无人机手持遥控器（219）、gps-rtk外挂电台（2110）、高倍望远镜（2111），桥梁检测工作人员（211）通过桥梁形变检测数据管理系统（212）对采集的数据进行管理、处理、分析、可视，最终对检测的桥梁进行风险评估（22112）和桥梁健康档案管理（22113）（注，本发明中所涉及的传感器种类、数量较多，在具体的实施过程中需要从两个方面进行保证，一方面是提高无人机的荷载能力，另一方面是减小任务载荷，可以分批次搭载传感器进行形变数据的采集，在实际应用中可以选择合适的方案）。

优选的，所述的激光三维扫描仪（111）用于桥梁整体的精细三维建模，建模内容包括桥梁出露于地表或出露于水面以上完整部分，此外通过前后两次激光三维扫描仪（111）采集数据对比可以显示出桥梁在前后两次时间间隔内所发生的形变以及破损。

优选的，所述的微型gps接收机（112）用于无人机在作业过程中的一个精准定位，另外当采用高清摄影测量相机（116）对整个桥梁进行航测的时候辅助标定航拍照片的位置，为后续数据的处理提供支持。

优选的，所述激光测距传感器（113）安置与无人机上部，当无人机在桥梁底板下方作业时，就可以使用激光测距传感器（113）测定无人机与桥梁底板之间的距离，一方面用于拍摄的桥梁底板照片内业进行裂缝识别时使用，另一方面当无人机距离桥梁底板很近时，确保无人机作业安全。

优选的，所述小型照明装置（114）用于无人机在对桥梁底部隐蔽部位进行观测时，为保证所采集的照片信息能够和正常可见光一样，对于阴暗部位进行拍摄时用于提供辅助光源。

优选的，所述红外传感器（115）用于无人机在进行桥梁底部数据采集时，用于采集桥梁连接部位混凝土的温度使用。

优选的，所述高清摄影测量相机（116）用于桥梁的航拍，所采集的数据可以和激光三维扫描仪（111）采集的数据结合，形成桥梁精细仿真三维模型，航拍的数据能够以贴图纹理的形式贴附到激光三维扫描仪数据之上。

优选的，所述陀螺姿态仪（117）用来记录无人机在采集数据过程中的姿态，由于在实际的作业过程中，无人机除了进行正常的作业外还要经受外界环境的干扰，如较大的风速、桥下的气流等，为使所采集的数据能更好的接近真实理想状态的数据，可以用其采集的数据对其他传感器所采集的数据进行纠正、校正。

优选的，所述风速传感器（118）用于在无人机采集数据的过程中对风速进行观测，为保证无人机作业安全，当风速超过设定的阈值时，无人机的智能报警传感器（119）会报警，会向地面控制中心（21）发送消息，暂停作业。

优选的，所述智能报警传感器（119）用于分析无人机采集数据时外界环境条件，当外界条件超过无人机所能承受的环境条件时，会向桥梁检测工作人员（211）发送消息提醒，停止桥梁检测作业。

优选的，所述地质雷达（1110）用于桥梁的混凝土内部空隙探测。

优选的，所述激光雷达（lidar）（1111）,获取无人机周围障碍物点云进行避障和路径规划。

优选的，所述惯性测量单元imu（1112）可以和激光雷达（lidar）（1111）在无人机进行桥梁检测工作时接收不到gps信号时用于无人机自身的定位。

优选的，所述的微型机载sar传感器（1113），用于检测桥梁的形变，通过采集观测次数≥2的次数，来进行桥梁形变量的提取。

附图说明

为了更清楚地说明实施例或发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。

图1是无人机机身结构简易图，图1中a是传感器上载平台，b是螺旋桨叶，c是无人机控制中心模块及传感器下载平台，d是无人机机身。

图2是多传感器协同的无人机公路桥梁形变检测方法及系统的模块详细组成图，其中ⅰ是无人机端/模块，ⅱ是桥梁形变检测工作站模块。

图3是一种多传感器协同的无人机公路桥梁形变检测方法及系统的组成详细构图。

图4是多传感器协同的无人机公路桥梁形变检测方法及系统作业流程图。

图5是使用无人机公路桥梁形变检测管理系统（212）处理传感器采集桥梁形变检测数据的流程图。

图6摘要附图。

具体实施方式

本发明提供了一种多传感器协同的无人机公路桥梁形变检测方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，下面通过具体实施例，并结合附图，对本发明的技术方案做进一步的具体描述。

本发明主要包含两个模块，如附图1中所示包含无人机平台模块（ⅰ）、桥梁形变检测工作站模块（ⅱ），本发明所述的工作流程主要按照说明书附图4进行工作，所述的一种多传感器协同的无人机公路桥梁检测方法主要包含以下步骤。

步骤s100，桥梁检测工作人员通过驾驶移动桥梁检测车（217），携带无人机、传感器等到达待检测桥梁区域，进行外业数据采集准备工作。

步骤s200，当完成步骤s100的基础之上，开始此步骤，依据实际桥梁检测的要求，桥梁检测工作人员（211）和无人机桥梁形变检测系统管理工作人员（222）开始工作，无人机开始工作，传感器开始采集桥梁检测数据。

步骤s300，当数据采集完毕，即完成步骤s200之后，就可以开始无人机桥梁检测数据的内业工作。

本发明的无人机模块主要属于无人机技术领域，其中步骤s100属于桥梁检测工作正式开始前的准备工作，而步骤s200属于利用无人机搭载采集检测桥梁数据的传感器数据采集，步骤s300是对所采集的桥梁形变检测数据的内业处理。

所述的桥梁检测前的准备工作，步骤s100具体包括。

步骤s101，桥梁检测工作人员在正常作业之前需要查阅待检测桥梁的情况（如，桥梁通行情况、桥梁底板悬高、桥梁周边情况、桥梁建筑高度等），确定无人机桥梁检测的工作模式，另外为保证桥梁管理数据的完整性，需要完善桥梁的属性数据记录（如：建造日期、建设单位、监理单位、设计单位、桥梁类型、及反映桥梁工程质量重要参数）。

步骤s102，驾驶、操控无人机的工作人员，给无人机加载相应的桥梁检测传感器。

步骤s103，桥梁检测管理系统工作人员启动桥梁形变检测管理系统，查看系统工作情况，另外启动gps基准站，最后查看桥梁形变检测管理系统与无人机模块的链接。

步骤s104，当上述工作完成并确保没有问题时，开始进行下一步骤工作。

所述的利用无人机作为飞行平台，通过搭载的传感器开始桥梁检测数据的采集工作，步骤s200具体包括。

步骤s201，无人机模块（ⅰ）及地面控制中心移动端（21）开始工作。

步骤s202，桥梁检测工作人员（无人机操控手）查看无人机实时状态数据。

步骤s203，无人机桥梁检测系统管理工作人员（22110）查看实时传回数据。

步骤s204，无人机边飞行，边采集数据，另外采集的数据传输回地面控制中心移动端（21）的无人机公路桥梁形变检测管理系统（221）中，系统工作人员查看无人机采集的数据情况，是否完整。

步骤s205，当发现数据采集不完整时，需要补测。

步骤s206，当数据采集完成后，无人机进行回收，无人机桥梁检测外业工作完成。

桥梁形变检测外业数据采集完毕，步骤s300具体包括以下工作。

步骤s301，桥梁形变检测外业数据采集完毕，之后的工作便是桥梁形变检测数据的内业处理，内业的数据处理，主要包括数据的备份、储存。

步骤s302，当完成采集数据的存储和备份，需要利用激光三维扫描仪（111）采集的数据和可量测高清摄影测量相机（116）构建桥梁整体的仿真三维模型。

步骤s303，当构建完三维模型之后，需要开始裂缝检测和形变量提取的工作。

步骤s304，裂缝的检测和识别，需要依靠多个传感器之间的相互验证和协同工作，这样能够确保检测工作的可靠性和准确性，另一个方面也能快速的确定桥梁问题部位。

步骤s305，当完成桥梁检测的裂缝和形变检测后，需要出具桥梁检测报告（22114）。

步骤s306，当完成上述工作之后，需要根据检测数据对桥梁的安全性进行风险的评估（22112），并将评估数据存入相对应桥梁的健康管理档案中。

现将无人机公路桥梁形变检测管理系统（221）做一详细的说明。

无人机公路桥梁形变检测管理系统在本专利中主要有两方面的内容，一方面是在外业工作时实时查看无人机采集数据的情况，查看所采集的数据是否完整，以及无人机作业时所走过的轨迹数据的记录、无人机的定位工作，另一方面是当外业数据采集完成之后，在内业用于数据的处理、分析、可视工作。

现将传感器所采集数据在无人机公路桥梁形变检测管理系统（221）中进行存储、处理、分析和可视化相关工作做一说明，是步骤s301-s306的详细补充，具体的流程图可以参照说明书附图5。

当无人机在搭载传感器采集桥梁检测数据时，桥梁检测工作人员（211）通过无人机公路桥梁形变检测管理系统（221）查看无人机工作状态、传感器采集数据的回传、检查采集数据的完整性，另外传感器所采集的数据首先各自导入到桥梁多传感器专题数据库（22115）中，专题数据库在建库之前预先安装传感器类型分好专题，当采集完毕时，即数据传输完毕，这时数据库中已经存在采集的数据，为保证数据的处理过程中出现错误丢失原始采集数据，首先对所采集的数据进行备份。此外，桥梁检测工作人员（211）还需要将事先通过查询的桥梁本底数据录入到无人机公路桥梁形变检测管理系统数据库（待检测桥梁）中。

当数据备份完毕后，开始多传感器协同数据处理，如附图5所示，其中当三维激光扫描仪（111）和sar传感器（1113）的数据观测次数≥2时才可进行分析和处理，但是其他传感器的数据初次就可以开始，另外三维激光扫描仪（111）和sar传感器（1113）所采集的数据可以相互验证，但是数据的处理是分开的，首先，对于初次检测的桥梁，可以通过所采集到的三维激光点云数据和航拍的高清相片构建起桥梁的仿真三维模型，之后，地质雷达（1110）所测得的数据、高清航拍相片检测出的裂缝、红外传感器（115）所检测到的混凝土温度异常数据三者可以相互验证。

接着根据检测到的桥梁形变数据（已相互验证）通过桥梁风险评估模型进行桥梁的风险评估（22112），形成桥梁的形变检测报告（22114），最终以档案的形式对桥梁形变检测数据进行管理。

由于不同的传感器所采集得到的数据格式存在的差异性，为了达到最后的可视化效果，需要将不同传感器测得数据进行格式的转换，转换成统一的格式，最后将转换成统一格式的形变数据进行渲染，添加于之前建立好的公路桥梁仿真三维模型之上，实现检测数据的可视化。