基于深度学习的油气管道异常情况巡检系统

1.本发明涉及一种基于深度学习的油气管道异常情况巡检系统，涉及物联网技术、视频直播服务器技术、深度学习目标检测技术、webgis技术等相关领域。


背景技术：

2.近年来，我国油气管道建设快速发展，油气网管规模不断扩大，目前已形成“三纵四横、连通海外、覆盖全国”的管网布局。作为运输石油、天然气的主要工具，油气管道对于人民生活质量和国家经济发展有很大的促进作用。然而，很多因素比如自身内部腐蚀、自然灾害、人为破坏等都在威胁着管道的安全，油气管道一经破环，造成的危害巨大，给国家财产和人民人身安全带来无可估计的损失。因此，管道的安全性至关重要，对管道进行巡检工作是保障管道安全的重要手段。
3.传统的管道巡检主要以人工沿管线徒步巡检方式为主，人工巡检周期长、成本高、效率低。由于管道沿途经过多处河流、池塘、沟渠等复杂地形,巡线人员难以到达,所以人工巡检很难做到完全覆盖全线管道。管道沿线某些地段会伴随有山体滑坡、洪水、泥石流和危岩崩塌等地质灾害，巡检人员的人身安全不能得到保障。因此，人工巡检方法有很大的局限性，不利于对管道进行全面准确的巡检。
4.随着无人机技术的逐渐成熟，利用无人机进行管道巡检成为一种更有效的方法。无人机灵活性高、反应速度快、受地理环境约束小，将其运用到管道巡检工作中减少了巡检人员的工作量，避免恶劣环境对巡检人员的伤害，大幅度提高了巡检效率。如今，无人机被不同油气管道公司运用于各种巡检场合、应急情况，但是无人机巡检工作的管理仍存在诸多缺点，现有的无人机管道巡检体系仍然不太成熟，无人机管道监管软件系统仍然不太完善，对无人机的飞行管理、数据接入和数据管理等许多方面都有待提高，一个成熟的无人机巡检监察管理架构才能让无人机在管道巡检中发挥最大的作用。
5.基于以上情况，设计了一套基于深度学习的油气管道异常情况巡检系统，该系统使用了物联网、视频直播、深度学习目标检测、webgis等关键技术，将无人机位置姿态数据和采集的视频数据实时接入，直观地显示在客户端上，实现对无人机巡检的实时监管；借助深度学习目标检测算法对巡检视频进行识别，以便及时发现管道周边的异常并采取相应措施；对系统功能进行全面的设计，使用户统筹兼顾地完成巡检工作的规划、监测以及分析。该系统是一个成熟的、智能的、全面的无人机巡检管理系统，是一个对管道监管有重要意义和价值的项目发明。


技术实现要素：

6.本发明采用的技术方案为基于深度学习的油气管道异常情况巡检系统，系统主要包括无人机数据采集、无人机数据接入、视频检测、油气管道异常情况巡检平台等功能模块。
7.无人机数据采集由无人机和无人机地面站完成。无人机地面站控制无人机按照特
定的轨迹飞行，进行油气管道的巡检，在无人机云台上搭载传感器设备、摄像设备等任务载荷，传感器记录无人机的姿态及定位数据即pos数据，摄像设备可录制航拍视频，采集管道周边的图像数据。这些采集到的pos数据和视频数据通过载波电台传输至无人机地面站，进行后续的传输和管理。
8.无人机数据接入的实现。pos数据接入的主要媒介是靠阿里云的物联网平台。无人机地面站使用数据推送软件将pos数据通过4g网络向物联网平台对应的虚拟设备上的topic发布，通过服务器端订阅，将数据推送到nodejs服务器上。nodejs服务器接收到数据后，转发至客户端，在网页上实时显示，并将数据存储至数据库，进行集中管理。视频数据接入的主要媒介是阿里云的视频直播云服务器。无人机地面站使用视频推流设备将视频数据通过4g网络传输到视频直播云服务器，视频直播云服务器对视频进行处理并发送至客户端，客户端输入直播地址就可实时播放视频。此外，视频直播云服务器将直播视频录制下来，存储到oss中，可在客户端回放。
9.视频检测使用深度学习目标检测识别技术。本系统使用改进yolov4算法对管道周边的物体进行识别，包括人员、小型车辆、卡车、房屋、挖掘机、推土机、地面洼陷7类物体。对yolov4算法的改进有两点，第一点是使用kmeans聚类算法重新计算先验框的大小，使它更适合实验所用数据集；第二点是将cspdarknet53特征提取网络中104
×
104层输出层进行下采样，使它的大小变成52
×
52，与panet层的52
×
52层进行张量拼接，再将其进行5次卷积，然后进行下采样和输出到yolo head。这样就将104
×
104层的特征与52
×
52、26
×
26、13
×
13的特征融合并进行检测，提高了对小目标的检测精度。使用无人机拍摄的方式采集航拍图像，制作数据集，并将其作为训练样本，训练改进yolov4网络模型，得到了良好的检测精度，检测速度也能满足实时性。将训练好的模型和yolov4识别算法嵌入到软件中，将巡检采集的视频导入软件便可实现对视频的实时识别和监测。
10.油气管道异常情况巡检平台的设计与实现。油气管道异常情况巡检平台采用b/s架构实现，是整个系统的用户操作平台。该系统采用前后端分离架构，前后端独立部署，增加了开发效率，减少了服务器压力。该系统后端使用的服务器是tomcat服务器，采用的框架是springboot+mybatis
‑
plus框架，与数据库交互。系统前端使用的服务器是nginx服务器，采用的框架是vue.js框架，并引入openlayers，在网页上实现地图的展现，并在地图上显示油气管道信息，进行轨迹的规划和显示。
11.与现有技术相比，本发明具有以下优点：
12.本发明使用无人机进行油气管道的巡检工作，解决了人工巡检效率低覆盖率低的弊端，提高了巡检速度和质量；使用物联网技术和webgis技术，使无人机巡检的轨迹实时地显示在网页上，实现了对无人机巡检的实时管理和监控；使用视频直播技术将巡检中无人机拍摄到的视频实时地传输到客户端，方便巡检人员对管道的情况实时监测；使用目标检测技术识别巡检视频，及时发现管道周边的异常物体，提高了巡检的准确性。
附图说明
13.图1是系统设计框图；
14.图2是物联网平台结构图；
15.图3是视频直播云服务器结构图；
16.图4是改进后的yolov4模型结构图
17.图5是系统主要功能框图；
18.图6是轨迹规划功能图；
19.图7是创建任务功能图；
20.图8是实时轨迹功能图；
21.图9是实时视频功能图；
22.图10是视频检测功能图；
23.图11是异常管理功能图；
24.图12是历史回放图。
具体实施方式
25.下面结合附图和实施对本发明做进一步的说明。
26.本系统主要由无人机数据采集端、云平台、服务器、油气管道异常情况巡检平台前端端组成。无人机数据采集端采集无人机的巡检视频数据和pos数据，通过4g网络传输至云平台，云平台将数据进行处理后转发至服务器，最终在油气管道异常情况巡检平台前端上显示。油气管道异常情况巡检平台实现了多项功能，用户可打开浏览器使用该平台，对无人机巡检工作进行综合的管理。
27.一、无人机数据采集端
28.无人机数据采集端对无人机巡检中的数据进行采集，数据包括拍摄的视频数据和无人机自身姿态位置数据(pos数据)。无人机地面站将摄像设备和传感器装载到无人机云台上，控制无人机飞行进行油气管道的巡检工作，无人机在巡检过程中利用搭载的任务载荷采集视频数据和pos数据，并将数据通过载波电台传输到无人机地面站。无人机地面站接收到数据后，利用数据推送软件将pos数据传输给4g路由器，再通过4g网络推送到物联网平台，利用视频推流设备将视频数据传输给4g路由器，再通过4g网络推送到视频直播云服务器。
29.二、云平台
30.本系统使用阿里云的物联网平台将pos数据接入服务器端。在阿里云平台为每一个无人机创建一个虚拟设备，生成三元组信息，并设置一个具有发布权限的topic。无人机设备利用三元组信息进行验证接入物联网平台，与对应的虚拟设备连接，无人机设备采集到的pos数据向对应虚拟设备上的topic发布。为方便多无人机数据的集中管理，物联网平台创建一个起集中数据作用的虚拟设备，为其设置一个具有订阅权限的topic，其他与无人机一一对应的虚拟设备将数据全部流转至该虚拟设备，由该虚拟设备统一向服务器传输。服务器通过订阅集中数据的虚拟设备上的topic，接收该虚拟设备上的所有pos数据。由此，便实现了pos数据从无人机设备向服务器实时接入。
31.本系统使用视频直播云服务器完成视频数据的实时接入。在视频直播云服务器创建直播活动首先要生成推流地址和播放地址，视频推流设备利用推流地址，基于rtmp协议将无人机拍摄的视频推送至云服务器。云服务器对视频进行有效的处理，比如转码，录制，截图，安全审核等，再将视频传输至客户端，客户端利用播放地址进行巡检视频的直播。视频直播云服务器将直播的视频录制下来，存储到oss中。服务器端通过播放sdk读取oss中视
频的信息，通过视频地址在客户端上实现历史回放。
32.三、服务器
33.本系统选择tomcat服务器作为web服务器，使用springboot框架，springboot内嵌tomcat服务器，方便部署。服务器通过配置文件与mysql数据库连接，整合mybatis plus作为数据持久层框架，它已经封装好了一些crud方法，无需再写sql语句，直接调用这些方法就可实现简单的数据库操作，并使用插件mybatisgenerator根据数据库中的数据自动生成持久层代码，方便与数据库的交互。
34.除web服务器外，系统还选用nodejs服务器进行pos数据的实时转发。nodejs服务器订阅物联网平台中虚拟设备的topic，接收数据并转发至客户端，将无人机采集到的pos数据实时地显示在网页上，便于监测和管理。此外，还将接收到地数据存储到mysql数据库中，可统一管理和历史查看。
35.四、油气管道异常情况巡检平台前端
36.油气管道异常情况巡检平台前端是b/s架构中的客户端，使用vue.js框架实现，并部署到nginx服务器上。前端利用openlayers实现地图、管道、轨迹等地理信息的显示。
37.前端主要功能有轨迹设计、飞行任务管理、实时监测、历史回放、视频检测、异常管理、数据统计等功能，用户可在网页上进行油气管道巡检任务的规划管理，巡检过程中实时监测无人机轨迹和拍摄的视频，利用目标检测算法对管道周边的物体进行识别，更准确及时地发现异常情况。可使用该平台全面地对无人机巡检工作进行管理监测，对巡检数据进行综合管理和彻底详细的分析，实现了对管道巡检的智能化、可视化管理。