一种复合翼无人机油气管线巡检方法与流程

本发明属于油气管线巡检技术领域，涉及一种复合翼无人机油气管线巡检方法。

背景技术：

石油和天然气是我国的重要能源，保障油气的安全运输是一项重大任务，我国油气输送主要采取管线输送的方式。截至2015年底，全国已建成的油气管道总里程已达到12万公里，覆盖全国31个省。油气管线途经的地势极为复杂，包括要穿过山地、河流以及人口聚集区，因此其常受到山川河流等恶劣环境的影响和破坏，有时也受到人为的侵袭。

传统油气管线巡检主要采用人工巡检的方式：在地势平坦地区巡检人员可搭载巡检车进行巡检；在车辆无法到达的地方只能采用人工步行：对人无法到达的区域，缺少有效的巡检手段。

近年来随着无人机的发展，无人机逐渐被应用于油气管线巡检领域，目前多数采用固定翼或多旋翼无人机挂载摄像机对油气管线进行巡检作业。固定翼和多旋翼无人机都具有各自的特点：固定翼无人机航程范围广、续航时间长，同时也存在对起降场地要求高、操作不够灵活等缺点。多旋翼无人机具备垂直起降、定点悬停、受起降场地限制小、机动性强等优点，但其航行时间短、任务半径小、巡航速度慢。

所以针对油气管线巡检距离远、地势复杂，不具备滑跑起降条件等特点，使用复合翼无人机最为合适。复合翼无人机又称垂直起降(verticaltake-offandlanding，vtol)固定翼无人机，既具备多旋翼垂直起降的优点，不需要跑道就可以起降，同时又具备固定翼的航程范围广、续航时间长的优势。

目前针对无人机挂载高清摄像机对管线及管线周围采集图像信息的方法，多数采用将图像信息保存到sd卡或通过图传/数传设备传送到地面站，有地面站人员进行监控或后期进行图像的矫正和拼接等工作。这种依靠地面人员监控的方式容易遗漏，进行后期的图像处理数据量大并且实时性差；再者依靠可见光相机采集的图像信息无法监控埋地管线和天然气管线的泄漏情况。

油气这类烃类物质的渗漏导致的地表化学环境变化会引起土壤、岩石、植物和水域等光谱特性的变化，采用高光谱相机可以对这些特征的进行信息提取，能十分准确地检测出油气的泄漏。对于管线周围自然环境及人为因素的干扰可以采用可见光相机进行图像采集，首先对图像分割，然后进行特征提取，自动分类，主要智能识别人、车辆或机械设备等可疑目标，发现问题立即发出报警提醒地面人员对传送回来的视频图像信息进行辅助确认，以保证及时处理异常情况，及时采取对应措施。

如公开号为cn108470143a的《一种管线无人机巡线方法及系统》，采用双视摄像头(即可见光摄像头和红外摄像头)根据环境进行镜头切换来获得巡检的图像信息；然后对拍摄的图像信息进行智能识别，将识别出的异常图像发送至监控中心。该方法适用于地上可见的或有温度差的输油管线巡检，对于天然气管线的泄漏无法用可见光或红外相机监控到，对于大多数的埋地管线更是无法监控。

技术实现要素：

本发明针对目前油气管线巡检技术手段的不足，提出一种复合翼无人机油气管线巡检方法，采用复合翼无人机挂载高光谱相机、可见光相机和机载图像处理器的巡检方式，不仅能对地上油气管线进行巡检，还可以对埋地管线进行巡检作业，两种相机同时对油气管线上方及周围环境进行图像信息采集，并通过机载图像处理器分别对两种图像进行处理，对油气泄漏以及周围环境的异常情况及时向地面人员报警。

所述的一种复合翼无人机油气管线巡检方法，具体步骤如下：

步骤一、地面站设置初始参数和规划航线。

飞行前需在地面站上设置的参数包括：高光谱相机的参数，可见光相机的参数，航测参数以及成图比例尺、航向重叠率以及旁向重叠率等；

地面站读取油气管线的坐标数据生成目标线路，结合任务载荷和转弯半径自动生成飞行航线。

任务载荷是指机载高光谱相机和可见光相机的性能指标参数，以及与飞机平台的安装方式等相关的信息。

步骤二、在复合翼无人机平台上同时挂载高光谱相机，可见光相机和机载图像处理器，对油气管线进行全程自主巡检；

全程自主巡检包括：自主起飞、沿飞行航线自主飞行、自主返航和自主降落。

步骤三、复合翼无人机沿飞行航线飞行，高光谱相机和可见光相机同时对油气管线上方及周围环境进行图像信息采集，通过机载图像处理器分别对高光谱相机图像和可见光相机图像进行实时处理；

通过对高光谱相机的图像处理来检查油气管线是否有泄漏情况；

具体检测过程为：

首先，对采集的原始高光谱图像数据进行预处理，辐射校正和数据归一化处理等，然后，根据油气泄露烃类物质所导致周围环境的变化，提取相应的波段来突出这种变化的特征，在处理后的高光谱图像中检测这种变化特征，进而判断是否有烃类物质渗漏。

通过对可见光相机的图像处理来检查油气管线的周围环境是否异常。

具体检测过程包括对图像变化的检测以及识别异常目标；

图像变化检测通过当前采集的图像与之前实采的图像进行比较，判断管线周围环境是否有变化。

异常目标识别主要识别可疑的人、车辆或机械设备等；考虑到无人机机载计算和存储资源有限，采用轻量化的深度学习算法mobilenetv1-ssd对人、车辆或机械设备等可疑目标进行自动检测，并在mobilenetv1-ssd的基础上添加了fcn语义分割分支，提取原图油气管道的图像像素，可进行精细的管道损伤分析。

步骤四、无人机将高光谱相机和可见光相机采集的图像通过数据链实时传输到地面站，同时将机载图像处理器检测到的异常情况信息传送到地面站；

异常情况信息包括烃类物质是否有泄露；管线周围环境是否变化较大；是否出现可疑的人、车辆或机械设备；管道是否损伤。

数据链包括机载端和地面端：机载端挂载在复合翼无人机上；地面端与地面站连接，实现空中和地面之间的通信。

步骤五、地面站发现上述异常情况立即向地面人员报警，提醒地面人员注意，以便及时采取对应措施。

本发明的优点在于：

(1)一种复合翼无人机油气管线巡检方法，复合翼无人机是垂直起降固定翼无人机，既具备多旋翼垂直起降的功能，又具备固定翼的航程范围广、续航时间长的优点。

(2)一种复合翼无人机油气管线巡检方法，全程自动巡检操作简单，有效降低了地面人员的工作量，并且大大提高了整个巡检过程的安全性。

(3)一种复合翼无人机油气管线巡检方法，通过高光谱相机可对天然气管线以及埋地油气管线检漏，而且对油气泄漏的检测更为精准。

(4)一种复合翼无人机油气管线巡检方法，通过机载智能图像处理软件可降低地面监控人员的工作量，且避免了因注意力不集中导致疏漏，大大提高了目标识别的精准度。

(5)一种复合翼无人机油气管线巡检方法，通过机载图像处理器进行实时图像处理，发现异常情况立即报警，提高了巡检任务的实时性。

附图说明

图1为本发明提供的一种复合翼无人机油气管线巡检方法的流程图；

图2为本发明异常目标识别模型示意图。

具体实施方式

下面结合附图和实施例对本发明进行进一步详细说明。

本发明一种复合翼无人机油气管线巡检方法，包括飞行前进进行巡检任务规划、复合翼无人机全程自动巡检、对采集的图像进行实时处理、发现管线泄漏或其他异常情况及时报警等。

如图1所示，具体步骤如下：

步骤一、地面站设置初始参数和规划航线。

地面站上装有无人机地面站软件，具有遥控遥测、飞行仪表、状态报警、数据记录、电子地图以及巡检航线规划等功能。

飞行前需在地面站上设置的参数包括：高光谱相机的参数，可见光相机的参数，航测参数以及成图比例尺、航向重叠率以及旁向重叠率等；然后地面站读取油气管线的坐标数据文件，由地面站软件自动生成目标线路，结合任务载荷和转弯半径自动生成飞行航线。

任务载荷是指机载高光谱相机和可见光相机的性能指标参数和与飞机平台的安装方式等相关信息。

步骤二、采用复合翼无人机平台挂载高光谱相机，可见光相机和机载图像处理器对油气管线进行全程自主巡检；

全程自主巡检包括：自主起飞、沿飞行航线自主飞行；飞行过程中采集图像信息，同时通过数据链将采集到的图像信息实时传递到地面站，以便地面人员监控，地面人员也可在地面站上通过数据链向飞控系统和机载图像处理器发送指令。完成巡检任务，自主返航和自主降落。

相比现有技术中的无人机平台挂载红外相机+可见光相机，本发明有以下优点：首先体现在飞机平台上，复合翼无人机具备多旋翼垂直起降的功能，又具备固定翼的航程范围广、续航时间长的优点；再者，现有的红外相机+可见光相机只能对地上可见的或有温度差的输油管线巡检，对于天然气管线的泄漏无法用可见光或红外相机监控到，对于大多数的埋地管线更是无法监控，使用高光谱相机却大有不同，无论对石油管线还是天然气管线，无论对地上可见管线还埋地固定管线，均可精准检查其烃类物质的泄漏特征。

机载图像处理器具备图像预处理、图像分割、图像增强与复原、目标检测识别、目标定位等功能，具有低功耗、低重量、小体积和强算力的特点。

机载图像处理器配备机载智能图像处理软件。

步骤三、复合翼无人机沿飞行航线飞行，高光谱相机和可见光相机同时对油气管线沿线上方及周围环境进行图像信息采集，通过机载图像处理器分别对高光谱相机图像和可见光相机图像进行实时处理；

通过对高光谱相机的图像处理来检查油气管线是否有泄漏情况；通过对可见光相机的图像处理来检查油气管线的周围环境是否异常。

图像信息包括视频信息和图片信息。

对两种图像信息的实时处理过程：①高光谱图像目标检测流程：

首先，对采集的原始高光谱图像数据进行预处理，包括数据格式化、无用数据剔除和亮度到反射率的转化等。同时需要对高光谱图像进行辐射校正，在目标检测前，应对数据进行调整，包括数据归一化处理等。然后，根据油气泄露烃类物质所导致周围环境的变化，提取相应的波段来突出这种变化的特征，例如土壤中的烃类物质光谱吸收特征主要集中在1.72μm和2.3μm附近，在处理后的高光谱图像中检测这两个波段，进而判断是否有烃类物质渗漏。

②可见光图像处理流程：包括对图像变化的检测以及识别异常目标；

图像变化检测通过当前采集的图像与之前实采的图像进行比较，判断管线周围环境是否有变化。

异常目标识别主要识别人、车辆或机械设备等可疑目标。考虑到无人机机载计算资源和存储资源的有限性，本发明因此采用轻量化的深度学习算法mobilenetv1-ssd对人、车辆、机械设备等可疑目标进行自动检测，并在mobilenetv1-ssd的基础上添加了fcn语义分割分支，提取原图油气管道的图像像素，可进行精细的管道损伤分析。

异常目标识别模型示意图如图2所示。

mobilenetv1-ssd是一种轻量级的目标检测模型，其主要的特征是检测速度快，相对于一般ssd，区别在于mobilenetv1-ssd的基础网络部分采用了mobilenet结构。mobilenet使用的深度可分离卷积(depthwiseseparableconvolutions)，在本质上是一种冗余信息更少的稀疏化表达，它极大的减小了模型的规模和计算量。

深度可分离卷积相对传统卷积的计算量：

其中，积层的输入大小为dk×dk×m，输出大小为df×df×n。

fcn语义分割模型对图像进行像素级的分类，可解决语义级别的图像分割问题。添加这个分支是为了将图片中的管线与背景分离出来，减少背景图像的干扰，这样就可以对管线进行损伤分析。与经典分类网络不同，fcn语义分割模型接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息。

步骤四、无人机将高光谱相机和可见光相机采集的图像通过数据链实时传输到地面站，同时将机载图像处理器检测到异常情况信息传送到地面站；

异常情况信息包括烃类物质是否有泄露；管线周围环境是否变化较大；是否出现可疑的人、车辆或机械设备以及管道是否损伤等。

数据链包括机载端和地面端：机载端挂载在复合翼无人机上；地面端与地面站连接，实现空中和地面之间的通信。通过无线电通信的方式实现机载端和地面端的图像传输、数据传输和遥控指令传输的功能，其传输距离可覆盖巡检作业半径。

步骤五、地面站发现上述异常情况立即向地面人员报警，提醒地面人员注意，以便及时采取对应措施。

具体地，当高光谱相机识别出管线附近有泄露油气时会立即向地面人员报警，当可见光相机识别出管线附近有异常变化或可疑目标出现时也会立即向地面人员报警，并且会将可疑目标的类别、位置、图片和视频信息传送到地面站，地面人员可通过图片和视频信息进行进一步确认。

管线泄漏或异常情况包括：管道泄漏(尤其是管道连接处的渗漏)、管道破裂、表面防腐层破损、管道移位、管道附近土方坍塌、堆放大宗物资、垒家畜棚圈、修筑其他建筑物、种植庄稼以及建筑物或树木倒塌砸中管线、可疑人员、车辆在管道附近动土作业、机械施工或者打孔盗油等行为。