一种燃气管道无人机巡检装置及巡检方法与流程

本发明涉及燃气管道巡检技术领域，具体涉及一种燃气管道无人机巡检装置及巡检方法。

背景技术：

天然气作为矿物燃料中最清洁的能源，它还具有热量高、能源效率高等优点，被视为目前最具前途的新兴高效能源。管道传输因具有成本低、安全密闭，运输量大、质量可保证、容易控制管理等优势，已成为天然气运输的首选方式。但是天然气具有易燃、易爆的特点，一旦发生管道泄漏事故，就有可能造成爆炸、火灾、中毒、环境污染等一系列灾害，如果发生在居民聚集区，将会造成更为严重的危害。天然气管道发生泄漏的原因主要包括外力损伤、材料设备腐蚀老化、违规操作和自然灾害等。

目前天然气管道巡检方法采用人工巡检的方法，城市范围内的采用巡检员骑电瓶车进行巡检，长途线路的则采用给巡检员配备汽车进行巡检。人工巡检的方式速度慢，检查频次低，有些危险或者没有道路的地方难以巡检。巡检员骑行或配备汽车进行巡检的方式增加了人力物力，增加了巡检成本，而且容易收到天气影响，巡检不便利。

技术实现要素：

为了解决现有天然气管道巡检方法存在的效率低、不易实现巡检、成本高、易受天气环境影响的问题，本发明提供一种燃气管道无人机巡检装置及巡检方法。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种燃气管道无人机巡检装置，包括：无人机模块、录像模块、无线图传模块、数据接收模块、飞行控制模块、图像处理模块、图像分析模块、报警模块、显示模块和数据服务中心；

飞行控制模块向无人机模块发送控制指令，无人机模块中的多旋翼无人机按照控制指令进行飞行；

无人机模块挂接录像模块和无线图传模块，完成无人机的飞行、地面图像采集和图像传输；

录像模块将采集的数字图像信号通过无线图传模块传递给数据接收模块；

数据接收模块将接收的数字图像信号通过数据总线传递给图像处理模块和飞行控制模块；

图像处理模块对接收到的图像进行拼接和融合，并将拼接后的图像和融合后的图像通过数据总线传递给图像分析模块、显示模块和飞行控制模块；

图像分析模块通过人工智能图像识别技术分析可疑事故点并在图像上进行标注，将确认后的事故点通过报警模块进行播报，并将处理后的图像传递给显示模块进行显示；

飞行控制模块将接收到的图像数据传输给数据服务中心。

进一步的，所述无人机模块由多旋翼无人机、机载飞行控制模块、飞行控制器组成；所述机载飞行控制模块接收飞行控制模块的控制指令，多旋翼无人机根据控制指令进行飞行，通过手持飞行控制器提供进行手动飞行控制。

进一步的，所述录像模块包括挂载在多旋翼无人机上的两个光学摄像机和一个热成像摄像机，两个光学摄像机和一个热成像摄像机位于同一个平面上，两个光学摄像机对称布设于多旋翼飞行器飞行方向的两侧，光学摄像机的摄像头所在轴线与多旋翼飞行器飞行方向的夹角α为60度，热成像摄像机放置于两个光学摄像头中间，热成像摄像机的摄像头所在的轴线与飞行方向相同，通过两个光学摄像机和一个热成像摄像机采集地面图像数据，并通过无线图传模块传递给数据接收模块。

进一步的，所述数据接收模块由数据接收机和第一视频服务器组成；所述数据接收机接收由无线图传模块传递过来的地面图像数据，并通过视频线传递给第一视频服务器，第一视频服务器通过网络将其传递给飞行控制模块。

进一步的，所述飞行控制模块由3台笔记本、免维护蓄电池、无线路由器组成；所述免维护蓄电池为无线路由器供电；笔记本a中安装有自动飞行控制软件，利用自动飞行控制软件进行飞行轨迹规划、实际轨迹与预设轨迹比对、显示飞行控制信息；笔记本c用于显示热成像摄像机传递回来的影像；笔记本b用于显示融合后的光学视频图像；所述第一视频服务器通过网络将地面图像数据传递给无线路由器，无线路由器通过wifi将其传递给对应的笔记本和数据服务中心，机载飞行控制模块通过无线路由器接收自动飞行控制软件传递来的控制信号，向多旋翼无人机发送控制指令，多旋翼无人机按照控制指令进行飞行。

进一步的，所述数据服务中心由第二视频服务器、图像拟合服务器、图像分析服务器、光纤交换机、存储阵列、核心交换机、控制计算机、防火墙、专线组成；第二视频服务器、图像拟合服务器、图像分析服务器、防火墙和控制计算机均通过网线与核心交换机相连，所述视频服务器、图像拟合服务器、图像分析服务器和存储阵列均通过光纤连接到光纤交换机，所述专线与防火墙通过网线连接，所述报警模块通过专线和防火墙与核心交换机相连，所述飞行控制模块中的无线路由器通过专线和防火墙与核心交换机相连。

进一步的，所述图像处理模块包括第一图像处理模块和第二图像处理模块，所述第一图像处理模块安装到笔记本b上，两个光学摄像机采集的光学视频图像通过无线图传模块、数据接收机传输给第一视频服务器，第一视频服务器输出的视频信号通过无线路由器、wifi无线网络传递到笔记本b中的第一图像处理模块中，通过第一图像处理模块进行实时双路视频图像拼合并将拼接图像通过无线路由器、wifi无线网络传递到数据服务中心；所述第二图像处理模块安装到图像拟合服务器上，两个光学摄像机采集的光学视频图像通过无线图传模块、数据接收机传输给第一视频服务器，第一视频服务器输出的视频信号通过无线路由器、wifi传递到图像拟合服务器中的第二图像处理模块中，通过第二图像处理模块进行分时视频图像融合，融合后的光学视频图像传输给笔记本b，在笔记本b上进行显示。

进一步的，所述图像分析模块安装到图像分析服务器上，所述图像分析模块接收第一图像处理模块处理后的拼接图像和第二图像处理模块处理后的融合图像，通过在图像分析模块中嵌入人工智能中深度神经网络中图像分析算法，分析可疑事故点并在图像上进行标注，将确认后的事故点通过报警模块进行播报，并将处理后的图像传递给显示模块进行显示。

进一步的，所述显示模块由视频分配器、显示器、拼接屏及拼接屏控制器组成；所述控制计算机输出的视频信号通过视频线传输给视频分配器，视频分配器输出的视频信号一路通过视频线传递给显示器进行显示，另一路通过视频线传递给拼接屏控制器，拼接屏控制器将视频信号通过视频线传递给对应的拼接屏进行显示。

进一步的，所述报警模块由巡航报警模块、巡航报警软件、巡航报警模块现场控制板、智能手机、话筒、音箱组成；所述巡航报警模块安装到图像分析服务器上，巡航报警模块现场控制板安装到笔记本c上，巡航报警软件安装到智能手机上，巡航报警模块与巡航报警软件进行无线连接，话筒通过音频线与数据服务中心的控制计算机相连，音箱安装到多旋翼无人机上；所述图像分析模块将报警信息通过消息传送方式传递给巡航报警模块，巡航报警模块将报警信息发送给智能手机中的巡航报警软件，通过巡航报警软件管理各项巡检报警功能，所述控制计算机通过内部网络使用巡航报警模块的客户端即巡航报警软件，并通过连接到控制计算机上的话筒向指定的多旋翼无人机进行喊话，所述话筒的语音信号通过控制计算机、核心交换机传输给巡航报警模块并通过巡航报警模块转换成语音数字信号，巡航报警模块再将语音数字信号通过核心交换机、防火墙、专线、无线网络传递给笔记本c上的巡航报警模块现场控制板，巡航报警模块现场控制板将该语音数字信号通过数据接收机传递给无线图传模块，无线图传模块的音频端口通过音频线与音箱相连，音箱挂载在多旋翼无人机上，无线图传模块将语音数字信号通过音频线传递给音箱。

本发明的一种燃气管道无人机巡检装置的巡检方法，包括以下步骤：

步骤一、航空规划

规划并设置多旋翼无人机的飞行路线，通过机载飞行控制模块控制多旋翼无人机按照规划的飞行路线飞行，录像模块采集地面图像；

步骤二、图像提取

通过搜集样品图像，对样品图像进行剪裁和分类，调整图像的亮度和对比度，采用双立方插值法进行图像降采样；

步骤三、机器学习

采用深度神经元网络对提取的图像进行学习，将学习后形成的图片特征文件更新到图像分析模块中；

步骤四、图像拼接

通过图像处理模块自动调节两个光学摄像头采集的视频图像亮度，通过构建词汇树进行特征点提取、词汇树判定，然后通过图像预匹配、几何形变处理完成图像拼接，获得整个航行轨迹的整体航空图片；

步骤五、目标识别

从图像拼接后的图像中进行颜色特征识别，从颜色直方图中获取图像纹理的特征集合，计算回型结构背景区域内的颜色纹理特征直方图，通过概率计算对目标图像进行判定，形成目标图像集合，通过图像分析模块将该目标图像集合传递给报警模块；

步骤六、特征图谱动点分析

图像分析模块分析拼合图像的特征图谱，从不同时间的图像中检查特征物体的状态，如果发现物体的状态发生变化则给出物体运动报警信息；

步骤七、热点分析

通过人工校准的方式，将热成像视频图像校准到可见光图像上；通过热成像摄像机采集飞行区域的热敏图像，并通过无线图传模块传递给数据接收模块，数据接收模块将该视频图像传递给图像处理模块；将热敏图像通过图层的方式合并到步骤四合成的整体航空图片上；通过图像分析模块将温度高于设定值的坐标区域提取出来，并传递给报警模块；

步骤八、报警

根据步骤五、步骤六、步骤七获得的信息，在指定图片的坐标点上显示闪烁的报警信息，并将该报警坐标点传递给飞行控制模块；

步骤九、定点巡航

飞行控制模块接到报警坐标点后，根据报警坐标点通过笔记本a中的自动飞行控制软件规划多旋翼无人机的飞行轨迹，同时向机载飞行控制模块发送定点巡航航线设置指令，使其在报警坐标点上空进行飞行实现定点巡航。

进一步的，步骤一的具体流程如下：

步骤s101：飞行路线确认

根据燃气管道的分布、周围障碍物高度和特点，规划多旋翼无人机的飞行路线；

步骤s102：飞行路线设置

在飞行控制模块中的笔记本a中，通过自动飞行控制软件规划飞行轨迹；通过自动飞行控制软件显示飞行轨迹、gps位置、高度、速度、电池容量信息；

步骤s103：无人机飞行

通过机载飞行控制模块控制多旋翼无人机按照规划的飞行轨迹进行飞行；

步骤s104：飞行路线调整

根据多旋翼无人机传递回来的燃气管道周围的地面图像清晰程度，调整飞行路线。

进一步的，步骤二的具体流程如下：

步骤s201：样品图像搜集

从地面图像中通过人工挑选方法找到挖掘机、推土机、钩机、钻井平台图像，每种图像识别1000张图片以上；

步骤s202：目前剪裁分类

将挑选出的图片进行人工裁剪，将图像分离出来，并保存到数据服务中心中；

步骤s203：图像预处理

对图像的亮度、清晰度进行人工识别，将拍摄效果不好的图像进行亮度与对比度调整，调整到能够通过图像裸眼识别何种物体为止；

步骤s204：图像降采样

采用双立方插值法，从调整后的图像的邻域中过滤掉一部分像素，保留另一部分像素。

进一步的，步骤三的具体流程如下：

步骤s301：预训练

初始化深度学习网络参数，初始化的部分包括每一层的节点数和整个深度神经元网络的其他部分，初始化完毕后单独训练每一层神经元节点，第一层的输出作为第二层的输入，以此类推，保留每一层的权重；

步骤s302：微调

待训练完成后，根据样本的标签值，采用梯度向下算法，对整个深度神经元网络进行调整，优化深度神经元网络的性能；

步骤s303：图形验证

通过程序读取未分类的图片，计算识别的机率，如果识别率高于85％则认为通过，执行步骤s304；否则再增加识别图片数量，重新执行s202，进行算法训练，直至识别率高于85％为止；

步骤s304：将学习后形成的图片特征文件更新到图像分析模块中。

进一步的，步骤四的具体流程如下：

步骤s401：图像传输

两个光学摄像头采集的视频信号通过视频线传递给无线图传模块，无线图传模块通过无线方式将其传递给数据接收模块，数据接收模块将这两个视频信号传递给图像处理模块；

步骤s402：亮度调节

通过图像处理模块进行图像亮度自动调节，使两个视频信号的亮度在1％范围内；

步骤s403：特征点提取

通过图像处理模块查找每幅图像的特征点，构建词汇树；将图像中所有特征描述符进行分层，同时利用均值聚类的方式进行分类，最终构成一个高度为l、树节点数为k的词汇树，并借助模型描述词汇树中的每个节点；

步骤s404：词汇树判定

借助词汇树中每个节点的权值，计算待匹配图像集中所有的视觉词汇矢量，利用相似度函数评价一幅图像与其他图像间的相似度；

步骤s405：图像预匹配

采用描述符的欧式距离作为两幅图像中特征点的相似性度量，对待匹配图像中每一个特征点，利用bbf查询机制在参考图像的特征点集中按特征点中的最小欧式距离判据进行匹配；

步骤s406：几何形变处理

设图像坐标为(u，v)，相应的图像像素的地面坐标为(x，y)，则两者之间的多项式纠正公式如下：

u＝a00+a10x+a01y+a20x²+a11xy+a02y²+a30x³+a21x²y+a12xy²+a03y³+……(1)

v＝b00+b10x+b01y+b20x²+b11xy+b02y²+b30x³+b21x²y+b12xy²+b03y³+……(2)

其中，多项式的阶数记为n；aij、bij(i＝0……n)均为多项式的系数；

设多项式的项数为n，则n与其阶数n之间的关系如下：

n＝(n+1)(n+2)/2(3)

通过n个控制点的图像和地面坐标值，利用最小二乘法原理求解多项式的系数；

步骤s407：图像拼合

将图像按照特异点匹配对应原则，进行图像合并，合成一个整个航行轨迹的整体航空图片，并传递给图像分析模块。

进一步的，步骤五的具体流程如下：

步骤s501：颜色特征识别

将rgb空间中的r、g、b三个颜色通道等分成若干个小区间，初始化阶段在目标区域中统计每个像素点属于各颜色区间的概率，得到颜色直方图，将颜色直方图作为目标特征模板；

步骤s502：图像纹理特征

从颜色直方图中选取相邻5*5像素内的图像，设定中心点的灰度值为阈值，将其与周围的邻阈像素点进行比较，大于或等于阈值点的标记为1，小于阈值的点标记为0，形成一组二进制码，将其定义为图像纹理特征值；

图像纹理的特征集合定义成si，为简化计算，标识方法左上角坐标和右下角坐标，即：

si＝{(xi0，yi0)，(xi1，yi1)}(4)

式中：xi0，yi0为目标左上角坐标；xi1，yi1为目标右下角坐标；si为已经确定的目标中的图像纹理特征集合；

步骤s503：背景加权

计算背景区域的特征模板，背景区域为紧邻目标区域的一个回型结构，形成直方图mu；

步骤s504：直方图

计算回型结构背景区域内的颜色纹理特征直方图；

步骤s505：概率计算

当直方图mu比较大时，将直方图mu作为背景加权系数的分母，将该权值与目标特征模板中的相应特征分量相乘；

步骤s506：目标判定

目标特征模板中的概率值越高，表明是该物体的可能性越高；

步骤s507：目标传输

提取目标图像集合s，s＝{s1，s2，...sn1}，其中，n1为目标对象集合si的图像纹理的特征特征数量，单位为组；s为目标图像集合，通过图像分析模块将该目标图像集合s传递给报警模块。

进一步的，步骤六的具体流程如下：

步骤s601：目标集合确定

将不同时间ti生成一个时间序列坐标集合st：

st＝{s1，s2，...，snj}{t1，t2，...，tm}(5)

其中，m为时间序列个数；

步骤s602：欧式距离计算

任意两个时间点，时间序列s与s′的欧氏距离定义为：

式中：si为目标集合中图像纹理的特征在ti时刻的坐标集合，si′为目标集合中图像纹理的特征在tj时刻的坐标集合，d(s，s＇)为两个时刻间目标集合的距离，单位像素；

如果满足以下条件：

d(s，s＇)≥ε(7)

则认为该目标为动点，其中ε为点漂移预设的阈值，则将其坐标范围输出到动点分析文件；

步骤s603：动点报警传输

图像分析模块将动点分析文件传递给报警模块。

进一步的，步骤七的具体流程如下：

步骤s701：图像校准

确定坐标原点(a，b)，然后确定热成像视频图像的倾斜角度θ，再次确定尺度差异，图像像素的坐标s＇＝(x＇，y＇)映射到一个新坐标系中的s＝(x，y)坐标；

式中，a，b为坐标平移变换值，单位像素；θ为图像倾斜角度，单位弧度；x，y为变换后坐标值，单位像素；x＇，y＇为变换前坐标值，单位像素；kx，ky为尺度比；

步骤s702：热像传输

通过热成像摄像机采集飞行区域的热敏图像，并通过无线图传模块传递给数据接收模块，数据接收模块将该视频图像传递给图像处理模块；

步骤s703：坐标变换

通过坐标变换参数(a，b)，将热敏图像通过图层的方式合并到步骤四合成的整体航空图片上；

步骤s704：热点报警

通过图像分析模块将温度高于设定值的坐标区域提取出来，并传递给报警模块。

本发明的有益效果是：本发明采用无人机巡检的方式，采用热成像与彩色成像融合技术、图像自动拼接技术、热点识别、挖掘识别技术自动识别实现自动巡检，自动检查图像，发现问题自动报警。本发明能够自动、快速发现燃气管网附近的施工工具、人员等目标，并进行识别预警，减少隐患的发生，每分钟可以巡检面积大于1平方公里，解决人工巡检速度慢问题。

附图说明

图1为本发明的燃气管道无人机巡检装置的结构示意图。

图2为本发明的燃气管道无人机巡检装置中无人机模块与录像模块安装示意图。

图3为本发明的燃气管道无人机巡检装置中无人机模块、录像模块与飞行控制模块连接示意图。

图4为本发明的燃气管道无人机巡检装置中飞行控制模块的结构示意图。

图5为本发明的燃气管道无人机巡检装置中数据服务中心和显示模块的结构示意图。

图6为本发明的燃气管道无人机巡检装置中报警模块的结构示意图。

图7为本发明的燃气管道无人机巡检方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

如图1所示，本发明的一种燃气管道无人机巡检装置，主要包括：无人机模块、录像模块、无线图传模块、数据接收模块、飞行控制模块、图像处理模块、图像分析模块、报警模块、显示模块和数据服务中心。

无人机模块挂接录像模块和无线图传模块，完成无人机的飞行、地面图像采集和图像传输功能。录像模块将几组录像的数字图像信号通过无线图传模块传递给数据接收模块。数据接收模块将几组录像的数字图像信号通过数据总线传递给图像处理模块和飞行控制模块。图像处理模块将几组视频图像拼接成大幅的地面图像，并结合热成像视频图像数据进行热点图像图层附加融合，并将处理后的图像(拼接图像和融合后的光学视频图像)通过数据总线传递给图像分析模块、显示模块和飞行控制模块。图像分析模块通过人工智能图像识别技术，分析可疑事故点并在图像上进行标注，将确认后的事故点通过报警模块播报出去，并将处理后的图像传递给显示模块显示出来。飞行控制模块将接收到的图像数据传输给数据服务中心，飞行控制模块向无人机模块发送控制指令，无人机模块中的多旋翼无人机按照控制指令进行飞行。

如图3所示，无人机模块由多旋翼无人机、机载飞行控制模块、飞行控制器组成。飞行控制器与机载飞行控制模块通过无线方式连接。机载飞行控制模块与多旋翼无人机采用控制线连接。机载飞行控制模块通过无线方式与飞行控制模块连接。机载飞行控制模块主要接收飞行控制模块对多旋翼无人机的飞行指令，根据飞行指令，控制多旋翼无人机的飞行状态。通过手持飞行控制器提供手动的飞行控制功能。

如图2和图3所示，录像模块挂载在无人机模块中的多旋翼无人机上，录像模块包括两个光学摄像机1和一个热成像摄像机2。两个光学摄像机1和一个热成像摄像机2位于同一个平面上，两个光学摄像机1对称布设于多旋翼飞行器飞行方向的两侧，光学摄像机1的摄像头所在轴线与多旋翼飞行器飞行方向的夹角α为60度。热成像摄像机2放置于两个光学摄像头1中间，热成像摄像机2的摄像头所在的轴线与飞行方向相同。通过两个光学摄像机1和一个热成像摄像机2采集地面图像数据(数字图像信号)，并通过无线图传模块传递给数据接收模块。

无线图传模块挂载在无人机模块中的多旋翼无人机上，无线图传模块与录像模块的三个摄像机(两个光学摄像机1和一个热成像摄像机2)均采用视频线连接。无线图传模块将由三个摄像机采集的地面图像数据通过无线数据传输的方式传递给地面的数据接收模块。

数据接收模块由数据接收机和第一视频服务器组成。数据接收机通过无线方式与无线图传模块连接，第一视频服务器与数据接收机通过视频线连接，第一视频服务器与飞行控制模块通过网络连接。数据接收机接收由无线图传模块传递过来的地面图像数据，并通过视频线传递给第一视频服务器，第一视频服务器通过网络将其传递给飞行控制模块。

如图4所示，飞行控制模块主要用于控制多旋翼无人机的飞行轨迹，接收多旋翼无人机传输的图像信息，向多旋翼无人机发送语音等功能。飞行控制模块由3台笔记本(联想小新潮5000型)、免维护蓄电池(科士达100ah12v*2)、无线路由器(h3c4g+wifi)组成。机载飞行控制模块与无线路由器相连，三台笔记本均通过wifi与无线路由器连接，无线路由器与数据接收模块中的第一视频服务器通过网线相连，无线路由器通过无线网络与数据服务中心相连，免维护蓄电池与无线路由器相连。免维护蓄电池一方面给无线路由器供电，另一方面它具有一个变频输出口，可以给笔记本和多旋翼无人机充电。其中一台笔记本a中安装有自动飞行控制软件，自动飞行控制软件可以进行飞行轨迹规划、实际轨迹与预设轨迹比对功能，用于显示飞行控制信息，包括飞行轨迹、gps位置、高度、速度、电池容量等信息；一台笔记本c显示热成像摄像机传递回来的影像，另一台笔记本b显示2个光学摄像机通过第二图像处理模块融合后的光学视频图像。数据接收模块中的第一视频服务器通过网络将地面图像数据传递给飞行控制模块中的无线路由器，无线路由器通过wifi将其传递给对应的笔记本电脑和数据服务中心，机载飞行控制模块通过无线路由器接收笔记本a中自动飞行控制软件传递来的控制信号，向多旋翼无人机发送控制指令，多旋翼无人机按照控制指令进行飞行。

如图5所示，数据服务中心由第二视频服务器(海康威视ds-vr2208c-bbc)、图像拟合服务器(联想x3750)、图像分析服务器(联想x3750)、光纤交换机、存储阵列(海康威视ds-at1000s)、核心交换机(h3cs7506)、控制计算机、防火墙(网域星云)、专线组成。第二视频服务器、图像拟合服务器、图像分析服务器、防火墙和控制计算机均通过网线与核心交换机相连。存储阵列用于存储设备，存储占用空间较多的视频图像。控制计算机用于操作巡航报警模块、图像处理模块等软件。视频服务器、图像拟合服务器、图像分析服务器和存储阵列均通过光纤连接到光纤交换机。专线与防火墙通过网线连接。报警模块通过专线和防火墙与核心交换机相连，飞行控制模块中的无线路由器通过专线和防火墙与核心交换机相连。

图像处理模块是一套软件系统，包括第一图像处理模块和第二图像处理模块，第一图像处理模块安装到飞行控制模块的笔记本b上，2个光学摄像机采集的光学视频图像通过无线图传模块、数据接收机传输给第一视频服务器，第一视频服务器输出的视频信号通过无线路由器、wifi无线网络传递到笔记本b中的第一图像处理模块中，通过第一图像处理模块进行实时双路视频图像拼合并将拼接图像通过无线路由器、wifi无线网络传递到数据服务中心；第二图像处理模块安装到数据服务中心的图像拟合服务器上，2个光学摄像机采集的光学视频图像通过无线图传模块、数据接收机传输给第一视频服务器，第一视频服务器输出的视频信号通过无线路由器、wifi传递到图像拟合服务器中的第二图像处理模块中，通过第二图像处理模块进行分时视频图像融合，融合后的光学视频图像传输给笔记本b，在笔记本b上进行显示。

图像分析模块安装到数据服务中心的图像分析服务器上。图像分析模块接收第一图像处理模块处理后的拼接图像和第二图像处理模块处理后的融合图像；通过在图像分析模块中嵌入人工智能中深度神经网络中图像分析算法，可以识别挖掘机、推土机、钩机、钻井平台等图像，发现目标后，将图像指定位置用红色框进行标识，同时将确认后的事故点通过消息传送的方式(通过核心交换机、防火墙和专线的链路)传递给报警模块，通过报警模块对相应的目标进行报警，并可以通过算法升级增加对各种设备的识别及提高识别精度。图像分析模块通过人工智能图像识别技术，分析可疑的事故点并在图像上进行标注，报警模块播报出去，并将处理后的图像传递给显示模块显示出来。

如图5所示，显示模块由视频分配器、显示器(冠捷e2270)、拼接屏(4*3海康威视ds-d2055nl-b/g)及拼接屏控制器(海康威视ds-c10s-s11/e)组成。视频分配器与控制计算机相连，视频分配器与显示器和拼接屏控制器相连，拼接屏控制器与拼接屏相连。控制计算机输出的视频信号通过视频线传输给视频分配器，视频分配器输出的视频信号一路通过视频线传递给显示器进行显示，另一路通过视频线传递给拼接屏控制器，拼接屏控制器将视频信号通过视频线传递给对应的拼接屏进行显示。

如图6所示，报警模块由巡航报警模块、巡航报警软件、巡航报警模块现场控制板、智能手机、话筒、音箱组成，实现远程报警和语音警示功能。其中巡航报警模块安装到数据服务中心的图像分析服务器上；巡航报警模块现场控制板安装到飞行控制模块中的笔记本c上；巡航报警软件安装到智能手机上；巡航报警模块与巡航报警软件进行无线连接；话筒通过音频线与数据服务中心的控制计算机相连；音箱安装到无人机模块中的多旋翼无人机上。图像分析服务器中的图像分析模块将报警信息通过消息传送模式传递给巡航报警模块，巡航报警模块将报警信息发送给智能手机中的巡航报警软件，通过巡航报警软件管理各项巡检报警功能。控制计算机可以通过内部网络(专线、防火墙、核心交换机)使用巡航报警模块的客户端即安装在智能手机中的巡航报警软件，并通过连接到控制计算机上的话筒向指定的多旋翼无人机喊话功能，传输路径为话筒的语音信号通过控制计算机、核心交换机传输给图像分析服务器中的巡航报警模块并通过巡航报警模块转换成语音数字信号，巡航报警模块再将语音数字信号通过核心交换机、防火墙、专线、无线网络传递给飞行控制模块中笔记本c上的巡航报警模块现场控制板，巡航报警模块现场控制板将该语音数字信号通过数据接收模块中的数据接收机传递给无线图传模块，无线图传模块的音频端口通过音频线与音箱相连，音箱挂载在多旋翼无人机上，无线图传模块将语音数字信号通过音频线传递给音箱。

本实施方式中，多旋翼无人机选择中国科学院长春光学精密机械与物理研究所生产的自由蝶型四旋翼无人机及配套的机载飞行控制模块和飞行控制器。多旋翼无人机负载飞行时间40分钟以上，飞行速度12m/s以上，抗风能力6级以上。

本实施方式中，光学摄像机1采用丹麦飞思ixu150航空摄像头、热成像摄像机2采用kelusi科鱼高清热像仪d101，摄像头分辨率5000万像素以上。

本实施方式中，无线图传模块具体采用萨伽/saga-rcxy，传输带宽在10m以上，传输距离在500m以上，具有4路正向视频传输、1路音频反向传输功能。

本实施方式中，数据接收模块中的数据接收机具体采用萨伽/saga-rcxy，视频服务器具体采用海康威视的4路nvr。

如图7所示，本发明的一种燃气管道无人机巡检方法，其具体步骤如下：

步骤一、航空规划

步骤s101：飞行路线确认

根据燃气管道的分布、周围障碍物高度和特点，规划多旋翼无人机的飞行路线，并向航管部门申请航空路线。

步骤s102：飞行路线设置

在飞行控制模块中的笔记本a中，通过自动飞行控制软件规划飞行轨迹。笔记本a中安装有自动飞行控制软件，自动飞行控制软件可以进行飞行轨迹规划、实际轨迹与预设轨迹比对功能，用于显示飞行控制信息，包括飞行轨迹、gps位置、高度、速度、电池容量等信息；

步骤s103：无人机飞行

通过机载飞行控制模块控制多旋翼无人机按照规划的飞行轨迹进行飞行。

步骤s104：飞行路线调整

根据多旋翼无人机传递回来的燃气管道周围的地面图像清晰程度，调整飞行路线。

步骤二、图像提取

步骤s201：样品图像搜集

从地面图像中通过人工挑选的方法找到挖掘机、推土机、钩机、钻井平台等图像，每种图像识别1000张图片以上。

步骤s202：目标剪裁分类

将上述挑选出的图像进行人工裁剪，将图像分离出来，并保存到数据服务中心的指定路径中。

步骤s203：图像预处理

对于图像的亮度、清晰度进行人工识别，将拍摄效果不好的图像进行亮度与对比度调整，调整到可以通过图像裸眼识别何种物体为止。

步骤s204：图像降采样

采用双立方插值法，从调整后的图像的邻域中过滤掉一部分像素，保留另一部分像素。

步骤三、机器学习

步骤s301：预训练

首先初始化深度学习网络参数，初始化的部分包括每一层的节点数以及整个深度神经元网络的其他部分，如区块大小、是否加入稀疏性、是否加入噪声等。初始化完毕后，就可以单独训练每一层神经元节点，第一层的输出作为第二层的输入，如此类推，保留每一层的权重。

步骤s302：微调

待训练完成后，为了使深度神经元网络的性能更优，可以根据样本的标签值，采用梯度向下算法，对整个深度神经元网络进行调整。

步骤s303：图形验证

通过程序读取未分类的图片，计算识别的机率，如果识别率高于85％则认为通过，执行步骤s304；否则再增加识别图片数量，重新执行s202，进行算法训练，直至识别率高于85％为止。

步骤s304：将学习后形成的图片特征文件更新到图像分析模块中。

步骤四、图像拼接

步骤s401：图像传输

两个光学摄像头采集的视频信号通过视频线传递给无线图传模块，无线图传模块通过无线方式将其传递给数据接收模块，数据接收模块将这两个视频信号传递给图像处理模块，完成图像传输功能。

步骤s402：亮度调节

通过图像处理模块进行图像亮度自动调节，使两个视频信号的亮度在1％范围内。

步骤s403：特征点提取

通过图像处理模块查找每幅图像的特征点，构建词汇树；将图像中所有特征描述符进行分层利用均值聚类的方式进行分类，并最终构成一个高度为l、树节点数为k的词汇树，并借助模型描述词汇树中的每个节点。

步骤s404：词汇树判定

借助词汇树中每个节点的权值，计算待匹配图像集中所有的视觉词汇矢量，利用相似度函数评价一幅图像与其他图像间的相似度。

步骤s405：图像预匹配

在确定潜在的图像匹配对后，关注的是图像间的特征点匹配。采用描述符的欧式距离作为两幅图像中特征点的相似性度量，对待匹配图像中每一个特征点，利用bbf(bestbinfirst)查询机制可以在参考图像的特征点集中按特征点中的最小欧式距离判据进行匹配。

步骤s406：几何形变处理

先将图像像素的坐标(x，y)映射到一个新坐标系中的某一坐标厂(x＇，y＇)，再对其像素进行重采样，映射函数是通过计算待配准图像和参考图像间已建立的特征对应关系得到的。

设图像坐标为(u，v)，相应的图像像素的地面坐标为(x，y)，则两者之间的多项式纠正公式可以表示为：

u＝a00+a10x+a01y+a20x²+a11xy+a02y²+a30x³+a21x²y+a12xy²+a03y³+……(1)

v＝b00+b10x+b01y+b20x²+b11xy+b02y²+b30x³+b21x²y+b12xy²+b03y³+……(2)

其中，多项式的阶数记为n；aij、bij(i＝0……n)均为多项式的系数。通过选取n个控制点，利用最小二乘法求取多项式的系数。

多项式的项数(即多项式系数的个数)记为n，n与其阶数n有如下固定关系：

n＝(n+1)(n+2)/2(3)

通过n个控制点的图像和地面坐标值，利用最小二乘法原理求解多项式的系数。

步骤s407：图像拼合

将图像按照特异点匹配对应原则，进行图像合并，合成一个整个航行轨迹的整体航空图片，并传递给图像分析模块。

步骤五、目标识别

步骤s501：颜色特征识别

图像分析模块分析合成后的图像，提取颜色直方图作为目标特征模板。将rgb空间中的r、g、b三个颜色通道等分成若干个小区间，初始化阶段在挖掘机、推土机、钩机、钻井平台等目标区域中统计每个像素点属于各颜色区间的概率，从而得到颜色直方图。

步骤s502：图像纹理特征(lbp)

从颜色直方图中选取相邻5*5像素内的图像，设定中心点的灰度值为阈值，将其与周围的邻阈像素点进行比较，大于或等于阈值点的标记为1，小于阈值的点标记为0，由此形成一组二进制码，以此定义为lbp纹理特征值。

图像纹理的特征(lbp)集合定义成si，为了简化计算，标识方法左上角坐标和右下角坐标，即：

si＝{(xi0，yi0)，(xi1，yi1)}(4)

式中：xi0，yi0为挖掘机、推土机等目标左上角坐标；xi1，yi1为挖掘机、推土机等目标右下角坐标；si为已经确定挖掘机、推土机等目标之中的图像纹理的特征(lbp)集合。

步骤s503：背景加权

首先需要计算背景区域的特征模板，背景区域为紧邻目标区域的一个回型结构，形成直方图mu。

步骤s504：直方图

采用与计算挖掘机、推土机等目标特征直方图相同的方法计算回型结构背景区域内的颜色纹理特征直方图。

步骤s505：概率计算

当挖掘机、推土机等目标特征模板中的某个特征分量在回型结构背景区域具有较高概率，即直方图mu比较大时，将直方图mu作为背景加权系数的分母，可以使得直方图mu具有很小的值，将该权值与目标特征模板中的相应特征分量相乘。

步骤s506：目标判定

挖掘机、推土机等目标特征模板中的概率值越高，表明可能是该物体的可能性越高。

步骤s507：目标传输

图像分析模块将分析出可能的挖掘机、推土机等目标图像集合s的几个图像纹理的特征(lbp)集合提取出来，s＝{s1，s2，...sn1}，其中，n1为目标对象集合si的图像纹理的特征(lbp)特征数量，单位为组；s为挖掘机、推土机等目标图像集合。图像分析模块将该目标图像集合s传递给报警模块。

步骤六、特征图谱动点分析

图像分析模块分析拼合图像的特征图谱，从不同时间的图像中检查特征物体的状态，如果发现物体的状态发生变化则给出物体运动报警信息。

步骤s601：挖掘机、推土机等目标集合确定

将不同时间ti生成一个时间序列坐标集合st，可表示为：

st＝{s1，s2，...，sn1}{t1，t2，...，tm}(5)

其中，m为时间序列个数。

步骤s602：欧式距离计算

任意两个时间点，时间序列s与s′的欧氏距离定义为：

式中：si为挖掘机、推土机等目标集合中图像纹理的特征(lbp)在ti时刻的坐标集合。si′为挖掘机、推土机等目标集合中图像纹理的特征(lbp)在tj时刻的坐标集合。d(s，s＇)为两个时刻间挖掘机、推土机等目标集合的距离，单位像素。

如果满足以下条件：

d(s，s＇)≥ε(7)

则认为该挖掘机、推土机等目标为动点。其中ε为点漂移预设的阈值，则将其坐标范围输出到动点分析文件。

步骤s603：动点报警传输

图像分析模块将动点分析文件传递给报警模块。

步骤七、热点分析

步骤s701：图像校准

通过人工校准的方式，将热成像视频图像校准到可见光图像上。首先确定坐标原点(a，b)，然后确定热成像视频图像的倾斜角度θ，再次确定尺度差异(尺度比kx，ky)。图像像素的坐标s＇＝(x＇，y＇)映射到一个新坐标系中的s＝(x，y)坐标。

式中，a，b为坐标平移变换值，单位像素；θ为图像倾斜角度，单位弧度；x，y为变换后坐标值，单位像素；x＇，y＇为变换前坐标值，单位像素；kx，ky为尺度比。

步骤s702：热像传输

通过热成像摄像机采集飞行区域的热敏图像，并通过无线图传模块传递给数据接收模块，数据接收模块将该视频图像传递给图像处理模块。

步骤s703：坐标变换

通过坐标变换参数(a，b)，将热敏图像通过图层的方式合并到步骤四合成的整体航空图片上。

步骤s704：热点报警

通过图像分析模块将温度高于设定值的坐标区域提取出来，并传递给报警模块。

步骤八、报警

报警模块通过获得步骤五的坐标区域、步骤六的动点坐标区域、步骤七的热点坐标区域，在指定图片的坐标点上显示闪烁的报警信息，并将该报警坐标点传递给飞行控制模块。

步骤九、定点巡航

飞行控制模块接到报警坐标点后，根据报警坐标点通过笔记本a中的自动飞行控制软件规划多旋翼无人机的飞行轨迹，同时向机载飞行控制模块发送定点巡航航线设置指令，使其在报警坐标点上空进行飞行实现定点巡航。

检测人员详细检查报警坐标点的航空影像。通过连接在数据服务中心的控制计算机上的话筒，话筒的语音信号通过控制计算机、核心交换机传输给图像分析服务器中的巡航报警模块并通过巡航报警模块转换成语音数字信号，巡航报警模块再将语音数字信号通过核心交换机、防火墙、专线、无线网络传递给飞行控制模块中笔记本c上的巡航报警模块现场控制板，巡航报警模块现场控制板将该语音数字信号通过数据接收模块中的数据接收机传递给无线图传模块，通过无线图传模块中的逆向语音端口将语音信息传递给挂载在多旋翼无人机上的音箱，通过音箱将该警示语音播放出来，以此达到警示效果。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。