基于双目成像的电力线路无人机巡检及缺陷智能诊断系统的制作方法

本发明属于电力领域，具体涉及一种基于双目成像的电力线路无人机巡检及缺陷智能诊断系统。

背景技术：

架空电力线路覆盖广、穿越区域地形复杂并且自然环境恶劣，电力部门每年都要花费巨大的人力和物力资源进行巡线工作，以便掌握线路的运行状况，及时排除线路的潜在隐患。人工定期巡检线路不但劳动强度大、耗时多、而且效率低下。无人机技术的发展为架空电力线路巡检提供了新的移动平台。

无人机巡检技术是最近十年才开始发展的一门新兴技术，融合了航空、遥感、电子、电力、飞行控制、通信、图像识别等多个高尖技术领域，实现起来难度比较大。目前对于电力线路巡检图像诊断的研究已经进行了很多年。但绝大多数研究成果都是基于电力线路的二维图像，通过提高或者寻找新的图像预处理和图像识别算法来剔除复杂背景以提高识别电力缺陷的效率。电力线路在复杂的自然环境背景下，其识别效果并不理想，这也是电力线路缺陷诊断公认的难题，这严重制约着无人机巡线的进一步发展与应用。

现有技术发展状况：

1、申请号为201110425627.8的“基于固定翼无人机的电力线路巡检系统”的发明专利，该专利使用遥感检测装置和视频采集设备对电力线路进行定期或应急宏观巡检，并未涉及到采用深度成像技术对电力线路图像进行采集、分析，该方案对复杂背景下电力线路的巡检推广的潜力非常有限。

2、申请号为201110055423.x的“基于多旋翼无人飞行器的输电线路巡检系统”的

发明专利，该专利可以用于电力线路巡检，并未涉及对电力线路图像进行缺陷诊断，人工排查缺陷效率低。

由此可见，目前电力线路巡检方案中普遍存在着智能化水平不足，仍需人工排查电力线路缺陷而导致巡线效率低的问题，并无法解决复杂自然背景下的巡线问题；而且不能做到对电力线路进行缺陷诊断。

技术实现要素：

本发明的目的在于提供一种基于双目成像的电力线路无人机巡检及缺陷智能诊断系统，针对现有无人机巡线存在的不足，能够对电力线路进行实时巡检并进行缺陷诊断，提高自动化程度与诊断效率，减少人工查找缺陷的工作量。

本发明采用如下技术方案来实现的：

基于双目成像的电力线路无人机巡检及缺陷智能诊断系统，包括无人机平台、无人机飞行控制器、地面车载移动工作站和供电局机巡管理中心；其中，

无人机平台，以正射地面的方式附着于无人机机体上，用于采集电力线路所在区域的图像，并将图像通过高清无线图传从台传入无人机飞行控制器及地面车载移动图形工作站；

无人机飞行控制器，用于实时控制无人机并实时显示无人机飞行状态；

地面车载移动工作站，用于通过高清无线图传电台主台接受来自无人机平台传输来的双目图像数据，对图像数据进行处理并将处理结果保存至供电局机巡管理中心；

供电局机巡管理中心，用于对无人机电力巡检及典型缺陷图像智能诊断系统的数据存储及处理。

本发明进一步的改进在于，无人机平台包括：深度成像装置，用于拍摄双目图像，并将图像通过网口传入机载数据中心；

机载数据中心，用于接收、存储并发送无人机飞行状态、接受来自深度成像装置的图像数据信息以及无人机飞行控制信息，并将所获得的图像数据传输至无人机飞行控制器及地面车载移动工作站；

飞控平台，用于接收来自所述无人机飞行控制器的控制指令，收集并传输无人机飞行状态信息到无人机飞行控制器；

高清无线图传电台从台，用于传输机载数据中心的数据给高清无线图传主台，并接受高清无线图传主台发来的控制命令给机载数据中心。

本发明进一步的改进在于，无人机飞行控制器包括：解码设备，用于解析接收的来自所述无人机平台的无人机飞行状态以及无人机飞行控制数据，用于数据处理；

数据处理模块，用于处理所述解码设备解析的无人机飞行状态以及无人机飞行控制数据，用于飞行控制模块修正飞行指令和监控模块显示；

监控模块，用于实时显示无人机飞行状态信息，包括飞行高度、飞行速度和剩余电量；

飞行控制模块，用于发出飞行指令，控制无人机飞行状态。

本发明进一步的改进在于，地面车载移动工作站包括：高清无线图传电台主台，用于接受来自高清无线图传电台从台的数据和发送命令给高清无线图传电台从台；

图像数据解码模块，用于解析接收的深度成像装置采集的电力线路所在区域的图像给典型缺陷图像智能诊断系统；

典型缺陷图像智能诊断系统，用于接受图像数据解码完的数据，根据电力线路的深度图像剔除复杂自然背景，得到纯粹的电力线路图像，对电力线路所在区域图像进行角点提取，匹配，得到电力线路的深度图像；使用高效算法快速诊断电力线路典型缺陷，生成缺陷诊断报告，并将数据传给供电局机巡管理中心。

本发明进一步的改进在于，电力线路典型缺陷包括导线断股和异物悬挂。

本发明进一步的改进在于，供电局机巡管理中心包括：班组监控子系统，用于对巡检人员任务进行下达、监控，并对巡检数据上传至综合管理子系统；

综合管理子系统，用于对系统的管理，包括图像数据管理，巡检任务管理，巡检人员及巡检班组的管理。

本发明具有如下有益的技术效果：

本发明提供的基于双目成像的电力线路无人机巡检及缺陷智能诊断系统，通过无人机搭载双目相机获取左右图像并通过高清图传将左右图像实时传入地面车载移动工作站进行处理，提高了对图像进行处理的实时性。通过adcensus算法获取视差图，再通过阈值分割将电力线路的复杂背景去除，得到纯净的电力线路，然后用基于hog和svm的缺陷识别算法对电力线路是否有缺陷及缺陷种类进行诊断，大幅提高了图像处理的效率及准确率，减少了人工查找缺陷的工作量。

进一步，无人机平台包括：深度成像装置，用于拍摄双目图像，并将图像通过网口传入机载数据中心；机载数据中心，通过网线来接收、存储并发送无人机飞行状态、接受来自深度成像装置的图像数据信息以及无人机飞行控制信息，并将所获得的图像数据传输至无人机飞行控制器及地面车载移动工作站；飞控平台，通过mavlink协议接收来自所述无人机飞行控制器的控制指令，收集并传输无人机飞行状态信息到无人机飞行控制器。

进一步，无人机飞行控制器包括：解码设备，用于解析接收的来自所述无人机平台的无人机飞行状态以及无人机飞行控制数据，用于数据处理；数据处理模块，通过mavlink协议，无人机飞行控制器可以处理所述解码设备解析的无人机飞行状态以及无人机飞行控制数据，用于飞行控制模块修正飞行指令和监控模块显示；监控模块，通过mavlink协议，无人机飞行控制器可以实时显示无人机飞行状态信息，包括飞行高度、飞行速度和剩余电量；飞行控制模块，通过mavlink协议，使用无人机飞行控制器发出飞行指令，控制无人机飞行状态。

进一步，电力线路典型缺陷包括导线断股和异物悬挂，通过adcensus算法获得左右图像的视差图并进行阈值分割得到纯净的电力线路，再用基于hog和svm的缺陷识别算法对纯净的电力线路图像进行处理，大幅提高了图像处理效率及缺陷识别准确率。

进一步，供电局机巡管理中心包括：班组监控子系统，用于对巡检人员任务进行下达、监控，并对巡检数据上传至综合管理子系统。

综上所示，本发明能够对电力线路进行实时巡检并进行缺陷智能诊断，大幅提升诊断效率，减少人工查找缺陷的工作量。

附图说明

图1是根据本发明实施例的基于双目成像的电力线路无人机巡检及缺陷智能诊断系统的结构示意图；

图2是根据本发明实施例的基于双目成像的电力线路无人机巡检及缺陷智能诊断系统的识别方法图；

图3是本发明实施例提供的典型的电力线路双目图像：(a)模拟正常电力线路的左右图像；(b)实际正常电力线路的左右图像；(c)模拟电力线路断股的左右图像；(d)模拟电力线路异物的左右图像；

图4为本发明实施提供的典型电力线路图像(模拟正常、实际正常、模拟异物和模拟断股)立体匹配结果图：(a)模拟正常电力线路的视差图、灰度直方图和分割图；(b)实际正常电力线路的视差图、灰度直方图和分割图；(c)模拟电力线路断股的视差图、灰度直方图和分割图；(d)模拟电力线路异物的视差图、灰度直方图和分割图；

图5为本发明实施提供的典型电力线路图像(模拟正常、实际正常、模拟异物和模拟断股)处理效果图；(a)模拟正常电力线路的伽马校正图、灰度图、中值滤波图；(b)实际正常电力线路的伽马校正图、灰度图、中值滤波图；(c)模拟电力线路断股的伽马校正图、灰度图、中值滤波图；(d)模拟电力线路异物的伽马校正图、灰度图、中值滤波图；

图6为本发明实施提供的典型电力线路图像分类器设计图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，是根据本发明实施例的基于深度成像的无人机巡检电力线路缺陷诊断系统的结构示意图，在本发明实施例中，多旋翼无人机平台搭载有飞控平台、深度成像装置、机载数据中心。飞控平台，用于接收来自无人机飞行控制器的控制指令，收集并传输无人机飞行状态信息；机载数据中心，用于接收、存储并发送无人机飞行状态、图像数据信息以及无人机飞行控制信息；高清无线图传电台从台，用于传输机载数据中心的数据给高清无线图传主台，并接受高清无线图传主台发来的控制命令给机载数据中心。深度成像装置以正射地面的方式附着于无人机机体上，用于在对摄像机进行标定后采集电力线路所在区域的图像。

无人机飞行控制器用于对无人机平台飞行状态的显示及对无人机平台进行控制，包括解码模块、数据处理模块、监控模块、飞行控制模块。解码设备，用于解析接收的来自无人机平台的无人机飞行状态以及无人机飞行控制数据，用于数据处理；数据处理，用于处理解码设备解析的无人机飞行状态以及无人机飞行控制数据，用于飞行控制模块修正飞行指令和监控模块显示；飞行控制模块，用于发出飞行指令，控制无人机飞行状态；监控模块，用于实时显示无人机飞行状态信息，包括飞行高度、飞行速度、剩余电量。

机载数据中心的图像数据经由高清无线图传电台传输到地面车载移动工作站。地面车载移动工作站包括高清无线图传电台主台、图像数据解码模块、典型缺陷图像智能诊断系统。高清无线图传电台主台，用于接受来自高清无线图传电台从台的数据和发送命令给高清无线图传电台从台。图像数据解码，用于解析所接收的深度成像装置采集的电力线路所在区域的图像，传递给典型缺陷图像智能诊断系统。典型缺陷图像智能诊断系统，用于接受图像数据解码完的数据，根据电力线路的深度图像剔除复杂自然背景，得到纯粹的电力线路图像对电力线路所在区域图像进行角点提取，匹配，得到电力线路的深度图像；使用高效算法快速诊断电力线路典型缺陷，生成缺陷诊断报告，并将数据传给供电局机巡管理中心。

如图2所示，在本实施例中，基于深度成像的无人机巡检电力线路缺陷诊断系统的工作过程是：

(1)分别对左相机和右相机进行标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；

(2)将双目相机和微型计算机搭载在无人机上，通过对相机提供的sdk进行二次开发，实现双目相机自动采集左右输电线图像对，其中，sdk是指软件开发工具包；

(3)无人机起飞前开启微型计算机，同时控制双目相机的程序也自动开启，使用无人机操作手柄控制无人机沿着输电线飞行，并自动采集到输电线左右图像对；

(4)将立体标定后得到的旋转矩阵和平移向量的数据写入极线校正的程序中，使用极线校正程序处理无人机巡检采集到的输电线左右图像对，通过极线校正左右图像对应的物体将处于同一极线上，获得极线校正后的图片，提高了立体匹配的正确率；

(5)使用adcensus立体匹配算法处理极线校正后的图片，通过立体匹配后将获得视差图；

(6)分析视差图的灰度直方图，选取合适的阈值对视差图进行阈值分割，阈值分割后将会剔除图像中的复杂背景获得纯净的电力线路图像。

(7)根据步骤(6)中的纯净的电力线路目标图像，与缺陷样本库进行比对，进行缺陷诊断，生成缺陷诊断报告。

其中，步骤(1)中对左右摄像机进行立体标定：首先将一幅黑白棋盘照片分别放置在距离深度成像装置的不同距离、不同角度，棋盘格转动的角度要保证在相机能拍摄到棋盘格的每个方格的范围内，采集20对左右棋盘格图像对；分别对左、右相机进行单目标定，得到左、右相机的内参数、外参数及畸变参数；用matlab的标定工具箱来进行双目标定，获取双目相机的初始参数。获得左相机和右相机的内参数矩阵m、径向畸变参数(k1,k2,k3)、切向畸变参数(p1,p2)。

其中：fx，fy分别称为x轴和y轴上的归一化焦距，cx，cy为图像原点相对于光心成像点的横纵偏移量。

进而完成双目相机标定，得到双目相机标定后的内参数以及右相机相对于左相机的旋转矩阵、平移向量；

步骤(3)中极线校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：

径向畸变的校正：

x'＝x(1+k1r²+k2r⁴+k3r⁶)

y'＝y(1+k1r²+k2r⁴+k3r⁶)

切向畸变的校正：

x'＝x+[2p1y+p2(r²+2x²)]

y'＝y+[p1(r²+2y²)+2p2x]

其中，k1、k2、k3为相机的径向畸变系数，p1、p2为相机的切向畸变系数，(x,y)为畸变点的原始位置，(x’,y’)为校正后的新位置。

步骤(4)中使用adcensus立体匹配算法处理极线校正后的图片，具体的算法流程如下所示：

首先进行adcensus匹配代价计算，其计算公式如下：

c(p,d)＝λcensusccensus(p,d)+λadcad(p,d)

其中，c(p,d)是adcensus匹配代价，ccensus(p,d)是census变换的匹配代价，cad(p,d)是ad的匹配代价，λcensus与λad为调节census与ad之间比重的参数。

然后进行代价聚合，其具体流程如下：

标准支持域的构建方法是选择具有相似亮度值的点构建局部区域进行立体匹配，首先选择水平方向或者垂直方向进行聚合，为了得到稳定的聚合代价，需要进行四次聚合计算，两次水平聚合以及两次垂直聚合。

最后进行视差的计算与优化，其具体流程如下：

视差计算采用wta的方法，其中caggr(p,d)为代价聚合的结果，计算方法如下：

d(p)＝arg(caggr(p,d))

其中d(p)为代价聚合求得的视差。因为算法的局限性，得到的视差图会存在无效视差值，如因物体的遮挡而产生的错误匹配，因此要对原始视差图进行优化。左右一致性校验能够有效地滤除无效视差，具体方法：假设在典型电力线路双目图像图3左图存在一点p，它对应的视差值为dl(p)，则在右图对应的视差值为dr(p-dl(p))，检测两者关系是否满足如下关系：

|dl(p)-dr(p-dl(p))|＜δ

其中，δ为阈值，一般δ＝1。满足上式则说明满足一致性检验，否则该点需要进行视差矫正矫正的方法是使用该点左右正确匹配点中视差较小的点的视差值。

d(p)＝min(dl(pr),dr(pl))

其中，dl(pr)为左图对应的视差值，dr(pl)为右图对应的视差值，通过如上步骤处理左右输电线路图像对，即可得到输电线路的视差图如图4左图所示。

步骤(5)中根据对输电线路视差图的灰度直方图进行分析如附图4中图所示，确定分割阈值，将分割阈值应用于图像分割算法中剔除复杂背景得到纯净的输电线路图像如图4右图所示。

如图2所示，在本实施例中，基于hog/pca和svm的电力线路典型缺陷识别方法的工作过程是：

(1)利用adcensus算法获得纯净的电力线路；

(2)对步骤(1)中获取的电力线路图像采用方向梯度直方图的方法提取电力线路图像特征；

(3)采取主成分分析法解决步骤(2)中提取的电力线路图像特征维数爆炸的问题；

(4)通过实验确定svm中核函数的使用及最优参数组合，设计了适用于电力线路缺陷识别的有向无环图多分类器；

(5)根据步骤(4)中所设计的有向无环图多分类器进行实验，确定达到最佳缺陷识别效果的像素细胞大小和主成分贡献率，根据确定的最优参数组合，对电力线路图像进行缺陷识别处理，判断电力线路图像的缺陷类型。

步骤(2)中对步骤(1)中获取的电力线路图像采用方向梯度直方图的方法提取电力线路图像特征，特征检测算法步骤如下：

1)归一化图像

归一化的方法是采用伽马校正，伽马校正用于在视频或静止图像系统中对亮度或三刺激值进行编码和解码的非线性运算。成像过程中，受感光元器件由于光强和电压的变化影响，所成图像包含了一些阴影，局部曝光甚至纹理失真。通过伽玛校正以消除这种影响，从而使输出的图像具有预期的亮度。伽马校正由下式定义：

非负的实际输入值vin在参数γ作用下变化，并乘以常数a，得到输出值vout，在一般情况下a＝1，输入和输出通常在[0，1]范围内。实际处理时应按照实际情况取伽马值。

2)计算图像每个像素的梯度

像素梯度的技术包括计算梯度的大小和方向，方法是在一个或两个水平方向和垂直方向上应用一维中心，点离散微分掩模。具体地说，该方法要求对图像的颜色或强度数据进行过滤。

梯度算子：水平边缘算子：[-1，0，1]；垂直边缘算子：[-1，0，1]^t。图像中像素点(x，y)的水平方向梯度gx(x，y)和垂直方向梯度gy(x，y)分别为：

下式表示像素点(x,y)像素值和梯度方向：

3)为每个单元格构建方向梯度直方图

该步骤是创建像素细胞直方图，像素细胞是方向梯度直方图特征最小的结构单位，根据梯度计算的值，对直方图通道加权投票。像素细胞可以为矩形或径向，其梯度可以选择有无符号。均匀分布的9个无符号直方图通道在识别实验中表现最好，因此本方法采用的是9个直方图通道。

对于投票权重，像素贡献可以是梯度本身，也可以是大小的函数。在测试中，梯度本身通常会产生最好的结果。投票权重的其他选项可以包括梯度大小的平方根或平方，或者是一些幅度裁剪版本的大小。相比平方根、平方和裁剪版本的大小，采用梯度本身的量级可以得到最佳的识别效果。

4)把像素细胞组合成块

局部归一化的梯度强度可以进一步降低日照影响，像素细胞要组合成块就尤为必须。hog描述子是来自所有块区域的归一化细胞直方图组件的连接向量。这些块通常是重叠的，这意味着每个像素细胞对最终描述子的贡献超过一次。本方法采用的块状几何图形为矩形，矩形块由三个参数表示：每个块的单元数、每个单元的像素个数以及每个细胞直方图的通道数。

统计共有四种不同的块归一化方法，采用的是不同的归一化因子，如下式所示，分别为l1-norm、l1-sqrt、l2-norm、l2-hys，令v是一个在给定的块中包含所有直方图的非规格化矢量。

此外，该方案l2-hys可以通过先取l2-norm，裁剪结果，然后再重新规格化来计算。l2-hys，l2-norm和l1-sqrt方案提供了类似的性能，而l1-norm的性能不如前三者可靠。本方法采用的是l2-hys归一化因子，tα(v)表示限幅后的新向量，将方向梯度直方图进行归一化并将向量中合并值的最大值限制为α＝0.2，然后再重新归一化一次，经过处理后的效果如图5所示。

5)生成hog特征描述向量

将所有空间连接块的方向梯度直方图向量组合在一起，形成最终的hog特征向量，该特征向量就记载了电力线路的图像信息。本方法分别按照用上述方法提取了电力线路中正常、异物悬挂、断股三种类型的梯度方向直方图。

6)svm多分类器构建

本方法设计了基于有向无环图支持向量机分类器。由于选取的是电力线路中正常和异物悬挂、断股和防振锤滑移3类型的电力线路，因此设计了2层3个分类器。如图6所示给出了电力线路缺陷识别系统基于有向无环图支持向量机所设计的分类器模型图。

本发明实施例提供的基于双目成像的电力线路无人机巡检及缺陷智能诊断系统的优点在于：

大幅提升诊断效率，减少人工查找缺陷的工作量；大幅度提高电力线路缺陷诊断准确率，诊断效果远大于人眼辨识率，基于电力线路深度图像，剔除复杂背景，完成目标图像分割，获得更为纯净的电力线路图像，从而提高了缺陷诊断准确率。可及时发现电力线路缺陷，挽回高额停电费用损失，利用高效缺陷诊断算法及时快速处理电力线路图像。