一种基于人眼视觉特性的电力线路无人机巡检方法与流程

本发明涉及一种基于人眼视觉特性的电力线路无人机巡检方法，属于数字图像处理与电力线路自动巡检领域。
背景技术：
：随着我国经济的蓬勃发展，电力能源的需求越来越旺盛，为了满足国内对电力越来越高的需求，需要在电力线、高电压、大容量方向上继续扩建。一方面随着电力线的大量建设，覆盖面越来越广阔，地形状况也越发复杂多样，电网建设中如何跨地形进行线路维护是难以解决的问题；另一方面，电力线所在的环境随着地区和时间的变化也在不停的变化着。整个电力线体系复杂程度高，其中某个关键的环节存在隐患都会影响用户的电力供应和系统的供电安全，造成不可估量的经济损失，威胁生命财产安全，所以对电力线进行巡检是电力系统设备维护工作的重要部分。高压电力线即架空线，用绝缘子及电力金具将导线架设于杆塔上的电力线，是电力网及电力系统的重要组成部分，极易受到外界的影响和损害。目前架空线事故主要包括外力破坏事故、大风事故、雷击事故以及由于设备老化等引起的事故，所谓的外力破坏事故主要是指由外来物体进入非安全区域或距离所引发的事故，如森林树木、房屋建筑等进入电力线非安全区域，不仅对电力线的安全构成威胁，也极易酿成障碍物自身触电、火灾等事故。根据有关报道表明，外力破坏约占全国电力线全年跳闸故障总次数的四分之一，给社会带来了的危害性和经济损失都非常巨大。传统的电力线巡检模式通常是人工到位巡检，这种模式人力资源消耗大，但在电力线的大覆盖面积和多样化环境的需求下，人工到位电力线巡检效率低，实时性差，往往不能满足电力线巡检的覆盖面与即时性要求。此外，传统的人工电力线巡检方式往往是通过人眼观察，根据工作人员的经验对电力线的状态进行判断，对工作人员状态和经验的过分依赖，无法对障碍物与电力线的距离进行定量分析，极易出现误检和漏检现象，不能满足电力线巡检的准确度要求。技术实现要素：本发明所要解决的技术问题是：针对当前电力线路外力破坏事故巡检领域中的技术空缺，提供一种电力线路无人机巡检系统，改善电力线巡检的方式，提高巡检的有效率和准确度。为解决上述技术问题，本发明提供一种基于人眼视觉特性的电力线路无人机巡检方法，包括以下步骤：(1)无人机视频采集：利用无人机搭载双目视觉测量设备获取电力线分布及电力线环境信息的视频图像；所述双目视觉测量设备是指规格参数相同的两个视频图像采集设备，分别以左目与右目的形式排列工作，以固定视角同时采集视频图像信息；无人机搭载双目视觉测量设备进行电力线巡检时，对无人机进行无线遥控，使无人机在与电力线平行的路线上、并在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行。(2)图像预处理模块对录入系统的电力线视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和DoG(DifferenceofGaussian)边缘检测；其中，DoG边缘检测利用不同参数的高斯差分结果对图像的边缘进行描述，依次对左右目图像进行相同的处理。(3)电力线检测模块利用数学形态学对已完成预处理的图像进行处理，选取与电力线同方向的结构因子对图像进行反复的膨胀腐蚀处理，去除图像中的噪声，再利用人眼视觉连通域注意机制选取最大的线性连通域，完成图像中电力线的分割，人眼视觉注意机制是指在视野范围内，人眼总是立刻注意到形状、颜色、亮度特殊的区域，人眼视觉连通域注意机制即利用人眼对特殊形状连通域的注意机制完成电力线的分割。分别记录左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)；其中，xdz1,xdz2...xdzj和xdy1,xdy2...xdyj分别指j条电力线连通区域的中心点在左目图像和右目图像上的横坐标；(4)双目图像配准模块对左目图像和右目图像分别进行配准，利用SURF算法分别找到已完成预处理的左目边缘图像和右目边缘图像的特征点并求出当前特征点的描述子，然后对特征点进行精确配对，记录精确匹配点在左目图像和右目图像中的位置信息(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，其中n是指单幅图像中包含的所有特征点数量，xzn,yzn和xyn,yyn分别指对应特征点在左目图像和右目图像中的位置坐标；(5)障碍检测及预警模块根据左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)和精确匹配点在左目图像和右目图像中的位置(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，利用双目视觉原理计算匹配点与电力线的三维空间坐标，根据空间坐标信息计算匹配点到电力线的垂直距离；(6)结果输出反馈模块对电力线构成威胁的障碍物信息进行反馈，当匹配点与电力线的空间垂线距离高于设定阈值时，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置等，当匹配点与电力线的空间垂线距离低于设定阈值时，则对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理；依次对所有取得的帧图像进行障碍物信息的反馈处理，完成巡检过程中的障碍物信息的记录。本发明所达到的有益效果：利用双目视觉技术对电力线的外界障碍物进行检测与分析，主要通过搭载双目视觉测量设备的无人机联动巡查可以对大范围电力线快速进行信息搜寻，实时获取电力线及设备的图像信息，专家系统完成电力线故障隐患的定量分析。无人机巡检与传统的人工巡检相比，具有不受地形、环境、状态等因素影响的影响，可实时以监测电力线分布情况及周围环境，利用人眼双目视觉技术对电力线排布情况和电力线障碍等问题进行定量分析与预警，具有巡检效率高、通用性强、实时性好的特点。附图说明图1为本发明的电力线路无人机巡检系统模块结构图；图2为本发明的电力线路无人机巡检系统实物模型图；图3为本发明的电力线路无人机巡检方法处理流程图；图4为尺度空间滤波器的尺寸示意图；图5为双目视觉成像原理图；图6为左目图像和右目图像特征点匹配示意图；图7为左目图像外力事故障碍点标注示意图。具体实施方式本发明的基于人眼视觉特性的电力线路无人机巡检系统，包括硬件工作系统及软件操作系统，整个系统模块如图1所示，硬件系统包括无人机视频信息采集模块，软件系统包括图像预处理模块、电力线检测模块、双目图像配准模块、障碍检测及预警模块、结果输出反馈模块。实物模型图如图2所示，首先利用无人机搭载双目视觉测量设备对待巡检的电力线及其周围环境进行信息采集，控制无人机飞行，无人机飞行方向平行于电力线分布方向。将获取的双目视频序列传递至软件操作系统，软件操作系统从视频序列中按照一定的间隔提取图像帧，依次对所有图像帧进行图像预处理、电力线检测、左右目图像配准、障碍检测及预警、结果输出及反馈，完成无人机巡检过程中的障碍物信息的记录及反馈工作。本发明的基于人眼视觉特性的电力线路无人机巡检方法，具体流程如图3所示：(1)当需对某一地区的电力线进行检测时，首先利用无人机搭载双目视觉测量设备对电力线及其周围环境进行巡航采集相关信息，其中，双目视觉测量设备是由两个规格相同的摄像机组成，摄像机像素不低于500W，固定两个摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，两个摄像机同时进行平行同方向的拍摄。无人机由工作人员操控，无人机匀速飞行方向与电力线分布方向平行，无人机飞行过程匀速稳定，基于双摄机的双目视觉硬件系统需安装在无人机一个稳定的平台上，将采集到的左视频序列lz和右视频序列ly存储至无人机携带的存储设备中，并利用移动无线网络传输至软件系统。(2)在无人机巡航过程中，实时地将采集到的左视频序列lz和右视频序列ly从无人机中传输至软件系统，软件系统首先将获取到的数据备份在数据区，同时由工作人员输入拍摄时间和地点。再对左视频序列lz和右视频序列ly进行处理，首先按照一定的间隔分别在左视频序列lz和右视频序列ly中连续取帧，取帧要求所有的帧图像可以拼接恢复出完整的巡航图像信息，相邻帧之间拼接时无信息缺失，形成左图像序列Tz和右图像序列Ty，其中左图像序列Tz和右图像序列Ty都包含m幅图像，分别为Tz1,Tz2...Tzm和Ty1,Ty2...Tym；对左目和右目对应帧图像进行预处理，首先对左目第一幅图像Tz1和右目第一幅图像Ty1进行处理，按顺序依次对左目和右目对应帧图像进行处理，直至对左目第m幅Tzm和右目第m幅Tym处理结束。对左目第一幅图像Tz1和右目第一幅图像Ty1进行预处理，包括图像灰度化处理和DoG(DifferenceofGaussian)边缘检测：所述图像灰度化处理将彩色图像变为左目第一幅图像的单通道灰度图像Hz1和右目第一幅图像的单通道灰度图像Hy1；在所述DoG边缘检测中，DifferenceofGaussian(DOG)是高斯函数的差分，通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，所述Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。DifferenceofGaussian即高斯函数差分是两幅高斯图像的差，具体到图像处理来讲，即将同一幅图像在不同参数下的高斯滤波结果相减，得到DoG图像，即边缘检测结果。定义DoG运算为：D=12π[1σ12e-(x2+y2)2σ12-1σ22e-(x2+y2)2σ22]*H=[G(x,y,σ1)-G(x,y,σ2)]*H]]>其中，D指处理后的图像结果，第一常数σ1＝0.6，第二常数σ2＝0.9，x、y分别指图像中当前像素点的横坐标和纵坐标，高斯滤波函数窗口大小为5×5，G(x,y,σ1)和G(x,y,σ2)分别为不同参数的高斯滤波函数，H为灰度图像，“*”代表对整幅图像进行滑动滤波处理，经过预处理的图像分别为左目边缘图像Dz1和右目边缘图像Dy1。(3)对左目边缘图像Dz1和右目边缘图像Dy1中电力线进行分割，首先利用数学形态学中循环膨胀腐蚀运算对左目边缘图像Dz1和右目边缘图像Dy1进行处理；视频采集方向和电力线分布方向平行，图像中电力线方向与图像90度方向平行。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与左目边缘图像Dz1和右目边缘图像Dy1进行交、并等集合运算，结构元素是最重要最基本的概念，B(x)代表结构元素，对工作空间E中的每一点A(x,y)腐蚀与膨胀运算定义为：腐蚀：膨胀：其中，代表“包含于”，∩代表“交运算”，Φ代表空集。用结构元素B(x)对工作空间E进行腐蚀的结果就是把结构元素B平移后使结构元素B包含于工作空间E的所有点构成的集合；用结构元素B(x)对工作空间E进行膨胀的结果就是把结构元素B平移后使结构元素B与工作空间E的交集非空的点构成的集合。选取线性的结构因子，长度为3个像素点，角度为90度，对左目边缘图像Dz1和右目边缘图像Dy1进行腐蚀膨胀运算，其中一次循环运算包含两次腐蚀运算和一次膨胀运算，循环运算次数20次。对于完成循环膨胀腐蚀运算的图像，检测图像中连通域的面积和长度，保留线性形态与连通域面积达到阈值要求的线段，即为电力线，去除图像中的噪声，完成图像中电力线的分割，分别记录左目边缘图像Dz1和右目边缘图像Dy1图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，其中，左目边缘图像Dz1和右目边缘图像Dy1图像中分别包含n条电力线，记录j个横坐标位置。(4)利用SURF算法对图像左目边缘图像Dz1和右目边缘图像Dy1进行特征点检测，为了使配准特征具有尺度不变性，图像关键点的检测在尺度空间完成。SURF算法是在原图像上进行大小不同的方框滤波，形成不同尺度的图像金字塔。(41)利用快速Hessian检测子提取特征点，Hessian矩阵具有良好的计算时间和精度表现。对于图像上一点在尺度下的Hessian矩阵定义如下式所示，对于左目边缘图像Dz1和右目边缘图像Dy1中的某一点(x,y)，当尺度为σ时，该点处的Hessian矩阵表示为：H(x,σ)=Lxx(x,σ)Lxy(x,σ)Lxy(x,σ)Lyy(x,σ)]]>其中，函数Lxx(x,σ)表示Gaussian在x坐标上的二阶偏导数和左目边缘图像Dz1和右目边缘图像Dy1在点(x,y)处的卷积，公式如下所示：Lxx(x,σ)=D*∂2∂x2g(σ)]]>Lxy(x,σ)、Lyy(x,σ)的描述分别如下式所示：Lxy(x,σ)=D*∂2∂x∂yg(σ)]]>是指求偏导的运算，其中，SURF算法的尺度空间也是按组(Octaves)进行划分的，每组里的图像由不同大小的滤波器卷积后得到。其中，滤波器的尺寸逐步增加，假设其尺寸大小为N×N，则相对应的尺度为σ＝1.2×N/9。尺度空间内不同组滤波器的尺寸大小如图4所示，其中横坐标代表滤波器尺寸的变化，纵坐标代表不同的组。为了使算法具备方向不变的特性，SURF算法按照特征点周围的像素点的信息给每个兴趣点重新指定唯一的方向，具体步骤为：a)以特征点为中心，计算Harr小波在半径为6σ的圆形邻域内水平和竖直方向上的响应，其中采样步长为σ，小波的尺寸为4σ；b)以特征点为中心对小波响应进行高斯加权(2σ)，使得接近特征点的权重值大，远离特征点的权重值小，得到新的水平方向和竖直方向上的响应；c)最后采用一个角度为60度的扇形窗口遍历整个圆，直到扇形窗口内总响应最强，此时扇形窗口内的方向指向即为该兴趣点的主方向。(42)首先将特征点设置为中心点，并沿着中心点的主方向构造一个大小为20σ的方框，然后将区域划分成16个小区域，计算每个子区域内(5σ×5σ)的小波响应，并得到0°方向和向量Σdx，90°方向和向量Σdy，180°方向和向量∑d|x|，180°方向和向量Σd|y|，每个子区域利用构建4维特征向量v＝(∑dx,∑|dx|,∑dy,Σ|dy|)来表示，最后形成该点的64维描述子。假设左目边缘图像用Dz1和右目边缘图像用Dy1尺寸均为M×N，并将图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，左目边缘图像和右目边缘图像特征点匹配示意如图6所示。左目边缘图像Dz1和右目边缘图像Dy1通过SURF方法检测到的特征点集合分别表示成：Pos1＝{(x′1,y′1),(x′2,y′2),...,(x′p,y′p)}Pos2＝{(x1,y1),(x2,y2),...,(xq,yq)},其中p和q分别表示左目边缘图像Dz1和右目边缘图像Dy1特征点的数量；根据最后正确匹配点对之间的斜率方向一致性的先验知识，本发明的特征点匹配方法包括步骤：a)对左目边缘图像的特征点集合Pos1中的每个点i，计算与右目边缘图像的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；b)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序对匹配点对排序，并删除其中多点对一点的点对，此时左目边缘图像Dz1和右目边缘图像Dy1中的特征点分别用修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'表示；c)选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K1对匹配点，记作Pos_K1＝{{(x′1,y′1),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(x'n,y'n),(xn,yn)}}，称为集合1；选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中称为集合2，其中K1＜K2；d)对于集合2中所有的点对，计算两点间的斜率，如下式所示，并对其四舍五入取整，形成斜率集合k：k＝{k1,k2,...,kw},kw=ywxw-xw′,1≤w≤K2;]]>e)计算斜率集合k中每个斜率出现的频数，筛选频数大于等于2的斜率，形成新的集合k_new＝{k1,k2,...,kt}，其中t是得到的特征点的总数量，理论上集合k_new中元素个数小于斜率集合k中元素个数；如果斜率集合k中每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的集合k_new；f)遍历计算集合修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中所有的点对的斜率，筛选出斜率在区间[kt-0.5,kt+0.5]内的所有的点对，形成点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}，其中kt∈k_new；(5)双目视觉成像原理如图5所示，已知双目视觉摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，视差d定义为某一点在两幅图像中相应点的位置差：d＝(xzn-xyn)其中，xzn、xyn分别是匹配点对在左目图像和右目图像中的横坐标，由此计算出左摄像机坐标系中某点P的空间坐标为：xc=b·xzndyc=b·yzndzc=b·fd]]>其中，(xc，yc，zc)是当前匹配点在空间坐标中的位置信息，yzn是匹配点对在左目图像和右目图像中的纵坐标，根据上式计算出所有匹配点在左摄像机坐标系中的坐标，再根据上式与已得到的电力线横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，计算与匹配点空间欧式距离最小的电力线上的点的空间坐标；其中，定义在二维坐标系中纵坐标相同的电力线上的点和匹配点的空间欧式距离最小，将匹配点纵坐标直接赋予电力线上对应的点，则与点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}形成一一对应电力线的点为Pos_D＝{{(xdz1,yz1),(xdy1,yy1)},{(xdz2,yz2),(xdy2,yy2)},...,{(xdzn,yzn),(xdyn,yyn)}}，由此计算出左摄像机坐标系中电力线上某点D的空间坐标(xd,yd,zd)；(6)得到点P和点D的空间坐标后，计算匹配点到电力线的空间欧式距离J，定义J为：J=(xc-xd)2+(yc-yd)2+(zc-zd)2]]>依次计算当帧图像中所有匹配点到电力线的空间欧式距离，并且与设定的距离经验阈值进行比较，若J大于阈值，则在左目图像中完成该点的标注，完成对电力线构成威胁障碍物信息的反馈工作，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置，当匹配点与电力线的空间垂线距离低于设定阈值时，则不对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理。依次对所有视频序列帧图像中的帧图像进行以上处理，完成巡检过程中的障碍物的标注及信息的记录工作。当前第1页1 2 3