一种用于无人机巡检的输电线路间隔棒识别方法
【专利摘要】本发明公开了一种用于无人机巡检的输电线路间隔棒识别方法，采用一种数字图像处理算法实现对输电线路间隔棒的自动识别和定位，该方法利用间隔棒与导线关系和形状实现对其定位。该算法能够快速高效地实现对输电线路中的间隔棒进行定位，对电力设备的运维，有着非常重要的现实意义能够快速高效地实现对输电线路中的间隔棒进行定位，对电力设备的运维，有着非常重要的现实意义；适合户外应用，对复杂背景下的图像处理效果好。
【专利说明】—种用于无人机巡检的输电线路间隔棒识别方法
【技术领域】
[0001]本发明涉及数字图像处理及模式识别技术在输电线路设备监测【技术领域】，尤其涉及一种用于无人机巡检的输电线路间隔棒识别方法。
【背景技术】
[0002]输电线路由于长期暴露在野外的环境下运行，容易受到风力，自然灾害等的影响进而会出现各种缺陷，如果不及时发现并进行修复处理，会导致输电线路的破损，造成大面积的停电，造成的经济损失不可估量。间隔棒是为了减少风的影响，保护线路的金具，具有延长导线使用寿命的作用。
[0003]利用视频图像处理技术定位输电线路间隔棒的方法(申请号:201310048522.4)提出了一种利用视频图像处理技术的输电线路间隔棒识别和定位方法。该方法通过对原始图像规格化、方向场求取、模板匹配等方法对图像进行目标区域定位和间隔棒的定位。这种方法对于复杂背景下的图像处理效果不好，不能适应户外不同光照及季节下的应用。
【发明内容】
[0004]本发明为了解决上述问题，提出了一种用于无人机巡检的输电线路间隔棒识别方法，本方法基于无人机巡检获得输电线路设备图像，采用一种数字图像处理算法实现对输电线路间隔棒的自动识别和定位，该方法通过间隔棒与导线关系、间隔棒形状实现对其定位。该算法能够快速高效地实现对输电线路中的间隔棒进行定位，对电力设备的运维，有着非常重要的现实意义。
[0005]为了实现上述目的，本发明采用如下技术方案:
[0006]一种用于无人机巡检的输电线路间隔棒识别方法，包括以下步骤:
[0007](I)采集巡检图像，对原始图像进行去噪，获取要识别形状的二值图，去除背景干扰；
[0008](2)对边缘像素点均匀采样，随机抽样轮廓点，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量；
[0009](3)计算像素点形状上下文直方图，根据均匀采样到的点的位置以及每个点的形状上下文直方图构造样本图像；
[0010](4)根据样本图像，计算任意点对的匹配代价，根据欧式匹配找到最佳的点对匹配，完成形状匹配过程。
[0011]所述步骤(I)的具体方法为:首先获取要识别形状的二值图，考虑到输电线路地处野外，采集的图像中获取图像边缘的二值图，受背景及光线影响较大，采用中值滤波降低噪声干扰，接着采用带方向的prewitt边缘提取、大津法二值化获取图像的二值图像，最后使用bolb边缘像素分析方法将对象属性的像素集中的像素进行聚合，去除背景细节的干扰。
[0012]所述步骤(2)中，需要进行均匀采样点的选取，采集点数量的确定，采样点应均匀且能反应物体的轮廓，选点的原则是点保证均匀，选取的点与轮廓点数相配合。
[0013]所述步骤⑵中，随机抽样轮廓点，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量N，如果点的总量M远大于N，则随机取3N个点，对这3N个点进行操作即可。
[0014]所述步骤(2)中，当M〈3N时，在具体抽样之前，也需要将样本随机打乱，防止出现错误。
[0015]所述步骤(3)中，形状上下文直方图定义为:对于给定的方向参数和距离参数，其中，方向参数表示将圆周分成的份数，距离参数表示将向量长度分成的份数，计算各个方向和距离上的向量个数。在边界点集P= (P1, p2,..., pj中，对于任意一个离散点Pi与剩下的η-1个离散点所构成的形状直方图，其计算方法如下:
[0016]hi (k) =#{q 古 Pi, (q-pj) e bin(k)}
[0017]其中(q-p^ e bin (k)表不相对于Pi,点q属于形状直方图的第k分量，k e {1，2，…,K}, K为方向参数和距离参数的乘积。
[0018]所述步骤(3)中，构造样本图像库的具体方法为:构造的样本图像数据包含均匀采样到的点的位置(x，y)以及每个点的形状上下文直方图z [r X Θ]，该图像数据以TXT文件格式读取，文件数据为x，y，z[rX Θ];其中！^和Θ表示形状上下文直方图中半径以及角度。
[0019]所述步骤(3)中，角度与尺度变化的形状上下文识别，需要对运动的摄相机镜头采集的大小不确定的对象计算距离，计算形状上下文时，只计算与点对的相对距离，从而达到尺度不变性目的，在计算直方图时，角度划分应使计算出来的直方图在设定度数之内旋转时能保证重合部分有相似的直方图。
[0020]所述步骤(4)的具体方法包括:假设在样本图像中一点Pi和采集图中一点q」，令Cij = C(PilQj)为匹配代价，C就是对两幅直方图进行X2的统计值，比㈨屯㈨分别为归一化的直方图的值，则:
? ,-V 、 I+「化⑷-MaV
[0021]Cij =C(P^qj) ^-YyT
2 /7, (/(.) +//,(A)
[0022]Cij值在O?I之间，其值越小，相似度越大，点的匹配度越高，计算出所有点之间的匹配代价之后，应用匈牙利匹配法使匹配点全局的匹配代价最小，将薄板样条TPS(ThinPlate Splite)变形模型用于求解点集之间的几何变换，通过求得的几何变换关系使待匹配点集相互逼近。
[0023]所述步骤(4)中，两个形状间整体的形状上下文匹配的代价是形状上下文出现距离，其计算公式为:
[0024]Ar =丄 ZarSmin (X厂(v)) +丄 ZarSmin
U ρ&ΡgeQ肌 geOP^P
[0025]其中T(.)表示TPS变换，P为样本图像中的点集，Q为采集图像中的点集。
[0026]所述步骤(4)中，所述形状匹配过程包括粗匹配和精细匹配，所述粗匹配的具体方法为:设匹配点间欧氏距离为Cl1，进行TPS变换后，匹配点间的欧氏距离为d2，设定比例阈值Rt为Ciyd2，如果Rt小于等于设定值，则为同类图像，优选的，设定值取0.6。
[0027]所述步骤(4)中，所述细匹配的具体方法为:形状上下文中不同图像点出现的距离肯定相差很大，根据这个原则，在衡量点是否匹配上时，根据最小匹配代价衡量形状上下文距离，即点是否匹配上，如果为正常图像，则点匹配；如果对象为掉把图像，即缺失了某一部，分则此时缺失部分不能匹配上，如果对象某一部分发生了形变，即为斜歪图像，则此时形变中只有一部分点能匹配上。
[0028]本发明的有益效果为:
[0029](I)本方法快速高效，定位准确率高，对复杂背景下的图像处理效果好；
[0030](2)能够快速高效地实现对输电线路中的间隔棒进行定位并及时发现间隔棒的问题与缺陷，对电力设备的运维，有着非常重要的现实意义；
[0031](3)适用性强，适应户外不同光照及季节下的应用。
【专利附图】
【附图说明】
[0032]图1为无人机巡检任务及缺陷诊断流程示意图；
[0033]图2为间隔棒识别与缺陷诊断流程示意图；
[0034]图3为本发明形状部件识别与缺陷诊断过程图；
[0035]图4为本发明粗匹配的过程示意图；
[0036]图5为本发明细匹配的过程示意图；
[0037]图6为本发明不同位置间隔棒识别效果图；
[0038]图7为本发明不同位置间隔棒识别效果图；
[0039]图8为本发明不同位置间隔棒识别效果图；
[0040]图9为本发明不同位置间隔棒识别效果图。
【具体实施方式】
:
[0041]下面结合附图与实施例对本发明作进一步说明。
[0042]通过对无人机提前预设的巡检任务，获得输电线路巡检目标的图像，进而通过缺陷诊断模块实现对输电线路部件的识别，生成巡检任务的报告。图1为无人机巡检任务及缺陷诊断流程示意图。由于受纹理背景及光线的影响，直接从巡检图像上识别导线上的间隔棒、防震锤、均压环等小部件极其困难，依据感知的依附性，在识别出导线、地线、引流线的基础上，将导线分段分析其一致性、连续性、宽度突变区域，再聚类这些变化区域，采用形状分析方法，进一步识别间隔棒并诊断其缺陷，图2是提出的间隔棒识别与缺陷诊断流程。
[0043]形状上下文方法主要基于两个方面:一是形状上的点用极坐标表示，二是统计以每个点为圆心，r为半径，Θ为角度的栅格中每个栅格中点的个数，即形状上下文直方图。根据直方图即可判断形状相似性。
[0044]形状上下文识别以及匹配过程大致分为六个步骤:
[0045]Stepl:首先获取要识别形状的二值图，对于图像的边缘二值图获取有许多方法，考虑在自然野外运动采集的图像中获取图像边缘的二值图，由于受背景及光线影响较大，采用中值滤波降低噪声干扰，接着采用带方向的Prewitt边缘提取、大津法二值化获取图像的二值图像，最后使用bolb边缘像素分析方法将对象属性的像素集中的像素进行聚合去除背景细节的干扰；
[0046]Step2:边缘像素点均匀采样:均匀采样边缘像素点的目的是为了降低形状匹配计算的复杂度，同时均匀采样边缘像素点能反映形状的原貌，传统轮廓点采样方法主要是基于轮廓跟踪，采用点间距离或者借助于重心计算轮廓上采样点，但是这种方法适合室内图像，在背景及光线变换下，轮廓不一定封闭，并且当轮廓是凹凸形状时这种采样方法也不能满足均匀采样。本项目提出适合于野外环境下，均匀采样的方法，这种方法选取的点没有要求点的特殊性；
[0047]St印3:计算像素点形状上下文直方图
[0048]形状上下文直方图计算方法如公式I所示，它表示在极坐标系下每个点的形状上下文特征。
[0049]hj (k) = #{q ^ P1: (q-p) e bin(k)} (I)
[0050]St印4:计算匹配代价以及欧式匹配
[0051]假设在样本图中一点Pi和采集图中一点q」，令Cij = C(Pi, Qj)为匹配代价。C就是对2幅直方图进行X2的统计值。hi(k)，hj(k)分别为归一化的直方图的值，则:
「00521 C1 三 C(P:,ci) = — V[—~^-]2
隣」丨丨2 6^,.(/0 + /:,(/0,2)
[0053]Cij值在O?I之间，值越小，相似度越大，点的匹配度越高。Cij满足在一定范围Z内，则认为点匹配上了，计算出所有点之间的匹配代价之后，应用匈牙利匹配法使匹配点全局的匹配代价最小。但是它只能实现点的相对应，并不能衡量点相似性。匈牙利匹配还能通过添零操作实现在样本图和采样图中点数不一致的匹配。
[0054]Step5:TPS 变换
[0055]薄板样条TPS(Thin Plate Splite)变形模型用于求解点集之间的几何变换,通过求得的几何变换关系使待匹配点集相互逼近。
[0056]St印6:形状上下文距离
[0057]形状上下文出现距离是两个形状间整体的形状上下文匹配的代价，用于衡量形状上下文，公式如下所示:
[0058]
Dsc = - ZarSmin〔V),τ⑷)+ 丄 ZarSmin c(p,T(q))
n p^Pq^Qm q^Op^P( 3)
[0059]其中T (.)表示TPS变换。
[0060]I)均匀采样点的选取，采集点数量的确定
[0061]采样点应尽可能的均匀且能反应物体的轮廓，但是不是点越多越好，当点数取的较多时，首先会提高了计算复杂度，其次，增加点的密度对误差很敏感，因此在计算时选取了 60，100，120，150。选点的原则是点尽可能均匀，如果轮廓点越多则选取的点也更多，一般轮廓点数控制在120以下。
[0062]因此，点采样规则如下:随机抽样轮廓点，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量N。如果点的总量M?N,这样的操作是很费时间的，为了减少计算量，当M?N时，随机取3N个点，对这3N个点进行操作即可。需要说明的是，即使M〈3N，在具体抽样之前，也需要对样本进行随机打乱，这样才能使得后面删除点对中的某一个点这一行为具有随机性，否则的话，一条直线上的点恐怕会删的只剩尾部一个点。
[0063]2)角度与尺度变化的形状上下文识别
[0064]在对输电线路巡检时，摄像机镜头是运动的，因此对象的大小是不确定的，为了做到尺度不变性，对特征点计算该点到形状边缘其余采样点之间的绝对距离和，然后计算出平均距离，用这个平均距离作为对数极坐标采样栅格的半径。因此计算形状上下文时，只与点对的相对距离有关而与绝对距离无关，从而达到尺度不变性目的。Hx (1，..., η)为直方图信息，适用经验密度函数hx来归一化:
/?-(/)= _
_5]^//Λ-(/)
<=!(4)
[0066]形状识别中还要考虑到多角度，在直升机或无人机上采集图像时变换的角度不会太大，因此小角度形状上下文识别是重要的改进方法，只需要在有小角度变换的情况下满足形状识别，因此提出在计算直方图时，在极坐标系下，角度划分的方法为，从O度起，每60度为一个划分间隔，每个划分间隔有30度的重合角，即划分为0-60度，30-90度，60-120度，90-150度，120-180度…，300-360度，330-30度，使得计算出来的直方图在30度之内旋转时能保证重合部分有相似的直方图。
[0067]间隔棒识别与诊断的方法
[0068]采用三层次的上下文识别方法。首先利用线路知识模型，线路由线对象构成，根据线对象特征找到导线，在导线中线宽发生明显变化位置的基础上，采用上下文描述算子，识别是否存在要识别的对象；在识别出存在的对象情况下，进一步分类识别，根据形状上下文距离匹配上的点数诊断其属于正常图像、斜歪图像还是掉把图像。依据线路知识模型，根据对象识别的过程，由远及近，由粗到细，符合人眼视觉识别模型。
[0069]设计和实现图像识别与缺陷诊断主要分为两个方面，一是对图像进行粗分类，二是实现对图像的精细的分类完成缺陷诊断。具体过程如图3所示。
[0070]I)部件样本图像库构造方法
[0071]样本图像首先必须是正常的没有背景干扰的图像，为了匹配的有效快速进行，样本图像已经完成了轮廓点的均匀采样以及计算形状上下文直方图，然后进行样本图与采样图的匹配。
[0072]样本图像的构造方法:构造的样本图像数据主要包含均匀采样到的点的位置以及每个点的形状上下文直方图。该图像数据以TXT文件格式读取，文件命名为样本文件名(间隔棒)_点数_编号.dat,文件数据为int x, int y, double z[rX θ ];其中r和Θ表示形状上下文直方图中半径以及角度。
[0073]2)形状匹配过程
[0074]在得到采样图和样本图的形状上下文直方图之后，计算任意点对的匹配代价，根据欧式匹配找到最佳的点对匹配。最后完成形状匹配的过程，该过程主要分为粗匹配和精细匹配，粗匹配实现是否是同类图像的识别，在是同类图像的基础上完成精细匹配，即图像是属于正常图像、斜歪图像还是掉把图像的判定。
[0075]识别不同类图像，主要根据TPS变换前后距离变换的比值衡量，完成欧式匹配后，匹配点对间欧式距离反应了点的位置关系，TPS变换后实现了点相互逼近，此时根据匹配点前后距离的比值，如果是同类图像则点间距离变化量不会很大，如图4所示根据这一原则提出粗匹配的过程。
[0076]形状上下文中不同图像点出现的距离肯定相差很大，根据这个原则，在衡量点是否匹配上时，根据最小匹配代价衡量形状上下文距离，即点是否匹配上，如果对象缺失了某一部分则此时缺失部分不能匹配上，如果对象某一部分发生了形变，则此时有形变中有些还是能匹配上。如图5所示依据匹配上的点数判定对象是正常图像、斜歪图像还是掉把图像。
[0077]间隔棒识别的实验结果:
[0078]以无人机巡检采集的实际巡检图像为准，具体收集国网山东省电力公司电力科学研究院的输电线路无人机对滨油、黄滨、寿海三条高压线路巡检采集的80张高分辨率图像作为测试的数据源，其中人工巡检可看出共有128个间隔棒，通过本专利算法可自动识别出115个，正确识别率达到89.8%。图6-图9分别为不同位置处的间隔棒定位效果图像，白色矩形框内为间隔棒区域。
[0079]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【权利要求】
1.一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:包括以下步骤: (1)采集巡检图像，对原始图像进行去噪，获取要识别形状的二值图，去除背景干扰； (2)对边缘像素点均匀采样，随机抽样轮廓点，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量； (3)计算像素点形状上下文直方图，根据均匀采样到的点的位置以及每个点的形状上下文直方图构造样本图像； (4)根据样本图像，计算任意点对的匹配代价，根据欧式匹配找到最佳的点对匹配，完成形状匹配过程。
2.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(I)的具体方法为:首先获取要识别形状的二值图，考虑到输电线路地处野外，采集的图像中获取图像边缘的二值图，受背景及光线影响较大，采用中值滤波降低噪声干扰，接着采用带方向的Prewitt边缘提取、大津法二值化获取图像的二值图像，最后使用bolb边缘像素分析方法将对象属性的像素集中的像素进行聚合，去除背景细节的干扰。
3.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(2)中，需要进行均匀采样点的选取，采集点数量的确定，采样点应均匀且能反应物体的轮廓，选点的原则是点保证均匀，选取的点与轮廓点数相配合。
4.如权利要求3所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(2)中，随机抽样轮廓点，检查全部点对的距离，每次去除距离最小的点对中的一个点，直至剩下的点的数量达到要取样的点的数量N，如果点的总量M远大于N，则随机取3N个点，对这3N个点进行操作即可。
5.如权利要求4所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(2)中，当M〈3N时，在具体抽样之前，也需要将样本随机打乱，防止出现错误。
6.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(3)中，形状上下文直方图定义为:对于给定的方向参数和距离参数，其中，方向参数表示将圆周分成的份数，距离参数表示将向量长度分成的份数，计算各个方向和距离上的向量个数；在边界点集P= (P1, P2，…，P1J中，对于任意一个离散点Pi与剩下的η-1个离散点所构成的形状直方图，其计算方法如下:
hi (k) = #{q ^ Pi, (q-Pi) e bin (k)} 其中(q-pD e bin(k)表不相对于Pi,点q属于形状直方图的第k分量，k e {1，2，…,K}, K为方向参数和距离参数的乘积。
7.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(3)中，构造样本图像库的具体方法为:构造的样本图像数据包含均匀采样到的点的位置(x，y)以及每个点的形状上下文直方图z [rX Θ]，该图像数据以TXT文件格式读取，文件数据为x，y，z[rX Θ ];其中r和Θ表示形状上下文直方图中半径以及角度。
8.如权利要求7所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(3)中，角度与尺度变化的形状上下文识别，需要对运动的摄相机镜头采集的大小不确定的对象计算距离，计算形状上下文时，只计算与点对的相对距离，从而达到尺度不变性目的，在计算直方图时，角度划分应使计算出来的直方图在设定度数之内旋转时能保证重合部分有相似的直方图。
9.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(4)的具体方法包括:假设在样本图像中一点Pi和采集图中一点q」，令Cij =C(Pi, Qj)为匹配代价，C就是对两幅直方图进行X2的统计值，hi(k)，hj(k)分别为归一化的直方图的值，则: ^ ,-v 、_ 丨+「/?,(幻-/7',(/:)- Cii —■ C (ο ? u ) — — / 1-1 Cij值在O?I之间，其值越小，相似度越大，点的匹配度越高，计算出所有点之间的匹配代价之后，应用匈牙利匹配法使匹配点全局的匹配代价最小，将薄板样条TPS变形模型用于求解点集之间的几何变换，通过求得的几何变换关系使待匹配点集相互逼近。
10.如权利要求9所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(4)中，两个形状间整体的形状上下文匹配的代价是形状上下文出现距离，其计算公式为:
D =丄 ZarSmin ('(尸,7如))+ 丄[31名111^1 c(p,r(q))
” p^Pq^Q讲 q^Op^P 其中TC )表示TPS变换，P为样本图像中的点集，Q为采集图像中的点集。
11.如权利要求1所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(4)中，所述形状匹配过程包括粗匹配和精细匹配，所述粗匹配的具体方法为:设匹配点间欧氏距离为Cl1，进行TPS变换后，匹配点间的欧氏距离为d2，设定比例阈值&为Cl1/d2，如果Rt小于等于设定值，则为同类图像。
12.如权利要求11所述的一种用于无人机巡检的输电线路间隔棒识别方法，其特征是:所述步骤(4)中，所述细匹配的具体方法为:形状上下文中不同图像点出现的距离肯定相差很大，根据这个原则，在衡量点是否匹配上时，根据最小匹配代价衡量形状上下文距离，即点是否匹配上，如果为正常图像，则点匹配；如果对象为掉把图像，即缺失了某一部，分则此时缺失部分不能匹配上，如果对象某一部分发生了形变，即为斜歪图像，则此时形变中只有一部分点能匹配上。
【文档编号】G06K9/62GK104239899SQ201410459129
【公开日】2014年12月24日 申请日期:2014年9月10日 优先权日:2014年9月10日
【发明者】王万国, 王滨海, 雍军, 慕世友, 任杰, 傅孟潮, 李勇, 张晶晶, 刘俍, 魏传虎, 高佼 申请人:国家电网公司, 国网山东省电力公司电力科学研究院, 山东鲁能智能技术有限公司