一种基于视觉的输电线路识别及异物入侵在线检测方法与流程

本发明涉及一种基于视觉的输电线路识别及异物入侵在线检测方法，特别涉及一种基于结合edlines(edgedrawinglines)与光流法的输电线路识别及异物入侵在线检测方法，属于图像处理及输电线路检测领域。

背景技术：

在电网输电线路的检修工作中，输电线路的异物入侵故障分析是一个很重要的方向。高压输电线路搭挂的异物可能会导致输电线路、变电站短路跳闸等，产生巨大危害，直接影响电网的安全稳定运行。

传统的人工巡检方式存在风险高、效率低、可靠性低的问题。无人机巡检凭借其成本低、效率高、机动性强的优势，逐渐被应用于电力线路巡检领域。

无人机巡检是通过无人机搭载的影像设备采集电力设备视频图像，再对视频图像进行分析，进而监测电力设备状态以便维护与修理。然而，人工复查海量图像耗时耗力。利用计算机视觉技术处理航拍图像，自动识别输电线路异物故障，能大大提高巡检效率与巡检智能化水平，有效推动输电线路故障自动排查，对维护我国电网输电线路安全稳定运行具有重大意义。

异物故障检测往往基于输电线路的识别。现有的基于航拍图像的输电线路识别方法主要考虑降低图像质量不佳、拍摄背景复杂等因素对直线目标的影响，但仍存在准确率较低、耗时较长等不足。目前线路异物检测技术主要有以下三类：一类是分割图像，分析霍夫变换所识别输电线路区域内的边缘数量、周围异常点率等沿线特征来判别异物存在。这种技术运算成本低，但易受光照、复杂背景等因素影响，造成误检与漏检；一类是结合运动目标检测与特征点跟踪的方法。但是特征点跟踪存在计算量大的问题，难以满足无人机巡检的实时性要求；还有一类是利用深度学习技术识别异物，但由于训练样本往往不足，对异物缺陷的检出率较低。因此，实现一种快速、准确、鲁棒性强的基于视觉的输电线路识别及异物入侵在线检测方法仍有很大的研究价值。

技术实现要素：

本发明的目的是解决上述技术问题，提供一种基于视觉的输电线路识别及异物入侵在线检测方法。该方法在提取航拍图像的线段特征后，根据输电线路的结构特征提取出输电线路区域，计算相邻帧图像中输电线路区域的光流分布，并根据像素光流信息判断异物所在位置，从而显著提高无人机对输电线路及异物故障的识别准确率，排查出可能存在的线路安全隐患，具有实时性高、成本低、自动化程度高的优点。

本发明的目的是通过以下技术方案实现的。

本发明公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，对无人机航拍图像进行双边滤波与分段线性灰度变换，得到预处理后的图像；利用edlines(edgedrawinglines)算法提取线段特征；将得到的线段特征进行角度区间分类，提取输电线平行线段组，将满足预设线段连接标准的平行线段组进行融合；根据输电线路的形状和光谱特性特征寻找并划定输电线路目标区域，并根据异物特征标记疑似区域；计算相邻帧图像中输电线路目标区域的光流分布，并对光流图像进行阈值分割、形态学运算与滤波处理。比较疑似区域与背景区域的光流速度均值，如前者大于后者的设定倍数阈值，则判定异物存在，疑似区域即为异物存在区域，实现输电线路异物检测。

一种基于视觉的输电线路识别及异物入侵在线检测方法，包括如下步骤：

步骤一：对无人机航拍图像进行双边滤波与分段线性灰度变换，得到预处理后的图像。

对航拍图像进行双边滤波，根据像素距离与灰度相似度确定滤波器权重系数，去除噪声并保留边缘。基于输电线灰度特征进行分段线性变换，计算变换后像素灰度值，扩展输电线灰度区间，得到增强后的灰度图像。

步骤二：对灰度增强后的图像利用edlines(edgedrawinglines)算法提取线段特征。

为避免非目标物对edlines线段检测算法带来的干扰，利用edlines直线检测算法进行线段提取，得到图像的线段特征。

步骤三：将得到的线段特征进行角度区间分类，提取输电线平行线段组，将满足预设线段连接标准的平行线段组进行融合。

为了提取输电线区域，利用输电线间互相平行的拓扑结构特征进行平行线段组提取。将0～180°划分为36个小区间，每5°一个区间，对检测到的线段按角度归为36类。统计角度在各区间内的所有直线段长度之和，最大值所对应角度区间为输电线的走向角度范围。通过保留倾角在该角度区间内的直线段，剔除剩余直线段，即能够获得与输电线走向近似一致的平行线组，包含n个线段。

将所述平行线组中满足线段融合标准的断续线段融合的实现方法为：按照线段端点坐标由左至右进行排序，根据两条序号相邻的线段的自身长度和距离以及两线段之间的相差角度，判断是否对二者进行融合，当两线段中点间距小于设定阈值，且两线段角度差值小于相应阈值，此时将两线段进行融合，具体方法为：

两线段中点距离表示为：

第i条线段端点坐标为(xi1,yi1),(xi2,yi2),i∈[0,n-1]，相邻的第j条线段端点坐标为(xj1,yj1),(xj2,yj2),j∈[0,n-1]且j＞i；

设定两线段中点距离的长度阈值为lthres＝4max(li,lj)。第i条线段的长度为li；第j条线段的长度为lj。

第i条线段的倾斜角为第j条线段的倾斜角为倾斜角阈值为θthres。

当li,j≤lthres且|θi-θj|＜θthres时，将i,j两条线段进行融合，得到一条端点坐标为(xi1,yi1),(xj2,yj2),i,j∈[0,n-1]的线段，否则仍然保留为两条线段。

对步骤三得到的n个平行线段进行逐一处理，得到融合后的直线段。

步骤四：根据输电线路的形状和光谱特性特征寻找并划定输电线路目标区域，并根据异物特征标记疑似区域；

将步骤三中得到的融合后的线段作为目标线段，基于输电线形状和颜色特征进行过滤，剔除不满足输电线路特征约束的线段，得到输电线路边缘直线。

所述输电线路特征约束条件为：

约束条件一、若融合后的一条直线段总长度小于图像最短边的则认为该条直线不是输电线的边缘直线。

约束条件二、对目标线段的像素颜色特性进行统计，计算一条直线上的在rgb空间中的颜色矢量偏离灰度轴的夹角在5°范围以内的像素点个数，若此类像素个数低于该条直线上像素总个数的90％，则认为该条直线不是输电线的边缘直线。

根据上述两个约束条件对非输电线路目标线段进行剔除，保留满足约束的目标线段即得到输电线路边缘直线，得到输电线边缘直线图。

得到输电线路边缘直线图后，将最长边缘直线与水平方向的夹角，即倾斜角作为旋转依据，对输电线边缘直线图与步骤一的无人机航拍图像进行倾斜校正；

所述倾斜校正的方法为：得到的最长边缘直线段端点坐标为(xlongest1,ylongest1),(xlongest2,ylongest2)，最长边缘直线的倾斜角为

将倾斜角θlongest作为输入，目标区域图像利用仿射变换矩阵，对图像进行反方向的倾斜校正，使得输电线呈水平方向。

所述仿射变换矩阵为：

在倾斜校正后的图像中划定输电线路目标区域，目标区域的定义规则如下：

将检测到的最外侧两条输电线边缘直线向其垂直方向扩展区域，即任意一条输电线向着远离另一条输电线方向扩展，扩展后得到的水平直线为水平边界；所述输电线与各自水平边界的距离为m；在水平边界区域内截取最大内接矩形；即完成输电线路目标区域的划定。

所述m为0.8-2倍的最外侧两条输电线间垂直距离的长度。

在输电线路目标区域内，搜索输电线路边缘直线断续处的连通域，生成每个连通域的最小外接矩形，并标记为一处疑似区域；

步骤五：计算相邻帧图像中输电线路目标区域的光流分布，并对光流图像进行阈值分割、形态学运算与滤波处理。比较疑似区域与背景区域的光流速度均值，如疑似区域大于背景区域的设定倍数阈值，则判定异物存在，疑似区域即为异物存在区域，实现输电线路异物检测。

通过光流算法计算相邻帧输电线路目标区域的全局性光流图像，由于异物像素点相对背景像素点的运动速度较快，因此异物所在区域的光流速度标量均值更大。为确定异物，需对光流图像进行自适应阈值分割，将目标和背景进行分离。对分割后的二值光流图像进行形态学的闭运算，填充区域内部空洞；采用均值滤波去除背景噪点。分别计算疑似与背景区域的光流速度标量均值，根据比较结果确定异物存在情况。

异物存在情况确定方法为：当疑似区域内光流速度标量均值vobject大于3倍的vbackground时，判断该疑似区域内存在线路搭挂异物；当vobject≤3·vbackground时，该疑似区域内无线路异物。

有益效果

1.本发明公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，基于线段特征与光流分布计算的目标检测方法，在对输电线路及搭挂异物进行目标检测时能够避免利用复杂神经网络的训练步骤，且效果不受光照与复杂背景的限制，鲁棒性强，泛用程度高，且实时性强，可以适用于多种电力巡检环境。

2.本发明公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，利用计算机视觉进行输电线异物搭挂检测，相比于人工目视排查等方法减少主观误判，显著提高检测准确率，并且利用无人机巡检效率高，实时性高。

3.本发明公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，硬件设备较少，无需采购与深度学习相关的服务器，输电线路上无需架设传感器，节约人力，具有成本低、人工参与程度低的优点。

4.本发明公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，能够显著提高无人机对输电线路的识别效率并且能够实时判断异物搭挂情况，排查出可能存在的安全隐患，为输电线路的维护保障提供支撑。

附图说明

图1是本发明的一种基于视觉的输电线路识别及异物入侵在线检测方法流程示意图；

图2是图像预处理效果图；图2(a)为巡检样本图像1，图2(b)为图2(a)的灰度图像，图2(c)为图2(b)的分段线性灰度化结果；

图3是edlines(edgedrawinglines)提取线段的结果，其中红色线段为edlines提取的直线信息；

图4是输电线路边缘直线检测结果，其中红色线段为输电线路边缘直线；

图5是输电线路目标区域光流图处理结果；图5(a)为输电线路目标区域与疑似区域，其中红色框分别代表疑似区域o1和o2，图5(b)为输电线路目标区域光流图，图5(c)为经过处理的二值光流图；

图6是巡检样本图像1的异物检测结果为：存在异物。

图7是巡检样本图像2的检测结果；图7(a)是巡检样本图像2，图7(b)是7(a)的输电线路目标区域光流图，图7(c)表示检测结果显示为：样本图像2无异物存在。

具体实施方式

下面结合附图与实施例对本发明进行详细说明。

如图1所示，本实施例公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，具体实现步骤如下：

选定无人机传回到处理平台的某区域实际巡检视频，在处理平台进行处理。实施例抽取巡检视频中的2帧不同图像分别作为方法验证的样本图像。如图1所示，本实施例公开的一种基于视觉的输电线路识别及异物入侵在线检测方法，具体实现步骤如下：

步骤一：对无人机航拍图像进行双边滤波与分段线性灰度变换，得到预处理后的图像，如图2所示；

双边滤波器的综合权重影响因子b(x,y,p,q)表示为：

式中，b(x,y,p,q)表示像素(p,q)在双边滤波器窗口中心像素(x,y)上的综合权重影响因子。σd代表邻域内像素的空间距离方差，σg代表窗口内像素灰度的方差，双边滤波根据图像窗口内像素的亮度信息，计算灰度之间的相似度，并与距离因子的权重结合，消除航拍图像噪点，获得较好的图像边缘效果。

对滤波后的图像进行灰度化处理，对rgb彩色图像的r、g、b通道分量进行加权平均，算法如下：

i(x,y)＝0.2987r(x,y)+0.5870g(x,y)+0.1140b(x,y)

其中i(x,y)为灰度图像(x,y)处灰度值，r(x,y)原始图像(x,y)处红色通道像素值，0.5870g(x,y)为原始图像(x,y)处绿色通道像素值，0.1140b(x,y)为原始图像(x,y)蓝色通道像素值。

为了增强图像中输电线区域的对比度，利用分段线性变换计算变换后像素点灰度值，扩展输电线灰度区间，得到基于输电线特征增强后的图像。假定输电线灰度值范围为[a,c]，对于每一个像素点(x,y)进行下式操作：

式中，f(x,y)为增强后坐标为(x,y)的像素灰度值，c'、a'表示变换后的图像的灰度分段点。通过上式运算得到扩展输电线灰度区间后的增强图像。预处理效果图如图2所示，其中图2(a)为巡检样本图像1，图2(b)为图2(a)的灰度图像，图2(c)为图2(b)分段线性灰度化结果。由图2(c)可看出输电线灰度范围得到增强，有利于后续边缘直线的提取。

步骤二：对灰度增强后的图像利用edlines(edgedrawinglines)算法提取线段特征。

edlines(edgedrawinglines)线段提取方法的步骤为：

1.采用5×5高斯内核的高斯滤波器平滑灰度图像；

2.利用sobel、prewitt等梯度算子计算每个像素的梯度；

3.产生在边缘像素中具有高存在概率的像素锚点，并进行连接，由梯度峰值生成像素链；

4.通过最小二乘直线拟合并提取生成的像素链线段；

5.根据亥姆霍兹原理排除虚假线段，获取精准线段。

利用edlines方法提取步骤一增强后图像中的线段信息。edlines线段提取结果如图3所示，图中红色线段为edlines算法检测到的巡检样本图像1的直线段。

步骤三：将步骤二得到的线段特征进行角度区间分类，提取输电线平行线段组，并将满足预设线段连接标准的平行线段组进行融合。

为了提取输电线区域，利用输电线间互相平行的拓扑结构特征进行平行线段组提取。将0～180°划分为36个小区间，每5°一个区间，对检测到的线段按角度归为36类。统计角度在各区间内的所有直线段长度之和，最大值所对应角度区间为输电线的走向角度范围。通过保留倾角在该角度区间内的直线段，剔除剩余直线段，即能够获得与输电线走向近似一致的平行线组，包含的n条线段信息为(xk1,yk1),(xk2,yk2),k∈[0,n-1]。

将所述平行线组中满足线段融合标准的断续线段融合的实现方法为：按照线段端点坐标由左至右进行排序，根据两条序号相邻的线段的自身长度和距离以及两线段之间的相差角度，判断是否对二者进行融合，当两线段中点间距小于设定阈值，且两线段角度差值小于相应阈值，此时将两线段进行融合，具体方法为：

第i条线段端点坐标为(xi1,yi1),(xi2,yi2),i∈[0,n-1]，相邻的第j条线段端点坐标为(xj1,yj1),(xj2,yj2),j∈[0,n-1]且j＞i；则第i条线段的长度表示为：

第j条线段的长度表示为：

两线段中点距离表示为：

设定两线段中点距离的长度阈值为lthres＝4max(li,lj)。

第i条线段的倾斜角为第j条线段的倾斜角为倾斜角阈值为θthres。

当li,j≤lthres且|θi-θj|＜θthres时，将i,j两条线段进行融合，得到一条端点坐标为(xi1,yi1),(xj2,yj2),i,j∈[0,n-1]的线段，否则仍然保留为两条线段。

对步骤三得到的n个平行线段进行逐一处理，得到融合后的直线段。

步骤四：根据输电线路的形状和光谱特性特征寻找并划定输电线路目标区域，并根据异物特征标记疑似区域；

将步骤三中得到的融合后的线段作为目标线段，基于输电线形状和颜色特征约束进行线段过滤，得到输电线路边缘直线。

所述输电线路特征约束条件为：

约束条件一、若融合后的一条直线段总长度小于图像最短边的则认为该条直线不是输电线的边缘直线。

约束条件二、对目标线段的像素颜色特性进行统计，计算一条直线上的在rgb空间中的颜色矢量偏离灰度轴的夹角在5°范围以内的像素点个数，若此类像素个数低于该条直线上像素总个数的90％，则认为该条直线不是输电线的边缘直线。

根据上述两个约束条件对非输电线路目标线段进行剔除，保留满足约束的目标线段即得到输电线路边缘直线，巡检样本图像1的输电线路边缘直线检测结果如图4所示，图中红色线段为输电线路边缘直线，从图中可以看出背景干扰线段被剔除。然后进行输电线路区域的识别与定位步骤即以下三步：

1.最长边缘直线与水平方向的夹角，即倾斜角作为旋转依据，对输电线边缘直线图与步骤一的无人机航拍图像进行倾斜校正；

所述倾斜校正的方法为：得到的最长边缘直线段端点坐标为(xlongest1,ylongest1),(xlongest2,ylongest2)，最长边缘直线的倾斜角为

将倾斜角θlongest作为输入，目标区域图像利用仿射变换矩阵，对图像进行反方向的倾斜校正，使得输电线呈水平方向。

所述仿射变换矩阵为：

2.在倾斜校正后的图像中划定输电线路目标区域，目标区域的定义规则如下：

将检测到的最外侧两条输电线边缘直线向其垂直方向扩展区域，即任意一条输电线向着远离另一条输电线方向扩展，扩展后得到的水平直线为水平边界；所述输电线与各自水平边界的距离为m；在水平边界区域内截取最大内接矩形；即完成输电线路目标区域的划定。选取m为1.1倍的最外侧两条输电线间垂直距离的长度。

3.在输电线路目标区域内，搜索输电线路边缘直线断续处的连通域，生成每个连通域的最小外接矩形，并标记为一处疑似区域。

步骤五：计算相邻帧输电线路目标区域的光流分布，并对光流图像进行阈值分割、形态学运算与滤波处理。比较疑似区域与背景区域的光流速度均值，如前者大于后者的设定倍数阈值，则判定异物存在，疑似区域即为异物存在区域，实现输电线路异物检测。

在上一步得到输电线路目标区域与疑似异物区域后，通过全局性光流算法计算相邻帧输电线路目标区域的光流图。全局性光流计算的基本约束方程与平滑约束方程为：

it+ixu+iyv＝0

式中，u和v分别为光流场中像素点(x,y)在t时刻所求的光流速度的水平分量和垂直分量，it、ix和iy分别是像素点(x,y)处灰度值i对x、y和t的偏导数，e为定义的能量函数，λ为平滑项系数因子，在图像噪声较大时取较大的值。

根据无人机沿水平方向巡线的特征，需提取光流速度的标量op为：

并按照以下步骤实现进一步异物检测：

1.对光流图像进行自适应阈值分割，将目标和背景进行分离；

分割阈值的计算方法如下：

假设图像有m行和n列，并且分别具有n1个目标像素和n2个背景像素。则该图像中目标像素占比为

图像中背景像素的占比是

设μ1为前景区域像素的平均灰度值，μ2是背景区域像素的平均灰度值，则该灰度图像的平均灰度值为

μ＝μ1ω1+μ2ω2

则目标和背景两区域的类间方差可以表示为

g＝ω1(μ-μ1)²+ω2(μ-μ2)²

通过遍历整个图像找到使类间方差最大的阈值tth，将灰度值大于阈值tth的像素置为1，将灰度值小于阈值tth的像素置为0，区分出光流图像的前景和背景，得到分割后的光流图像。

2.对分割后的光流图像进行形态学的闭运算，填充区域内部空洞，并采用均值滤波去除背景噪点；

闭运算是先膨胀后腐蚀的复合运算。用集db表示图像中的对象，在给定图像上移动结构元素。记b为结构元素，f为图像，(i,j)为结构元素b中的像素坐标，(x,y)为图像中的像素坐标。将膨胀运算记为则有

将腐蚀运算记为(fθb)，则有

(fθb)(x,y)＝max{f(x+i,y+j)-b(i,j)|(i,j)∈db}

闭运算处理后，进行均值滤波处理。选择8邻域均值滤波模板，对于图像中的任意一点像素，计算其8邻域像素的均值来代替该像素的灰度值。经过形态学的闭运算与均值滤波，最终得到经过处理的二值光流图像。

输电线路目标区域光流图处理结果如图5所示，其中图5(a)为输电线路目标区域与疑似区域，图中红色框分别代表疑似区域o1和o2，图5(b)为输电线路目标区域光流图，图中亮度更高的像素相对运动速度较快，光流标量值更大；图5(c)为经过处理的二值光流图，图中白色代表前景，黑色代表背景。

3.根据图像中像素的瞬时运动速度信息判断目标物在图像中的距离关系。

疑似区域为o，区域o内像素总数为no。输电线背景区域表示在输电线路目标区域内除疑似区域以外的区域，背景区域b内像素总数为nb。疑似区域的光流速度标量均值为vobject，背景区域的光流速度标量均值为vbackground，则光流标量均值的表达式为：

根据对大量巡检图像的分析与统计，设定阈值为输电线背景区域光流速度标量均值的3倍，对图5(c)所示二值光流图进行异物检测。经计算，疑似区域o1的光流速度标量均值大于该阈值，则o1处存在异物；疑似区域o2的光流速度标量均值低于该阈值，则o2处不存在异物，排除该疑似区域。异物检测结果如图6所示，图中红色实线框为异物分布区域，在复杂背景中准确定位出异物，并排除复杂背景引起的疑似情况，可以减少漏检情况发生。

步骤六：对巡检样本图像2重复步骤一至步骤五的处理过程，进行异物检测。检测结果如图7所示，其中图7(a)为巡检样本图像2，图7(b)为图(a)经过步骤一至步骤五处理后得到的输电线路目标区域光流图，图中红色框代表背景噪声产生的疑似区域o1’。由于疑似区域o1’的光流速度标量均值小于3倍的背景区域的光流速度标量均值，判定样本图像2中不存在异物，即图7(c)显示检测结果为：样本图像2中不存在异物。由此，该方法也可以排除将复杂背景错检为异物的误检情况。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。