基于模板匹配与光流法的无人机图像的输电线路异物检测的制作方法

本发明专利涉及图片处理技术领域，尤其涉及一种基于模板匹配与光流法的无人机图像的输电线路异物检测方法。

背景技术：

近年来，随着电力系统的发展，输电线路范围不断扩大，因为塑料袋、风筝等异物悬挂在输电线上而引起的输电线路故障频繁发生，给人民生活生产造成了极大的影响与损失。所以，对输电线路悬挂异物情况进行监控，及时发现并排除故障有着重大意义。

目前，高压输电线路异物检测的方法主要是通过人工排查，但因为输电线路所处范围广、地理位置复杂，人工排查难度较大，成本高，且效率较低。利用无人机进行巡检，通过拍摄的输电线路相关视频图像判断输电线路状态，具有成本低，效率高，不受地形限制等优点，是输电线路异物监测的一种行之有效的方法。

采用基于智能视频的无人机图像异物检测方法排查输电线路上附着异物的情况，具有实时性强、精确度高并且检测速度快等优点。目前国内关于此方面的专利十分稀少，中国专利“基于视觉显著性分析的输电线路异物检测方法”（申请号：201610269864.2）提出通过显著性水平计算模型判断所定义感兴趣区是否存在异常来分析输电线附着异物情况的方法，具有检测速度快，效率高等优点，该方法虽然在一定程度上提高了异物判断的鲁棒性，但针对背景复杂和异物种类多样等情况，单纯的视觉显著性异常检测并不能彻底的解决因为环境的复杂性造成的判断失误等情况，因此其精确度和适应性都还有待提高。

技术实现要素：

为了克服现有技术的不足，本发明提出了一种基于模板匹配与光流法的无人机图像的输电线路异物检测方法。提出了一种边缘对比度增强方法，有效增强输电线边缘对比度，为后续边缘提取提供方便。结合灰度形态学原理提出一种边缘检测方法，能够有效提取输电线边缘并去除背景像素。对无人机巡检拍摄的视频图像进行处理，根据距离摄像头近的景物在图像中对应像素点的运动速度快的特点，加入距离信息，结合模板匹配、光流法和特征匹配等手段提出一种异物识别方法，精确度高，适应性强，大大提高了对复杂环境背景的抗干扰能力。

本发明解决其技术问题所采用的技术方案是：

所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，包括以下步骤：

步骤1：通过无人机巡检输电线路，按照事先设定的方式，由机载摄像头采集输电线路视频图像；

步骤2：根据提出的线性边缘对比度增强方法增强输电线的边缘对比度；

步骤3：利用线型模板对边缘对比度增强后的输电线路图像进行均值滤波；

步骤4：根据提出的基于特定结构元素的灰度形态学边缘特征提取方法提取输电线边缘直线；

步骤5：根据提取出的输电线边缘直线、图像分辨率、无人机与输电线路距离、无人机飞行速度和摄像机帧频定义输电线路区域；

步骤6：通过模板匹配算法寻找相同时间间隔的下一帧图像的相似度最高的匹配区域；

步骤7：截取上一帧图像的输电线路区域和下一帧图像的模板匹配区域作为一对相邻图像，通过光流法计算相邻帧图像对应像素点之间的光流速度，并按照光流速度数值由小到大的顺序均匀映射到0-255的灰度区间，做出光流速度的灰度图；

步骤8：根据提出的二值化阈值计算方法计算光流速度灰度图像的二值化阈值，然后用矩形方框沿着边缘将二值化后的目标部分包围起来，并将矩形方框区域初步视为异物区域；

步骤9：将矩形方框区域的四个边长分别向四周延伸j个像素点，适当扩大异物区域，然后在原相邻图像中的相同区域进行特征点匹配与追踪，根据计算出的特征点的像素移动速度判断异物。

所述的步骤1中的按照事先设定的方式采集输电线路视频图像是令巡检无人机尽量固定距地面高度和与输电线之间的垂直距离，沿输电线路的走向水平匀速行驶，令机载摄像头光心的轴线方向垂直于输电线路走向，定时采集输电线路相关视频图像。

所述的步骤2中的线性边缘对比度增强方法，具体包括以下步骤：

步骤a：对输电线路图像进行一层小波分解，分为近似分量、水平细节分量、垂直细节分量和对角细节分量；

步骤b：用长度为n的线型模板分别遍历水平细节分量图像和垂直细节分量图像，判断线型模板覆盖的所有像素点中在相同坐标位置处的垂直分量cv和水平分量ch满足条件cv(i,j)>t1&&ch(i,j)<t2的像素个数n，其中阈值t1根据输电线边缘垂直分量最小的灰度值变化梯度的幅值确定，t2根据输电线边缘水平分量最大的灰度值变化梯度的幅值确定；

步骤c：当满足条件的像素个数大于n/2时，对垂直细节分量的模板中心像素灰度值乘以大于1的系数进行增强，对垂直细节分量的模板中心像素灰度值乘以小于1的系数进行减弱；

步骤d：按照步骤bc遍历完水平细节分量图像和垂直细节分量图像的所有像素点后，对分解图像进行小波重构，得到重构图像。

基于小波分解的边缘对比度增强处理可以增大输电线边缘法线方向的灰度值梯度，同时使边缘方向的灰度值变化更加均匀，大大增强了后续边缘检测的精确度和适应性。

所述的步骤2和步骤3中的线型模板是指宽度为一个像素的长方形模板，其中模板长度为奇数个像素数，具体大小根据图像分辨率自行设定。

根据输电线近似水平直线的特征，使用线型模板滤波，在模糊背景景物的同时，输电线边缘处的水平方向灰度值梯度变化更加均匀，且与目标边缘垂直的法线方向灰度值梯度变化不大，相对而言，突出了目标边缘的对比度，有利于输电线边缘特征的提取。

所述的步骤4中的特定结构元素是以中心像素为起点，垂直向上延伸p个像素点，水平向右延伸q个像素点所组成的特征模板。

所述的步骤4中的基于特定结构元素的灰度形态学边缘特征提取方法包括以下步骤：

步骤a：用所述特征结构元素遍历均值滤波处理后的图像，统计包含中心像素在内的垂直方向p+1个像素灰度值的极大值max1、极小值min1和包含中心像素在内的水平方向q+1个像素灰度值的极大值max2、极小值min2；

步骤b：按照如下公式进行如下运算：

其中，y为中心像素灰度值，t3和t4分别为垂直方向和水平方向灰度值变化梯度判断阈值，对于水平方向边缘，t3数值较大，t4较小，可以根据经验设定；

步骤c：对边缘检测后的图像进行二值化，使其变为二值图像；

步骤d：通过概率霍夫直线检测算法提取二值图像中的直线段，并根据图像分辨率大小，去除像素数量小于n1的直线段，并将直线倾斜角度差值的绝对值在0-a度范围内且线段起点像素横向坐标差值在n2个像素点之内的直线段合并为一条直线并延长，最终得到输电线边缘直线。

基于灰度形态学的边缘检测算法可以根据所求目标边缘的特征定义结构元素形态和进行腐蚀膨胀的要求，在目标边缘提取的同时去除非目标边缘，边缘提取的效果更好。

所述的步骤5中的输电线路区域定义方法包括以下步骤：

步骤a：以检测到的输电线边缘直线的最外侧两条直线向外垂直延伸n3个像素点后的水平直线为水平边界；

步骤b：从图像中心开始，沿水平方向向两边延伸相同长度dn画垂直线作为输电线区域的垂直边界，其中，要保证输电线路区域的长度2*dn大于异物像素点在异物检测的时间内在图像中的移动距离s，s的计算公式如下：

其中，l为机载摄像头与输电线路之间的垂线方向距离，f为相机焦距，v为无人机匀速飞行速度，t为相邻图像帧的间隔时间，n4为确定异物所需要连续处理的图像帧数。

所述的步骤6中的通过模板匹配算法寻找相同间隔时间的下一帧图像的相似度最高的匹配区域时，因为相邻帧对应像素的偏移位移较小，在下一帧图像搜寻最大匹配模板时，可以在所定义输电线路区域的基础上，分别向四周延伸n5个像素点，然后直接在此区域寻找与输电线路区域相匹配的模板。

通过定义输电线路区域和模板匹配搜寻区域，可以增强匹配的准确度，同时还能够减小计算量，增加算法的计算速度。

所述的步骤8中的二值化阈值计算方法包括以下步骤：

步骤a：计算所得光流图像中各个像素点的光流速度标量值vn，然后统计所有像素点的平均光流速度vave和光流速度最大的前mpin个像素的平均光流速度vmave，其中mpin的数值根据图像分辨率和所设定的输电线路区间大小自行设定；

步骤b：判断vmave与vave的大小，如果vmave大于4.5倍的vave，则设定二值化阈值为te，计算公式如下，否则判断不存在异物，不再继续后续处理：

其中，vmax为所有像素点的最大光流速度，当所计算的阈值te不为整数时，通过四舍五入为整数。

在输电线路图像中，异物像素点的移动速度要远远大于背景像素点的移动速度，因为所定义的输电线区域中以背景景物为主，因此模板匹配多为背景景物的匹配，对于两张匹配图像来说，相当于背景像素点相对静止，异物像素点相对运动。因此，通过光流法计算得出的异物像素点的运动速度远远大于背景像素点的运动速度，通过这个原理，根据统计结果定义的二值化阈值计算方法精确度高，且能够非常好的分离异物与背景。

所述的步骤9中的根据计算出的特征点的像素移动速度判断异物包括以下步骤：

步骤a：根据像素点在图像中的坐标计算相邻帧异物匹配特征点的位移ds，即相邻帧的间隔时间内异物像素点的移动速度vp1；

步骤b：然后再将所得的模板匹配区域作为新的输电线路区域，再对下一帧图像进行模板匹配、光流计算、特征点匹配追踪等步骤，计算相邻帧内异物像素点的移动速度vp2；

步骤c：按照步骤b进行3次追踪，计算3次追踪所得的异物像素点的移动速度vp1、vp2、vp3；

步骤d：按照如下公式计算异物像素点在图像中的移动速度vyp和背景景物像素点在在图像中的移动速度vbp：

其中，l1为机载摄像头与输电线路之间的垂线方向距离，l2为机载摄像头与地面之间的垂线方向距离，f为相机焦距，v为无人机匀速飞行速度，t为相邻图像帧的间隔时间；

步骤e：判断如果3次特征匹配区域都相同，则分别计算vp1、vp2、vp3与vyp、vbp的误差，如果vp1、vp2、vp3均小于vyp且误差小于20%，vp1、vp2、vp3均大于vbp且误差大于30%，则确定特征点为异物特征点，即异物存在。

通过特征检测与特征跟踪计算异物像素点在图像中的实际移动速度，然后与根据公式计算出的背景景物与异物对应像素点的移动速度进行对比排除，能够非常准确的判断异物的存在，计算精确度高。

与现有技术相比较，本发明具有如下优点：

1）基于小波分解的边缘对比度增强处理可以增大输电线边缘法线方向的灰度值梯度，同时使边缘方向的灰度值变化更加均匀，大大增强了后续边缘检测的精确度和适应性。

2）根据输电线近似水平直线的特征，使用线型模板滤波，在模糊背景景物的同时，输电线边缘处的水平方向灰度值梯度变化更加均匀，且与目标边缘垂直的法线方向灰度值梯度变化不大，相对而言，突出了目标边缘的对比度，有利于输电线边缘特征的提取。

3）基于灰度形态学的边缘检测算法可以根据所求目标边缘的特征定义结构元素形态和进行腐蚀膨胀的要求，在目标边缘提取的同时去除非目标边缘，边缘提取的效果更好。

4）通过定义输电线路区域和模板匹配搜寻区域，可以增强匹配的准确度，同时还能够减小计算量，增加算法的计算速度。

5）根据与摄像头距离近的物体对应像素点在图像中的运动速度快的特点，加入距离因素，结合模板匹配算法、光流法和二值化算法判断异物区域，二值化效果好，能够非常完美的分离异物与背景。

6）通过特征检测与特征跟踪计算异物像素点在图像中的实际移动速度，然后与根据公式计算出的背景景物与异物对应像素点的移动速度进行对比排除，能够非常准确的判断异物的存在，计算精确度高。

附图说明

图1：基于模板匹配与光流法的无人机图像的输电线路异物检测方法流程图。

图2：基于边缘对比度增强操作的线型模板。

图3：输电线路原灰度图像和原灰度图像的截图。

图4：输电线路重构图像和重构图像的截图。

图5：均值滤波后的输电线路图像。

图6：基于灰度形态学边缘特征提取的特征结构元素模板。

图7：基于灰度形态学的输电线路边缘提取图像。

图8：输电线路边缘直线图像。

图9：输电线路图像的相邻模板匹配图像。

图10：光流速度的灰度图像。

图11：光流灰度图像的二值图像。

图12：异物特征点检测与追踪图像。

具体实施方式

下面结合附图对本发明作进一步详细的说明：

本发明基于模板匹配与光流法的无人机图像的输电线路异物检测方法，如图1所示，具体按以下步骤实施：

首先，令巡检无人机尽量固定距地面高度和与输电线之间的垂直距离，沿输电线路的走向水平匀速行驶，令机载摄像头光心的轴线方向垂直于输电线路走向，定时采集输电线路相关视频图像。

然后，对采集的视频图像进行边缘对比度增强处理，具体包括以下步骤：

步骤a：对输电线路图像进行一层小波分解，分为近似分量、水平细节分量、垂直细节分量和对角细节分量；

步骤b：用如图2所示的线型模板分别遍历水平细节分量图像和垂直细节分量图像，判断线型模板覆盖的所有像素点中在相同坐标位置处的垂直分量cv和水平分量ch满足条件cv(i,j)>25&&ch(i,j)<4的像素个数n；

步骤c：当满足条件的像素个数大于n/2时，对垂直细节分量的模板中心像素灰度值乘以系数4进行增强，对垂直细节分量的模板中心像素灰度值乘以系数0.2进行减弱；

步骤d：按照步骤bc遍历完水平细节分量图像和垂直细节分量图像的所有像素点后，对分解图像进行小波重构，得到重构图像。

其中，原灰度图像和原灰度图像的截图如图3所示，重构图像和重构图像的截图如图4所示，对比两幅图像可以看出，经过边缘对比度增强操作后，输电线边缘法线方向的灰度值梯度变化增大，边缘方向的灰度值变化更加均匀。具体效果相当于在水平边缘处增加了一条黑白相间的直线。

接着，利用如图2所示的线型模板对边缘对比度增强后的输电线路图像进行均值滤波，结果如图5所示，由图中可以看出，经过均值滤波，背景景物变得更加模糊，输电线边缘处的水平方向灰度值梯度变化更加均匀，且与目标边缘垂直的法线方向灰度值梯度变化不大，相对而言，突出了目标边缘的对比度，有利于输电线边缘特征的提取。

均值滤波后，根据基于特定结构元素的灰度形态学边缘特征提取方法提取输电线边缘直线，具体包括以下步骤：

步骤a：用如图6所示的特征结构元素遍历均值滤波处理后的图像，统计包含中心像素在内的垂直方向3个像素灰度值的极大值max1、极小值min1和包含中心像素在内的水平方向5个像素灰度值的极大值max2、极小值min2；

步骤b：按照如下公式进行边缘输电线边缘特征提取：

其中，y为中心像素灰度值，结果如图7所示；

步骤c：对边缘检测后的图像进行二值化，使其变为二值图像；

步骤d：通过概率霍夫直线检测算法提取二值图像中的直线段，并根据图像分辨率大小，去除像素数量小于60的直线段，并将直线倾斜角度差值的绝对值在0-5度范围内且线段起点像素横向坐标差值在4个像素点之内的直线段合并为一条直线并延长，最终得到输电线边缘直线，结果如图8所示。

由图7可以看出，基于灰度形态学的边缘检测算法可以去除大量复杂背景边缘，更加有针对性的提取目标边缘。经过概率霍夫直线检测后，结果如图8所示，输电线的边缘直线被完整提取出来，而且非目标像素点被完全去除。

输电线边缘直线提取出来后，根据提取出的输电线边缘直线、图像分辨率、无人机与输电线路距离、无人机飞行速度和摄像机帧频定义输电线路区域，具体包括以下步骤：

步骤a：以检测到的输电线边缘直线的最外侧两条直线向外垂直延伸150个像素点后的水平直线为水平边界；

步骤b：从图像中心开始，沿水平方向向两边延伸相同长度200画垂直线作为输电线区域的垂直边界，其中，要保证输电线路区域的长度2*200大于异物像素点在异物检测的时间内在图像中的移动距离s，s的计算公式如下：

其中，l为机载摄像头与输电线路之间的垂线方向距离，f为相机焦距，v为无人机匀速飞行速度，t为相邻图像帧的间隔时间，n4为确定异物所需要连续处理的图像帧数。

然后，通过模板匹配算法寻找相同时间间隔的下一帧图像的相似度最高的匹配区域。其中，因为相邻帧像素点运动位移较小，在下一帧图像进行模板匹配搜索时，可以在所定义输电线路区域的基础上，分别向四周延伸50个像素点，然后直接在此区域寻找与输电线路区域相匹配的模板。

截取上一帧图像的输电线路区域和下一帧图像的模板匹配区域作为一对相邻图像，结果如图9所示。然后通过光流法计算相邻帧图像对应像素点之间的光流速度，并按照光流速度数值由小到大的顺序均匀映射到0-255的灰度区间，做出光流速度的灰度图，结果如图10所示。

接着计算灰度图像二值化的阈值，具体包括以下步骤：

步骤a：计算所得光流图像中各个像素点的光流速度标量值，然后统计所有像素点的平均光流速度1.02271和光流速度最大的前100个像素的平均光流速度7.12618；

步骤b：判断7.12618与1.02271的大小，如果7.12618大于4.5倍的1.02271，则设定二值化阈值为te，计算公式如下，否则判断不存在异物，不再继续后续处理：

其中，vmax为所有像素点的最大光流速度。

然后对光流灰度图像进行二值化，结果如图11所示。并用矩形方框沿着边缘将二值化后的目标部分包围起来，将矩形方框区域初步视为异物区域。

将矩形方框区域的四个边长分别向四周延伸10个像素点，适当扩大异物区域，然后在原相邻图像中的相同区域进行特征点匹配与追踪，根据计算出的特征点的像素移动速度判断异物，具体包括以下步骤：

步骤a：根据像素点在图像中的坐标计算相邻帧异物匹配特征点的位移ds，即相邻帧的间隔时间内异物像素点的移动速度vp1；

步骤b：然后再将所得的模板匹配区域作为新的输电线路区域，再对下一帧图像进行模板匹配、光流计算、特征点匹配追踪等步骤，计算相邻帧内异物像素点的移动速度vp2；

步骤c：按照步骤b进行3次追踪，计算3次追踪所得的异物像素点的移动速度vp1、vp2、vp3；

步骤d：按照如下公式计算异物像素点在图像中的移动速度vyp和背景景物像素点在在图像中的移动速度vbp：

其中，l1为机载摄像头与输电线路之间的垂线方向距离，l2为机载摄像头与地面之间的垂线方向距离，f为相机焦距，v为无人机匀速飞行速度，t为相邻图像帧的间隔时间；

步骤e：判断如果3次特征匹配区域都相同，则分别计算vp1、vp2、vp3与vyp、vbp的误差，如果vp1、vp2、vp3均小于vyp且误差小于20%，vp1、vp2、vp3均大于vbp且误差大于30%，则确定特征点为异物特征点，即异物存在。

设定hessian阈值为10000，用surf算法对异物上存在的显著特征点进行检测与追踪，结果如图12所示。通过像素点在图像中的坐标计算特征点在输电线路图像中的移动速度，然后根据上述步骤提出的公式计算异物像素和地面景物像素的移动速度，结果如下表1所示：

表1特征点实际移动速度和对应像素点的计算速度

由表中可以看出，经过3次异物特征点追踪，特征点的移动速度vp1、vp2、vp3与异物像素点的计算速度vyp的误差在10%以内，特征点的移动速度vp1、vp2、vp3均大于背景像素点的计算速度vbp且误差大于vbp的一倍，符合上述规定，可以判定，在该图像所拍摄路段的输电线上存在异物。

以上所述仅为本发明的较佳实施实例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。