一种基于视觉显著性的输电线路配件检测方法与流程

本发明涉及一种基于视觉显著性的输电线路配件检测方法，属于计算机视觉与输电线路巡检技术领域。

背景技术：

目前，随着国家综合国力的不断发展提升，科学技术得到了飞速的发展，城市进程化也在逐渐加快，对于资源的需求也越来越多，社会的发展使得输电线路的建设需要更高的要求。输电线路是电力网中不可缺少的重要部分。它的主要作用是输送、分配和交换电能。同时，它还有另外一个更重要的作用就是将几个独立的电网连接起来，形成互联电网或统一电网，从而提高了电力系统安全供电的可取性。

输电线路从结构上可分为架空线路和电缆线路两类。高压电力线即架空线路，用绝缘子及电力金具等输电线路配件将导线架设于杆塔上的电力线，是电力网及电力系统的重要组成部分，极易受到外界的影响和损害。由于输电线路长期处在露天之下运行，使得线路配件不仅要承受正常的机械、电力荷载，还要经受风霜雨雪、雷电及大气污染等各种恶劣的自然条件的影响，这些影响都会危及输电线路的安全运行。为保证输电线路的安全运行，有必要对输电线路的绝缘子、防震锤等电力配件进行检测。

传统的输电线路配件检测通常是人工到位巡检，这种模式不仅人力资源消耗大，而且危险性高。在电力线的大覆盖面积和多样化环境的需求下，人工到位电力线配件检测效率低，实时性差，往往不能满足电力线巡检的覆盖面与即时性要求。此外，传统的人工输电线路配件检测方法往往是通过人眼观察，根据工作人员的经验对配件的状态进行判断，对工作人员的经验及状态过分依赖，无法对输电线路配件缺陷自动检测及预警，极易出现误检和漏检现象，不能满足电力线巡检的准确度要求。

技术实现要素：

目的：为了克服现有技术中输电线路配件检测领域中的技术空缺，本发明提供一种基于视觉显著性的输电线路配件检测方法，试图改善输电线路配件检测的方式，提高巡检的实时性和准确率。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于视觉显著性的输电线路配件检测系统，包括：无人机视频图像信息采集模块、图像预处理模块、感兴趣区域提取模块、配件缺陷检测模块、结果输出反馈模块；

所述无人机视频图像信息采集模块利用搭载双目视觉摄像设备的无人机获取输电线路分布信息；

所述图像预处理模块用于对无人机采集的视频图像进行取帧，对帧图像进行预处理工作，包括图像去噪和图像梯度提取；

所述感兴趣区域提取模块基于直线段生长算法和凸包算法，通过检测帧图像中输电线路来获取感兴趣区域；

所述配件缺陷检测模块采用四元数相位谱分析和超像素显著置信度计算对感兴趣区域进行处理得到显著图，得到二值化的显著性区域；

所述结果输出反馈模块用于对输电线路缺陷配件信息的进行反馈，采用k-means算法对显著性区域面积设定阈值，当显著性区域面积大于阈值时，在计算机软件界面反馈配件的具体信息，记录配件检测时间、地理位置，当显著性区域面积小于阈值时，对该显著性区域不做处理。

作为优选方案，所述双目视觉摄像设备包括规格参数相同的两个视频图像采集设备，分别以左右目的形式排列工作，以固定视角同时采集视频图像信息；无人机进行电力线巡检时，以与电力线平行的路线在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行。

一种基于视觉显著性的输电线路配件检测方法，包括如下步骤：

步骤1：将输电线路视频数据备份在数据区，并输入拍摄时间和地点；将视频数据按照一定的时间间隔对视频进行取帧，形成一个帧序列；

步骤2：对帧图像进行预处理，包括图像去噪和图像梯度提取；使用sobel算子提取梯度，计算梯度方向向量；

步骤3：以直线段生长算法为基础，通过像素生长法、线段区域生长法和凸包算法为帧图像提取感兴趣区域；

步骤4：采用四元数相位谱分析和超像素显著置信度计算对感兴趣区域进行处理得到显著图，计算得到二值化的显著性区域；

步骤5：采用k-means算法对显著性区域面积设定阈值，当显著性区域面积大于阈值时，在计算机界面反馈缺陷配件的具体信息，记录缺陷配件检测时间、地理位置，当显著性区域面积小于阈值时，对该区域不做处理。

作为优选方案，所述视频数据利用无人机搭载双目视觉摄像设备对输电线路进行航拍采集相关信息，将采集到的视频存储至无人机携带的存储设备中，并利用移动无线网络传输至后台。

作为优选方案，所述双目视觉摄像设备像素不低于500w，无人机匀速飞行方向与输电线路分布方向平行，无人机飞行过程匀速稳定。

作为优选方案，所述步骤3包括：

3.1：在帧图像某一区域中选取一像素点作为种子点，采用像素生长法进行区域扩张检测；对像素点的方向向量角和当前区域方向向量角的差值设定阈值，当像素点的方向向量角和当前区域方向向量角差值小于阈值时，将像素点归入当前区域，得到直线段区域；

其中，像素点的方向向量为梯度方向向量，区域方向向量角的计算公式为：

式中θ为区域方向向量角，anglei为区域内第i个像素点的方向向量角；

直线段区域方向角即为区域方向向量角，直线段区域中心位置为该区域的重心，重心位置(nx,ny)为：

式中，p(x,y)为直线段区域中像素点坐标，(x,y)为像素点方向向量，s为直线段区域；基于重心(nx,ny)和区域方向向量角θ，以直线段区域方向向量为正方形对角线，重心为对角线中点确定一个正方形覆盖整个区域，正方形对角线即为直线段；对该图像重复上述步骤得到其他直线段，从而获得多条离散直线段；

3.2：在获得的多条离散直线段中选取一条直线段作为种子直线段，采用线段区域生长法对离散直线段进行区域聚类划分，判断离散直线段是否属于同一束直线；收集所有离散直线段两端点的位置信息，计算种子直线段和其他直线段的角度偏差sθ和位置偏差sd，并为sθ和sd设置阈值，当sθ和sd小于阈值时，将当前直线段归入种子直线段所在的直线；

其中，sθ和sd的计算公式如下：

sθ＝|θl1-θl2|

sd＝min(p11-p21|,|p11-p22|,|p12-p21|,|p12-p22|)

式中，θl1、θl2代表直线l1、l2与水平方向的夹角，即直线方向；p11、p12和p21、p22分别为l1、l2的端点坐标；对该图像进行线段区域生长，得到属于同一直线的直线段聚集区域；

3.3：与3.1同理，分别计算直线段聚集区域的方向向量角和重心，以直线段聚集区域的方向向量为正方形对角线，重心为对角线中点确定一个正方形覆盖整个区域，正方形对角线即为最终直线段，即输电线路分布；

3.4：以最终直线段为x轴在帧图像中建立二维坐标系，坐标系中有其他离散直线段，分别取离散直线段端点横坐标最小与最大的两个点及离x轴最远的点根据凸包算法，计算出凸多边形覆盖最大的区域，即为感兴趣区域。

作为优选方案，所述步骤4包括：

4.1：将三通道的感兴趣区域图像变换为单通道的四元数矩阵iq，计算四元数矩阵的四元数dct参数；

4.2：基于四元数dct变换得到初始显著图sdct(iq)；

4.3：对于感兴趣区域图像中的超像素p，定义超像素之间的欧式距离为dec(p,pi)，pi为超像素p所属区域任意超像素；

4.4：基于pi属于同一区域，计算超像素p所属区域的面积：

式中，n为超像素个数，σ为超像素之间欧式距离的公差；

4.5：对于感兴趣区域中每一个超像素p，它的显著置信度等于：

式中，ts为超像素p内所有像素点显著性之和，areasize为超像素p所属区域的面积，对显著置信度wslc(p)进行归一化得到归一化的显著置信度

4.6：根据得到的显著置信度对初始显著图进行优化，得到二值化的显著性区域，即优化后配件图片，优化函数为：

其中，λ为前景和背景的平衡系数，为超像素的背景置信度w^bgd(p)＝1-wslc(p)，wi(p-pi)为超像素之间的平滑项。

作为优选方案，所述σ取10。

有益效果：本发明提供的一种基于视觉显著性的输电线路配件检测方法，利用视觉显著性技术对输电线路配件进行检测，主要通过分析搭载双目视觉摄像设备的无人机在巡检过程中拍摄到的视频，在检测到的输电线路感兴趣区域内计算视觉显著图，然后通过k-means算法对输电线路缺陷配件进行判定并反馈。该方法可及时地对输电线路配件进行自动检测，从而降低工作强度，提高工作效率。基于视觉显著性技术的输电线路配件检测与传统的人工检测相比，具有实时性好、准确度高、抗干扰能力强的优势。

附图说明

图1为本发明检测系统模块结构图；

图2为本发明系统运行拓扑结构图；

图3为本发明检测方法流程示意图；

图4为区域生长过程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

一种基于视觉显著性的输电线路配件检测系统，如图1所示，包括：无人机视频图像信息采集模块、图像预处理模块、感兴趣区域提取模块、配件缺陷检测模块、结果输出反馈模块。

所述无人机视频图像信息采集模块利用搭载双目视觉摄像设备的无人机获取输电线路分布信息，其中，双目视觉摄像设备是指规格参数相同的两个视频图像采集设备，分别以左右目的形式排列工作，以固定视角同时采集视频图像信息。无人机进行电力线巡检时，由专业工作人员对无人机进行无线遥控，以与电力线平行的路线在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行。

所述图像预处理模块用于对无人机采集的视频图像进行取帧，对当前帧图像进行预处理工作，包括图像去噪和图像梯度提取。其中，将视频序列按照一定的时间间隔取帧，得到一个帧图像序列，对每一张图像进行预处理。

所述感兴趣区域提取模块基于直线段生长算法和凸包算法，通过检测帧图像中输电线路来获取感兴趣区域。

所述配件缺陷检测模块采用四元数相位谱分析和超像素显著置信度计算对感兴趣区域进行处理得到显著图，得到二值化的显著性区域。

所述结果输出反馈模块用于对输电线路缺陷配件信息的进行反馈，采用k-means算法对显著性区域面积设定阈值，当显著性区域面积大于阈值时，在计算机软件界面反馈配件的具体信息，记录配件检测时间、地理位置，当显著性区域面积小于阈值时，对该显著性区域不做处理。依次对所有取得的帧图像进行以上处理，完成巡检过程中的缺陷配件信息的记录。

本发明系统拓扑结构，如图2所示，利用搭载双目视觉摄像设备的无人机对待检测输电线路进行视频图像信息采集，无人机飞行由专业的工作人员控制，无人机飞行方向平行于电力线分布方向。将获取的视频图像信息进行取帧，将整个视频视为一个帧序列，并依次对所有图像帧进行图像预处理、感兴趣区域提取、配件缺陷检测、结果输出及反馈，完成输电线路配件检测过程中的缺陷配件信息的记录及反馈工作。

一种基于视觉显著性的输电线路配件检测方法，如图3所示，包括如下步骤：

步骤1：当某一地区的输电线路配件需要进行检测时，利用无人机搭载双目视觉摄像设备对输电线路进行航拍采集相关信息，其中，双目视觉摄像设备像素不低于500w。无人机由专业的工作人员操控，无人机匀速飞行方向与输电线路分布方向平行，无人机飞行过程匀速稳定，双目视觉摄像设备需安装在无人机一个稳定的平台上，将采集到的视频存储至无人机携带的存储设备中，并利用移动无线网络传输至后台。

步骤2：后台将获取到的视频数据备份在数据区，并由工作人员输入拍摄时间和地点；后台再将视频数据发送给图像预处理模块进行处理，按照一定的时间间隔对视频进行取帧，将整个视频视为一个帧序列，帧图像之间连续，但不包括相同的内容。

步骤3：对帧图像进行预处理，包括图像去噪和图像梯度提取。其中，图像去噪降低帧图像的噪声，提升图像质量；针对帧图像使用sobel算子提取梯度，计算梯度方向向量。

步骤4：以直线段生长算法为基础，通过像素生长法、线段区域生长法和凸包算法为帧图像提取感兴趣区域，具体操作如下：

4.1：在帧图像某一区域中选取一像素点作为种子点，采用像素生长法进行区域扩张检测；具体操作为对像素点的方向向量角和当前区域方向向量角的差值设定阈值，当像素点的方向向量角和当前区域方向向量角差值小于阈值时，将像素点归入当前区域，得到直线段区域，区域生长过程如图4所示，其中，像素点的方向向量为梯度方向向量，区域方向向量角的计算公式为：

式中θ为区域方向向量角，anglei为区域内第i个像素点的方向向量角；

直线段区域方向角即为区域方向向量角，直线段区域中心位置为该区域的重心，重心位置(nx,ny)为：

式中，p(x,y)为直线段区域中像素点坐标，(x,y)为像素点方向向量，s为直线段区域；基于重心(nx,ny)和区域方向向量角θ，以直线段区域方向向量为正方形对角线，重心为对角线中点确定一个正方形覆盖整个区域，正方形对角线即为直线段；对该图像重复上述步骤得到其他直线段，从而获得多条离散直线段；

4.2：在获得的多条离散直线段中选取一条直线段作为种子直线段，采用线段区域生长法对离散直线段进行区域聚类划分，判断离散直线段是否属于同一束直线。具体操作为收集所有离散直线段两端点的位置信息，计算种子直线段和其他直线段的角度偏差sθ和位置偏差sd，并为sθ和sd设置阈值，当sθ和sd小于阈值时，将当前直线段归入种子直线段所在的直线。其中，sθ和sd的计算公式如下：

sθ＝|θl1-θl2|

sd＝min(|p11-p21|,|p11-p22|,|p12-p21|,|p12-p22|)

式中，θl1、θl2代表直线l1、l2与水平方向的夹角，即直线方向；p11、p12和p21、p22分别为l1、l2的端点坐标；对该图像进行线段区域生长，得到属于同一直线的直线段聚集区域。

4.3：与4.1同理，分别计算直线段聚集区域的方向向量角和重心，以直线段聚集区域的方向向量为正方形对角线，重心为对角线中点确定一个正方形覆盖整个区域，正方形对角线即为最终直线段，即输电线路分布。

4.4：以最终直线段为x轴在帧图像中建立二维坐标系，坐标系中有其他离散直线段，分别取离散直线段端点横坐标最小与最大的两个点及离x轴最远的点根据凸包算法，计算出凸多边形覆盖最大的区域，即为感兴趣区域，由于该区域不仅包括配件，也包括配件边缘的电力线、环境，因此需进行步骤5处理。

步骤5：采用四元数相位谱分析和超像素显著置信度计算对感兴趣区域进行处理得到显著图，得到二值化的显著性区域。

5.1：将三通道的感兴趣区域图像变换为单通道的四元数矩阵iq，计算四元数矩阵的四元数dct参数；

5.2：基于四元数dct变换得到初始显著图sdct(iq)；

5.3：对于感兴趣区域图像中的超像素p，定义超像素之间的欧式距离为dec(p,pi)，pi为超像素p所属区域任意超像素；

5.4：基于pi属于同一区域，计算超像素p所属区域的面积：

式中，n为超像素个数，σ为超像素之间欧式距离的公差，取为10；

5.5：对于感兴趣区域中每一个超像素p，它的显著置信度等于：

式中，ts为超像素p内所有像素点显著性之和，areasize为超像素p所属区域的面积，对显著置信度wslc(p)进行归一化得到归一化的显著置信度

5.6：根据得到的显著置信度对初始显著图进行优化，得到二值化的显著性区域，即优化后配件图片，优化函数为：

其中，λ为前景和背景的平衡系数，为超像素的背景置信度w^bgd(p)＝1-wslc(p)，wi(p-pi)为超像素之间的平滑项，用于平滑相邻的超像素。

步骤6：采用k-means算法对显著性区域面积设定阈值，当显著性区域面积大于阈值时，在计算机界面反馈缺陷配件的具体信息，记录缺陷配件检测时间、地理位置，当显著性区域面积小于阈值时，对该区域不做处理。依次对所有取得的帧图像进行以上处理，完成巡检过程中的缺陷配件信息的记录。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。