基于深度学习的电力绝缘端子缺陷检测方法与流程

本发明涉及到目标检测方法技术，具体涉及一种基于深度学习的电力绝缘端子缺陷检测方法。

背景技术：

电力巡检机器人需要实现变电站内自主定位与导航、电力设备缺陷检测、自动充电等基本功能。其中核心的功能之一就是检测现场电力设备的状态，如绝缘端子，绝缘端子需要机器人依靠视觉传感器进行检测状态。在变电站中大多数绝缘端子存在于高电压输线段的中，由于承受着高压，绝缘端子可能会被击穿、出现裂缝，此外还有常见的漏油风险。而检测绝缘端子缺陷的前提是准确检测到视觉图像中有缺陷的绝缘端子位置，但大多数仪表在室外，天气变化、光照影响是影响检测的主要因素。利用传统的图像处理手段(例如sift特征或者hog特征)进行检测和识别，在光照条件变化的情况下，检测效果不好。

技术实现要素：

本发明的目的在于提供一种基于深度学习的电力绝缘端子缺陷检测方法，解决现有绝缘端子检测技术中机器人位置不定时，目标尺度、角度变化大；目标受光照影响大，检测不准确的问题。

实现本发明目的的技术方案为：一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：

步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练；

步骤2、巡检机器人到达指定巡检点获取图片，利用训练过的小型卷积神经网络以及获取的图片生成多个绝缘端子候选窗,使用非极大值抑制nms算法合并重叠的候选窗，并将输入到中型卷积神经网络；

步骤3、利用中型卷积神经网络改善步骤2中生成的绝缘端子候选窗，去除步骤2中生成的误分类候选窗，继续使用非极大值抑制nms算法合并候选窗，并将筛选后的候选窗输入到大型卷积神经网络；

步骤4、利用大型卷积神经网络改善步骤3中生成的绝缘端子候选窗，去除步骤3中生成的误分类候选窗，使用非极大值抑制nms算法合并候选窗，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。

优选地，步骤1中利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练的具体步骤为：

步骤1.1、从巡检机器人采集的现场巡检点的图片中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注；

步骤1.2、在标注好的数据集上截取绝缘端子图片和非绝缘端子图片，将两类图片送入小型卷积神经网络进行训练；

步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，从检测结果中取出被误分类为绝缘端子的图片作为负样本，并取绝缘端子图片作为正样本，将两类图片送入中型卷积神经网络进行训练；

步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，从检测结果中取出被误分类为绝缘端子的图片和无缺陷的绝缘端子作为一类以及有缺陷的绝缘端子k个类别，将k+1类图片送入大型卷积神经网络进行训练，对绝缘端子的缺陷类型进行分类。

优选地，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，分别具体为：

其中，为绝缘端子检测器的交叉熵损失函数，pi为是目标的概率，为背景的真实标签。

其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标。

优选地，步骤2中使用非极大值抑制nms算法合并重叠的候选窗的具体公式为：

式中，c为粗定位目标绝缘端子区域，ni为目标候选区域。

优选地，在使用非极大值抑制nms算法合并候选窗前，使用边界框回归的方法校正候选窗。

本发明与现有技术相比，其显著优点为：1)本发明在卷积神经网络的基础上，利用小、中、大型卷积网络级联，在现有的硬件条件下，在减少检测误差的同时，加快检测速度；2)本发明利用深度神经网络，能够检测到多种光照、姿态等变化下的绝缘端子。

附图说明

图1为本发明的流程示意图。

具体实施方式

如图1所示，一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：

步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练，具体步骤为：

步骤1.1、收集巡检机器人采集的现场巡检点的图片，从中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注，具体标注方法为：使用矩形框框出绝缘端子；

步骤1.2、在标注好的数据集上截取绝缘端子图片(包括无缺陷和有缺陷)和非绝缘端子图片，将两类图片送入小型卷积神经网络进行训练，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，具体为：

其中，为绝缘端子检测器的交叉熵损失函数，pi为是目标的概率，为背景的真实标签。

其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标；

步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，从检测结果中取出被误分类为绝缘端子的图片作为负样本，并取绝缘端子图片(包含无缺陷和有缺陷)作为正样本，将正负样本图片送入中型卷积神经网络进行训练；

步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，从检测结果中取出被误分类为绝缘端子的图片和无缺陷的绝缘端子作为一类以及有缺陷的绝缘端子k个类别，将k+1类图片送入大型卷积神经网络进行训练。

步骤2、巡检机器人到达指定巡检点获取图片，利用训练好的小型卷积网络对图片进行粗定位，得到多个目标候选区域，并采用nms算法，去除部分重叠候选窗：

式中，c为粗定位目标绝缘端子区域，ni为目标候选区域。

步骤3、利用中型卷积神经网络改善步骤2中生成的绝缘端子候选窗，去除步骤2中生成的误分类候选窗，继续使用边界框回归和非极大值抑制nms算法合并候选窗，并将筛选后的候选窗输入到大型卷积神经网络；

步骤4、利用大型卷积神经网络改善步骤3中生成的绝缘端子候选窗，去除步骤3中生成的误分类候选窗，使用非极大值抑制nms算法合并候选窗，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。

实施例1

一种基于深度学习的电力绝缘端子缺陷检测方法，具体步骤为：

步骤1、利用巡检机器人采集的含有绝缘端子的图像集依次对小型卷积神经网络、中型卷积神经网络以及大型卷积神经网络进行训练，具体步骤为：

步骤1.1、收集巡检机器人采集的现场巡检点的图片，从中提取含有绝缘端子的图像制作成数据集，并对图像中绝缘端子进行标注，具体标注方法为：使用矩形框框出绝缘端子；

步骤1.2、从在标注好的数据集中截取非绝缘端子和绝缘端子的图，制作成24*24的图像数据集，将两类图片送入小型卷积网络24net进行训练，卷积神经网络包括绝缘端子分类器和边界框回归两个描述子，具体为：

其中，为绝缘端子检测器的交叉熵损失函数，pi为是目标的概率，为背景的真实标签。

其中，为通过欧氏距离计算的回归损失，为通过网络预测得到背景坐标，为实际的背景坐标。

步骤1.3、使用步骤1.2训练好的小型卷积神经网络对数据集进行检测，检测框和标注框重合度小于0.3的作为非绝缘端子图，大于0.45的为绝缘端子图，并两类图片制作成36*36的图像数据集，将两类图片送入中型卷积网络36net进行训练；

步骤1.4、使用步骤1.2和步骤1.3训练好的卷积神经网络对数据集再次检测，检测框和标注框重合度小于0.3的作为非绝缘端子图，大于0.45的为绝缘端子图(绝缘端子图分为有缺陷和无缺陷)，并两类图片制作成48*48的图像数据集，将两类图片送入大型卷积网络48net进行训练；

步骤2、巡检机器人通过定位导航达到指定巡检点，导航误差5cm，拍摄一张图像用于有缺陷的绝缘端子检测；将巡检机器人拍摄的图像输入到小型卷积神经网络24net，得到多个目标候选区域，并采用nms算法，去除部分重叠候选窗：

式中，c为粗定位目标绝缘端子区域，ni为目标候选区域。

步骤3、将步骤2中获取的候选窗输入到中型卷积神经网络36net，拒绝步骤2中大部分误分类，并采用nms算法，去除部分重叠候选窗；

步骤4、将步骤3中获取的候选窗输入到大型卷积神经网络48net，去除步骤3中生成的误分类候选窗，使用非极大值抑制nms算法合并候选窗，获取有缺陷的绝缘端子候选区域，，同时把大型卷积神经网络的底层特征连接到分类网络进一步提取特征，对绝缘端子的缺陷类型进行分类并输出缺陷分类结果。