基于胶囊网络的绝缘子缺陷识别定位装置及方法与流程

本发明涉及智能电网中的输电线路维修技术领域，具体涉及一种基于胶囊网络的绝缘子缺陷识别定位装置及方法。

背景技术：

胶囊网络是一种新的热门的神经网络架构，对深度学习带来深远的影响，特别是对计算机视觉领域。一个胶囊网络是由胶囊而不是由神经元构成。一个胶囊是一小群神经元，它们可以学习在一个图片的一定区域内检查一个特定的对象(比如，一个矩形)。它的输出是一个向量(例如，一个8维的向量)。每个向量的长度代表了物体是否存在的估计概率，它的方向(例如在8维空间里)记录了物体的姿态参数(比如，精确的位置、旋转等)。如果物体有稍微的变化(比如，移动、旋转、尺寸变化等)，胶囊将也会输出一个长度相同但是方向稍微变化的向量，胶囊是等变的。和常规神经网络很类似，胶囊网络也是由多层构成，处于最底层的胶囊被称为向量胶囊：它们每个都只用图片的一小部分区域作为输入(称为感知域)，然后试图去探测某个特殊的模式(例如，一个矩形)是否存在，以及姿态如何。

胶囊网络是一种先进的神经网络体系结构，对卷积神经网络的很多缺陷进行了弥补，并且数据准备以及多样性等都得到了提升。与其他神经网络相比，胶囊网络具有以下优势：

(1)反脆弱性：在不同视角下对同一个物品的相同感知(标签)，这使得胶囊网络在相同性能的基础上，可以使用比cnn少得多的训练数据；

(2)可解释性强：利用冗余来对抗复杂，让模型模仿人类大脑用冗余带动生产的能力，来对抗复杂的问题；

(3)可扩展性：胶囊网络在整个网络中保留详细的姿态信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)，这些信息可以为缺陷识别工作提供有利的支持。

对输电线路进行定期巡视和检查，及时了解输电线路运行情况，鉴别并排除输电线路的各类缺陷和隐患，是供电企业一项必要而繁重的工作。传统的人工巡检方式耗费大量人力，并且效率低下。而无人机巡检具有工作效率高、不受地域影响、巡检质量高、安全性能高等优点，因此，在电力巡线作业中得到了广泛的应用，与此同时，对海量无人机巡检图像的目标识别和信息挖掘的需求也越来越强烈。

绝缘子是安装在不同电位的导体或导体与接地构件之间的能够耐受电压和机械应力作用的器件，作为一种特殊的绝缘控件，对于架空输电线路的使用和运行寿命有着重要的作用，绝缘子的完好无损直接影响着电力系统的安全运行。现有大多缺陷识别算法都是直接对机巡图像(无人机巡检图像)进行一系列图像处理，但是，由于真实环境的多样性和复杂性，巡检图像通常具有小部件与背景对比度低、存在大量噪声干扰等问题。因此，直接对巡检图像进行缺陷检测难以达到较高的准确率。

技术实现要素：

本发明的目的在于提供一种基于胶囊网络的绝缘子缺陷识别定位装置及方法，能够解决现有基于机巡图像对绝缘子进行缺陷识别算法在多样地域环境带来的复杂背景干扰下鲁棒性较差问题，能够大大提高绝缘子缺陷识别的效率，为电网维修部门提供可靠的技术支持。

为实现上述目的，本发明的技术方案为：基于胶囊网络的绝缘子缺陷识别定位装置，所述识别定位装置包括：

机巡图像解析模块，用于对待检测的机巡图像进行属性信息解析；

机巡图像存储模块，用于对解析后的机巡图像进行分类存储管理；

绝缘子标注模块，用于对收集的原始机巡图像中的绝缘子进行标注；

样本扩充模块，用于对收集的原始机巡图像进行样本数量扩充；

数据集创建模块，用于为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集；

胶囊网络初始模块，用于初始化配置胶囊网络卷积层、胶囊层和决策层的参数；

胶囊网络训练模块，用于通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；

绝缘子特征提取模块，用于对分割后的图像通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；

绝缘子缺陷定位模块，用于将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，计算累加垂直直方图，定位绝缘子的异常位置。

如上所述的基于胶囊网络的绝缘子缺陷识别定位装置，所述机巡图像解析模块解析的属性信息包括图片id；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标。

如上所述的基于胶囊网络的绝缘子缺陷识别定位装置，所述绝缘子特征提取模块的形态学操作中，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向。

本发明还提供一种基于胶囊网络的绝缘子缺陷识别定位方法，所述识别定位方法包括以下步骤：

步骤一：利用无人机对真实环境下的输电线路进行巡线拍摄，调用机巡图像解析模块对待检测的机巡图像进行属性信息解析，同时调用机巡图像存储模块对解析后的机巡图像进行分类存储管理；

步骤二：调用数据集创建模块为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集，收集包含绝缘子的原始图像，调用绝缘子标注模块对收集的原始机巡图像中的绝缘子进行标注，调用样本扩充模块对收集的原始机巡图像进行样本数量扩充；

步骤三：建立深度学习模型，采用基于胶囊网络结构的目标检测，调用胶囊网络初始模块初始化配置胶囊网络卷积层、胶囊层和决策层的参数，调用胶囊网络训练模块通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；

步骤四：将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块，通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；

步骤五：调用绝缘子缺陷定位模块将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。

如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤一中，机巡图像解析模块解析的属性信息包括图片id；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标；所述矩形边界坐标绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。

如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤三中胶囊网络训练模块的训练胶囊网络方法包括：

(1)输入训练集图片并进行卷积操作，调整成适合于向量神经元层的格式，接收卷积层检测到的基本特征，并生成特征的组合；

(2)数据由主胶囊层进入数据胶囊层，通过动态路由算法，使用上一层的输出向量对下一层决策层的参数进行预测；

(3)将正确预测的类别的向量投入到重构网络，通过三个全连接的网络解码器，构建一个完整的图像；

(4)确定网络模型后，通过输入验证集验证预测模型的召回率和精确率，若召回率和精确率低，为训练集加入训练图片后重复训练模型步骤；

(5)输入待测图像，通过训练后的胶囊网络得到绝缘子的具体位置，并将绝缘子分割出来用于缺陷识别定位检测。

如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤(2)中，使用上一层的输出向量对下一层决策层的参数进行预测的方法为：

a、对于除了第一层之外的所有胶囊网络层，输入向量sj由以下公式(1)得到：

其中，wij是每个输出要乘的权值，ui是上一层胶囊网络的输出，表示预测向量，耦合系数cij由下式(2)得到：

其中bij是第i层的第j个胶囊的耦合系统所需的计算参量，由步骤b可计算具体数值；

b、通过计算bij，得到耦合系数cij，如下公式(3)：

在采用前向传播计算sj时，bij初始化为0，wij为随机值；

c、采用矢量的非线性激活函数squashing，得到输出向量vj，

d、利用得到的和vj，采用公式(3)更新bij，并开始下一次迭代，通过胶囊的输出和输出的点积来检测输入和输出的相似性；

e、通过损失函数公式(5)更新整个胶囊网络中的卷积参数和权值：

lk＝tkmax(0,m⁺-||vk||²+λ(1-tk)max(0,||vk||-m^-)²(5)

其中lk是损失函数，tk是类别存在值(当检测到绝缘子时为1，否则为0)，λ是下加权值(取值0.5)，m是被处理图像的得分，+表示正样本，-表示负样本。

如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤(4)中，

如上所述的基于胶囊网络的绝缘子缺陷识别定位方法，所述步骤五中具体包括，

遍历二值图像f，获取满足面积阈值条件的同标号的连通区域si中每个像素点的坐标值，通过si的几何矩计算绝缘子的质心和主轴偏转角，

si的几何矩ma,b(si)和中心矩分别为：

式中，a和b为非负数，x和y对应si中某点的横、纵坐标值，f(x,y)为像素点(x，y)处的像素值；

连通区域si的质心为：

主轴偏转角θ为：

分析主轴偏转角大小，旋转绝缘子到水平方向。

本发明具有如下优点：本发明可以实现海量机巡图像的自动管理和分类存储、绝缘子自动识别、绝缘子缺陷自动定位功能，为电力巡线和检修工作带来有力的技术支持；

本发明采用先进的胶囊网络不断训练和学习绝缘子特征，相比于传统cnn网络，胶囊网络可以得到更好的结果，不仅可以使用少得多的训练数据，还可以在整个网络中保留详细的属性信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)；

本发明首先通过深度学习算法提取出了绝缘子，去除了复杂背景的干扰，再采用阈值分割、形态学操作、连通区域分析、直方图统计等图像处理操作，可以精确定位到绝缘子缺陷位置，同时，通过解析有缺陷图片的属性信息，可以定位到具体拍摄时间及地点的线路位置，方便相关部门及时采取维修措施。

附图说明

图1为实施例中基于胶囊网络的绝缘子缺陷识别定位装置结构示意图；

图2为实施例中基于胶囊网络的绝缘子缺陷识别定位装置功能架构图；

图3为实施例中机巡图像属性信息解析示意图；

图4为实施例中胶囊网络架构示意图；

图5为实施例中基于胶囊网络的绝缘子标注示意图；

图6为实施例中基于胶囊网络的绝缘子提取示意图；

图7为实施例中绝缘子阈值分割效果图；

图8为实施例中绝缘子形态学操作效果图；

图9为实施例中连通区域的几何矩计算示意图；

图10为实施例中垂直直方图统计示意图；

图11为实施例中绝缘子缺陷检测结果示意图；

图12为实施例中基于胶囊网络的绝缘子缺陷识别定位方法示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

参见图1、图2、图3、图4、图5、图6、图7、图8、图9、图10和图11，基于胶囊网络的绝缘子缺陷识别定位装置，所述识别定位装置包括：

机巡图像解析模块1，用于对待检测的机巡图像进行属性信息解析；

机巡图像存储模块2，用于对解析后的机巡图像进行分类存储管理；

绝缘子标注模块3，用于对收集的原始机巡图像中的绝缘子进行标注；

样本扩充模块4，用于对收集的原始机巡图像进行样本数量扩充；

数据集创建模块5，用于为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集；

胶囊网络初始模块6，用于初始化配置胶囊网络卷积层、胶囊层和决策层的参数；

胶囊网络训练模块7，用于通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；

绝缘子特征提取模块8，用于对分割后的图像通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；

绝缘子缺陷定位模块9，用于将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，计算累加垂直直方图，定位绝缘子的异常位置。

基于胶囊网络的绝缘子缺陷识别定位装置的一个实施例中，所述机巡图像解析模块1解析的属性信息包括图片id；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标。收集包含绝缘子的原始图像，通过旋转、调整对比度等方法，扩充样本数量，并对绝缘子进行标注。图片的id，像素高度、宽度与深度，图片所处地理位置分类(山野、平原、沙漠等)，无人机拍摄参数(时间、经纬度、高度)，绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。之后将可用样本按一定比例分为训练集和验证集，分别用于训练胶囊网络和验证检测的准确性。

基于胶囊网络的绝缘子缺陷识别定位装置的一个实施例中，所述绝缘子特征提取模块8的形态学操作中，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向。

参见图3、图4、图5、图6、图7、图8、图9、图10、图11和图12，本发明还提供一种基于胶囊网络的绝缘子缺陷识别定位方法，所述识别定位方法包括以下步骤：

s1：利用无人机对真实环境下的输电线路进行巡线拍摄，调用机巡图像解析模块1对待检测的机巡图像进行属性信息解析，同时调用机巡图像存储模块2对解析后的机巡图像进行分类存储管理；

s2：调用数据集创建模块5为每个样本机巡图像建立标签文件，并将机巡图像按比例分配训练集和验证集，收集包含绝缘子的原始图像，调用绝缘子标注模块3对收集的原始机巡图像中的绝缘子进行标注，调用样本扩充模块4对收集的原始机巡图像进行样本数量扩充；

s3：建立深度学习模型，采用基于胶囊网络结构的目标检测，调用胶囊网络初始模块6初始化配置胶囊网络卷积层、胶囊层和决策层的参数，调用胶囊网络训练模块7通过训练集机巡图像训练检测绝缘子的存在和姿态，并对决策层的参数进行预测；

s4：将需要判别的原始机巡图像，通过胶囊网络输出绝缘子的具体位置，并将图像分割提取出来备用，对分割后的图像调用绝缘子特征提取模块8，通过灰度转换、滤波增强、颜色滤波及形态学操作对绝缘子特征串进行提取；

s5：调用绝缘子缺陷定位模块9将提取出的绝缘子特征串分上下两部分，并逐行扫描阈值分割后得到的绝缘子特征图，统计每行像素点，确定绝缘子所在的最大连通区域，计算绝缘子主轴方向，旋转绝缘子至水平方向，得到绝缘子的异常位置。

基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述s1中，机巡图像解析模块1解析的属性信息包括图片id；像素高度、宽度与深度；图片所处地理位置；无人机拍摄参数；绝缘子所在区域的矩形边界坐标；所述矩形边界坐标绝缘子所在区域的矩形边界的坐标(x1，y1，x2，y2)，其中(x1，y1)为矩形边界下顶点，(x2，y2)为矩形边界上顶点。

基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述s3中胶囊网络训练模块7的训练胶囊网络方法包括：

(1)输入训练集图片并进行卷积操作，调整成适合于向量神经元层的格式，接收卷积层检测到的基本特征，并生成特征的组合；通过输入训练集图片，对其进行常规的卷积操作，调整成适合于向量神经元层(主胶囊层)的格式，该主胶囊层包含32个主胶囊(8个输出神经元组合在一起构成一个胶囊)，可接受卷积层检测到的基本特征，并生成特征的组合；

(2)数据由主胶囊层进入数据胶囊层，通过动态路由算法，使用上一层的输出向量对下一层决策层的参数进行预测；

(3)将正确预测的类别的向量投入到重构网络，通过三个全连接的网络解码器，构建一个完整的图像；

(4)确定网络模型后，通过输入验证集验证预测模型的召回率和精确率，若召回率和精确率低，为训练集加入训练图片后重复训练模型步骤；

(5)输入待测图像，通过训练后的胶囊网络得到绝缘子的具体位置，并将绝缘子分割出来用于缺陷识别定位检测。

基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述步骤(2)中，使用上一层的输出向量对下一层决策层的参数进行预测的方法为：

a、对于除了第一层之外的所有胶囊网络层，输入向量sj由以下公式(1)得到：

其中，wij是每个输出要乘的权值，ui是上一层胶囊网络的输出，表示预测向量，耦合系数cij由下式(2)得到：

其中bij是第i层的第j个胶囊的耦合系统所需的计算参量，由步骤b可计算具体数值；

b、通过计算bij，得到耦合系数cij，如下公式(3)：

在采用前向传播计算sj时，bij初始化为0，wij为随机值；

c、采用矢量的非线性激活函数squashing，得到输出向量vj，

d、利用得到的和vj，采用公式(3)更新bij，并开始下一次迭代，通过胶囊的输出和输出的点积来检测输入和输出的相似性；

e、通过损失函数公式(5)更新整个胶囊网络中的卷积参数和权值：

lk＝tkmax(0,m⁺-||vk||)²+λ(1-tk)max(0,||vk||-m^-)²(5)

其中lk是损失函数，tk是类别存在值(当检测到绝缘子时为1，否则为0)，λ是下加权值，λ优选取值为0.5，m是被处理图像的得分，+表示正样本，-表示负样本。

基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，所述步骤(4)中，

若召回率和精确率较低，为训练集加入更多训练图片后重复训练模型步骤。本技术方案绝缘子识别的召回率达：99.5％，精确率达97.8％；绝缘子缺陷识别的召回率达99.9％，精确率达98％。

基于胶囊网络的绝缘子缺陷识别定位方法的一个实施例中，对分割后的图像进行灰度转换、滤波增强，以增强绝缘子与背景的对比度，为接下来的颜色滤波、阈值分割奠定良好基础，效果如图7所示；然后进行形态学操作，尽可能连接绝缘子特征，消除其他噪声干扰，效果如图8。最后确定绝缘子所在的最大连通区域，分析其几何矩特征，计算其主轴方向，具体步骤如下：

遍历二值图像f，获取满足面积阈值条件的同标号的连通区域si中每个像素点的坐标值，通过si的几何矩计算绝缘子的质心和主轴偏转角，

si的几何矩ma,b(si)和中心矩分别为：

式中，a和b为非负数，x和y对应si中某点的横、纵坐标值，f(x,y)为像素点(x，y)处的像素值；

连通区域si的质心为：

主轴偏转角θ为：

分析主轴偏转角大小，旋转绝缘子到水平方向。如图10所示，由于绝缘子特征串的分布具有周期性，由此，可以得到绝缘子的异常位置，结果如图11。

本发明可以实现海量机巡图像的自动管理和分类存储、绝缘子自动识别、绝缘子缺陷自动定位功能，为电力巡线和检修工作带来有力的技术支持；采用先进的胶囊网络不断训练和学习绝缘子特征，相比于传统cnn网络，胶囊网络可以得到更好的结果，不仅可以使用少得多的训练数据，还可以在整个网络中保留详细的属性信息(如精确的对象位置，旋转，厚度，歪斜，大小等等)；首先通过深度学习算法提取出了绝缘子，去除了复杂背景的干扰，再采用阈值分割、形态学操作、连通区域分析、直方图统计等图像处理操作，可以精确定位到绝缘子缺陷位置，同时，通过解析有缺陷图片的属性信息，可以定位到具体拍摄时间及地点的线路位置，方便相关部门及时采取维修措施。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。