一种基于零次学习的输电线路小金具缺陷检测方法及系统

本发明涉及缺陷检测，尤其涉及一种基于零次学习的输电线路小金具缺陷检测方法及系统。

背景技术：

1、输电线路在常年使用过程中会受到外界环境的影响，各种部件可能出现不同程度的破损，这给电力系统的稳定运行带来了巨大挑战。小尺寸金具缺陷是输电线路设备缺陷的重要问题，主要包括螺栓螺母及销钉等金具缺陷，其具有缺陷面积小、相似度高、不易分辨等特点。

2、目前国内外的研究主要集中在针对目标形状特征(边缘、轮廓)的检测方法，采用传统的计算机视觉分析方法，如数字图形学方法、神经网络技术、视觉特征工程、模糊逻辑算法和传统机器学习技术。

3、这些传统图像处理方法的鲁棒性不强，泛化能力弱，无法满足工业上实际检测的需求。而基于深度学习的目标检测算法对于不同类型的缺陷识别精度高低各异，缺陷识别算法普遍存在较高的误报率。由于电网环境复杂，给数据集采集过程带来诸多不便。而且在实际运行线路中，小金具目标小、模糊、数量多且缺陷不明显，导致识别的小金具缺陷极易产生误报。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种基于零次学习的输电线路小金具缺陷检测方法，用以解决现有小金具缺陷检测不准确的问题。

2、一方面，本发明实施例提供了一种基于零次学习的输电线路小金具缺陷检测方法，包括以下步骤：

3、对采集的输电线路的图像进行预处理，构建图像样本库；

4、基于图像样本库训练图像特征提取模型，提取各图像样本的图像特性放入图像特征集；基于各图像样本的图像特征和各类缺陷的属性描述，训练属性分类器获取各图像样本的语义特征放入语义特征集；

5、基于各图像样本的图像特征和语义特征，训练生成对抗网络；将缺陷数量少的图像样本的语义特征传入生成对抗网络中的生成器生成新的图像特征，将生成的新的图像特征和传入的语义特征分别放入图像特征集和语义特征集；

6、基于图像特征集和语义特征集训练分类模型，得到缺陷分类模型；

7、对待识别图像进行预处理后依次传入特征提取模型和属性分类器，得到待识别的图像特征和语义特征后传入缺陷分类模型，得到检测结果。

8、基于上述方法的进一步改进，对采集的输电线路的图像进行预处理，构建图像样本库，包括：

9、通过高斯滤波处理去除图像噪声，将去噪后的图像传入训练好的目标检测模型中，识别出图像中的小金具，小金具包括：销钉和螺栓螺母组合；根据小金具所在目标框进行图像裁剪得到各目标图像；按统一尺寸缩放目标图像，得到图像样本；

10、对图像样本标注出小金具类别标签和缺陷类别标签后，得到图像样本库。

11、基于上述方法的进一步改进，图像特征提取模型依次包括二维卷积模块、多个残差模块、深度分离卷积模块和全连接模块。

12、基于上述方法的进一步改进，二维卷积模块包括四层：第一层和第三层采用二维卷积和批归一化，第二层和第四层采用非线性激活函数；残差模块的主分支包括四层：第一层和第三层采用深度可分离卷积和批归一化，第二层采用非线性激活函数，第四层采用非线性激活和最大池化；残差模块的残差分支包括二层：第一层采用二维卷积，第二层采用批归一化；深度分离卷积模块包括三层：第一层采用深度可分离卷积和批归一化，第二层非线性激活函数，第三层采用平均池化；全连接模块包括至少一个全连接层和softmax层；softmax层的输入作为各图像样本的图像特性。

13、基于上述方法的进一步改进，缺陷类别包括：销钉松动、螺栓松动、螺母松动、销钉正常和螺栓螺母组合正常，各类缺陷的属性描述通过多个属性维度的值来表示，其中属性维度包括：是否组合件、是否松动、是否存在螺纹、是否内螺纹、是否长条形；各属性维度的值均用1表示“是”，用0表示“否”。

14、基于上述方法的进一步改进，属性分类器的输入是各图像样本的图像特征，采用非线性多分类支持向量机，使支持向量机的每一个分类与一个属性维度对应，输出各属性维度的预测值。

15、基于上述方法的进一步改进，多个属性分类器的损失函数通过以下公式计算得到：

16、

17、其中，xi表示第i个图像特征，n表示每个训练批次中图像特征的数量，wj表示第j个属性维度对应的属性分类器的回归参数，m表示属性维度的数量，aj表示第j类缺陷的属性描述，t表示转置操作，γ表示平衡参数，||·||2表示l2范数，yi表示第i个图像特征对应的图像样本的小金具类别标签。

18、基于上述方法的进一步改进，生成对抗网络采用wgan生成对抗网络，wgan生成对抗网络的生成器包括f-clswgan模型和softmax分类器，判别器采用多层感知机mlp。

19、基于上述方法的进一步改进，将语义特征集中的语义特征和从正态分布中采样的随机向量传入生成器中，输出的结果作为合成的图像特征；softmax分类器对合成的图像特征进行分类；将语义特征集中的语义特征和对应的原始图像特征拼接后传入判别器中，输出的结果作为真图像特征，将语义特征和合成的图像特征拼接后传入判别器中，输出的结果作为伪图像特征。

20、另一方面，本发明实施例提供了一种基于零次学习的输电线路小金具缺陷检测系统，包括：

21、样本构建模块，用于对采集的输电线路的图像进行预处理，构建图像样本库；

22、特征提取模块，用于基于图像样本库训练图像特征提取模型，提取各图像样本的图像特性放入图像特征集；基于各图像样本的图像特征和各类缺陷的属性描述，训练属性分类器获取各图像样本的语义特征放入语义特征集；

23、特征增广模块，用于基于各图像样本的图像特征和语义特征，训练生成对抗网络；将缺陷数量少的图像样本的语义特征传入生成对抗网络中的生成器生成新的图像特征，将生成的新的图像特征和传入的语义特征分别放入图像特征集和语义特征集；

24、缺陷分类训练模块，用于基于图像特征集和语义特征集训练分类模型，得到缺陷分类模型；

25、缺陷检测模块，用于对待识别图像进行预处理后依次传入特征提取模型和属性分类器，得到待识别的图像特征和语义特征后传入缺陷分类模型，得到检测结果。

26、与现有技术相比，本发明至少可实现如下有益效果之一：

27、1、考虑到小金具缺陷不明显，除了提取图像特征之外，还通过构建属性分类器，建立图像特征与所属缺陷类别的属性向量之间的映射关系，从而提取图像特征对应的语义特征，与图像特征结合，互相补充来提升模型检测精度。

28、2、考虑到小金具缺陷样本数量少，通过生成对抗网络利用缺陷数量少的图像样本的语义特征生成新的图像特征，对图像特征集进行增广，减小各缺陷类别的样本数量的差异，提高模型泛化能力。

29、3、考虑到小金具面积小，对采集的图像进行预处理，通过获取明确包含小金具的图像样本确保缺陷检测的可行性，扩大缺陷检测的适用范围。

30、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。