一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法

本发明涉及电力设备图像识别，具体来说是一种基于swint与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法。

背景技术：

1、变电站作为电能运输及分配的场所，维护其设备平稳运行对于人类的生产生活而言及其重要。针对变电站长期处于恶劣、复杂的自然环境中，线路上的金具受气候、地形、外力作用等影响出现不同类型缺陷，目前电力设备的防锈图层可能会由于老化而失去保护作用，造成安全隐患，因此对锈蚀设备进行检测维修是至关重要的。使用基于深度学习的目标检测技术识别变电站设备锈蚀缺陷检测，相对于人工巡检方式，具有准确度高、快速安全、应用范围广等优点。

2、目前，虽然基于深度学习的目标检测技术被广泛应用于电力设备缺陷检测，但是当图像背景复杂且背景大前景小时，面对形状不规则且变化多样的锈蚀目标时会出现误检漏检以及检测准确率低等问题。通用目标检测算法对相似目标、形状不规则目标的分辨能力较弱，难以区分不同类别的目标。

3、因此，如何使得网络对锈蚀缺陷目标具有更强区分能力进一步提高模型的检测准确性成为急需解决的技术问题。

技术实现思路

1、本发明的目的是为了解决现有技术中变电站设备缺陷模型特征提取难、识别困难、检测精度低、鲁棒性差的缺陷，提供一种基于swint与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于swint与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，包括以下步骤：

4、电力设备缺陷图像样本的获取：获取不同场景不同类别的电力设备缺陷图像并进行预处理，形成电力设备缺陷图像数据集；

5、构建电力设备缺陷目标检测模型：基于swint与尺寸自适应卷积构建电力设备缺陷目标检测模型；

6、电力设备缺陷目标检测模型的训练：利用电力设备缺陷图像数据集对电力设备缺陷目标检测模型进行训练；

7、获取待检测电力设备缺陷图像并进行预处理；

8、电力设备图像缺陷检测：将待检测的电力设备缺陷图像输入训练后的电力设备缺陷目标检测模型，得到电力设备缺陷图像中的目标分类和定位结果，检测出锈蚀区域。

9、所述构建电力设备缺陷目标检测模型包括以下步骤：

10、设定电力设备缺陷目标检测模型包括特征提取网络、特征融合网络和检测头部网络；

11、设定特征提取网络基于swin-transformer与尺寸自适应卷积模块构建，

12、其中，swin-transformer由patch partition层、linear embedding层、swintransformer block层和patch merging层构成，尺寸自适应卷积由卷积神经网络构成，在swint的3、4阶段插入尺寸自适应卷积模块进一步完成对不同尺度和形状物体的特征提取；其输入为增强的电力设备缺陷图像、输出为该电力设备缺陷图像的整体特征图；

13、patch partition层的输入为一个给定大小为h×w的图像，patch partition层进行分块降维操作、linear embedding层进行线性变换、patch merging层用于下采样；

14、尺寸自适应卷积模块首先使用普通卷积层学习offset偏移和调节权重参数，增强卷积对于缺陷形态特征的适应性，再将特征图和偏移值调节权重后输出，最后将四个阶段生成的不同尺度特征图输入到特征融合网络中；

15、设定特征融合网络：

16、设定特征融合网络基于fpn网络构建，其输入为特征提取网络输出的整体特征图，通过对输入的缺陷图像进行整体特征的融合，将高层特征进行上采样后与低层的高分辨率特征进行横向连接融合得到预测特征图，以便将高层语义中消失但在低层特征图中仍存在的小物体检测出来，输出为经过特征融合后的融合特征图；

17、设定检测头部网络：

18、设定检测头部网络基于tood网络构建，其输入为特征融合网络输出的融合特征图，通过对任务的分类与定位，确定是否为检测目标，并通过边界框回归算法确定被测目标边界坐标。

19、所述电力设备缺陷目标检测模型的训练包括以下步骤：

20、特征提取网络的训练：将电力设备缺陷图像数据集输入特征提取网络，利用特征提取网络训练电力设备缺陷图像的整体特征图；

21、特征融合网络的训练：将特征提取网络提取的整体特征图输入到特征融合网络自下而上的层级结构中，得到f1、f2、f3、f4特征图，其宽高分别为原图的1/4、1/8、1/16、1/32，维度为d；

22、在自上而下的过程中，通过尺度变化使得新的特征图和下层特征图保持一致的尺度；

23、在长、宽方向上采用上采样的方法将下层特征图的宽、高拉成一样大小；在深度方向上通过一个1×1的卷积把上层特征图的深度压缩到和下层特征图的深度相同，以此构建的新的特征图和原始的下层特征图具有了同样的尺度；再把新的特征图和原始的下层特征图中每个对应元素相加，实现上层特征和下层特征的融合；

24、检测头部网络的训练：

25、检测头部网络首先将融合后的特征图作为输入，使用n个连续的具有激活函数的conv层来计算任务交互特征fkinter：

26、

27、其中，ffpn为融合网络输出的特征图，convk和δ分别表示第k个卷积层和relu激活函数；

28、得到任务交互特征后输入到tap模块中，再将特征拉平通过全连接层和sigmoid激活函数后得到每个任务交互特征的权重，进行相乘操作得到分类或者定位任务的特征

29、

30、其中，ωk为层注意力的第k个元素，它是从任务交互特征中计算出来的，能够捕获层之间的依赖关系：

31、

32、其中，和为全连接层，σ为sigmoid激活函数，对finter采用平均池化操作得到finter；

33、最后得到分类或者定位的结果ztask：

34、ztask＝conv2(δ(conv1(ftask)))       (4)

35、其中，ftask为的连接特征，conv1为一个1×1卷积进行降维操作，接着使用sigmoid激活函数将ztask转化为密集分类分数或者对象边界框

36、所述特征提取网络的训练包括以下步骤：

37、通过patch partition层进行分块降维操作，将输入的变电站设备图像分成一个个patch，输入的图像大小为h×w×c，其中，h、w分别表示为图像得高、宽，c为图像的通道数，每个patch的大小(p,p)＝hw/n,将划分好的patch由linear embedding层进行线性投影，输入到swin transformer block模块中进行多头自注意力计算生成大小为特征图f1；

38、将上述大小为特征图f1输入到patch merging层进行下采样操作后再由swin transformer block模块中进行多头自注意力计算生成大小为特征图f2；

39、上述大小为特征图f2输入到patch merging层进行下采样操作以及多头自注意力计算后生成大小为特征图f3；

40、尺寸自适应卷积模块的训练：

41、将特征图f3输入尺寸自适应卷积模块，首先经过普通卷积，卷积填充为same，即输入输出尺寸不变，对应的特征输出大小为偏移量记作offset，表示原始特征图中每个像素索引的偏移量；

42、其中，采样位置集合g通过δln，δln＝1，2，...，n，实现采样位置偏移以此来增大感受野的范围，n为网格中的像素个数，2c3表示具有x和y两个方向上的偏移，1c3通道表示调节权重值δm，经过sigmoid函数后范围在0到1之间；

43、将输入特征图f3中的像素的索引值与offset相加，得到偏移后的position，即各像素在f3中的坐标值，将position的值限定在图片尺寸范围内；

44、l0为输出特征图上的任意位置：

45、

46、δln＝1，2，...，n

47、其中，ln分别表示为第n个位置预先指定的偏移量；ω(ln)是采样位置的权重信息；g＝{(-1，-1)，(-1，0)，...，(1，0)，(1，1)}为采样位置集合；δln为第n个位置可学习的偏移量；δmn为调节权重参数；x(l0+ln+δln)和y(l0)分别表示从输入特征映射x和输出特征映射y中得到的任意位置l0处的特征；

48、由于采样点是在不规则的偏移后ln+δln上进行的，而偏移量δln是浮点数，无法获得准确像素值，为了得到准确像素值并且进行反向传播，采取双线性插值的方式来获取坐标对应的像素；

49、取一个坐标(a,b)，将其转换为floor(a)、ceil(a)、floor(b)和ceil(b)四个整数，其中floor()和ceil()操作是将a、b进行向下或向上取整，得到(floor(a),(floor(b))、(floor(a),ceil(b))、(ceil(a),floor(b))和(ceil(a),ceil(b))四个坐标；

50、这四个坐标每个都对应f3中的一个像素值，通过双线性插值的方式来计算得到任意位置的像素值x(l)：

51、

52、其中，l＝l0+ln+δln表示偏移后的任意位置；m为特征图中整体空间位置坐标的枚举；x(m)是特征图f3周围邻近的四个整数坐标的像素值；h()为四个整数坐标对应的权重，且它是二维的，由两个一维内核组成：

53、h(m,l)＝g(mx,lx)·g(my,ly)       (7)

54、其中，(mx,lx)、(my,ly)分别为x、y偏移方向上的坐标值；

55、g(a,b)＝max(0,1-|a-b|)限制了插值点与邻近四个整数坐标不会超过1个像素的距离，a、b为坐标值；

56、得到position的所有像素后，通过δm调节权重值参数，最后得到大小为新的特征图f'3输入到下一阶段；

57、将上述大小为的特征图f'3输入到patch merging层进行下采样操作后再由swin transformer block模块中进行多头自注意力计算生成大小为特征图f4，由尺寸自适应卷积模块学习图像的高级语义信息，使得采样位置更符合物体本身的形状和尺寸，而非固定的几何结构采样，更有利于缺陷特征的提取；

58、其中，核心模块swin transformer block中包含了用于移位窗口的多头注意力，多头注意力中每个头的注意力计算如下：

59、

60、其中，q、k、v分别为查询、键、值矩阵，kt为k的转置矩阵；d为向量维度，b为偏置矩阵，softmax为多分类激活函数；

61、45)采用swin-transformer骨干网络的stage1、stage2、stage3、stage4层表示整体特征图中每个尺度的特征，对电力设备缺陷检测图像进行数据增强处理，通过添加高斯、椒盐噪声以及调节图像明亮度方法，将增强后的数据作为特征提取网络的输入，提取整体特征图输入到下一阶段特征融合网络中。

62、所述电力设备缺陷目标检测模型的训练还包括显式对齐操作，显式对齐操作用于得到更优的分类性能和定位精度；所述的显式对齐操作包括以下步骤：

63、采用空间概率图n得到对齐分类任务qalign：

64、

65、其中，密集分类分数是从交互特征中计算出来的，用来学习空间位置的一致性程度；采用空间偏差得到定位任务预测balign，通过双线性插值进行实现：

66、balign(i,j,c)＝b(i+p(i,j,2×c),j+p(i,j,2×c+1),c)     (10)

67、其中，对象边界框为空间偏差图，从交互特征中计算出来用于调整每个位置的预测边界框；(i,j,c)表示张量中第c个通道上的第(i,j)个空间位置，由于每个通道的偏移都是独立学习得到的，这意味着每个对象的边界拥有自己的偏移量；

68、对齐映射n和p从交互特征堆栈中进行自动学习：

69、n＝σ(conv2(δ(conv1(finter))))      (11)

70、p＝conv4(δ(conv3(finter)))         (12)

71、conv1、conv3为1×1的卷积进行降维操作；finter为任务交互特征；δ表示relu激活函数；σ为sigmoid激活函数；

72、采用分类损失函数qualityfocalloss，调整网络中的参数，最后输出变电站设备图像中准确的缺陷目标，其损失qfl(σ)公式如下：

73、qfl(σ)＝-ai*|x-σ|β*[(1-x)log(1-σ)+xlog(σ)]      (13)

74、其中，ai为平衡正负样本，σ为预测值，x为连续标签，β为比例因子用来控制权重衰减速度；

75、采用ciou loss作为回归损失函数，其损失lossciou如下：

76、

77、其中，d表示包围预测框与真实框的最小外接矩形，c，cgt分别表示预测框与真实框的中心点，ρ表示是两个中心点之间的欧式距离，β和w为长宽比。

78、有益效果

79、本发明的一种基于swint与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法，与现有技术相比特征提取能力更强，模型训练简单，同时识别精度更优的目标检测方法，实现了电力设备缺陷图像目标的精准检测。

80、本发明通过图像增强技术并构建基于swin-transformer与尺寸自适应卷积的特征提取网络，使得网络对特征的提取更加符合物体本身的形状和尺寸，而非固定的几何结构采样更有利于对缺陷特征的提取；通过融合不同层次特征构建特征融合网络，增加了对小目标的检测准确率；通过tood检测头获取分类性能和定位精度都更好的目标。