基于去雾约束网络和串联多尺度注意力的绝缘子检测方法

本发明属于图像处理，具体涉及基于去雾约束网络和串联多尺度注意力的绝缘子检测方法。

背景技术：

1、随着经济和科技的迅速发展，高压输电线的规模不断扩大。绝缘子作为输电线路中的重要组成部分，具备机械支撑和电气隔离的关键功能。然而，这些高压输电线通常分布在偏远地区，并且大部分绝缘子暴露在室外环境中。由于长期承受强电压、机械应力以及恶劣气候条件，绝缘子面临着各种复杂的环境压力，导致故障发生的风险极大，从而给电力系统的安全性和整体稳定性带来严重影响，进而造成巨大的经济损失。雾天是常见的恶劣天气之一，其中的漂浮颗粒会散射光线，导致图片的质量下降，对于绝缘子检测来说，这意味着绝缘子的形状、边缘和细节特征可能无法清晰捕捉，从而降低了检测算法的准确性和可靠性。因此，如何解决在雾天环境下准确检测目标，称为了计算机视觉领域热门的课题。

2、目前，绝缘子的常用的雾天目标检测算法大致分为三类：基于图像增强的方法、基于图像去雾预处理的方法和基于端到端网络设计的方法。基于图像增强和基于图像预处理的方法，可以直接被概括为去雾-检测二阶段的方式。具体来说，先使用去雾算法或者是图像增强算法先对输入图像进行预处理，得到去雾后的清晰图像后，将训练好的目标检测模型进行推理，得到检测结果。qiu等人发表了《idod-yolov7:image-dehazing yolov7 forobject detection in low-light foggy traffic environments》提出了idod-yolov7雾天检测算法，通过aod图像去雾算法和saip图像增强算法的联合优化来提高图像质量，再使用yolov7检测算法获取较优的检测效果。这种先预处理再检测的方法，一定程度上能够提升雾天图像的检测效果，但检测效果依赖于去雾的效果。要获得更好的检测性能,需要选择合适的去雾算法与参数。近年来，端到端的雾天目标检测算法已成为主流，端到端网络设主要是加入针对雾天图像的处理模块和优化网络结构，使整个模型端到端地处理雾天环境。zhang等人发表了《finet:an insulator dataset and detection benchmark based onsynthetic fog andimprovedyolov5》提出了finet有雾绝缘子检测算法，通过再yolov5中引入se通道注意力机制，实现雾天场景下地绝缘子检测。但是只引入一个注意力模块，更多的是起到一个特征选择度作用，对于去除雾霾没有直接作用。

3、尽管这些方法取得了较好地雾天检测效果，然而缺乏约束能力，在处理复杂地雾天绝缘子图像时仍然存在大量错检和漏检，具体而言其存在以下问题。

4、(1)使用去雾-检测这两种不同的图像处理的方式将会产生更大的参数量，并且前一个阶段输出的去雾图像对比原始有雾图像会损失部分隐藏在雾下的结构信息，如果直接用去雾图像作为下一个检测阶段的输入图像时，很难恢复原始图像的细节纹理以及空间结构信息，从而导致结果会存在一定的偏差。

5、(2)现有检测网络中的注意力模块感受野有限，无法充分利用全局上下文信息，以及并行分支结构导致参数冗余。

技术实现思路

1、本发明的目的是现有的雾天环境下的绝缘子检测方法通常采用去雾-检测这种二阶段的检测方法，但独立的去雾效果直接影响了检测网络的输入，而去雾效果难以保证，从而对检测结果造成一定影响。其次，检测网络中广泛使用的注意力受感受野的限制，没有充分利用上下文信息，制约了特征表达的效果。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、基于去雾约束网络和串联多尺度注意力的绝缘子检测方法，包括以下步骤：

4、步骤s1：构建yolov5目标检测网络，该网络包括：backbone骨干网络a，neck特征融合模块b、head检测头模块c；

5、步骤s2：构建去雾约束网络d，该网络主要和backbone骨干网络a形成一个编解码结构；

6、步骤s3：构建串联多尺度注意力模块k，利用串联多个卷积的方式得到不同大小的感受野来提取多尺度特征信息，并通过注意力机制得到不同的特征权重；

7、采用以上步骤构建雾天环境下联合去雾约束网络和串联多尺度注意力机制的绝缘子检测框架，并采用所构建的雾天环境下联合去雾约束网络和串联多尺度注意力机制的绝缘子检测框架对绝缘子进行检测。

8、所构建的雾天环境下联合去雾约束网络和串联多尺度注意力机制的绝缘子检测框架包含去雾分支d、backbone骨干网络a、neck特征融合模块b、head检测头模块c和去雾分支d，去雾分支d和neck特征融合模块b共享由backbone骨干网络a提取的特征信息；将骨干网络的输出到不同的两个分支，通过去雾分支d约束backbone骨干网络a，使neck特征融合模块b能够从backbone骨干网络a中获得有雾图像中的清晰绝缘子特征信息，使网络能够更好地相互学习，提高雾天检测绝缘子检测能力。

9、在步骤s1中，yolov5目标检测网络主要包含backbone骨干网络a、neck特征融合模块b和head检测头模块c部分；backbone骨干网络a为特征提取模块，主要使用cspdarknet作为特征提取，该结构基于darknet53，增加了c3结构g，形成了一个维度下降的金字塔结构网络；采用focus操作e、卷积下采样和sppf操作j作进行特征提取，具有较强的特征提取能力；neck部分b主要采用pan结构，用于聚合并增强不同尺度的特征图；最后将neck部分b输出的特征图进入head部分c来预测网络；检测头包含分类模块和回归模块；分类模块对每个回归框预测目标类别；回归框模块是对预测框的坐标进行校正；最终以边框坐标、预测类别和置信度的形式，输出每个检测到的目标对象。

10、在步骤s2中，去雾约束网络d包括五个上采样层，每个上采样层由csp层f、反卷积操作和concat组成；通过引入去雾约束分支d，可以引导backbone骨干网络a在处理有雾绝缘子图像时更加关注清晰度和细节，从而避免因雾气导致的信息损失；在有雾绝缘子图像经过backbone骨干网络a之后，分别进入去雾约束网络分支d和检测网络的neck部分b，backbone骨干网络a和去雾约束网络d形成编解码结构；由backbone骨干网络a作为编码器提取图像中的有雾特征，再由去雾约束分支d作为解码器恢复清晰图像，能够有效地从输入图像i中提取有雾绝缘子中的清晰特征，缓解雾霾给检测效果造成的影响。

11、在步骤s3中，如图2所示，特征图通过三个连续的卷积层，卷积核大小分别为3*3、3*3和5*5；这种串联的设计选择使得多个感受野的信息能够有效结合，从而获得不同大小的感受野，并产生与更大卷积核(如7*7)等效的有效感受野；通过这样的串联结构，在减小参数量的同时，保持了捕捉多尺度上下文信息的能力，有助于提高绝缘子检测的准确性和鲁棒性；其表达公式如下：

12、xn＝convn(xn-1)

13、其中x表示输入输出的特征图，convn表示输入第n个串联的卷积操作，n∈[1、2、3]；利用不同大小的卷积核提取不同感受域的特征xn∈{x1,x2,x3,x4}；接下来，每个卷积层输出的特征图经过注意力模块，实现自适应特征加权；特征注意力模块通过自适应分配特征权重，突出重要的特征信息，抑制不重要的特征；过程为：在通过不同大小的卷积层后，对拥有不同感受野的特征经过一个全局平均池化操作：

14、

15、其中(xn)c(i,j)表示第n层特征中第c个单通道特征图在位置(i,j)处的值，rgap表示全局平均池化函数，特征图的形状从c×h×w变为c×1×1；gn表示不同感受野特征对应的通道描述符，gn∈{g1,g2,g3}；同时使用通道注意力ca和空间注意力sa，能够从不同层面学习特征权重，从而获得丰富的全局和局部信息；具体的操作如下：

16、

17、其中σ是sigmoid函数，δ是relu激活函数；在通道注意力上使用了一个全局平均池化，然后通过激活函数获得对应通道的权重系数，最后与输入的特征图xn进行通道维度权重相乘，得到加权的输出特征图can，经过通道注意力模块的特征在通道维度上进行了自适应调节,重要通道的特征会被强化,不重要通道会被抑制；然后再通过一个空间注意力模块sa，sa模块不需要经过一个全局平均池化操作，直接在输入特征图的空间维度上学习权重映射，使用1×1卷积实现，从而保持空间分辨率不变，保留更多细节；最后，将拥有不同感受野的特征进行融合，来筛选出不同感受野的通道特征，公式表达如下：

18、

19、其中x0指的是输入到串联多尺度注意力模块k的特征图，n代表的是第n个支路，n表示总共的支路，san代表第n个支路通过注意力所得到的特征图，f表示最后将所有通过注意力模块的特征图与原始特征图相加得到的输出特征图。

20、构建的去雾约束网络和串联多尺度注意力的绝缘子检测方法框架如下：

21、将有雾绝缘子图像i输入到backbone骨干网络a中，将得到的输出分别输入到去雾约束分支d和backbone骨干网络a、neck部分b和head部分c部分中，最后得出检测后的图像。

22、其中构建的backbone骨干网络a具体为：

23、有雾绝缘子图像i输入到focus层e，将得到的特征图经过第一个下采样层1，包含下采样卷积操作和一个c3模块g；focus模块首先使用并行的slice切片操作，将得到的特征图经过一个concat操作，之后经过一个cbl层f；cbl层f是使用卷积、归一化、激活操作；c3模块g包含两个分支，一个分支直接经过一个卷积操作，另一个分支经过一个cbl模块f和3个残差块h组成，每个残差块是由两个cbl层f和一个跳越连接操作组成，最后将两个分支经过concat操作，最后经过一个归一化、激活、cbl层f；

24、将下采样层1得到的编码特征传递到第二个下采样层，通过一个步长为2的cbl层f以及一个c3模块g，从而获得第二层的下采样特征；

25、然后将第二层的特征传递给第三层下采样层，下采样层将输入的特征图通过一个步长为2的cbl层f以及一个c3模块g，从而获得第三层的下采样特征；

26、将获得的下采样特征再传递给下采样层，经过一个一个步长为2的cbl层f以及一个c3模块g，从而获得第四层的下采样特征图；

27、经过下采样之后输入到sppf模块e中；sppf模块e经过一个cbl层f，再同时并行经过三次最大池化，然后和cbl层f后一起concat在一起，最后再经过一个cbl层f。

28、所构建的去雾约束网络d具体为：

29、将sppf所得到的特征图传递给去雾约束网络d，首先经过一个c3模块g，再经过一个dehaze层用于上采样，主要由激活、归一化和反卷积操作组成；

30、将得到的特征图和下采样层concat在一起，再经过一个上采样层，上采样层主要先经过一个c3模块g，再经过一个反卷积，最终得到上采样层的特征图；

31、再将上采样层得到的特征图和下采样层得到的特征图通过concat在通道维度上拼接，并通过c3模块g和上采样层得到特征图；

32、将所得特征图和下采样层的特征图在通道维度上进行拼接，然后在经过一个c3模块g和一个反卷积上采样操作，最终得到上采样层的特征图；

33、最后将上采样层的特征图和下采样层的特征图在通道维度上进行拼接，然后经过一个c3模块g和卷积操作，最后得到一张去雾后的特征图。

34、所构建的检测分支网络neck部分b和head部分c具体操作为：

35、将sppf模块j得到的特征图经过一个cbl模块f和一个上采样操作，使用的上采样模块是使用双线性插值的方式，从而增大特征图大小，得到上采样层；

36、下采样层经过一个cmsa串联多尺度注意力模块模块k后与上采样层在通道维度上经过一个concat拼接操作，然后经过c3模块g和一个cbl模块f，再经过一个双线性插值的上采样模块，得到上采样层的特征图；

37、下采样层经过一个cmsa串联多尺度注意力模块模块k后与上采样层在通道维度上经过一个concat拼接操作，然后经过一个c3模块g和下采样的卷积操作，得到下采样层的特征图；

38、将上采样层经过一个cmsa串联多尺度注意力模块模块k和下采样层在通道维度上经过一个concat拼接操作，并且经过一个c3模块g和一个下采样卷积操作，得到下采样层的特征图；

39、上采样层经过一个cmsa串联多尺度注意力模块模块k和下采样层在通道维度上经过一个concat拼接操作，并且经过一个c3模块g，得到特征图；

40、将下采样层经过一个head检测头操作得到一个255*80*80的特征图，主要包含较大目标的回归框坐标和类别信息；

41、将下采样层经过一个head检测头操作得到一个255*40*40的特征图，主要包含中等目标的回归框坐标和类别信息；

42、将特征图经过一个head检测头操作得到一个255*20*20的特征图，主要包含小目标的回归框坐标和类别信息。

43、所构建的串联多尺度注意力模块cmsa具体为：

44、特征图经过一个3*3大小的卷积操作得到特征图，将所得的特征图经过一个最大池化操作得到通道描述符，之后经过一个1*1大小的卷积操作得到特征向量，用于降维的作用，然后再经过一个1*1大小的卷积操作得到特征向量，用于一个升维的作用；将特征向量与特征图相乘得到特征图，并经过一个1*1卷积操作得到特征图，用于降维操作，然后使用1*1的卷积操作得到特征图，然后将特征图与特征图矩阵相乘获得特征图；

45、特征图经过一个3*3大小的卷积操作得到特征图，将所得的特征图经过一个最大池化操作得到通道描述符，之后经过一个1*1大小的卷积操作得到特征向量，用于降维的作用，然后再经过一个1*1大小的卷积操作得到特征向量，用于一个升维的作用；将特征向量与特征图相乘得到特征图，并经过一个1*1卷积操作得到特征图，用于降维操作，然后使用1*1的卷积操作得到特征图，然后将特征图与特征图矩阵相乘获得特征图；

46、特征图经过一个5*5大小的卷积操作得到特征图，将所得的特征图经过一个最大池化操作得到通道描述符，之后经过一个1*1大小的卷积操作得到特征向量，用于降维的作用，然后再经过一个1*1大小的卷积操作得到特征向量，用于一个升维的作用；将特征向量与特征图相乘得到特征图，并经过一个1*1卷积操作得到特征图，用于降维操作，然后使用1*1的卷积操作得到特征图，然后将特征图与特征图矩阵相乘获得特征图；

47、最后将特征图、特征图、特征图和特征图经过一个像素级的相加操作，得到特征图。

48、与现有技术相比，本发明具有如下技术效果：

49、1)通过良好设计的联合去雾约束网络框架，可以引入“去雾分支”来构建“去雾约束”，来增强网络对有雾图片的约束能力，从而改善整个网络的目标检测能力。

50、2)提出了一种称为串联多尺度注意力模块，通过串联多个卷积的方式得到不同大小的感受野来提取多尺度特征信息，形成一个多尺度上下文学习的注意力机制，可以更有效地为检测网络地特征分配权重。

51、3)本发明开发了一种名为去雾约束网络和串联多尺度注意力绝缘子检测的新颖方法，将设计的联合去雾约束网络框架和串联多尺度注意力模块无缝集成到检测网络中，用于处理雾天场景下的剧院子检测，通过对有雾绝缘子图像更有效的约束，我们的方法在有雾绝缘子数据集上优于大多数先进方法。