一种水电站绝缘子图像检测系统和方法与流程

本发明涉及图像识别领域，具体是一种水电站绝缘子图像检测系统和方法。

背景技术：

1、水电站由水力系统、机械系统和电能产生装置等组成，是实现水能到电能转换的水利枢纽工程。绝缘子作为常用的绝缘控件，被广泛用于水电站中导体的绝缘和电气设备的机械支撑。

2、由于大多数绝缘子不断暴露在自然环境中，因此会发生各种故障，例如缺失帽、闪络和结冰。绝缘子的故障会严重威胁到电气设备的可靠运行，红外热成像(irt)技术通过检测设备辐射的红外能量，可以直接反映电气设备的表面温度和温度场分布以对设备进行监控。irt技术已广泛应用于电气设备的状态监测。因人工对红外图像进行分析检测不仅效率低且成本较高，传统的绝缘子检测方法采用了纹理特征、统计特征等检测手段，但在检测过程中，准确性和速度之间没有得到良好的权衡，且并未利用到对应可见光图像的深度等特征信息。

3、目前，基于深度学习的绝缘子图像识别技术得到了发展。但在水电站背景复杂且干扰信息多时，仍然缺乏一种有效的绝缘子图像检测方法。

技术实现思路

1、为了解决上述问题，本发明提出一种水电站绝缘子图像检测系统和方法，提高了水电站自动化检测能力。

2、本发明的提供如下技术方案：

3、一种水电站绝缘子图像检测系统，包括采集单元和处理单元；采集单元采集ir和vis图像；

4、处理单元包括输入对、特征提取网络、融合网络、区域生成网络和快速区域卷积神经网络；

5、输入对输入由两个传感器采集的ir和vis图像；

6、特征提取网络由红外图像特征提取网络与可见光图像特征提取网络组成；用于输入图像的特征提取，即将低维图像编码为高维特征图；

7、特征提取网络的最终输出特征图，并被发送到快速区域卷积神经网络用于对象检测；编码器网络输出的vis和ir图像的特征图被发送到融合网络进行图像融合，整个特征提取网络输出的vis图像的特征图被发送到区域生成网络和快速区域卷积神经网络进行目标检测。

8、进一步地，红外图像特征提取网络为基于改进fssd模型的红外图像特征提取网络，红外图像特征提取网络的前半部分为将vgg16的最后两个全连接层改为卷积层的主干网络，后半部分是新生成的特征金字塔结构。

9、进一步地，红外图像特征提取网络以vgg16为基础，将vgg16的最后两个全连接层改为卷积层，卷积核大小为10x 10和38x 38，通道数为512，将不同比例的第四通道卷积核、第七全连接层和第七卷积核特征映射连接起来，形成特征金字塔网络，增强模型提取特征能力。

10、进一步地，红外图像特征提取网络在不同尺度的特征图上生成不同尺度和数量的默认框。

11、进一步地，红外图像特征提取网络还包括浅层特征增强模块，每个分支首先通过一个1×1的卷积核进行降维，然后通过不同大小的卷积核提取特征；

12、浅层特征增强模块在每个分支的卷积层顶部使用批量归一化对操作信息进行归一化，以加速模型的收敛，浅层特征增强模块中设有一个残差连接分支。

13、进一步地，可见光图像特征提取网络为基于dla-34的可见光图像特征提取网络，利用dla-34作为骨干网络，用于从输入rgb图像中提取特征。

14、进一步地，基于dla-34的可见光图像特征提取具体按以下进行：

15、利用一个中心点检测网络来识别感兴趣对象的二维非模态中心，在中心点的相邻像素中具有二维高斯分布软标签；使用(1)中公式化的带有加权焦点损失的负似然函数来训练中心预测head：

16、

17、其中p表示网络的预测，t表示真实情况；α和γ是焦点损失的正负权重；

18、继而，热图预测head输出的整体损失可以表示为式(2)

19、

20、可见光图像特征提取网络将每个对象的深度估计限制为单个点，

21、利用带有加权焦点损失的负似然来进行深度分类，深度预测head输出的离散深度估计损失ldpt表示为式(3)：

22、

23、其中z∈[0,1]w×h×d和是长度为d的一维数组；

24、负责预测对象尺寸的网络头使用深度预测头从共享卷积层接收输入；利用l1损失来计算维度损失，记为ldim：

25、

26、可见光图像识别网络的总损失为各部分损失乘以正则化常数λ1、λ2、λ3、λ4的和。

27、本发明还涉及的一种水电站绝缘子图像检测方法，适用于上述的系统，包括：

28、输入由两个传感器采集的ir和vis图像；

29、红外图像特征提取网络与可见光图像特征提取网络输出特征图，并被发送到快速区域卷积神经网络用于对象检测；编码器网络输出的vis和ir图像的特征图被发送到融合网络进行图像融合，整个特征提取网络输出的vis图像的特征图被发送到区域生成网络和快速区域卷积神经网络进行目标检测。

30、由此可见，本发明通过红外图像特征提取、可见光图像特征提取以及融合网络对水电站绝缘子红外图像与可见光图像进行处理，充分利用了绝缘子红外图像与可见光图像的特征信息，提高了水电站自动化检测能力。

31、本发明基于改进fssd模型进行红外图像特征提取，红外图像识别中，本发明使用特征融合模块来连接不同比例的conv4_3、fc7和conv7_2特征图，形成新的特征金字塔。充分利用了不同层次的特征信息来改善更深层次的细节信息，增强模型提取特征的效果。并设计了一个浅层特征增强模块，使模型能够充分利用浅层特征图的信息来提高检测精度。在不同的特征图中，根据感受野的大小设置对应的anchor尺寸，生成每个特征图的预测结果。

32、本发明基于dla-34进行可见光图像特征提取，采用了一种新颖的中心预测head，目的是改进基于centernet的中心点检测头的热图预测。并利用软高斯标签进行深度估计，将其作为分类任务而不是回归任务。最终能够准确识别水电站绝缘子故障缺陷位置。

技术特征：

1.一种水电站绝缘子图像检测系统，其特征在于：包括采集单元和处理单元；采集单元采集ir和vis图像；

2.根据权利要求1所述的系统，其特征在于：红外图像特征提取网络为基于改进fssd模型的红外图像特征提取网络，红外图像特征提取网络的前半部分为将vgg16的最后两个全连接层改为卷积层的主干网络。

3.根据权利要求2所述的系统，其特征在于：红外图像特征提取网络以vgg16为基础，将vgg16的最后两个全连接层改为卷积层，卷积核大小为10x 10和38x 38，通道数为512，将不同比例的第四通道卷积核、第七全连接层和第七卷积核特征映射连接起来，形成特征金字塔网络，增强模型提取特征能力。

4.根据权利要求2所述的系统，其特征在于：红外图像特征提取网络在不同尺度的特征图上生成不同尺度和数量的默认框。

5.根据权利要求2所述的系统，其特征在于：红外图像特征提取网络还包括浅层特征增强模块，每个分支首先通过一个1×1的卷积核进行降维，然后通过不同大小的卷积核提取特征；

6.根据权利要求1所述的系统，其特征在于：可见光图像特征提取网络为基于dla-34的可见光图像特征提取网络，利用dla-34作为骨干网络，用于从输入rgb图像中提取特征。

7.根据权利要求6所述的系统，其特征在于：基于dla-34的可见光图像特征提取具体按以下进行：

8.一种水电站绝缘子图像检测方法，其特征在于：适用于权利要求1-7任一项所述的系统，包括：

技术总结
本发明涉及一种水电站绝缘子图像检测系统和方法，该系统包括采集单元和处理单元；采集单元采集IR和VIS图像；处理单元包括输入对、特征提取网络、融合网络、区域生成网络和快速区域卷积神经网络。本发明通过红外图像特征提取、可见光图像特征提取以及融合网络对水电站绝缘子红外图像与可见光图像进行处理，充分利用了绝缘子红外图像与可见光图像的特征信息，提高了水电站自动化检测能力。

技术研发人员：徐智,杨杰,张利雄
受保护的技术使用者：华能澜沧江水电股份有限公司
技术研发日：
技术公布日：2024/1/12