一种基于图像融合以及目标识别的变电设备识别诊断方法

本发明属于电力设备识别领域，尤其涉及人工智能识别领域。

背景技术：

1、建设新型电力系统的关键是电网的智能化、数字化转型，传统的电力故障诊断手段操作难度较大且效率低，随着人工智能和红外热成像技术的发展，使用人工智能技术的方法对图像中的电力设备识别已成为趋势。人工智能技术识别电力设备准确率高，速度快，实现了对电力设备的实时监测诊断。

2、红外图像不受光照干扰影响、能提供温度信息，但图像的分辨率较低，这对人工智能技术识别设备造成一定的干扰，而可见光图像能良好反应图像的纹理信息，但容易受到光照条件影响，结合红外和可见光两个波段的图像，得到的效果和信息远大于单一红外或者可见光图像提供的信息。

3、cn112733950a，一种基于图像融合与目标检测结合的电力设备故障诊断方法，针对从红外热像仪采集到的红外图像和相机采集到可见光图像这两种同源图像，首先使用图像增强来提高红外图像的对比度、纹理细节以及亮度等，为保持图像的边缘信息对可见光图像进行增强；其次为解决可见光图像与红外图像中的细节信息不同的问题，采用图像配准方法；再使用图像融合将红外图像与可见光图像融合起来，最终使用目标检测方法完成对电力设备的缺陷检测。本发明在处理红外图像与可见光图像，将传统图像处理方法与深度学习方法相结合起来。

4、cn112733950a专利的算法缺点是识别的速度较慢，不利于设备的实时识别。具体为：该专利中使用的融合算法为较为复杂神经网络算法，与本专利的小波变换相比速度较慢，同时采用的目标识别算法为用faster r-cnn，速度远不如本专利所使用的ssd目标检测算法，且ssd算法对于小目标的识别精度也略高于faster r-cnn。

技术实现思路

1、本发明旨在解决以上现有技术的问题。提出了一种基于图像融合以及目标识别的变电设备识别诊断方法。本发明的技术方案如下：

2、一种基于图像融合以及目标识别的变电设备识别诊断方法，其包括以下步骤：

3、1)、拍摄变电设备的红外光图像和可见光图像，利用离散小波变换将红外光图像和可见光图像进行融合得到融合图像；

4、2)、对步骤1)中的获得的融合图像进行质量筛选和设备标注，建立变电设备红外、可见光融合图像库即目标识别算法的数据集；

5、3)将步骤2)中的训练集对目标识别算法ssd模型进行训练，实现通过融合图像识别诊断变电设备。

6、进一步的，所述步骤1)利用离散小波变换将红外光图像和可见光图像进行融合得到融合图像，具体包括以下步骤：

7、11)、采用离散小波变换对红外、可见光图像进行分解，得到高频分量h和低频分量l；

8、12)、对得到的分解图像进行同尺度下的列分解，得到行列方向上高低频交叉分量；

9、13)、对得到的的行列低频子带lln进一步迭代分解，即可得到尺度级数为n+1的分解图像子带；

10、14)、分解的各个子带可通过小波逆变换进行图像重构，而基于小波变换的图像融合，就是对图像分别进行分解后，对各个不同图像的同子带进行融合，得到融合子带后，再进行小波逆变换，以获取融合图像。

11、进一步的，所述步骤2)、对步骤1)中的获得的融合图像进行质量筛选和设备标注，建立变电设备红外、可见光融合图像库即目标识别算法的数据集，具体包括以下步骤：

12、21)、对红外、可见光融合图像进行质量评价，评价方法为方差评价法；首先对融合图像进行灰度化，然后对图像的灰度值进行方差运算；设定阈值，筛选方差结果出高于阈值图像即质量较好、信息量较多的图像；

13、22)、将21)中的筛选出的融合图像进行标注，标注方式采用labelme软件进行标注，对设备和设备的疑似故障区域进行标注，构建变电设备高质量融合图像集。

14、进一步的，所述步骤3)对ssd模型进行训练，具体把控：

15、用构建的变电设备高质量图像集对目标识别模型ssd进行训练，实现模型对设备和发热故障的识别，ssd模型具体包括：

16、31)、vgg backbone层，作为基础框架用来提取图像的特征；

17、32)、extra feature layers层对vgg生成的特征层做进一步卷积处理，得到如图5所示的5个的特征图；

18、33)、pred-layers层对待预测的6个特征图进行处理，6个特征图最终通过pred-layer(包括多尺度检测、非极大值抑制)得到预测框的坐标，置信度，类别信息，实现目标的检测。

19、34)、在ssd算法之前的faster rcnn仅用了最高层特征层,导致小目标特征丢失，对于小目标检测的精度较低。为解决这一问题，ssd算法将单层的feature map预测改为多尺度预测，如图5所示。ssd算法提取了6个特征层(conv4-3/conv-7/conv6-2/conv7-2/conv8_2/conv9_2)，特征层的尺寸分别是38*38，19*19，10*10，5*5，3*3，1*1，一共6种不同的特征图尺寸。其中大尺寸特征图保留了小目标的特征信息，能够预测小目标；小尺寸特征图，保留了大目标的特征信息，能够预测大目标。多尺度预测的方式，可以使得检测更加充分(ssd属于密集检测)，更能检测出小目标。

20、本发明的优点及有益效果如下：

21、本发明的创新点主要是将红外图像与可见光图像相结合的方式来进行设备的目标检测以及发热故障诊断。红外图像能够提供物体的温度信息，但通常分辨率较低，影响了目标检测算法的识别率，而可见光分辨率较高，能够良好地反映物体的纹理信息。将红外图像和可见光图像相结合能够生成既能反映温度信息，又能展现较好的纹理信息的融合图，有利于目标检测算法的识别率的提升。且本发明基本算法为ssd和小波变换算法，它们在运行速度上较快，能支持电力设备的实时识别。

技术特征：

1.一种基于图像融合以及目标识别的变电设备识别诊断方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于图像融合以及目标识别的变电设备识别诊断方法，其特征在于，所述步骤1)利用离散小波变换将红外光图像和可见光图像中进行融合得到融合图像，具体包括以下步骤：

3.根据权利要求1所述的一种基于图像融合以及目标识别的变电设备识别诊断方法，其特征在于，所述步骤2)、对步骤1)中的获得的融合图像进行质量筛选和设备标注，建立变电设备红外、可见光融合图像库即目标识别算法的数据集，具体包括以下步骤：

4.根据权利要求3所述的一种基于图像融合以及目标识别的变电设备识别诊断方法，其特征在于，所述步骤3)对ssd模型进行训练，具体包括：

技术总结
本发明请求保护一种基于图像融合以及目标识别诊断技术的变电设备识别方法。实现该方法需要首先根据小波变换将设备对应的红外图像与可见光图像融合，构建高质量红外、可见光融合图像库。然后采用SSD目标识别算法，将融合图像库作为算法的训练集进行训练，实现对融合图像的智能识别。构建的融合图像的目标识别方法结合了红外光不受光照影响、能提供温度信息和可见光分辨率清晰的优点，实现对变电设备的精确识别诊断。

技术研发人员：李雨锾,李致民,杨帆,杨子康,李艳,杜进桥
受保护的技术使用者：重庆大学
技术研发日：
技术公布日：2024/1/14