基于生成对抗网络的多光谱图像融合模型的建立方法及融合方法与流程

本发明涉及图像融合数据处理的，特别涉及一种基于生成对抗网络的多光谱图像融合模型的建立方法及融合方法。

背景技术：

1、在电力场景中，随着电力设备的老化或生锈、接触不良引起电流过大，电压异常，设备会产生热异常现象。如果检修人员未能及时发现这些热异常，可能造成严重的安全事故和财产损失。因此，及时发现电力设备的热异常变得非常重要。常用的热异常检测手段有基于红外图像传感器的电力设备热异常检测方法，红外热像仪检测具有非接触不停电检测电力设备等优点，在各电力单位广泛使用。随着我国电网规模不断扩大，电力设备的红外巡检压力也越来越大，利用巡检机器人、定点监测轨道机器人等设备采集的红外热像数据越来越多，同时使用可见光图像传感器和红外图像传感器的融合方法。

2、图像融合指的是在同一时刻将多个传感器获取的特定场景的图像或者是视频信息，利用选定的算法进行综合，生成一个和此场景有关的新的图像，在这个图像中会包含很多个传感器获取的图像的相关信息。多光谱图像融合和单一的光谱图像相比较，存在很多的优点：多光谱的图像具有冗余性，和单光谱一样也具备一些无法捕捉的信息内容，所以两者之间能够起到互补作用，同样多光谱还能够提高观测信息的准确度以及清晰度。

3、现在出现了一些采用深度学习模型(如生成对抗网络)的训练图像融合模型的方法。如图1所示，即示出了一种生成对抗网络的示意图。但在现有的对生成对抗网络的判别器的训练过程中，存在一些不足之处，例如网络容易产生过拟合。过拟合表现为模型在训练集上的表现越来越好，但是在交叉验证集上的误差却越来越大，其泛化能力和鲁棒性也越来越差。生成对抗网络模型中判别器产生过拟合，会导致生成器，即图像融合的产生器，学习到错误的梯度信息，导致生成的融合图像也产生一定的偏差。为了解决生成对抗网络判别器过拟合的问题，常常会训练多个判别器，但是这样又会带来训练时间过长与模型内存占用过大的新问题。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于生成对抗网络的多光谱图像融合模型的建立方法及融合方法，可以避免模型训练过程中的过拟合问题，以及减少训练资源的训练时间，提高了融合模型的融合效果。

2、为了解决所述技术问题，本发明的一方面，提供一种基于生成对抗网络的多光谱图像融合模型的建立方法，其至少包括如下步骤：

3、步骤s10，建立训练集及验证集，所述训练集及验证集中均包括多组图片对，每一组图片对包括同一位置拍摄的红外光图片、可见光图片的灰度值图片；

4、步骤s11，分别将训练集中的每组图片对输入一个具有残差模块的生成器中，生成融合图像；

5、步骤s12，将所述图片对结合融合图像分别输入至两个具有dropout层的判别器中进行判别处理，获得所述图片对中两张图像的判断值，并计算判别器损失函数值，以及计算生成器损失函数值；

6、步骤s13，根据所述判别器损失函数值以及计算生成器损失函数值，进行反向传播计算，更新生成器参数和判别器参数，直至生成器和判别器损失收敛，获得训练好的生成器和判别器；

7、步骤s14，采用验证集对所述训练好的生成器和判别器进行验证，在通过验证后，根据所述生成器获得多光谱图像融合模型。

8、优选地，所述步骤s10进一步包括：

9、获取第一数量的初始图片对，每一初始图片对包含一可见光图片和一红外光图片；

10、将每一初始图片对转换为强度值为0-1的灰度图像；

11、在每一初始图片对中随机裁剪预定尺寸大小的多组图片，形成多组新的图片对，组成训练集；

12、在每一初始图片对中采用中心裁剪的方式获得预定尺寸大小的图片对，形成验证集。

13、优选地，所述步骤s11进一步包括：

14、步骤s110，获得采用model.py文件编写的生成器，所述生成器包含输入层、残差模块组以及输出层；

15、其中，所述输入层包含卷积、prelu激活函数处理层；残差模块组包含多个残差模块，每一残差模块包含卷积、批归一化、prelu激活函数、卷积、批归一化以及元素智能相乘处理层；所述输出层包含卷积、prelu激活函数及卷积处理层；

16、步骤s111，随机将训练集中的图片对输入到所述具有残差模块的生成器中，生成融合图像。

17、优选地，所述步骤s12进一步包括：

18、步骤s120，获得两个采用model.py文件编写的判别器，每一判别器均包含6层，前五层均包含有卷积、批归一化、leaky激活函数、卷积、批归一化以及池化处理层；第六层包含有dropout层、卷积及池化处理层；

19、步骤s121，将所述融合图像输入所述两个判别器，其中一判别器对所述融合图像与图像对中的红外光灰度值图片进行判别；另一判别器对所述融合图像与所述图像对中的可见光灰度值图片进行判别；

20、步骤s122，获取在loss.py文件中编写的损失函数，对判别器的损失函数值进行计算。

21、优选地，所述步骤s122进一步包括：

22、采用下述公式对判别器的损失函数值进行计算：

23、lossg＝limage+αlgradient+βldetail+δltee+γladversarial

24、其中，limage和lgradient都是内容损失，ldetail为细节损失，ltee为目标边缘增强损失，ladversarial为对抗损失；

25、采用下式计算limage：

26、

27、ir(x，y)表示红外光图像在(x,y)处的值，if(x，y)表示融合图像在(x,y)处的值，即计算每个像素的位置都与红外光图像相同位置的像素值差的平方；

28、采用下式计算lgradient：

29、

30、dv(x，y)表示可见光图像在(x,y)处的梯度值，df(x，y)表示融合图像在(x,y)处的梯度值，即计算每个像素的位置都与可见光图像相同位置的像素值差的平方；

31、采用下式计算ldetail：

32、

33、φv(i，j)表示可见光特征图在(i,j)处的值，φf(i，j)表示融合图像特征图在(i,j)处的值；

34、采用下式计算ltee：

35、

36、权重g用于使融合图像更关注边缘信息，g定义如下：

37、g(x，y)＝nk＝3(dr(x，y))+nk＝5(dr(x，y))+nk＝7(dr(x，y))

38、dv(x，y)表示可见光图像在(x,y)处的梯度值，n是高斯核函数，k＝3,5,7为经验取值；

39、采用下式计算ladversarial：

40、

41、imix表示可见光和红外光图像的混合输入，表示判别器判定融合图像为真实的概率，n是batch大小。

42、优选地，所述步骤s13进一步包括：

43、在每次训练中，在每一判别器中，先使判别器处于训练模式，使dropout层以第一概率激活神经元，根据输入判别器图像数据后得到的输出值计算判别器损失，进行反向传播计算，更新判别器参数；

44、然后使判别器处于测试模式，使dropout层以第二概率激活神经元，再根据输入生成器图像数据与获得的融合图像计算生成器损失，进行反向传播计算，更新生成器参数；

45、继续训练，直到生成器和判别器损失收敛后终止所述训练，从而获得训练好的生成器和判别器。

46、相应地，本发明的另一方面，还提供了一种基于生成对抗网络的多光谱图像融合方法，其包括如下的步骤：

47、获得待测试电力设备的多组同一位置的图片对，形成测试集，每一组图片对包括红外光图片及可见光图片对应的灰度值图片；

48、将所述测试集中的图片对导入采用前述方法所训练好的多光谱图像融合模型，获得融合图像。

49、实施本发明实施例，具有如下有益效果：

50、本发明提供了一种基于生成对抗网络的多光谱图像融合模型的建立方法及融合方法，通过采用生成对抗网络模型，并在判别器中加入dropout层，与现有技术相比，本发明既解决了生成对抗网络判别器过拟合的问题，又解决了训练多判别器会带来的训练时间和内存占用增长的问题，是一个较为合理的解决方案。实施本发明，可以避免模型训练过程中的过拟合问题，以及减少训练资源的训练时间，提高了融合模型的融合效果。

51、将本发明提供的多光谱像融合方法应该于电力设备的故障检测上，例如将本发明部署在电力设备监控等其他视觉传感设备上，采用人工智能的手段进行故障检测，将会大大提高问题的发现概率，减小人力成本。