基于三分支自编码器网络的可见光和红外图像融合方法

本发明属于计算机图像处理，具体地说，是一种基于三分支自编码器网络的可见光和红外图像融合方法。

背景技术：

1、图像融合主要是用来综合多源图像的互补信息。通过生成融合的图像来识别同一场景。源图像可以来源于不同类型的成像传感器，不同的传感器获取的图像有不同的特点。融合后的图像会拥有兼具所有源图像的优势与特点，更容易被人类查看或机器识别。近年来，随着数字摄影、遥感图像、视频监控、医学影像等图像应用的发展，图像处理中的图像融合领域变得愈发的火热起来。融合红外与可见光图像是一个重要的研究方向。红外图像会根据辐射差区分目标与背景，在白天和夜晚都能很好的工作。对比红外图像的全局结构信息，可见光图像提供了高分辨率和清晰度的纹理细节。融合这两种图像，可以将红外图像中的热辐射信息和可见光图像中详细纹理信息的优势结合起来。高质量的融合图像具有多方面的实际应用。

2、图像融合作为图像处理领域内的一项热门技术，拥有多种效果，可以使原本普通的图像具有更多的信息和更好的质量，但是目前的许多图像融合技术都基于传统的融合方法，忽略了对图像特征的处理。

技术实现思路

1、为了解决上述技术问题，本发明提供一种优秀的红外图像与可将光图像融合方法，对图像特征做了很好的处理，具体技术方案如下：

2、一种基于三分支自编码器网络的可见光和红外图像融合方法，包括如下步骤：

3、步骤1：从设定的数据集中获取红外与可见光的源图像，获得的红外源图像与可见光源图像相互对应；

4、步骤2：对获取的红外源图像以及可见光源图像进行预处理，获得训练集traindatas；

5、步骤3：建立基于三分支自编码器网络的红外图像与可见光图像融合模型框架，所述红外与可见光图像融合模型框架包括编码器a，融合器b，解码器c，其中编码器a，用于提取红外图像和可见光图像的特征，融合器b，用于融合红外图像和可见光图像的特征，解码器c，用于将融合的红外图像和可见光图像特征解码，得到融合后的图像；

6、步骤4：根据设置的参数，获得损失函数；通过设置损失函数保证融合后的图像尽量保留更多的源图像的有效信息；

7、步骤5：根据traindatas训练集和损失函数对红外与可见光图像融合模型框架进行训练，获得红外可见光融合模型；

8、步骤6：将待融合的红外图像和可见光图像输入步骤5中获得的红外可见光模型，获得融合图像，结束步骤。

9、本发明的进一步改进，所述步骤2中的红外源图像和可见光源图像的预处理过程包括：首先选择设定数量的红外源图像与可见光源图像对，然后将源图像进行裁切，裁切成设定大小的源图像块；在源图像裁切过程中，相对应的红外源图像和可见光源图像的裁切位置一致。

10、本发明的进一步改进，所述步骤3中的编码器包括三个分支用于提取特征，分别是纹理分支、内容分支、基础分支，在编码器中，通过三个分支提取红外图像与可见光图像的重要特征。

11、本发明的进一步改进，所述步骤4中三个分支的第一分支纹理分支，纹理分支中使用四层密集连接结构。每一层卷积的输入级联所有前面层的输出。第x层的输出ox＝lx([o0,o1,o2,…,ox-1])。lx表示第x层的各种操作，这些操作往往是非线性的，比如cnn和归一化等。o0,o1,o2,…,ox-1表示级联所有层的输出。使用的这种密集连接操作让纹理分支获取源图像的表面纹理特征和边沿特征。处理过程图像尺寸不变。

12、本发明的进一步改进，所述步骤4中三个分支的第二分支内容分支，用于提取图像的主体内容信息，使用一个快速下采样的网络的结构来获取特征。对特征进行三次下采样，减小尺寸的同时增加了通道的数量。最后内容特征再被上采样到源图像的尺寸。

13、本发明的进一步改进，所述步骤4中三个分支的第三分支，基础分支，用若干次相应的卷积操作提取图像基础信息与特征，保证了图像的完整性以及最小失真。卷积完后的图像是源图像尺寸。

14、本发明的进一步改进，所述步骤4中三个分支提取的特征级联。

15、测试时，输入一组对应的红外图像和可见光图像进入编码器，通过三个分支，获得一组特征，将这组特征放进融合层融合，得到的融合特征再通过解码器解码得到最终的图像。

16、进一步的，所述步骤3中编码器a对图像特征的提取，使用3x3的卷积核，对图像进行第一次卷积操作，获得一组拥有32个通道的特征，然后将这组特征输入三个分支。在纹理分支中，将特征卷积四次，然后进行密集连接操作。保持特征尺寸不变，通道数从16累加至32，48，64。在内容分支中，进行4次步长为2的卷积来下采样。特征尺寸再减小到64，32，16。通道数量先增加到64和128，再减少到64。此时，纹理分支与内容分支的通道数相同。在内容分支末尾进行特征的双线性插值，使图像上采样到8倍。在基础分支中，本文首先对图像进行一次卷积，使得图像通道数从32变为64，然后在进行三次卷积，使得最后的通道数仍为64，图像尺寸始终保持在128×128。

17、进一步的，所述步骤3中融合器b，融合方法使用加法策略和通道策略。加法策略直接将两组特征进行相加再平均，公式如下：

18、ffx,y＝(frx,y+fvx,y)/2

19、其中，fr代表红外特征，fv代表可见光特征，ff代表融合特征。使用(x，y)表示特征之间的对应的像素点的位置。通道策略，先将fv和fr(f∈rh×w×c)全局平均池化为av，ar，a∈r1×1×c。然后计算对应的权重向量bv，br，再将fv和fr分别和bv，br相乘得到增强的特征通道和最后将和对应像素一一相加得到最后的ff。

20、具体步骤公式如下：

21、

22、

23、进一步的，其特征在于所述步骤3中解码器c，在解码器中，使用3x3的卷积核，起始通道数为三个分支通道数总和192，经过若干次卷积来进行解码，使特征通道数变为一，输出最终的融合后的图像

24、进一步的，其特征在于激活函数，使用leakyrelu激活函数，公式如下：

25、leakyrelu(x)＝max(0,x)+leak*min(0,x)

26、进一步的，其特征在于步骤5中的损失函数，损失函数设计了三种损失公式如下：

27、l＝lpix+αlcolor+βlprofile

28、其中，α，β是用来调节各损失之间的权重参数。

29、lpix损失函数用于计算源图像和融合图像在像素上的误差，iin为输入的源图像，iout为融合后的图像。公式如下：

30、lpix＝mse(iout，iin)

31、

32、由于可见光图像和红外图像在亮度和颜色上有所不同。使用lcolor颜色损失函数计算源图像和融合后的图像的颜色直方图误差。histogram(x)是x的颜色直方图。因为颜色的灰度等级是0-255，于是本文将直方图竖条的数量设为255，直方图计算的是融合后的图像和源图像的直方图颜色误差。将输入图像和输出图像的直方图结果做差然后求二范数并且除以255作为颜色损失。公式如下：

33、

34、lprofile是轮廓损失函数，轮廓损失函数计算两张图像在结构轮廓上的相似度，这里用来计算输入图像和输出图像之间的相似度，公式如下：

35、lprofile＝1-ssim(iout，iin)。

36、本发明的有益效果如下：本发明将红外图像与可将光图像融合，融合后的图像具有红外图像和可见光图像的优势，包括了红外图像清晰的轮廓和结构，可见光图像丰富细腻的主体信息，融合后的图像从直观的肉眼判断会比融合之前的红外图像和可见光图像看起来拥有更多的信息，从实验数据的评价指标上也可以证明融合图像具有较高的质量。本发明提出的融合技术可以应用于图像处理，监控识别等相关研究与应用。