一种用于红外与可见光图像融合的生成对抗网络

本发明涉及计算机视觉技术领域，尤其涉及一种用于红外与可见光图像融合的生成对抗网络。

背景技术：

红外图像和可见光图像在交通运输系统中起着重要作用，红外图像是根据物体发射的热辐射获得的，它们受天气和光条件的影响较小，但是，红外图像中的背景信息往往是缺失的。相比之下，可见光的图像包含更多的纹理信息，然而它非常容易受到成像环境和照明条件的影响。红外图像和可见光图像融合技术可以将红外图像和可见光图像对融合成一幅图像。融合图像包含来自可见图像的纹理信息和来自红外图像的热辐射细节，从而更有利于人类的观察和计算机分析。

根据处理领域的不同，目前主要的红外图像和可见光图像融合方法可分为两类：空间域方法和转换域方法。空间域方法通过融合规则直接融合红外对和可见光图像对。典型的融合方法是对红外图像和可见光图像进行平均。遗憾的是，这种方法得到的融合图像往往不能令人满意。为了解决这一问题，人们利用引导滤波器将红外图像和可见光图像对分解为基础层和细节层，然后使用引导滤波器将它们融合。然而，这种方法的活动水平测量不够准确。根据图像梯度测量了活动水平。有人将高斯滤波器与双边滤波器相结合，提出融合混合多尺度分解图像的方法，然而这种方法分解过程将消耗大量时间。

最近，一些基于深度学习的图像融合方法被提出，即使用卷积神经网络进行图像融合。为了提高性能，采用拉普拉斯金字塔进行多尺度分解，并利用图像自相似性对网络模型进行优化，遵循不同的方向，有人提出了一种基于生成对抗网络的红外和可见光图像融合模型。虽然这些空间域方法可以达到很好的融合效果，但它们也会产生许多负面影响。它们会导致融合图像边缘过度平滑的转变，减少对比度，以及图像的光谱失真。对于变换域方法，多尺度分解是一种使用相对广泛的强大工具，包括梯度金字塔、拉普拉斯金字塔、离散小波变换，双树复小波变换以及低通金字塔。此外，还广泛应用了几种几何分析工具进行图像融合，如曲线变换融合多模态图像，利用非下采样轮廓变换对源图像进行分解。由于图像融合缺乏标注数据，基于无监督学习的方法是当前深度学习图像融合研究的重要方向。典型的深度学习融合方法如deepfuse和densefuse，通过训练得到的编码器和解码器对进行图像特征提取和重建图像，其中的特征融合过程仍然需要设计融合规则，没有实现特征的自适应融合。此外，现有的方法仅仅将网络的最后一层用于图像融合，忽略了中间特征的重要性而丢失了大量的有用信息，因此，这类方法遭受了严重的不理想伪影。

技术实现要素：

本发明的目的在于提供一种用于红外与可见光图像融合的生成对抗网络，有效利用了图像的中间特征，降低了不理想伪影。

本发明通过下述技术方案实现：

一种用于红外与可见光图像融合的生成对抗网络，所述生成对抗网络包括生成器、第一判别器以及第二判别器；

所述生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；

所述第一判别器，用于获取所述融合图像为所述可见光图像的概率pa；

所述第二判别器，用于获取所述融合图像为所述红外图像的概率pb；

所述生成器，还用于在所述概率pa或/和所述概率pb小于阈值概率时，再次对所述红外图像和所述可见光图像进行图像融合；以及在所述概率pa和所述概率pb均大于阈值概率时，输出所述融合图像。

优选地，所述生成器包括边缘增强模块和融合模块；

所述边缘增强模块，用于获取所述红外图像和所述可见光图像的边缘增强图像；

所述融合模块，用于对源图像和边缘增强图像进行融合，得到所述融合图像；

其中，所述源图像为所述红外图像和所述可见光图像，所述边缘增强图像为所述红外图像的边缘增强图像和所述可见光图像的边缘增强图像。

优选地，所述融合模块包括维度连接模块、特征提取单元、第一融合单元、第二融合单元、第三融合单元以及重建单元；

所述维度连接模块，用于获取第一连接图片；

所述第一连接图片由第二连接图片和第三连接图片在维度上连接获取；第一连接图片由所述可见光图像和对应的边缘增强图像在维度上连接获取；所述第一连接图片由所述红外光图像和对应的边缘增强图像在维度上连接获取；

所述特征提取单元为卷积层，用于提取所述第一连接图片中的浅层特征；

所述第一融合单元为扩张因子为1的空洞卷积，用于对所述浅层特征进行特征提取；

所述第二融合单元为扩张因子为3的空洞卷积，用于对所述浅层特征进行特征提取；

所述第三融合单元为扩张因子为5的空洞卷积，用于对所述浅层特征进行特征提取；

所述重建单元，用于将所述第一融合单元、所述第二融合单元以及所述第三融合单元提取的特征进行重建，得到所述融合图像。

优选地，所述融合模块还包括参数生成单元，所述参数生成单元用于根据所述融合图像获取所述第一融合单元、所述第二融合单元以及所述第三融合单元的网络参数。

优选地，所述参数生成单元包括生成器损失函数，所述生成器损失函数为：

其中，表示生成器损失函数，表示对抗损失，表示内容损失；、、和均表示权重系数，表示像素损失，表示结构相似性损失，表示边缘损失，表示融合图像，表示红外图像，表示可见光图像，表示融合图像和红外图像在亮度、对比度以及结构信息三个方面的相似程度，表示融合图像和可见光图像在亮度、对比度以及结构信息三个方面的相似程度，表示融合图像的边缘图，表示红外图像的边缘图，表示可见光图像的边缘图，表示第一判别器的判别值，表示生成器生成的融合图像，f表示范数，表示第二判别器的判别值。

优选地，所述第一判别器和所述第二判别器均包括网络层，所述网络层用于获取所述融合图像为所述可见光图像/所述红外光图像的概率。

优选地，所述第一判别器和所述第二判别器的所述网络层结构相同，均包括四个卷积块，其中，第一个卷积块包卷积层和relu激活层；第二个卷积块和第三个卷积块相同，均包括卷积层、批归一化层和relu激活层；第四个卷积块包括全连接层和tanh激活函数。

优选地，所述第一判别器和所述第二判别器还均包括判别器损失函数，所述判别器损失函数用于获取所述网络层的网络参数。

优选地，所述第二判别器的判别器损失函数为：

；

其中，表示第二判别器的判别器损失函数，表示以红外图像作为输入的第二判别器的判别值，表示以融合图像作为输入的第二判别器的判别值。

优选地，所述第一判别器的判别器损失函数为：

；

其中，表示第一判别器的判别器损失函数，表示以可见光图像作为输入第一判别器的判别值，表示以融合图像作为输入的第一判别器的判别值。

本发明与现有技术相比，具有如下的优点和有益效果：

1、生成器采用了多尺度特征提取模块，通过三个路径不同扩张因子的空洞卷积获取大量的多尺度特征，然后将三条路径的输出连接在一起获取更加重要的特征，最后在使用融合的中间特征进行重建，有效利用了图像的中间特征；

2、采用了两个判别器，它们分别被用来区分输入图像与红外图像/可见光图像之间的差异，使得融合图像能够同时保留源图像的代表性特征（如亮度信息和纹理信息），可以避免由于单一对抗结构造成的信息损失，进而使得生成的融合结果更加准确可靠；

3、改进了生成器损失函数，增加了结构相似损失和边缘损失，分别计算融合图像与源图像在结构和边缘图上的差异，保留了更加丰富的纹理细节。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1是本发明生成对抗网络的总体框架图；

图2是本发明生成对抗网络中融合模块的部分结构示意图；

图3是本发明生成对抗网络中融合模块的部分结构示意图；

图4是本发明生成对抗网络中判别器的结构示意图；

图5是本发明实施例中测试样本walker图像对的融合结果；

图6是本发明实施例中测试样本house图像对的融合结果；

图7是本发明实施例中测试样本ship图像对的融合结果；

图8是本发明实施例中测试样本道路场景a图像对的融合结果；

图9是本发明实施例中测试样本道路场景b图像对的融合结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

一种用于红外与可见光图像融合的生成对抗网络，本实施例中的生成对抗网络如图1所示，包括生成器、第一判别器以及第二判别器；

其中，生成器，用于将红外图像和可见光图像进行图像融合，得到融合图像；

第一判别器，用于获取融合图像为可见光图像的概率pa；

第二判别器，用于获取融合图像为红外图像的概率pb；

生成器，还用于在概率pa或/和概率pb小于阈值概率时，再次对红外图像和可见光图像进行图像融合；以及在概率pa和概率pb均大于阈值概率时，输出融合图像。

在本方案中，采用了双判别器结构，双判别器被分别用来区分输入图像与红外图像、输入图像与可见光图像之间的差异，使得融合图像能够同时保留源图像（红外图像和可见光图像）的代表性特征（如亮度信息和纹理信息），从而使得生成的融合图像结果更加准确可靠。

具体地，在本实施例中，生成器包括边缘增强模块和融合模块；

边缘增强模块，用于获取红外图像和可见光图像的边缘增强图像；

首先获取红外图像和可见光图像的边缘图，边缘图通过计算图像的梯度而得到：

其中，表示水平梯度，表示图像中坐标为的像素值，表示图像中坐标为的像素值，表示垂直梯度，表示图像中坐标为的像素值，表示图像中坐标为的像素值，表示综合梯度，表示边缘图。

边缘图通过计算图像的相邻元素的差值可以得到，先求出水平方向上梯度，在求出垂直方向上的梯度，在坐标（x,y）上对应的具体梯度值通过求二范数得到，然后将获取的初始边缘图输入增强网络，从而得到最终的增强边缘图。

融合模块，用于对源图像和边缘增强图像进行融合，得到融合图像；

具体地，在本实施例中，融合模块如图2和图3所示，包括维度连接模块、特征提取单元、第一融合单元、第二融合单元、第三融合单元以及重建单元；

维度连接模块，用于获取第一连接图片；

其中，第一连接图片由第二连接图片和第三连接图片在维度上连接获取；第一连接图片由可见光图像和对应的边缘增强图像在维度上连接获取；第一连接图片由红外光图像和对应的边缘增强图像在维度上连接获取；

特征提取单元为卷积层，用于提取所述第一连接图片中的浅层特征；

第一融合单元为扩张因子为1的空洞卷积，用于对浅层特征进行特征提取；

第二融合单元为扩张因子为3的空洞卷积，用于对浅层特征进行特征提取；

第三融合单元为扩张因子为5的空洞卷积，用于对浅层特征进行特征提取；

重建单元，用于将第一融合单元、第二融合单元以及第三融合单元提取的特征进行重建，得到融合图像。

在本方案中，融合模块采用了三组空洞卷积做多尺度特征提取，空洞卷积能在不牺牲分辨率的情况下增加感受野，大的感受野有利于提取更多的上下文信息，减少融合结果中的伪影。具体来说，采用了扩张因子分别为1、3、5的三种空洞卷积在三条不同的支路上对浅层特征进行特征提取，然后三条支路以相加的方式汇聚在一起从而获取更加重要的特征，最后三个卷积层在将特征重建为图像，有效利用了图像的中间特征。

第一判别器和第二判别器均包括网络层，网络层用于获取融合图像为可见光图像/红外光图像的概率。

具体地，本实施例中的网络层如图4所示，包括四个卷积块；其中，第一个块由一个卷积层和一个relu激活层组成；之后的两个卷积块结构相同，比第一个增加了批归一化层，卷积核的大小都设为，步长设为2，所以特征的尺寸在不断减少；最后一层是全连接层，并采用tanh作为激活函数得到最后的输出，输出的是一个数值，表示输入图像是源图像的概率。

值得说明的是，第一判别器和第二判别器虽然有着相同的结构和相同的处理流程，但是它们的参数是相独立的。当融合图像和可见光图像/红外图像输入判别器（第一判别器和第二判别器）时，输入图像先经过3层卷积获得特征，然后特征经过全连接层和tanh来获得一个数值，这个数值表示输入图像是源图像的概率（概率pa和概率pb）。通过将获取的概率与事先设置的概率进行对比，当概率pa和概率pb均大于阈值概率时则可得到最终的输出图像。

在本方案中，判别器放弃使用池化层，而设置卷积核步长为2来减少特征尺寸，在减少特征尺寸的同时保留了一定的特征空间相关性，最大限度减小了精度损失。

此外，本方案设置有第一判别器和第二判别器，第一判别器用以区分融合图像与可见光图像，能够使得融合图像保留更多可见光图像中的细节信息；第二判别器用以区分融合图像与红外图像，能够使得融合图像中保留重要的红外强度信息。在生成器和判别器不断博弈之后，当生成器能够成功欺骗两个判别器，即生成的图像让判别器难以区分时，生成的图像与红外图像与可见光图像都很接近，也就是说保留了两者的重要信息。

进一步，为了便于后续可以直接使用该生成对抗网络，生成器中还设置有用于获取第一融合单元、第二融合单元以及第三融合单元网络参数的参数生成单元，其中，参数生成单元包括生成器损失函数和优化器；第一判别器和第二判别器还均设置有用于获取网络层网络参数的判别器损失函数。在初次使用该生成对抗网络时，首先对该生成对抗网络进行训练，以获取各个网络层的网络参数，具体地，包括以下处理过程：

（1）随机选取若干个已经配对好的红外与可见光像素块对，将每一对像素块在图像通道维度上拼接起来作为生成器的输入，经过生成器后，得到对应像素块对的融合图像，计算生成器的损失函数，并利用优化器对网络参数进行更新，得到生成器网络参数；

（2）将（1）中所得像素块对的融合图像和对应的可见光像素块输入到第一判别器中进行分类，将（1）中所得像素块对的融合图像和对应的红外像素块输入到第二判别器中进行分类，并计算第一判别器和第二判别器的判别器损失函数并利用优化器对网络参数进行更新，得到判决器（第一判别器和第二判别器）网络参数；

（3）判别迭代结束条件，包括当迭代次数h达到预设的最大迭代次数i时，终止迭代，最后一次迭代过程求得的生成器和判决器的网络参数作为最终的网络参数；否则返回执行步骤1。

本实施例生成器损失函数的目的使得生成器能学习源图像的热辐射信息和纹理信息，它由内容损失和对抗损失两部分组成，其定义如下：

；

其中，表示生成器损失函数，表示对抗损失，表示内容损失。

其中，内容损失包括像素损失、结构相似性损失以及边缘损失，其数学定义如下：

；

其中，表示像素损失，表示结构相似性损失，表示边缘损失，和是权重系数。

红外图像主要反映了物体的热辐射能量，可以由红外传感器获得，红外的整体亮度要高于可见光图像，但是可见光图像中也包含有一部分亮度信息，因此像素损失要考虑所有源图像，其定义如下：

；

其中，表示融合图像，表示红外图像，表示可见光图像，f表示范数，和是权重系数。

结构相似性指标ssim用以衡量两幅图像在亮度，对比度，结构信息等三个方面的相似程度，结构相似性损失也应考虑所有源图像，其数学表达式如下：

；

其中，表示融合图像和红外图像在亮度、对比度以及结构信息三个方面的相似程度，表示融合图像和可见光图像在亮度、对比度以及结构信息三个方面的相似程度。

边缘损失通过计算生成图像与源图像在边缘信息上的差异得到，其数学定义如下:

；

其中，表示融合图像的边缘图，表示红外图像的边缘图，表示可见光图像的边缘图，和是权重系数。

对抗损失来自于生成器与判别器之间的博弈，本方案中采用了两个判别器，因此对抗损失由两部分组成：

；

其中，表示对抗损失，表示以融合图像作为输入的第一判别器的判别值，表示生成器生成的融合图像，表示以融合图像作为输入的第二判别器的判别值。

两个判别器用以减少融合结果的信息丢失，判别器损失函数的作用是让生成器学习红外图像与可见光图像的结构与纹理信息。损失函数的数学定义如下：

其中，表示第二判别器的判别器损失函数，表示以红外图像作为输入的第二判别器的判别值，表示以融合图像作为输入的第二判别器的判别器损失函数，表示以可见光图像作为输入第一判别器的判别值，表示以融合图像作为输入的第一判别器的判别值。

为了对本方案的生成对抗网络进行验证，将5组测试图像采用不同的融合方法进行融合对比，如图5-9所示，可以看出采用本方案的生成对抗网络进行红外与可见光图像融合的图像具有更多的细节。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。