一种多波段图像的自监督学习融合方法与流程

本发明涉及图像融合方法，尤其涉及多波段图像融合方法，具体为一种多波段图像的自监督学习融合方法。

背景技术：

目前，高精度探测系统已经普遍采用宽光谱多波段成像，而现有研究主要是针对红外和可见光两个波段进行，所以，探索多幅(≥3幅)图像同步融合迫在眉睫。近年来，基于深度人工神经网络的图像融合研究已经兴起，不过由于图像融合领域缺乏标准的融合结果，即利用深度学习建立图像融合模型时普遍缺乏标签数据，导致深度学习训练困难或融合效果差，同步融合图像数量越多问题越突出。

自监督学习是解决深度学习中标签缺乏问题的有效手段之一，现已在基于深度人工神经网络的语音识别、语义分割等领域取得成功，故本发明将其引入多波段图像融合领域。

技术实现要素：

本发明为了解决图像融合领域利用深度学习方法进行融合多波段图像时因缺乏标签图像导致融合结果受限的问题，提出一种基于多判别器生成对抗网络的多波段图像自监督学习融合新方法。

本发明所提出的多波段图像自监督学习融合方法包括以下步骤：

(1)构建多判别器生成对抗多波段图像融合网络：生成对抗网络(以n波段图像融合为例)由一个生成器和n个判别器组成，首先将多波段图像输入生成器中得到初步融合图像；然后将该初步融合图像与不同波段源图像分别送入对应的判别器进行分类识别；经过生成器和判别器之间的动态博弈和迭代更新，得到最终的融合结果；

上述生成器包括特征增强模块和特征融合模块两部分，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图；特征融合模块通过合并连接层在通道维度上连接特征图，然后用连接的特征图重构出融合图像；

(2)用自监督学习方法训练多判别器生成对抗多波段图像融合网络。

上述的多判别器生成对抗多波段图像融合网络的生成器损失函数包含三个部分：对抗损失ladv、内容损失lcon和ssim损失lssim；其中对抗损失式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3，e表示期望，x表示输入样本，i⁽ⁿ⁾表示多波段源图像，即输入生成器的n个波段源图像(n为需要融合的图像总波段数)，||·||2表示l2范数，g为生成器，di为i波段源图像对应的判别器，a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数；内容损失其中，y表示输入的真实样本，ii表示输入的i波段标签图像即对应波段的源图像，c为特征融合模块对应卷积层层数，取值为1-4，oc为特征融合模块对应卷积层的输出，为梯度运算，λi、σi分别表示第i波段源图像的亮度损失和梯度损失的权重；ssim损失其中，ssim(·)为结构相似性运算，即其中a、b分别是两幅需要计算的图像即g(x)和y，μa是a的平均值，μb是b的平均值，是a的方差，是b的方差，σab是a和b的协方差，c1＝(k1l)²，c2＝(k2l)²是用来维持稳定的常数，l是像素值的动态范围，k1＝0.01，k2＝0.03；

综上所述，生成器损失函数为其中，θg为生成器训练参数，λcon、λssim分别表示lcon和lssim的权重，min为最小化；

判别器损失函数ld为：

di为i波段源图像对应的判别器，为判别器的训练参数，前两项执行wasserstein距离估计，最后一项是网络正则化的梯度惩罚项，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中，α∈[0,1]，λgp为梯度惩罚项的权重，max为最大化。在损失函数达到最小时得到的生成器网络模型即为最终的多波段图像融合网络模型。

根据实验，上述的基于多判别器生成对抗网络的多波段图像自监督学习融合方法中生成器损失函数中的参数λcon＝1、λssim＝1时效果最好；判别器损失函数中参数λgp＝10。

上述的基于多判别器生成对抗网络的多波段图像自监督学习融合方法中的输入数据集和自监督标签图像由如下过程得来：多波段图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作进行扩充，扩充后图像作为输入数据集，同时将其用于对应的自监督标签。

上述的基于多判别器的多波段图像自监督融合方法，特征增强模块由输入层、密集块层和输出层三部分组成；输入层和输出层都分别由卷积层和修正线性单元各一个构成，中间的密集块由三个卷积层构成，每个卷积层后跟随relu；为达到特征增强目的，建立反馈密集网络，即将上一次特征增强模块的输出与输入层叠加；特征增强模块每个卷积层使用3×3卷积核，步长为1，填充为0，由于采用密集块，卷积滤波器的数量均为32。

上述的基于多判别器的多波段图像自监督融合方法，特征融合模块首先将特征增强模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层，卷积滤波器的数量分别为96、64、32和1，每个卷积层使用3×3卷积核，步长为1，填充为0。

上述的基于多判别器的多波段图像自监督融合方法，各个判别器均采用相同的网络架构，包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随leakyrelu激活函数；这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1；在两个全连接层中，神经元数量分别为128和1。

本发明为了解决多波段图像融合领域利用深度学习方法进行融合时缺乏标签图像导致融合结果受限的问题，建立了一个端到端的多判别器生成对抗自监督网络模型，利用多波段源图像作为标签进行训练，得到多波段图像融合结果。本发明解决了多波段图像融合领域利用深度学习方法进行图像融合时缺乏标签图像的问题，融合结果具有更好的清晰度、信息量，细节信息更丰富，更符合人眼视觉特性。

附图说明

本发明附图均以三波段图像融合为例给出。

图1为本发明的整体流程图。

图2为特征增强模块结构图。

图3特征融合模块结构图。

图4为红外长波图像。

图5为近红外图像。

图6为可见光图像。

图7为本发明的融合结果图像。

具体实施方式

基于多判别器的多波段图像的自监督学习融合方法，包括以下步骤：

第一步设计并构建生成对抗网络：设计并构建多判别器生成对抗网络结构，该多判别器生成对抗网络由一个生成器和多个判别器组成；以n波段图像融合为例，由一个生成器和n个判别器组成。

生成器网络结构由特征增强模块和特征融合模块两部分组成，其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图，特征融合模块利用合并连接层在通道维度上进行特征连接并将连接后的特征图重构成融合图像，具体如下：

特征增强模块由输入层、密集块层和输出层三部分组成。输入层和输出层都分别由卷积层和修正线性单元(rectifierlinearunit，relu)各一个构成，位于输入层和输出层之间的密集块由三个卷积层构成，每个卷积层后跟随relu。为达到特征增强目的，建立反馈密集网络，即将上一次特征增强模块的输出与输入层叠加。特征增强模块每个卷积层使用3×3卷积核，步长为1，填充为0，由于采用密集块，卷积滤波器的数量均为32。

特征融合模块旨在合并增强后的特征并重构为一幅图像。首先将特征增强模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层(前3个卷积层后跟随relu)，卷积滤波器的数量分别为96、64、32和1，每个卷积层使用3×3卷积核，步长为1，填充为0。

为了保证各判别器均有相同的分类识别能力，各个判别器均采用相同的网络架构，包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随leakyrelu激活函数。这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1。在两个全连接层中，神经元数量分别为128和1。

具体过程为：首先将多波段图像分别输入生成器，通过特征增强模块分别提取各波段源图像特征并进行增强，然后将多波段图像特征增强结果合并连接并通过设计的特征融合模块重构融合图像；最后将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别，经过生成器和判别器之间的动态博弈和迭代更新，使得生成器输出结果同时保留多个波段图像的特征，达到图像融合的目的，得到最终的融合结果。

第二步建立生成对抗网络的损失函数：生成器损失函数包含对抗损失ladv、内容损失lcon和ssim损失lssim共三部分。

对抗损失ladv为:

式中i＝1,2,…,n表示源图像的波段数，多波段图像融合中n≥3；e表示期望；x表示输入样本(多波段源图像)；i⁽ⁿ⁾表示多波段源图像，即输入生成器的n个波段源图像(n为需要融合的图像总波段数)；||·||2表示l2范数；g为生成器；di为源图像i对应的判别器；a表示生成器希望判别器相信伪数据的值，此处为0.7至1.2的随机数。

内容损失lcon为：

其中，y表示输入判别器的真实样本(即标签图像，此处为对应波段源图像)；ii表示输入判别器的i波段标签图像即对应波段的源图像；c为特征融合模块对应卷积层层数，取值为1-4；oc为特征融合模块对应卷积层的输出；为梯度运算；λi、σi分别表示针对第i个波段源图像的亮度损失和梯度损失的权重。

ssim损失lssim:

其中，ssim(·)为结构相似性运算，即其中a、b是两幅需要计算的图像即g(x)和y，μa是a的平均值，μb是b的平均值，是a的方差，是b的方差，σab是a和b的协方差，c1＝(k1l)²，c2＝(k2l)²是用来维持稳定的常数，l是像素值的动态范围，k1＝0.01，k2＝0.03。

最终，生成器损失函数为:

其中，θg为生成器训练参数；λcon、λssim分别表示lcon和lssim的权重；min为最小化。

判别器损失函数ld为：

其中，di为i波段源图像对应的判别器；为判别器的训练参数；前两项执行wasserstein距离估计，最后一项是网络正则化的梯度惩罚项；为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]；λgp为梯度惩罚项的权重；max为最大化。

第三步建立输入图像数据集：从公开的tno图像融合数据集中随机选取20组图像作为训练集，选取8组作为测试集，每组图像都包含红外长波(8-12μm)、近红外(700-1000nm)和可见光(390-700nm)三波段图像；训练集图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作进行扩充，作为多波段图像训练集，同时将其用于对应的自监督标签图像。

第四步训练生成对抗网络：将多波段源图像输入生成器，依次经过特征增强模块、特征融合模块得到融合图像；将该融合图像和各波段源图像送入对应的判别器进行分类识别，经过生成器和多个判别器的动态博弈，生成器输出的融合图像同时保留各个波段源图像特征，在损失函数达到最小时得到的生成器网络模型即为最终的多波段图像融合网络模型。应用该生成器模型输入多波段源图像，其输出结果就是最终的融合结果图像。

网络具体训练过程如下：

(1)生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡；

(2)设计生成器损失函数和判别器损失函数。经过实验，参数λcon＝1、λssim＝1、λgp＝10时效果最好。根据红外图像中的热目标通常较亮(像素值较大)而可见光图像中细节信息较清晰(梯度较大)的规律，参数取值如下：λ1＝3、λ2＝2、λ3＝1、σ1＝1、σ2＝2、σ3＝3。

由于图像融合尚无可用的标准融合结果，本发明的训练集和测试集均包含红外长波(8-12μm)、近红外(700-1000nm)和可见光(390-700nm)三个波段图像。多波段图像通过滑动窗口进行分块，窗口大小为128×128，步长为64，分块后的图像通过旋转、镜像操作扩充，最终得到13200组图像作为输入数据集，同时将其用于对应的自监督标签。

上述的基于多判别器的多波段图像自监督融合方法，网络训练时batch大小取值在12-20之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。