1.一种多波段图像的自监督学习融合方法,其特征在于包括以下步骤:
设计并构建生成对抗网络:该多判别器生成对抗网络由一个生成器和多个判别器组成;生成器包括特征增强模块、特征融合模块两部分,其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图,特征融合模块将利用合并连接层在通道维度上进行连接后的特征图重构出融合图像;
利用该生成对抗网络首先将多波段图像分别输入生成器,分别通过特征增强模块分别提取各波段源图像特征并进行增强,然后将多波段图像特征增强结果合并连接并通过特征融合模块重构出初步的融合图像;
将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别,经过生成器和判别器之间的动态博弈和迭代更新,使得生成器输出结果同时保留多个波段图像的特征,达到图像融合的目的,生成器最终输出的图像即为融合结果。
2.根据权利要求1所述的一种多波段图像的自监督学习融合方法,其特征在于生成器损失函数包含三个部分:对抗损失ladv、内容损失lcon和ssim损失lssim;其中对抗损失为
判别器损失函数ld为
3.根据权利要求2所述的一种多波段图像的自监督学习融合方法,其特征在于λcon=1、λssim=1、λgp=10时能够平衡各个损失函数,网络训练效果达到较好效果。
4.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于输入生成器的多波段图像包含红外长波、近红外和可见光三波段图像;多波段图像通过滑动窗口进行分块,窗口大小为128×128,步长为64,分块后的图像通过旋转、镜像操作扩充,扩充后的图像作为输入数据集,同时将输入数据集用于对应的自监督标签图像。
5.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于特征增强模块由输入层、密集块层和输出层三部分组成;输入层和输出层都分别由卷积层和修正线性单元各一个构成,中间的密集块由三个卷积层构成,每个卷积层后跟随relu;为达到特征增强目的,建立反馈密集网络,即将上一次特征增强模块的输出与输入层叠加;特征增强模块每个卷积层使用3×3卷积核,步长为1,填充为0,由于采用密集块,卷积滤波器的数量均为32。
6.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于特征融合模块首先将特征增强模块得到的各波段特征图在通道维度上连接,然后通过4个卷积层,卷积滤波器的数量分别为96、64、32和1,每个卷积层使用3×3卷积核,步长为1,填充为0。
7.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于各个判别器均采用相同的网络架构,包括6个卷积层、3个最大池化层和两个全连接层,每个卷积层后面跟随leakyrelu激活函数;这些卷积滤波器个数分别为64、64、128、128、256和256,每个卷积层使用3×3卷积核,步长为1,填充为1;在两个全连接层中,神经元数量分别为128和1。