基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法

本发明涉及多波段图像同步超分与融合方法，即用一个网络模型同步实现多波段图像融合和图像超分辨率，具体为基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法。

背景技术：

随着传感器技术的高速发展，两波段\模态图像融合已经不能满足现实需求，越来越多学者开始探索多波段\模态图像融合。但就目前图像融合而言，大都没有考虑图像采集过程中由于传感器自身局限性以及战场、天灾等情况下的镜头抖动或病人呼吸、咳嗽等导致采集的源图像本身质量较差的情况，导致低分辨率源图像融合结果也是低分辨率的。图像超分辨率虽能改善此问题，但“先融合再超分”或“先超分再融合”两种范式会丢失细节信息或引入噪声。且分步进行图像超分辨率与图像融合不仅耗时而且耗力。因此，探索一种较为快速便捷的多波段图像同步超分与融合方法尤为必要。

技术实现要素：

本发明为了提升低分辨率源图像的融合结果和融合速度，提出一种基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法。

本发明是采用如下技术方案实现的：基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，包括以下步骤：

设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型；生成器包括特征提取模块、特征融合模块和图像超分辨率模块，其中特征提取模块用来提取各波段源图像的特征，特征融合模块将提取的各波段源图像的特征进行组合得到初步融合图像，最后利用图像超分辨率模块放大低分辨率初步融合图像得到高分辨率融合图像；

将重构的高分辨率融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，迭代优化生成器和判别器，经过生成器和判别器的动态博弈，使得生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器达到动态平衡时得到的生成器模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器模型融合多波段低分辨率源图像。生成器不断优化，使得生成器输出结果同时达到超分辨率和融合的目的，避免在网络外对低分辨率图像进行预处理。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，特征提取模块由5个连续的卷积层构成，每个卷积层后跟随relu，为保留更多源图像特征，卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接；此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32；

特征融合模块首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随relu，卷积滤波器的数量分别为96、64、32和16，每个卷积层使用3×3卷积核，步长为1，填充为0；

低分辨率图像通过亚像素卷积可以生成高分辨率图像，实现图像的超分辨率，避免对低分辨率源图像的预处理，图像超分辨率模块由一个亚像素卷积层构成，其中scale值设置为4，输出通道数设置为1。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成器损失函数包含四个部分：对抗损失ladv、内容损失lcon、感知损失lper和ssim损失lssim；其中对抗损失式中g表示生成器，d表示判别器，e表示期望，x表示生成器样本输入，ilr表示输入生成器的低分辨率源图像；内容损失其中，||·||表示f范数，y表示真实样本输入，ihrf表示标签图像，light(·)表示局部亮度，此方法使用窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；ssim损失其中，ssim(·)代表结构相似性运算，可以表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：其中，θg表示生成器的训练参数，λadv、λcon、λper和λssim分别表示ladv、lcon、lper和lssim的权重；

判别器损失函数为：

其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θd为判别器的训练参数，λ3为梯度惩罚项的权重。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，λadv＝10、λcon＝1、λper＝0.0001、λssim＝10和λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，其特征在于生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成对抗网络的训练集多波段图像包含可见光图像(400-700nm)、近红外图像(700-1000nm)和远红外图像(8-14μm)三个波段。

本发明损失函数中内容损失的亮度提取部分采用构造的局部亮度遍历算子，通过提升目标像素点与周围像素点的像素插值，使得图像中亮度较大的趋于像素值更大，较暗的区域像素值变小，从而提升图像对比度。此外，在网络最后一层引用图像超分辨率模块，避免在网络外对源图像进行放大预处理，从而使得网络轻便、快捷。本发明实现了多波段图像端到端同步超分与融合神经网络，由于在网络最后一层才放大源图像，大大提升网络的效率，降低资源耗费。

附图说明

图1为本发明的整体流程图。

图2为生成器特征提取模块网络架构。

图3为生成器特征融合模块网络架构。

图4为局部亮度遍历算子。

图5为低分辨率红外长波图像。

图6为低分辨率近红外图像。

图7为低分辨率可见光图像。

图8为本发明的融合图像。

具体实施方式

基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，包括以下步骤：

第一步设计并构建生成对抗网络：生成对抗网络分为生成器和判别器两个模型。

生成器网络结构包括特征提取模块(featureextractionnetwork，fen)、特征融合模块(featurefusionnetwork，ffn)和图像超分辨率模块(imagesuperresolutionnetwork，isrn)三部分，其中fen用来提取各波段源图像的特征，ffn将提取的各波段信息进行组合得到初步融合结果图像，最后利用isrn放大低分辨率融合结果得到高分辨率融合结果，具体如下：

fen由5个连续的卷积层构成，每个卷积层后跟随relu。为保留更多源图像特征，在这些卷积层之间建立密集连接网络，使得每两个卷积层之间均建立连接。此模块每个卷积层使用3×3卷积核，步长为1，填充为0，卷积滤波器的数量均为32。ffn首先将特征提取模块得到的各波段特征图在通道维度上连接，然后通过4个卷积层每个卷积层后跟随relu，卷积滤波器的数量分别为96、64、32和16，每个卷积层使用3×3卷积核，步长为1，填充为0。低分辨率图像通过亚像素卷积可以生成高分辨率图像，实现图像的超分辨率，避免对低分辨率源图像的预处理，因此本发明图像超分辨率模块由一个亚像素卷积层构成，其中scale值设置为4，输出通道数设置为1。

判别器网络包括6个卷积层、3个最大池化层和两个全连接层，每个卷积层后面跟随leakyrelu激活函数。这些卷积滤波器个数分别为64、64、128、128、256和256，每个卷积层使用3×3卷积核，步长为1，填充为1。在两个全连接层中，神经元数量分别为128和1。

具体过程为：将各波段源图像分别输入特征提取模块提取特征，并随后将提取的多波段图像特征合并连接后利用特征融合模块进行组合，重构出融合图像，最后通过图像超分辨率模块得到高分辨率融合结果。判别器作为一个分类器，其任务是尽最大努力区分生成数据和真实数据(即区分生成器输出融合图像和标签图像)，将融合结果和标签图像分别送入判别网络进行分类识别。

第二步设计多任务损失函数。生成器损失函数包含四个部分：对抗损失ladv、内容损失lcon、感知损失lper和ssim损失lssim；其中对抗损失式中g表示生成器，d表示判别器，e表示期望，x表示生成器样本输入(此处即为低分辨率源图像),ilr表示输入生成器的低分辨率源图像；内容损失其中，||·||表示f范数,y表示真实样本输入(此处即为标签图像)，ihrf表示标签图像，light(·)表示局部亮度，此方法使用附图4中7×7的窗口对高分辨率融合图像和标签图像分别进行遍历，逐窗口增强图像亮度，表示梯度，λ表示权重系数；感知损失其中，表示特征提取器；ssim损失其中，ssim(·)代表结构相似性运算，可以表示两幅图像之间的结构相似性；综上所述，最终的复合损失函数为：其中，θg表示生成器的训练参数，λadv、λcon、λper和λssim分别表示ladv、lcon、lper和lssim的权重；

判别器损失函数为：

其中，为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样，即其中α∈[0,1]，θd为判别器的训练参数，λ3为梯度惩罚项的权重。

第三步对抗网络训练。将多波段低分辨率源图像输入生成器，依次经过特征提取模块、特征融合模块和图像超分辨率模块得到高分辨率融合结果图像；将该融合图像和多波段低分辨率源图像对应的标签图像送入判别器进行分类识别，经过生成器和判别器的动态博弈，生成器输出的融合图像和标签图像不断趋于相似，在生成器和判别器的损失函数都达到最小时得到的生成器网络模型即为最终的多波段图像同步超分与融合网络模型，应用该生成器输入多波段低分辨率源图像，其输出结果就是最终的高分辨率融合结果图像。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，生成器和判别器轮流循环训练，即先训练一次生成器，再训练一次判别器，然后依次循环，直到两者达到动态平衡。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，λadv＝10、λcon＝1、λper＝0.0001、λssim＝10和λgp＝10时能够平衡各个损失函数，网络训练效果达到较好效果。

上述的基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法，网络训练时batch大小取值在16-36之间，其值大小决定误差收敛的稳定性，但是过大会占用较多内存，过小又耗费时间；学习率选用0.0002，学习率大小决定网络收敛速度快慢，过大导致网络震荡，过小又耗费更多时间，影响网络效率，因此选取0.002-0.00002之间，训练过程持续100轮。