一种多波段图像的自监督学习融合方法与流程

文档序号:22881528发布日期:2020-11-10 17:44阅读:来源:国知局

技术特征:

1.一种多波段图像的自监督学习融合方法,其特征在于包括以下步骤:

设计并构建生成对抗网络:该多判别器生成对抗网络由一个生成器和多个判别器组成;生成器包括特征增强模块、特征融合模块两部分,其中特征增强模块用来提取不同波段源图像的特征并进行增强得到各波段的多通道特征图,特征融合模块将利用合并连接层在通道维度上进行连接后的特征图重构出融合图像;

利用该生成对抗网络首先将多波段图像分别输入生成器,分别通过特征增强模块分别提取各波段源图像特征并进行增强,然后将多波段图像特征增强结果合并连接并通过特征融合模块重构出初步的融合图像;

将初步融合图像分别与各波段源图像送入对应的判别器进行分类识别,经过生成器和判别器之间的动态博弈和迭代更新,使得生成器输出结果同时保留多个波段图像的特征,达到图像融合的目的,生成器最终输出的图像即为融合结果。

2.根据权利要求1所述的一种多波段图像的自监督学习融合方法,其特征在于生成器损失函数包含三个部分:对抗损失ladv、内容损失lcon和ssim损失lssim;其中对抗损失为式中i=1,2,…,n表示源图像的波段数,多波段图像融合中n≥3;e表示期望;x表示输入样本;i(n)表示多波段源图像,即输入生成器的n个波段源图像;ii表示i波段源图像;||·||2表示l2范数;g为生成器;di为源图像i对应的判别器;a表示生成器希望判别器相信伪数据的值,此处为0.7至1.2的随机数;内容损失为其中,y表示输入的真实样本;ii表示输入的i波段标签图像即对应波段源图像;c为特征融合模块对应卷积层层数,取值为1-4;oc为特征融合模块对应卷积层的输出;为梯度运算;λi、σi分别表示亮度损失和梯度损失针对不同源图像的权重;ssim损失其中,ssim(·)为结构相似性运算,即其中a、b分别是两幅需要计算的图像g(x)、y,μa是a的平均值,μb是b的平均值,是a的方差,是b的方差,σab是a和b的协方差,c1=(k1l)2,c2=(k2l)2是用来维持稳定的常数,l是像素值的动态范围,k1=0.01,k2=0.03;综上所述,生成器损失函数为其中,θg为生成器训练参数;λcon、λssim分别表示lcon和lssim的权重;min为最小化;

判别器损失函数ld为

di为i波段源图像对应的判别器;为判别器的训练参数;前两项执行wasserstein距离估计,最后一项是网络正则化的梯度惩罚项;为从标签数据分布y和生成器输入数据分布x采样的成对点之间的直线上的随机采样,即其中α∈[0,1];λgp为梯度惩罚项的权重;max为最大化。

3.根据权利要求2所述的一种多波段图像的自监督学习融合方法,其特征在于λcon=1、λssim=1、λgp=10时能够平衡各个损失函数,网络训练效果达到较好效果。

4.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于输入生成器的多波段图像包含红外长波、近红外和可见光三波段图像;多波段图像通过滑动窗口进行分块,窗口大小为128×128,步长为64,分块后的图像通过旋转、镜像操作扩充,扩充后的图像作为输入数据集,同时将输入数据集用于对应的自监督标签图像。

5.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于特征增强模块由输入层、密集块层和输出层三部分组成;输入层和输出层都分别由卷积层和修正线性单元各一个构成,中间的密集块由三个卷积层构成,每个卷积层后跟随relu;为达到特征增强目的,建立反馈密集网络,即将上一次特征增强模块的输出与输入层叠加;特征增强模块每个卷积层使用3×3卷积核,步长为1,填充为0,由于采用密集块,卷积滤波器的数量均为32。

6.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于特征融合模块首先将特征增强模块得到的各波段特征图在通道维度上连接,然后通过4个卷积层,卷积滤波器的数量分别为96、64、32和1,每个卷积层使用3×3卷积核,步长为1,填充为0。

7.根据权利要求1-3所述的一种多波段图像的自监督学习融合方法,其特征在于各个判别器均采用相同的网络架构,包括6个卷积层、3个最大池化层和两个全连接层,每个卷积层后面跟随leakyrelu激活函数;这些卷积滤波器个数分别为64、64、128、128、256和256,每个卷积层使用3×3卷积核,步长为1,填充为1;在两个全连接层中,神经元数量分别为128和1。


技术总结
本发明涉及多波段图像融合方法,具体为基于多判别器生成对抗网络的多波段图像自监督融合方法,本方法按如下步骤进行:设计并构建生成对抗网络,网络由一个生成器和多个判别器组成,且标签图像为多波段源图像自身;生成器网络结构采用构思的特征增强模块、特征融合模块两部分组成,通过生成器和判别器的动态平衡训练得到一个生成模型并得到多波段图像融合结果。本发明实现了多波段图像端到端自监督融合的神经网络,结果具有更好的清晰度、信息量,细节信息更丰富,更符合人眼视觉特性。

技术研发人员:蔺素珍;田嵩旺;禄晓飞;李大威;李毅;王丽芳
受保护的技术使用者:中北大学
技术研发日:2020.08.06
技术公布日:2020.11.10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1