一种基于局部跨阶段和快速下采样的图像融合方法

本发明涉及图像融合，具体涉及一种基于局部跨阶段和快速下采样的图像融合方法。

背景技术：

1、随着现代遥感技术不断发展，合成孔径雷达（synthetic aperture radar，sar）图像和可见光图像融合已经成为一个热门研究领域。sar图像有良好的穿透性和不受天气限制的优点，但分辨率较低，难以识别细小目标；可见光图像有高空间分辨率和色彩信息，但易受天气和光照的限制。因此，将sar图像和可见光图像融合，可以综合两种图像的优势，既突出显著目标，又展现丰富的细节信息，提高目标识别和定位能力。

2、目前主流图像融合方法和技术，包括像素级融合、特征级融合和决策级融合等传统方法。此外，还有些基于深度学习的融合方法，如基于自编码器（ae）框架、卷积神经网络（cnn）框架和生成对抗网络（gan）框架等，这些框架能自动学习sar和可见光图像间的关系，得到更准确的融合结果。

3、传统图像融合算法包括拉普拉斯金字塔、离散小波、剪切波、非抽样轮廓波和潜在低秩表示等，也会用稀疏表示和子空间等方法。但传统方法采用复杂变换和手工规则限制算法实时性和语义信息的集成，限制了在高级视觉任务的应用。

4、自编码器是种常用的融合模型。传统自编码器融合法需要手动设计融合规则，限制融合性能。基于分类显著性自编码器融合框架，提高了融合精度和鲁棒性，但存在分类器过拟合和训练数据不足的问题。

5、基于卷积神经网络（cnn）的融合框架成为图像融合领域的研究热点。这方法通过设计损失函数，实现隐式特征提取、聚合和图像重建。但这些方法存在真值缺失问题，限制性能发挥。且需要手动设计规则或使用显著性掩模，限制了融合性能。

6、生成对抗网络（gan）是种无监督学习方法，用于图像转换和图像融合等。在图像融合领域，引入双鉴别器生成对抗网络和多尺度注意机制，提高鲁棒性。但当前的融合算法忽视高层次视觉任务需求，要增强融合图像的语义信息并整合源图像互补信息。一些深度学习算法尝试使用感知损失或显著目标掩模来增强语义信息，但效果有限。

7、尽管最近基于深度学习图像融合算法可以生成令人满意的融合图像，但sar和可见光图像融合仍面临着一些挑战。一方面，由于sar图像和可见光图像特点不同，因此需要选择合适的融合方法综合两种图像信息。另一方面，融合结果评价难度大，难用简单定量指标评价，需要考虑多种因素，如目标识别能力、信息保留程度、色彩还原等。

技术实现思路

1、本发明的目的是针对现有技术存在的不足，提供一种基于局部跨阶段和快速下采样的图像融合方法。

2、为实现上述目的，本发明提供了一种基于局部跨阶段和快速下采样的图像融合方法，基于训练合格的网络模型实现，所述网络模型包括编码器、特征融合器和解码器；

3、所述编码器用以对输入的可见光图像和sar图像进行特征提取，并输出提取的特征图；

4、所述特征融合器用以采用空间注意力机制融合规则和通道注意力机制融合规则提取所述特征图在不同通道和不同空间位置上的不同重要性特征，对特征图增强并融合，其中，采用空间注意力机制得到的增强的特征图为：

5、

6、其中，、分别为可见光图像和sar图像调整后的特征图，（i，j）表示每个像素的坐标索引，

7、

8、k={1，2}，为调整前的特征图，、分别为特征图的横向和纵向注意力权重，

9、采用通道注意力机制得到增强的特征图像为：

10、

11、其中，、分别为从可见光特征图和sar特征图，n为深度特征的通道索引，、分别为可见光图像和sar图像的最终的深度特征权重；

12、并采用加法融合规则进行特征融合，得到最终的融合特征图为：

13、

14、其中，+为矩阵加法操作；

15、所述解码器用以对融合特征图进行解码和重构，最后采用swish激活函数获得最终融合图像。

16、进一步的，所述编码器将输入的图像通过大小为3×3、步长为1的卷积核进行浅层特征提取，以获得通道数为32的特征图，然后将特征图分别输入细节分支和语义分支中；

17、所述细节分支部分由7部分组成，第1、3、5、7层为卷积-池化-激活模块，第2、4、6层为局部跨阶段残差块，在局部跨阶段残差块中，特征图一部分进入1×1的卷积块，另一部分依次进入3×3的卷积块、三个相连的残差块，每个残差块由一个1×1的卷积块和一个3×3的卷积块以及相加操作组成，之后将两部分拼接，通过1×1的卷积-池化-激活模块统一通道数；

18、所述语义分支采用快速下采样网络结构，经过三个级联的卷积层对输入的特征图进行快速下采样操作，依次获得通道数为64、128、64的特征图，然后利用双线性插值法对经过快速下采样获得的特征图进行上采样，以使得上采样后的特征图与网络最初输入的特征图保持相同的大小；

19、最后将细节分支的输出特征图和语义分支的输出特征图进行通道维度上的连接，获得通道数为128的特征图。

20、进一步的，所述网络模型通过以下方式训练至合格：

21、获取配准好的可见光图像和sar图像的数据集；

22、对所述数据集中的图片尺寸进行预处理，并进行分割，从分割后的图像中选取部分作为训练集，其余作为测试集；

23、将训练集中的图像输入至编码器中进行提取和拼接，以获得通道数为128的特征图；

24、然后将通道数为128的特征图输入至特征融合器中进行特征融合，得到通道数为512的融合特征图；

25、将融合特征图输入至解码器中，以获得最后的融合图像；

26、调试以上步骤的网络结构超参数，并设置网络模型参数，其中，网络训练次数epochs设置为300轮，初始学习率设置为0.001，一次训练所选取的样本数bath size设置为32，经过300轮的训练后得到最终的训练模型；

27、将所述测试集输入至训练模型中，以获得可见光图像和sar图像融合的测试结果，若所述测试结果符合要求，则将当前训练模型作为训练合格的网络模型，否则重新进行训练。

28、进一步的，分割后的图像为2310对128×128大小的图像，并从中随机选取1980对图像数据作为训练集，其余的330对图像数据作为测试集。

29、进一步的，在每轮训练得到训练模型后，计算训练模型的总体损失为：

30、

31、

32、

33、

34、其中，为结构相似性损失，为强度损失，为梯度损失，、、均为权重系数，、分别为输入的可见光图像和sar图像，为获得的融合图像，为对矩阵•计算1范数，为元素的最大选择，ssim为图像结构相似性算法，为测量图像纹理信息的梯度算子；

35、若本轮训练后的训练模型的总体损失小于前一轮训练后的训练模型的总体损失，则保留本轮训练的网络模型迭代结果，否则放弃，在经过300轮训练后，判断最终的训练模型的总体损失是否收敛，若总体损失收敛，再利用测试集进行测试，否则重新训练。

36、进一步的，所述、分别采用注意力机制及soft-max操作获得，具体如下：

37、

38、

39、为sigmoid函数，为使用1×1卷积进行变换，、分别为在横向和纵向上对空间信息进行编码的中间特征图，

40、

41、

42、r为降维比，用以缩减通道数，r为实数，c为通道数，h为特征图的长度，w为特征图的宽度，为在空间维度上进行拼接，为非线性激活函数，、为横向和纵向的特征，

43、

44、

45、为提取的特征图。

46、进一步的，所述、分别采用平均池化机制及soft-max操作获得，具体如下：

47、

48、为初始的特征权重，、分别为可见光图像和sar图像的初始的特征权重，

49、

50、p(•)表示全局平均池化。

51、有益效果：1、通过局部跨阶段和快速下采样算法，有效地提取可见光图像和sar图像中的特征信息，并通过采用无监督卷积网络进行融合，获得具有更丰富信息的融合图像，提高对目标的识别和分析能力；

52、2、设计了局部跨阶段残差块（csr），保留了残差网络的特征重用的优点，又通过分割梯度抑制过多的重复信息，通过增加梯度路径，减少了计算量，增强了cnn网络的学习能力；

53、3、采用快速下采样方法降低网络的计算量，提升模型稳定性，防止过拟合，增强特征的不变性；

54、4、采用两种注意力机制相结合的图像融合方法，提取源图像特征在不同通道与不同空间位置上不同的重要性特征并进行融合，获得更加优秀的融合特征；

55、5、融合图像在一些关键指标上有明显的提升；

56、6、采用无监督卷积网络进行融合，实现过程简单，提高了实时性，并避免了复杂变换和手工规则，增强了语义信息的集成效果。