基于空间相关性注意力的红外和可见光图像融合方法

本发明涉及基于空间相关性注意力的红外图像和可见光图像的像素级融合方法，属于磁图像处理。

背景技术：

1、由于成像传感器受成像机制的限制，导致单一传感器获取的信息有限，多个成像传感器信息融合是获取良好视觉表达效果的有效途径，红外图像反映了景物间的温差信息，受光照变换等复杂环境影响小，但其纹理信息丰富度较低；可见光图像反映环境真实情况，受光照变换等复杂环境影响较大，但其细节信息表现明显。因此，研究红外图像与可见光的图像融合算法具有重要的意义。

2、在红外图像和可见光图像融合领域主要包含两个分支，一个为基于传统方法的图像融合，一个是基于深度学习的图像融合。传统的融合方法融合策略需要手工设计，因此其灵活性较差。基于深度学习的图像融合方法表征能力强，因此其成为目前图像融合领域主流的研究方向。

3、虽然现有的基于深度学习的图像融合方法已经获得了有价值的融合结果，但在红外图像和可见光图像融合过程中细粒度信息的丢失依是一个具有挑战的任务。

技术实现思路

1、为了克服现有红外图像和可见光图像融合过程中细粒度信息的丢失等问题，本发明提供了基于空间相关性注意力的红外和可见光图像融合方法。

2、基于空间相关性注意力的红外和可见光图像融合方法的具体步骤如下：

3、步骤一：读取红外图像和可见光图像；

4、步骤二：将红外图像和可见光图像分别输入编码器提取4种尺度的深度特征；

5、步骤三：将红外图像的深度特征和可见光图像的深度特征输入融合网络；

6、步骤四：在融合网络中，对输入融合网络的相应尺度的红外图像深度特征和可见光图像深度特征沿通道维度拼接；

7、步骤五：在融合网络中，对拼接后的红外和可见光图像的深度特征计算空间相关性注意力权重；

8、步骤六：在融合网络中，将空间相关性注意力权重与红外和可见光图像拼接后的深度特征相乘，使空间注意力作用于红外和可见光图像的深度特征；

9、步骤七：在融合网络中，将空间注意力作用后的红外和可见光图像的深度特征利用由三层卷积层构成的交叉残差网络再次融合；

10、步骤八：将融合后的图像特征输入解码器中构建融合后的图像。

11、在步骤二中编码器由4个编码块串联组成，每个编码块后均输出一个图像特征，每个编码块由3层卷积和激活层构成。其中卷积核尺度为3*3，激活层的激活函数为swish激活函数。

12、在步骤二中单一模态图像提取得到的4层可表示为{f1,f2,f3,f4}，其中f1为最深层特征，f4为最浅层特征，f4的长和宽是输入图像的1/2，f3的长和宽是f4的1/2，以此类推。

13、在步骤二中提取红外图像特征的编码器与提取可见光图像特征的编码器结构、参数完全相同。

14、在步骤三中对输出编码器的不同尺度的红外和可见光图像特征分别融合，融合网络的结构相同。

15、在步骤五中空间注意力机制的计算方法如下:

16、对于红外或可见光图像，给定中级特征图作为输入(c为特征通道数，h为特征图的高度，w为特征图的宽度)，利用θ(·)、ψ(·)函数构建不同尺度的局部区域内的强联系，并聚合通道信息。θ(·)、ψ(·)分别为卷积核为1,3,5的卷积函数，且对θ(·)、ψ(·)维度变换后可以得到

17、因此，跨尺度特征元素之间的相关性函数定义为：

18、

19、fi和fj中的i和j分布代表特征图f中的位置i和j。对于公式(1)可化简为：

20、

21、因此，单模态图像中特征的空间相关性函数可定义为：

22、

23、其中c归一化因子,函数g的作用是计算输入信号在位置j处的表示。

24、函数g的定义为：

25、

26、在获取单一模态图像特征的空间相关性后，将不同模态的相关注意力机制进行融合从而获得混合模态的空间相关性注意力。因此，空间相关性注意力的定义为：

27、s＝δ(concat{rir,rvi,(gir(f)+gvi(f))})

28、其中δ(·)为卷积核尺寸为1的卷积计算，concat代表沿通道维度拼接。

29、在步骤八中解码器由四个解码块构成，每个解码块由三层卷积激活层构成，其中，卷积核尺度为3*3。

30、与现有技术相比，本发明的有益效果在于：

31、本发明构建了一个空间相关注意力机制，用来获取源图像非局部细节信息之间的关联性，从而增强化细粒度信息，降低图像融合过程中细粒度信息丢失的风险。

32、本发明构建了一个由空间相关注意力和交叉残差结构构成的融合网络，其中交叉残差网络构建了浅层特征与深层特征的多样性的联系，从而避免了浅层纹理信息的丢失，同时丰富了信息流和梯度流的传递方式，提升了特征的利用率。

33、本发明构建了一个类unet的编解码网络，其中在解码器中通过融合浅层纹理信息与深层语义信息实现了关键信息的重构。

34、本发明易于实现，且融合效果好。

技术特征：

1.基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤二中编码器由4个编码块串联组成，每个编码块后均输出一个图像特征，每个编码块由3层卷积和激活层构成。

3.根据权利要求1或2所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤二中，单一模态图像提取得到的4层可表示为{f1,f2,f3,f4}，其中f1为最深层特征，f4为最浅层特征，f4的长和宽是输入图像的1/2，f3的长和宽是f4的1/2，以此类推。

4.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤二中提取红外图像特征的编码器与提取可见光图像特征的编码器结构、参数相同。

5.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤三中对输出编码器的不同尺度的红外和可见光图像特征分别融合，融合网络的结构相同。

6.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤五具体包括：

7.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤七中交叉残差网络中第一层卷积层的输出输入第二次卷积层的同时与第二层卷积层的输出相加后输入第三层卷积层，与此同时第二次卷积层的输出与第三层卷积的输出相加后作为融合网络最终输出结果。

8.根据权利要求1所述的基于空间相关性注意力的红外和可见光图像融合方法，其特征在于：所述步骤八中解码器由四个解码块构成，每个解码块由三层卷积激活层构成，其中，卷积核尺度为3*3。

技术总结
本发明涉及基于空间相关性注意力的红外和可见光图像融合方法，包括以下步骤：S1：读取红外和可见光图像；S2：将红外和可见光图像分别输入编码器提取4种尺度的深度特征；S3：将红外的深度特征和可见光图像的深度特征输入融合网络；S4：在融合网络中，对输入融合网络的相应尺度的红外图和可见光图像特征计算空间相关性注意力权重并将空间相关性注意力权重作用于红外和可见光图像的特征；S5：在融合网络中，对空间注意力作用后的特征利用交叉残差网络进一步融合；S6：根据融合特征构建融合图像；该方法针有效解决了红外和可见光图像像素级融合任务中细粒度信息丢失的问题。

技术研发人员：彭冬亮,刘克伟,李焘,谷雨,陈华杰
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/15