一种基于多尺度策略的图像融合方法

：本发明涉及一种图像融合方法，具体涉及一种基于多尺度策略的图像融合方法。

背景技术

0、
背景技术：

1、图像是目前使用最广泛的数据之一，但单一模态的图像提供的信息有时无法满足人类的视觉需求或者对目标的识别探测需求，尤其在目标和背景的差别在某一波段下较小时，该问题更加明显，因此需要不同成像模式的相机拍摄不同模态的图像，通过图像融合的手段获取多种模态信息的融合图像。图像融合技术通过算法将不同传感器或不同焦点、亮度等的同一场景的两幅或者多幅图像的信息进行提取，整合到单幅融合图像中，生成一幅包含各个模态特性的融合图像，以全面表征场景、增加目标对比度并促进后续的视觉任务。相对单一的源图像而言，融合图像具有多模态的信息，更高的目标对比度以及更多的场景细节。目前图像融合方法已逐渐由人工设计的传统方法，转向基于深度学习的图像融合方法。传统图像融合方法发展成熟，由人工设计图像分解、特征融合以及图像重建算法，具有较高的人工误差以及计算成本，在面对复杂图像时，融合效果较差。基于深度学习的融合方法将部分或全部工作交由神经网络完成，利用神经网络强大的端到端拟合能力，实现融合参数的自动化更新，能够更好地适配不同模态的图像，然而现阶段基于深度学习的融合方法仍存在对多尺度信息利用率差、特征提取不准确，融合结果中目标对比度不高等问题。

技术实现思路

0、
技术实现要素：

1、本发明的目的在于克服现有技术的不足，提供一种基于多尺度神经网络结构的图像融合方法，所述的图像融合方法可实现对多尺度特征的高效利用，能够有效融合不同尺度的边缘以及目标特征，重建出具有更多边缘信息以及更好目标对比度的融合图像。

2、本发明解决上述技术问题的技术方案是：一种基于多尺度策略的图像融合方法，包括以下步骤：

3、(s1)、利用不同成像模式的相机拍摄2000对双模态图像构成待融合的双模态图像集d，两种模态的图像分别记为a1、a2；

4、(s2)、将双模态图像a1、a2作为网络输入，经过编码器子网络得到包含4层尺度的中间特征fa1和fa2；

5、(s3)、利用训练好的融合子网络融合两种模态图像的中间特征fa1和fa2，得到融合特征ffused：

6、(s4)、将融合特征ffused输入解码器子网络重建出融合图像f；

7、(s5)、将上述子网络构建成一个多尺度图像融合网络，并计算输出的融合图像f与输入的多模态图像a1和a2之间的损失函数loss值，通过对loss值的梯度进行反向传播来训练多尺度图像融合网络，直至loss值收敛，得到训练好的多尺度图像融合网络；

8、(s6)、将待融合的双模态图像集d放入训练好的多尺度图像融合网络中，得到融合图像f。

9、优选的，在步骤(s1)中，所述双模态图像包括但不限于可见光图像、不同波段红外图像、线偏振度图像(dolp)等。

10、优选的，在步骤(s2)中，所述编码器子网络包括4个逆向残差卷积模块(ir)以及2个位置感知卷积模块(parc)，其中ir模块由卷积核大小为1×1的卷积层，卷积核大小为3×3的深度卷积层，卷积核大小为1×1的卷积以及非线性激活函数relu组成，用于分离出基本的多尺度特征；parc模块由位置感知卷积块、全局横向环卷积、全局纵向环卷积、前馈神经网络以及通道注意力模块组成，通道注意力模块包括全局平均池化模块、2层全连接层，用于提取出深层次的全局特征。

11、优选的，在步骤(s3)中，所述融合子网络由两路组成：先将中间特征fa1和fa2的第i通道特征图取出，一路将两特征图进行直接相加，另一路将两特征图进行通道维拼接后通过3次3×3卷积，再与第一路相加得到第i通道的融合特征将所有通道处理并拼接起来后得到总融合特征ffused。

12、优选的，在步骤(s4)中，所述解码器子网络包括6个解码块(dcb)，每个解码块由一个卷积核大小为3×3的卷积和一个卷积核大小为1×1的卷积组成，解码块之间辅以差异上采样和跳跃连接实现多尺度特征的融合。

13、优选的，在步骤(s5)中，所述损失函数loss由下式计算

14、loss＝λ1lmwssim+λ2lacos                            (1)

15、其中，lmwssim为多尺度加权结构相似性损失函数，用于构造输入和融合图像间的背景及纹理损失，由式(2)计算，lacos为调整余弦相似性损失函数，用于约束融合图像的目标特征，由式(4)计算，λ1，λ2为用于平衡两种损失函数的超参数。

16、

17、其中，βw为权重系数，lssim(x,y；w)代表在窗口w内图像x和y的局部结构相似性，由式(3)计算。

18、

19、其中表示窗口w在图像x中的均值，σ(wxwy)为wx和wy的协方差，c1和c2为常数，防止等式的除数为0。lacos通过下式计算：

20、

21、其中，ffused是融合特征，fen为输出图像放入编码器得出的中间特征。

22、本发明与现有技术相比的有益效果在于：

23、1、本发明的基于多尺度策略的图像融合方法首先采用逆残差模块提取出图像的4层尺度的特征，随后对不同尺度的特征采用不同的方式进行进一步的处理，由于浅层特征包含更多的纹理及细节信息，因此为保留图像细节，不对浅层特征做过多处理，深层特征包含更多目标的全局特征，因此采用位置感知循环卷积对深层特征进行全局特征的提取，这种处理方式能够有针对性地利用不同尺度的特征，实现更好的特征提取性能，同时避免过多增加网络参数。

24、2、本发明的基于多尺度策略的图像融合方法采用双路并行的特征融合方式，先取出来自不同模态图像的第i通道的特征图，一路将该特征图直接相加获得保持纹理细节的特征图，另一路将两张特征图在通道维度拼接后，经过三层卷积获得融合整体特征的特征图，最后将两路的特征图进行相加，得到融合的第i通道的特征图，这种特征融合方法将纹理和目标特征进行分路处理，能够充分利用不同尺度中的不同分量的纹理和整体特征，实现目标特征融合的同时保留良好的纹理信息。

25、3、本发明的基于多尺度策略的图像融合方法在构建损失函数时使用了加权结构相似性损失函数，能够从不同尺度约束图像的亮度、对比度以及结构与源图像相似，同时利用调整余弦相似性损失函数的高维一致性，来约束融合图像的多维目标特征与源图像的多维目标特征保持一致，两种损失函数结合能够使融合图像既具有良好的纹理和细节信息，又有较高的目标对比度。

技术特征：

1.一种基于多尺度策略的图像融合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s1)中，所述双模态图像包括但不限于可见光图像、不同波段红外图像、线偏振度图像(degreeof linerpolarization，dolp)等。

3.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s2)中，所述编码器子网络包括4个逆向残差卷积模块(ir)以及2个位置感知卷积模块(parc)，其中ir模块由卷积核大小为1×1的卷积层，卷积核大小为3×3的深度卷积层，卷积核大小为1×1的卷积以及非线性激活函数relu组成，用于分离出基本的多尺度特征；parc模块由位置感知卷积块、全局横向环卷积、全局纵向环卷积、前馈神经网络以及通道注意力模块组成，通道注意力模块包括全局平均池化模块、2层全连接层，用于提取出深层次的全局特征。

4.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s3)中，所述融合子网络由两路组成：先将中间特征fa1和fa2的第i通道特征图取出，一路将两特征图进行直接相加，另一路将两特征图进行通道维拼接后通过3次3×3卷积，再与第一路相加得到第i通道的融合特征将所有通道处理并拼接起来后得到总融合特征ffused。

5.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s4)中，所述解码器子网络包括6个解码块(dcb)，每个解码块由一个卷积核大小为3×3的卷积和一个卷积核大小为1×1的卷积组成，解码块之间辅以差异上采样和跳跃连接实现多尺度特征的融合。

6.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s5)中，所述损失函数loss由下式计算：

技术总结
本发明属于图像处理领域，公开了一种基于多尺度策略的图像融合方法，用于解决基于深度学习的图像融合方法对复杂双模态图像的特征提取能力差与融合效果欠佳的问题，本发明的融合方法基于编解码器结构，核心在于对编码器分离出的不同尺度的特征进行不同的特征提取操作，后利用包含双路处理的融合模块对提取的多层次特征进行融合，最后在通道维对不同层次的融合特征进行拼接和上采样重构出融合图像。本发明能够有效实现复杂双模态图像的融合，具有多尺度特征提取效果好，融合图像目标对比度高、重构精度高、鲁棒性较强等特点。

技术研发人员：秦玉文,谢俊,豆嘉真,钟丽云,邸江磊
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/1/15