图像融合方法、装置和处理器及电子设备与流程

本技术涉及图像处理领域，具体而言，涉及一种图像融合方法、装置和处理器及电子设备。

背景技术：

1、传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合结果的准确性低下。

2、多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像。得到的全清晰图像更便于后续的计算机视觉任务。

3、在上述多聚焦图像融合的场景下，传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合的准确性较低的技术问题。

4、针对相关技术中图像融合的准确性较低的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的主要目的在于提供一种图像融合方法、装置和处理器及电子设备，以解决相关技术中图像融合的准确性较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种图像融合方法。该方法包括：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。

3、作为一种可选的方案，上述对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。

4、作为一种可选的方案，上述对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；对第三图像特征进行归一化处理，得到第一决策图包括：利用目标函数，对第三图像特征进行归一转换，得到第一决策图。

5、作为一种可选的方案，上述基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。

6、作为一种可选的方案，上述对第一决策图做校正处理得到第一图像关联的第三决策图包括：利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。

7、作为一种可选的方案，在获取待融合的至少两个图像之后，上述方法还包括：将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。

8、作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，上述方法还包括：确定出用于得到预设模型的初始化模型；利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。

9、为了实现上述目的，根据本技术的另一方面，提供了一种图像融合装置。该装置包括：获取单元，用于获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；提取单元，用于对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；递归单元，用于对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；确定单元，用于基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。

10、作为一种可选的方案，递归单元包括：递归模块，用于对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；归一模块，用于对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。

11、作为一种可选的方案，递归模块包括：确定子模块，用于从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；调整子模块，用于利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；归一模块包括：归一子模块，用于利用目标函数，对第三图像特征进行归一转换，得到第一决策图。

12、作为一种可选的方案，确定单元包括：校正模块，用于对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；平滑模块，用于对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；第一确定模块，用于基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。

13、作为一种可选的方案，校正模块包括：校正子模块，用于利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；平滑模块包括：平滑子模块，用于利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。

14、作为一种可选的方案，装置还包括：提取处理模块，用于在获取待融合的至少两个图像之后，将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；递归处理模块，用于在获取待融合的至少两个图像之后，利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；融合处理模块，用于在获取待融合的至少两个图像之后，基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。

15、作为一种可选的方案，装置还包括：第二确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，确定出用于得到预设模型的初始化模型；训练模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；第三确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。

16、通过本技术，采用以下步骤：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。在获取到待融合的图像并且提取特征之后，对提取得到的特征进行全局递归处理，使得递归处理后得到能够指示图像的全局决策信息的决策图，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果，解决了相关技术中存在的图像融合的准确性较低的技术问题。