一种多焦距图像融合方法、装置、电子设备及存储介质与流程

本发明涉及计算成像和深度学习，特别涉及一种多焦距图像融合方法、装置、电子设备及存储介质。

背景技术：

1、所有光学成像系统的景深范围均有一定的局限性，当所观察的场景或3d物体比成像系统的景深更厚，这意味着不可能在一张图像中获取完全聚焦的场景：只有位于景深范围内的部分显得清晰、边界分明，而其余区域会基于点扩散函数而模糊化。为了克服这一局限性，多焦点图像融合是一种从一系列部分聚焦的图像生成全聚焦图像的有效方法，从而达到扩展光学系统景深的目标。mfif(multi-focus image fusion，多焦点图像融合)已应用于各种应用，例如微图像融合、视觉传感器网络、视觉功率巡检和光学显微镜。图像融合技术已经发展了30多年，期间已经发表了各种方法。

2、传统的mfif方法可以分为基于空间的方法和基于变换域的方法。基于空间的方法直接在空间域中融合图像，可以进一步分为基于像素的、基于块的和基于区域的。相比之下，基于变换域的方法首先将图像变换到另一个域。然后通过预先设计的融合规则来合并变换后的系数。最后，通过基于融合系数应用相应的逆变换来重建融合图像。迄今为止，已经提出了许多基于变换域的方法，例如解析表示方法、多尺度方法、基于梯度域的方法和混合方法。然而传统的mfif方法难以适用于多焦距图像。

技术实现思路

1、基于此，本申请实施例提供了一种多焦距图像融合方法、装置、电子设备及存储介质，实现面向多焦段图像融合任务的特征融合，支持任意数量的图像输入，保证可以融合生成全聚焦图像。

2、第一方面，提供了一种多焦距图像融合方法，该方法包括：

3、获取多焦距图像特征，对所述多焦距图像特征进行重构，并对重构的特征进行均值池化，获取深度学习特征的权重值，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵；

4、通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，对不同输入图像的融合决策地图进行归一化处理得到最终融合特征。

5、可选地，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，包括：

6、f(i,j,c)＝f0(i,j,c)×w(i,j)

7、其中f(i,j,c)，f0(i,j,c)分别代表重构后的特征矩阵和原始特征矩阵，w(i,j)代表权重矩阵。

8、可选地，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵，具体通过：

9、

10、确定获取的特征决策矩阵d(i,j)，其中，c代表原始特征的总通道数。

11、可选地，通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，包括：

12、通过对比不同输入图像的特征决策矩阵，根据相应位置的决策矩阵的最大值获取特征决策阈值矩阵，具体通过：

13、t(i,j)＝max(dk(i,j))

14、确定特征决策阈值矩阵t(i,j)，其中，k表示不同的输入图像。

15、可选地，通过对比图像的特征决策矩阵以及特征决策阈值矩阵，从而得到融合决策地图，公式如下：

16、

17、并利用tanh函数的梯度来替代阶跃函数的梯度。

18、可选地，对不同输入图像的融合决策地图进行归一化处理，通过公式：

19、

20、去顶归一化结果ff(i,j,c)，其中，fk代表第n幅图像的原始特征。

21、可选地，所述方法还包括：

22、利用逐通道卷积的方式对特征进行了重构，保证图像特征大小不变，并维持特征的连贯性，提高后续解码的质量，卷积公式具体包括：

23、

24、其中，c表示特征的通道编号，表示c通道的卷积运算。

25、第二方面，提供了一种多焦距图像融合装置，该装置包括：

26、处理模块，用于获取多焦距图像特征，对所述多焦距图像特征进行重构，并对重构的特征进行均值池化，获取深度学习特征的权重值，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵；

27、融合模块，用于通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，对不同输入图像的融合决策地图进行归一化处理得到最终融合特征。

28、第三方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一所述的多焦距图像融合方法。

29、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的多焦距图像融合方法。

30、本申请实施例提供的技术方案中，首先获取多焦距图像特征，对多焦距图像特征进行重构，并对重构的特征进行均值池化，获取深度学习特征的权重值，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵；然后通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，对不同输入图像的融合决策地图进行归一化处理得到最终融合特征。

31、本申请实施例提供的技术方案实现面向多焦段图像融合任务的特征融合，支持任意数量的图像输入，保证可以融合生成一张全聚焦图像；模块可以方便、易用的插入到任意多焦距图像融合的框架中。

技术特征：

1.一种多焦距图像融合方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，包括：

3.根据权利要求2所述的方法，其特征在于，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵，具体通过：

4.根据权利要求3所述的方法，其特征在于，通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，包括：

5.根据权利要求4所述的方法，其特征在于，通过对比图像的特征决策矩阵以及特征决策阈值矩阵，从而得到融合决策地图，公式如下：

6.根据权利要求5所述的方法，其特征在于，对不同输入图像的融合决策地图进行归一化处理，通过公式：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种多焦距图像融合装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一所述的多焦距图像融合方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的多焦距图像融合方法。

技术总结
本申请公开了一种多焦距图像融合方法、装置、电子设备及存储介质。该方法首先获取多焦距图像特征，对多焦距图像特征进行重构，并对重构的特征进行均值池化，获取深度学习特征的权重值，利用深度学习的权重值与原始的深度学习的特征进行卷积得到重构的深度学习特征，对各个通道的特征进行均值化处理，得到特征压缩后的特征决策矩阵；然后通过比较不同输入的多焦距图像的特征决策矩阵以及特征决策阈值矩阵得到融合决策地图，对不同输入图像的融合决策地图进行归一化处理得到最终融合特征。本申请实现面向多焦段图像融合任务的特征融合，支持任意数量的图像输入，保证可以融合生成一张全聚焦图像。

技术研发人员：夏晗,邵航,刘威,商世杰
受保护的技术使用者：浙江清华长三角研究院
技术研发日：
技术公布日：2024/3/21