基于多聚焦信息整合的红外与可见光图像融合方法及系统

本发明涉及图像融合，尤其涉及基于多聚焦信息整合的红外与可见光图像融合方法及系统。

背景技术：

1、红外和可见光图像融合技术通过整合从不同传感器获得的有价值的信息，在计算领域发挥着关键作用。这种技术可以为高级视觉任务提供更全面和详细的场景解释，如目标检测、语义分割和行人重新识别。在光线充足的场景中，可见光传感器擅长捕捉丰富的纹理和细节信息，提供更复杂的场景描述。然而，在低光照条件下或具有挑战性的环境中，如烟雾或雨，可见光传感器往往会遭受严重的信息损失。另一方面，红外相机能够捕捉到目标发出的热辐射，使其不太容易受到外部干扰。尽管如此，它们对复杂的场景细节缺乏敏感度，主要提供有助于准确定位目标的特征信息。

2、近年来，在红外与可见光图像融合领域开发了许多有效的特征信息检测算法，大致可分为基于深度学习的方法和传统融合方法。基于深度学习的方法采用神经网络来模拟人脑的功能。通过从广泛的数据集中学习，这些模型建立了连接，并利用深度特征来重建富含复杂细节的融合图像。传统融合算法可以分为基于多尺度变换的算法和基于显著性的算法。前者将源图像分解为多个尺度和方向，利用融合规则对其进行整合并重建融合系数。基于显著性的算法旨在保留从不同源图像中识别出的显著区域。它通常使用各种特征提取运算符计算出一个显著性图，并在此基础上构建融合权重。这种方法有助于减少像素信息的冗余，提高融合结果的视觉质量。虽然许多算法可以在红外与可见光图像融合任务中提供高质量的融合结果，但它们通常假设可见光成像设备捕获的场景信息始终处于聚焦和清晰状态。然而，在实际情况下，由于光学镜头的限制，只有景深内的物体才能被聚焦。因此，当相机不能同时捕捉到场景中的所有目标信息时，场景内的部分区域会变得模糊，不能够呈现一个全场景聚焦的图像，因此需要捕捉多组数据以确保所有目标信息都在聚焦区域内。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供基于多聚焦信息整合的红外与可见光图像融合方法及系统，能够有效提取可见光图像中的细节信息与红外热辐射目标信息。

2、本发明所采用的第一技术方案是：基于多聚焦信息整合的红外与可见光图像融合方法，包括以下步骤：

3、获取红外图像、第一可见光源图像和第二可见光源图像，所述第一可见光源图像和第二可见光源图像具有不同聚焦区域；

4、基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理，得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像；

5、对分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像进行显著信息融合处理，得到融合纹理层与融合结构层；

6、将融合纹理层与融合结构层进行相加处理，得到最终的图像融合结果。

7、进一步，所述基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理，得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像这一步骤，其具体包括：

8、基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行平滑操作处理，得到红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层；

9、将红外图像与红外图像的结构层进行相减处理、第一可见光源图像与第一可见光源图像的结构层进行相减处理、第二可见光源图像与第二可见光源图像的结构层进行相减处理，得到红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层；

10、分别整合红外图像的结构层与红外图像的纹理层、第一可见光源图像的结构层与第一可见光源图像的纹理层、第二可见光源图像的结构层与第二可见光源图像的纹理层，得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像。

11、进一步，所述半稀疏性的图像滤波器的表达式具体如下所示：

12、;

13、上式中，表示输入的图像，表示输出的图像，和表示平衡的权重，表示规定的平滑度的空间变化的置信图，代表第个微分算子，表示图像第个高阶梯度，表示第个微分算子，其中。

14、进一步，所述对分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像进行显著信息融合处理，得到融合纹理层与融合结构层这一步骤，其具体包括：

15、通过特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理，得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图；

16、对红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图进行绝对值取大处理，得到红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图；

17、对红外图像纹理层的聚焦决策图、第一可见光源图像纹理层的聚焦决策图和第二可见光源图像纹理层的聚焦决策图进行整合处理，得到聚焦纹理图；

18、对聚焦纹理图进行显著特征提取处理，得到聚焦纹理图的显著特征图；

19、基于纹理层融合规则，对聚焦纹理图的显著特征图进行融合处理，得到融合纹理层；

20、考虑能量信息的分布，对红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层进行融合处理，得到融合结构层。

21、进一步，所述特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理的表达式具体如下所示：

22、;

23、上式中，表示纹理层的显著特征图，表示图像纹理层的显著像素信息，表示图像纹理层方向的梯度信息，表示图像纹理层方向的梯度信息。

24、进一步，所述纹理层融合规则的表达式具体如下所示：

25、;

26、上式中，表示融合纹理层，表示聚焦纹理层的显著特征图，表示聚焦纹理图的显著特征图，表示图像的纹理层，表示纹理层的显著特征图。

27、进一步，所述通过特征提取算子对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行特征检测处理，得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图这一步骤，其具体包括：

28、对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行全局梯度信息检测，获取红外图像纹理层的梯度信息、第一可见光源图像纹理层的梯度信息和第二可见光源图像纹理层的梯度信息；

29、基于高斯金字塔，对红外图像的纹理层、第一可见光源图像的纹理层和第二可见光源图像的纹理层进行分解处理，得到具有多个尺度的红外图像纹理层、具有多个尺度的第一可见光源图像纹理层和具有多个尺度的第二可见光源图像纹理层；

30、通过拉普拉斯金字塔对具有多个尺度的红外图像纹理层、具有多个尺度的第一可见光源图像纹理层和具有多个尺度的第二可见光源图像纹理层进行图像的显著像素信息检测处理，得到红外图像纹理层的特征信息、第一可见光源图像纹理层的特征信息和第二可见光源图像纹理层的特征信息；

31、分别整合红外图像纹理层的梯度信息与红外图像纹理层的特征信息、第一可见光源图像纹理层的梯度信息与第一可见光源图像纹理层的特征信息、第二可见光源图像纹理层的梯度信息与第二可见光源图像纹理层的特征信息，得到红外图像纹理层的显著特征图、第一可见光源图像纹理层的显著特征图和第二可见光源图像纹理层的显著特征图。

32、所述考虑能量信息的分布，对红外图像的结构层、第一可见光源图像的结构层和第二可见光源图像的结构层进行融合处理，得到融合结构层这一步骤，其具体包括：

33、分别计算红外图像结构层的离散余弦变换块的频率方差、第一可见光源图像结构层的离散余弦变换块的频率方差和第二可见光源图像结构层的离散余弦变换块的频率方差；

34、对红外图像结构层的离散余弦变换块的频率方差、第一可见光源图像结构层的离散余弦变换块的频率方差和第二可见光源图像结构层的离散余弦变换块的频率方差进行取平均计算处理，得到融合结构层的第一特征值；

35、分别计算红外图像结构层的熵、第一可见光源图像结构层的熵和第二可见光源图像结构层的熵，得到融合结构层的第二特征值；

36、基于结构层融合规则，对融合结构层的第一特征值和融合结构层的第二特征值进行融合处理，得到融合结构层。

37、所述结构层融合规则的表达式具体如下所示：

38、;

39、上式中，表示融合结构层，表示图像结构层的熵，表示图像结构层的离散余弦变换块的频率方差，表示图像的结构层。

40、本发明所采用的第二技术方案是：基于多聚焦信息整合的红外与可见光图像融合系统，包括：

41、获取模块，用于获取红外图像、第一可见光源图像和第二可见光源图像，所述第一可见光源图像和第二可见光源图像具有不同聚焦区域；

42、分解模块，基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理，得到分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像；

43、融合模块，用于对分解后的红外图像、分解后的第一可见光源图像和分解后的第二可见光源图像进行显著信息融合处理，得到融合纹理层与融合结构层；

44、相加模块，用于将融合纹理层与融合结构层进行相加处理，得到最终的图像融合结果。

45、本发明方法及系统的有益效果是：本发明通过获取红外图像与可见光源图像，进一步基于半稀疏性的图像滤波器对红外图像、第一可见光源图像和第二可见光源图像进行分解处理，在利用不同模态图像之间的互补信息提取红外图像、第一可见光源图像和第二可见光源图像的梯度信息与显著像素特征信息，并考虑图像能量信息的分布，对图像进行融合处理，能从不同的模式图像中检测出重要的信息，还能考虑到像素点的聚焦特性，从而有效地处理各种复杂的场景，能够不受外界因素干扰的同时拥有较好的细节保持能力，能够有效区分来自不同模态图像的有用像素信息。