一种基于非下采样剪切变换的红外和低照度图像融合方法与流程

本发明涉及图像融合领域，尤其涉及一种基于非下采样剪切变换的红外和低照度图像融合方法。

背景技术：

1、科技发展也带动了传感器技术的飞速发展，不同种类的传感器使得信息内容和形式越来越多样化和复杂化；传统的信息处理方法已经不能满当前需求，正是在这种需求之下诞生了多传感器信息融合技术；来自多个传感器中的信息经过多级别和多层次的处理与综合形成了信息融合，从而获得更可靠、更准确的有用信息；因此，图像融合技术被广泛应用于医学、遥感、军事等领域；红外传感器是通过对物体热辐射探测成像，同一场景下温度越高的物体具有越强的辐射量，其成像效果越明显(如人、汽车等)，因此红外图像不受环境干扰降低成像能力，具有较强的穿透能力，可以穿透云、烟和雾气等干扰并捕捉到目标，但也是因为成像原理的限制，使得红外图像的细节表现能力比较差，并且对背景信息的保留也比较少、图像的分辨率较差；可见光则是利用光学原理将物体反射或透过的可见光线投射到光敏材料上，得到的可见光图像细节纹理清晰、图像分辨率高、背景信息丰富；但是可见光图像极易受到遮挡、光照条件和距离等因素的影响，可见光图像不具备对环境的抗干扰能力；因此，红外图像和可见光图像具有互补特性，利用这一特性对红外和可见光图像进行融合处理，得到的融合图像具有更丰富的细节信息和更高的可靠性，有效弥补单一图像信息量不足的问题，并增强了人们对图像信息的识别和分析能力；目前，红外和可见光图像融合技术被广泛应用于视频监控、目标识别、目标跟踪和军事侦察等复杂场景中；所以，对红外和可见光融合处理的深入研究是具有实际意义和应用价值的；图像融合可分为三个层次(从低到高)：像素级融合、特征级融合和决策级融合；像素级融合是指直接对源图像进行融合处理；特征级融合是指对源图像进行特征提取(边缘、形状等特征)，然后再对提取的特征进行融合处理；决策级融合是根据一定的规则对提取特征的源图像决策综合，从而得到融合图像；正是像素级融合能尽可能保留源图像信息的优点，使其逐渐成为图像融合的一个研究重点；当前红外和可见光图像融合方法多种多样，但目前大多数融合方法得到的融合图像普遍存在细节信息丢失、图像对比度较差等问题；因此融合图像的质量还有待进一步提高；采用传统的脉冲耦合神经网络作为融合算法，脉冲耦合神经网络是将链接强度设置为一个固定的常数，根据研究发现，人眼对特征明显区域的反应要高于不明显区域，每个神经元的链接强度都相同也是不可能的，因此这样设置固定的参数值存在一定的局限性，并不符合人眼的视觉系统。

技术实现思路

1、为了克服在对红外图像和可见光图像进行融合时，采用传统的脉冲耦合神经网络作为融合算法，脉冲耦合神经网络是将链接强度设置为一个固定的常数，根据研究发现，人眼对特征明显区域的反应要高于不明显区域，每个神经元的链接强度都相同也是不可能的，因此这样设置固定的参数值存在一定的局限性，并不符合人眼的视觉系统的问题。

2、本发明的技术方案为：一种基于非下采样剪切变换的红外和低照度图像融合方法，包括有以下步骤：

3、s11：输入需要进行融合的原始红外图像和可见光图像，对原始红外图像和可见光图像进行图像增强处理；

4、s12：对增强后的原始红外图像和可见光图像分别进行非下采样剪切波分解，得到原始红外图像的低频分量系数、原始红外图像的高频分量系数、可见光图像的低频分量系数和可见光图像的高频分量系数；

5、s13：对分解后的红外低频分量系数和可见光低频分量系数采用基于改进引导滤波的融合策略；

6、s14：对分解后的红外高频分量系数和可见光高频分量系数采用基于多尺度形态学梯度的pcnn的融合策略；

7、s15：利用非下采样剪切波逆变换对融合后的低频分量系数和高频分量系数重构，得到最终的融合图像。

8、优选的，首先对输入的原始红外图像和可见光图像进行图像增强处理；其次对增强后的原始红外图像和可见光图像进行非下采样剪切波分解，得到各自的低频分量和高频分量；再对分解后的低频分量和高频分量采用不同的融合策略，最后对融合后的低频分量和高频分量进行非下采样剪切波逆变换，得到最终的融合图像。

9、作为优选，步骤s11中输入的需要进行融合的原始红外图像的分辨率大小和可见光图像的分辨率大小均为256x256。

10、作为优选，步骤s11中输入的可见光图像为rgb彩色图像或灰度图像中的一种，且当可输入的可见光图像为rgb彩色图像时，将输入的可见光图像从rgb彩色图像转换为yuv图像，且利用转换后的yuv图像的y通道数据进行融合处理，再将融合图像与可见光图像的u和v通道合并为yuv格式的融合图像，最后将yuv格式的融合图像转换为rgb格式的融合图像；其中，rgb图像转换为yuv图像的公式为：

11、

12、优选的，对红外图像和可见光图像进行限制对比度自适应直方图均衡化图像增强，可以丰富图像信息和增强图像的视觉效果。

13、作为优选，步骤s12中的非下采样剪切波变换将原始红外图像和可见光图像分解为原始红外图像的1个低频分量和n个大小相同的高频分量以及可见光图像的1个低频分量和n个大小相同的高频分量；其中，n为分解的层数。

14、作为优选，在对分解后的红外低频分量系数和可见光低频分量系数采用基于改进引导滤波的融合策略时，对于红外低频分量系数和可见光低频分量系数采用基于引导滤波的加权平均的融合策略；其中，包括以下步骤：

15、s21：计算原始红外图像和可见光图像的正则化参数，其中，计算正则化参数的原理公式为：

16、

17、其中，eps1为原始红外图像的红外低频分量系数的正则化参数，eps2为可见光图像的可见光低频分量系数的正则化参数；

18、s22：首先将红外图像的低频分量作为引导滤波器的输入图像，可见光图像的低频分量作为引导图像，再将可见光图像的低频分量作为引导滤波器的输入图像，红外图像的低频分量作为引导图像；其中，原理公式为：

19、

20、r为窗口半径，r决定引导图像的显著性差异，oa,l为原始红外图像的红外低频分量经过引导滤波器处理后得到的图像，ob,l为红外和可见光图像的可见光低频分量经过引导滤波器处理后得到的图像；

21、s23：用红外和可见光图像的低频分量分别减去各自的经引导滤波器的输出图像，得到其锐化图像；其中，原理公式为：

22、

23、其中，ma,l为原始红外图像低频子带的锐化图像a，mb,l为可见光图像低频子带的锐化图像b；

24、s24：计算锐化图像改进的区域拉普拉斯能量和，其中，计算原理公式为：

25、

26、其中，smla,l(i,j)为锐化图像a在区域(i,j)处的改进的区域拉普拉斯能量和，smlb,l(i,j)为锐化图像b在区域(i,j)处的改进的区域拉普拉斯能量和，区域(i,j)的大小为3×3，mla,l(i,j)为锐化图像a在区域(i,j)处的改进的区域拉普拉斯能量，mlb,l(i,j)为锐化图像b在区域(i,j)处的改进的区域拉普拉斯能量；

27、s25：根据改进的区域拉普拉斯能量和确定权值，其中，计算原理公式为：

28、

29、s26：融合低频子带。

30、作为优选，在计算锐化图像改进的区域拉普拉斯能量和时，锐化图像a和锐化图像b在区域(i,j)处的改进的区域拉普拉斯能量通过以下公式进行计算：

31、

32、作为优选，融合低频子带的计算原理公式为：

33、

34、优选的，低频部分包含图像的大部分能量，并且图像中的信息都是存在相关性的，每个像素不是独立的存在，像素在任何位置的像素点都能表现出很强的相关性，因此不能对低频部分进行简单的取最大值或是加权平均的；但加权平均法有消除部分噪声、源图像信息损失较少的优点；因此低频部分采用基于引导滤波的加权平均融合方法，从而达到消除部分噪声、减少源图像信息损失的效果，且采用引导滤波作为低频子带的融合策略，可以弱化低频子带在融合过程中产生人造纹理的问题。

35、作为优选，在对分解后的红外高频分量系数和可见光高频分量系数采用基于多尺度形态学梯度的pcnn的融合策略时，包括以下步骤：

36、s31：根据多尺度形态学梯度，分别计算和的梯度信息mga和mgb，其中，计算原理公式为：

37、

38、

39、其中，为原始红外图像第l层的第k个的高频子带，为可见光图像第l层的第k个的高频子带，为原始红外图像第l层的第k个高频子带的梯度信息，为可见光图像第l层的第k个高频子带的梯度信息；

40、s32：把和作为双通道pcnn的链接强度和其中，计算原理公式为：

41、

42、其中，为原始红外图像第l层的第k个高频子带在(i,j)处的像素值，为可见光图像第l层的第k个高频子带在(i,j)处的像素值，为原始红外图像第l层的第k个高频子带在(i,j)处的链接强度系数，为可见光图像第l层的第k个高频子带在(i,j)处的链接强度系数；

43、s33：分别计算和的累积触发时间，将其作为选择最终高频子带系数的依据，其中，计算原理公式为：

44、

45、其中，为原始红外图像的第l层的第k个高频子带的累积触发时间，为可见光图像的第l层的第k个高频子带的累积触发时间，为原始红外图像的第l层的第k个高频子带的pcnn脉冲输出，为可见光图像的第l层的第k个高频子带的pcnn脉冲输出，n为迭代次数；

46、s34：根据pcnn的累积触发时间决定高频子带的最终融合。

47、作为优选，在根据pcnn的累积触发时间决定高频子带的最终融合时，计算原理公式为：

48、

49、其中，为最终融合图像的第l层的第k个高频子带。

50、优选的，高频分量主要包含源图像的一些细节纹理信息；因此应该选择不同的低频分量和高频分量融合策略；高频分量主要包含源图像的一些细节纹理信息；因此应该选择不同的低频分量和高频分量融合策略，将多尺度形态学梯度替代传统的固定链接强度值，多尺度形态学梯度可以很好地反映图像的边缘特征，实现自适应的调节链接强度值，从而可以捕捉高频子带的细节信息，在一定程度上实现了pcnn的自适应性。

51、作为优选，在利用非下采样剪切波逆变换对融合后的低频分量系数和高频分量系数重构，得到最终的融合图像时，计算原理公式为：

52、

53、其中，if为最终的融合图像。

54、优选的，融合后的图像既保留了原始红外图像的特征也保留了可见光图像的特征，更加有利于人眼观测和判别。

55、本发明的有益效果：

56、1、相对于现有技术采用传统的脉冲耦合神经网络作为融合算法，脉冲耦合神经网络是将链接强度设置为一个固定的常数，根据研究发现，人眼对特征明显区域的反应要高于不明显区域，每个神经元的链接强度都相同也是不可能的，因此这样设置固定的参数值存在一定的局限性，并不符合人眼的视觉系统；本发明通过设置首先对原始红外图像和可见光图像进行限制对比度自适应直方图均衡化，增强源图像的细节信息和对比度；再以nsst为多尺度分解工具的基础下，用多尺度形态学梯度调整正则化参数的引导滤波作为低频分量的融合策略，可以弱化低频分量在融合过程中产生人造纹理的问题；用多尺度形态学梯度调替代传统的固定链接强度值的pcnn作为高频分量的融合策略，将多尺度形态学梯度替代传统的固定链接强度值，多尺度形态学梯度可以很好地反映图像的边缘特征，实现自适应的调节链接强度值，从而可以捕捉高频子带的细节信息，在一定程度上实现了pcnn的自适应性；

57、2、低频部分包含图像的大部分能量，并且图像中的信息都是存在相关性的，每个像素不是独立的存在，像素在任何位置的像素点都能表现出很强的相关性，因此不能对低频部分进行简单的取最大值或是加权平均的；但加权平均法有消除部分噪声、源图像信息损失较少的优点；因此低频部分采用基于引导滤波的加权平均融合方法，从而达到消除部分噪声、减少源图像信息损失的效果，且采用引导滤波作为低频子带的融合策略，可以弱化低频子带在融合过程中产生人造纹理的问题；

58、3、高频分量主要包含源图像的一些细节纹理信息；因此应该选择不同的低频分量和高频分量融合策略；高频分量主要包含源图像的一些细节纹理信息；因此应该选择不同的低频分量和高频分量融合策略，将多尺度形态学梯度替代传统的固定链接强度值，多尺度形态学梯度可以很好地反映图像的边缘特征，实现自适应的调节链接强度值，从而可以捕捉高频子带的细节信息，在一定程度上实现了pcnn的自适应性。