基于混合滤波分解和图像融合的红外图像增强方法及系统

本发明属于红外图像细节增强，尤其涉及基于混合滤波分解和图像融合的红外图像增强方法及系统。

背景技术：

1、随着红外传感器的发展，红外图像的应用也逐步进入大众视野。红外成像能够接收人眼无法感知的红外线，已广泛用于智慧城市的应用。由于红外传感器本身固有的特性，红外图像普遍存在着信噪比低、对比度较差和边缘模糊等缺点，再加上目标距传感器较远，形状、大小、纹理特性较差，目标检测比较困难，更加需要对红外图像进行增强处理。

2、基于映射的红外图像增强算法是最简单也是最广泛应用的算法，包括基于自增益的线性映射、gamma曲线校正、直方图投影、直方图均衡化(he)等。其中最广泛应用的是直方图均衡化，最原始的直方图均衡是利用累计分布函数将图像灰度重新分配，使得直方图分布尽可能均匀。该方法可以获得均匀的概率密度分布，但是也会造成图像细节被过度增强、提高噪声水平、丢失部分细节、褪色等缺点。在这种情况下，出现了几种改进的he算法。如对比度受限的自适应直方图均衡化(clahe)，该算法在选择局部直方图映射方面具有更大的灵活性函数，通过选择直方图的剪切电平，可以减少不希望的噪声放大。为了缓解过度增强，vicker等提出了平台直方图均衡化(phe)，其pdf通过阈值限制。此外，song等提出了双平台直方图均衡化(dphe)，其上阈值设计用于防止典型灰度下背景噪声的过度增强，下阈值设计用于保护像素较少的细节不被合并。然而，phe和dphe中的阈值需要人工选择，这限制了它们在实践中的使用。因此，自适应高原直方图均衡化(aphe)和自适应双高原直方图均衡化(adphe)得以发展。然而，由于所有灰度的阈值都是固定的，因此adphe的鲁棒性无法得到保证。综上所述，这些基于he的方法可以将原始红外图像的动态范围压缩到满意的观测范围，但由于它们仅基于直方图信息，在处理原始图像的小细节时缺乏灵活性，使得直方图均衡化算法无法增强红外图像内部的细节。

3、边缘保持滤波器在2000年代成为计算摄影和其他图像处理应用的有效工具。该滤波器将源图像分解为一个平滑的基础层和一个细节层。边缘保持滤波器可以保持结构的空间一致性，减少边缘周围的晕影。基础层通常是通过在图像上使用边缘保持滤波器获得的，从而可能捕获强度的大变化。细节层由一系列不同的图像组成，这些图像可以在各种逐渐精细的尺度上保留细节。均值滤波是一种经典而简单的去噪方法，其目的是利用每个像素的空间相邻像素的均值去噪。非局部均值与均值滤波器相似，只是前者根据灰度值的相似度选取相邻像素。各向异性扩散基于偏微分方程，它不仅可以在均匀区域平滑图像，还可以保留边缘、形状和位置。双边滤波器作为耗时的各向异性扩散模型的快速替代方案而出现，它将低通滤波与边缘停止函数相结合。数学上，双边滤波器根据空间和光谱距离对相邻像素进行高斯加权平均，去除每个像素的噪声。zuo等人提出了一种使用双边滤波器对图像进行处理的方法。双边滤波器是一种很好的非线性保边滤波器，但是双边滤波器也存在一定的缺陷，例如由于其非线性的特性，会产生梯度反向效应，从而在红外图像的强边缘位置产生“鬼影效应”。提出了一种使用引导图像滤波器修改处理程序的方法。导向滤波器是线性滤波器，因此不会出现梯度反转效应。但由于它是线性滤波器，因此不能像双边滤波器那样有效地区分细节和噪声。使用改进的双边滤波器，称为联合双边滤波器，以增强图像细节。联合双边滤波器利用两幅相邻图像计算细节信息，与常规双边滤波器相比，可以很好地抑制梯度反转效应。具有良好的细节分离性能。同时，发现了它们存在的一些问题，这些边缘保持滤波器的复杂计算耗费了太多的计算时间，无法实时实现。

4、通过上述分析，现有技术存在的问题及缺陷为：目前基于映射的红外图像增强方法中，直方图均衡化存在图像细节被过度增强、提高噪声水平、丢失部分细节；而基于边缘保持滤波器的方法，单一滤波器仍存在许许多多的问题，例如双边滤波器因其非线性的特点会产生梯度反转的现象，引导滤波器由于其线性特点无法区分细节信息与噪声。在结构方面，如果只是单独分为一个细节层可能导致细节信息提取不充分，而且仅采用滤波器分解而不采用各种辅助步骤加持就会导致过度增强或者提高噪声水平等。因此本文所提出的基于混合滤波分解及辅助步骤补充是很有必要的。

技术实现思路

1、为克服相关技术中存在的问题，本发明公开实施例提供了基于混合滤波分解和图像融合的红外图像增强方法及系统，所述技术方案如下：

2、本发明是这样实现的，基于混合滤波分解和图像融合的红外图像增强方法，包括以下步骤：

3、s1，获取输入源图像，并将灰度图像进行归一化处理；

4、s2，对源图像进行快速引导滤波处理，得到背景模糊边缘保持子图像；

5、s3，对源图像进行cauchy filter操作处理，得到背景模糊子图像；

6、s4，利用源图像减去背景模糊子图像，得到差异层；

7、s5，对差异层进行对比度增强处理，得到校正后的背景图像；

8、s6，将背景模糊边缘保持子图像与背景模糊子图像分别作差，获取差分小细节层；

9、s7，利用相位一致性获得权重进行差分小细节层融合，利用柯西滤波特性对重构的差分小细节层进行降噪处理；

10、s8，引入非线性函数计算差分小细节层与细节层权重系数，将融合后的细节层与背景层进行图像重建，得到细节增强的红外图像。

11、在步骤s1中，输入源图像为i(x，y)，i(x，y)是大小为x×y的矩阵，x表示宽，y表示高。

12、在步骤s2中，对源图像进行快速引导滤波处理，包括：

13、利用快速引导滤波算法引导图像设置，得到背景模糊边缘保持子图像，分别为ia1(x，y)、ia2(x，y)、ia3(x，y)；

14、其中，ia1(x，y)的引导图像为i(x，y)，ia2(x，y)的引导图像为ia1(x，y)，ia3(x，y)的引导图像为ia2(x，y)；

15、在快速引导滤波参数中，局部窗口r大小设置为4，下采样率s设置为4，s＝r或s＝r/4，控制平滑程度正则化参数ε为0.04。

16、在步骤s3中，背景模糊子图像分别为：ib1(x，y)、ib2(x，y)、ib3(x，y)、b(x，y)；cauchy filter核参数选择中，设置gamma＝1.0，滤波窗口大小设置为7，窗口系数矩阵的表达式为：

17、

18、式中，w为滤波窗口某点处的像素值，(x，y)为中心点坐标，w(i，j)为滤波窗口(i，j)处的像素值，γ为尺度控制参数，(x0，y0)为当前计算点处坐标；

19、根据柯西函数应用于实际滤波的窗口函数，由窗口系数矩阵的表达式计算出滤波窗口中每一点的权重值，当窗口大小固定时，gamma值固定，滤波窗口每一点的权重值都是固定的；

20、利用窗口滤波函数将窗口系数矩阵应用于图像或信号的每个像素或样本，通过卷积操作进行滤波，将输入信号和滤波核表示为矩阵形式，滤波核将依次遍历整幅图像，将滤波核的中心与图像当前待滤波元素对齐后，每个位置进行点乘运算，并将结果相加，实现点积运算，得到的结果称为输出信号的一个像素值，移动滤波核，继续在输入信号上滑动，重复上述过程，得到的输出信号即为卷积滤波器的处理结果。

21、在步骤s4中，利用源图像减去背景模糊子图像，得到差异层，具体为：源图像i(x，y)减去背景模糊子图像b(x，y)得到差异层d(x，y)。

22、在步骤s5中，对差异层进行对比度增强处理，包括：

23、利用改进自适应的gamma校正对背景层对比度进行过拉伸，将均值设置为0.45，则有：

24、imeanγ＝0.45

25、

26、

27、

28、式中，γ为所求的值，imean为图像的均值；

29、当求得γ后，利用求得对比度增强且均值在0.45的红外背景图像，以满足照度较低的红外图像，得到向目标靠近的γ的值。

30、在步骤s6中，将背景模糊边缘保持子图像与背景模糊子图像分别作差，具体包括：

31、将背景模糊边缘保持子图像ia1(x，y)、ia2(x，y)、iab(x，y)与背景模糊子图像ib1(x，y)、ib2(x，y)、ib3(x，y)分别作差，得到差异层d1(x，y)、d2(x，y)、d3(x，y)。

32、在步骤s7中，利用相位一致性获得权重进行差分小细节层融合，将三个不同尺度下的细节信息通过获得的权重值融合到一张图像当中，得到一张良好细节信息的细节图像，表达式为：

33、d′(x，y)＝ia1(x，y)w1(x，y)+ia2(x，y)w2(x，y)+ia3(x，y)w3(x，y)

34、式中，d′(x，y)为差分小细节层输出，iai(x，y)为利用快速引导滤波求得的背景模糊边缘保持子图像，wi(x，y)为相位一致性提取的权重矩阵，i＝1，2，3；

35、利用相位一致性提取特性矩阵pt，逐点比较特性矩阵pt进行权重赋值，表达式为：

36、pt(i，j)＝max(p1(i，j)，p2(i，j)，p3(i，j))

37、式中，pt(i，j)为在(i，j)点处的特性矩阵，p1为利用相位一致性求得ia1的输出矩阵，p2为利用相位一致性求得ia2的输出矩阵，p3为利用相位一致性求得ia3的输出矩阵，max(·)为求最大值函数；

38、逐像素值比较从相位一致性提取的特性矩阵pt大小，获得权重矩阵wi(i，j)；

39、若t＝1，则w1(i，j)＝1，w2(i，j)＝0，w3(i，j)＝0；

40、若t＝2，则w2(i，j)＝1，w1(i，j)＝0，w3(i，j)＝0；

41、若t＝3，则w3(i，j)＝1，w2(i，j)＝0，w1(i，j)＝0；

42、利用柯西滤波特性对重构得到的差分小细节层进行降噪处理，则：

43、d″(x，y)＝cauchy(d′(x，y)，x0，γ)

44、式中，d″(x，y)为小尺度细节图，d′(x，y)为输入图像，x0为滤波核的中心位置参数，γ为尺度控制参数，窗口大小设置为7，cauchy(·)为柯西降噪操作。

45、在步骤s8中，对d(x，y)和d′(x，y)进行图像融合，则：

46、d″′(i，j)＝max(d(i，j)，d″(i，j))

47、式中，d(x，y)为输出大尺度细节图，d″(i，j)为柯西降噪后的小尺度细节层；

48、若d(x，y)显著分量细节信息丰富，则将信号d(x，y)传输到图像重建中；若d(x，y)，d′(x，y)具有相同的像素强度，则适用任何像素级融合规则；若d′(x，y)显著分量细节信息丰富，则将信号d′(x，y)传输到图像重建中；

49、对提取的细节信息进行基于图像均值和方差的自适应的细节因子增强，则：

50、

51、式中，var(１)为求得源图像的方差，mean(１)为源图像的均值；

52、根据图像均值方差自适应选择增益系数将细节信息放大，得到增后图像；

53、引入非线性函数实现图像重建过程，非线性函数为：

54、c(x，y)＝arctan(λp(x，y))/arctan(λ)

55、式中，p(x，y)为归一化的红外目标r(x，y)，arctan(·)为反正切函数，λ为控制系数；

56、其中，λ设置为10，重建规则为：

57、o(x，y)＝β(c(x，y)d1(x，y)+(1-c(x，y))d″″(x，y))+ab(x，y)

58、式中，β为自适应细节增益因子，用于增强细节信息；c(x，y)为非线性函数计算的重建权重值，d1(x，y)为大尺度细节图，d″(x，y)为小尺度细节图，b(x，y)为获得的背景图；a为背景层的系数，设置为1，通过设置a的大小增强或抑制背景信息；c为非线性函数计算的系数，介于0-1之间，用于通过计算权重决定两个最终细节层对重建图像的影响。

59、本发明的另一目的在于提供一种基于混合滤波分解和图像融合的红外图像增强系统，该系统用于对所述基于混合滤波分解和图像融合的红外图像增强方法进行调控，该系统包括：

60、图像获取模块，用于获取输入源图像，并将灰度图像进行归一化处理；

61、图像滤波模块，用于对源图像进行快速引导滤波处理，得到背景模糊边缘保持子图像，对源图像进行cauchy filter操作处理，得到背景模糊子图像；

62、差异层获取模块，用于利用源图像减去背景模糊子图像，得到差异层；

63、图像校正模块，用于对差异层进行对比度增强处理，得到校正后的背景图像；将背景模糊边缘保持子图像与背景模糊子图像分别作差，获取差分小细节层；

64、图像融合模块，用于利用相位一致性获得权重进行差分小细节层融合，利用柯西滤波特性对重构的差分小细节层进行降噪处理；

65、图像重建模块，用于引入非线性函数计算差分小细节层与细节层权重系数，将融合后的细节层与背景层进行图像重建，得到细节增强的红外图像。

66、结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明的基于混合滤波和图像融合的、红外图像细节增强方法，通过消除因为各种光照不均或是红外成像仪成像差而导致的不希望出现在成像结果中的噪声或模糊；突出图像边缘的过渡部分，以表现出更多的图片边缘信息；利用已分解图像中的模糊层作背景层，校正红外图像的灰度分布范围；使图像的整体输出灰度值分布均匀，同时又不丢失细节信息，使图像符合人眼的感知习惯；增强场景的边缘和细节，减少红外成像造成的低对比度损失，最大限度提取图像中的细节信息，提高融合图像信息的使用率；经过系列操作，得到细节增强的红外图像。

67、本发明利用柯西滤波和快速引导滤波分解原图像，利用相位一致性提取细节特征指导图像融合来增强图像细节算法。本发明的红外图像细节增强方法利用图像分解模块通过混合滤波器将图像分层，分别对背景层、细节层、差分小细节层进行相应的处理，保证后序图像融合过程中融合图像具有良好的细节信息；利用图像融合和背景对比度增强模块利用相位一致性获得特性矩阵获得权重系数指导差分小细节层融合，使得差分小细节层具有良好的细节特性；利用自适应gamma校正实现对背景层的对比度增强；利用图像重建模块引入非线性函数计算差分小细节层与细节层权重系数，避免图像过度增强，将融合后的细节层与背景层进行图像重建；最终经过处理，得到细节增强的红外图像。

68、本发明具体涉及一种能够对红外图像进行降噪、细节增强等处理的方法，利用混合滤波器进行处理，达到降低噪声的目的，并将图像分为大尺度细节层背景层，小尺度细节层；对背景层进行对比度增强，拉伸图像的灰度，使图像更符合人眼的感知习惯；通过图像融合的方法得到增强图像。本发明可使得红外图像质量显著提升，为图像特征提取、目标识别、跟踪等技术奠定基础。

69、本发明利用柯西滤波和快速引导滤波分解原图像，引入融合方法指导图像融合增强图像细节。柯西滤波和快速引导滤波的组合可以有效去除噪声保留细节，本发明采用相位一致性融合规则指导不同尺度的细节层融合时能得到更好的细节增强效果，有效地提高图像增强效率和质量。本发明采用混合滤波方法，柯西滤波将背景噪声滤除，快速引导滤波器将用作边缘保持滤波器将小细节提取到细节层，做到既能滤除噪声对背景层的干扰又可以将小细节进行保留。

70、作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：本发明用于各种红外传感器，对传感器的输出进行优化。本发明基于传统方法红外图像细节增强使用的都是单一滤波器与单一细节层的分解处理，最后重建图像细节信息不够丰富，导致细节信息的缺失。如果直接将细节图乘以系数加在原图，则会导致像素值的溢出与整体亮度增加，虽然这时细节信息足够丰富。对于基于传统方法单红外图像细节增强的研究在近几年进展缓慢，仅靠单红外图像加上保边滤波器很难将图像的细节与质量明显提升，本文使用柯西滤波与快速引导滤波混合滤波的方法能克服单一细节图与滤波器出现的细节信息提取不足导致细节信息丢失。后续重建处理前的系列操作，克服重建过程产生的噪声，未采用直接求和的系数产生的像素值溢出问题，不同细节分量有着不同的权重，背景对比度的整体改善，使重建后图像具有更高的质量。