一种基于非抽样Contourlet的图像增强方法与流程

本发明涉及计算机视觉领域和信号处理领域，特别是涉及图像增强、非抽样Contourlet(NSTC)和图像处理的方法。

背景技术：

在现实生活中，夜间图像由于天气条件、亮度条件、捕获设备等因素导致图像不清晰甚至异常模糊。因此对夜间图像进行增强处理特别重要，利于图像分析。图像增强是计算机视觉领域的研究之一。主要解决的问题是：将较低质量(亮度小，对比度低，细节模糊等)的输入图像输出为高质量(亮度大，对比度高，细节清晰)的图像。目前图像增强技术已经展开了大量的应用研究，然而在夜间复杂背景下的低亮度图像增强技术带来了不小的挑战。

传统的图像增强技术归纳为两大类：空域增强处理法和频域增强处理法。空域增强法通常是针对像素操作。包括灰度变换、直方图均衡、各种滤波器处理、基于模糊逻辑的增强、基于遗传算法优化等，基于空域增强的算法属于直接增强图像本身。

下面给出空域增强的一般定义如下式：

g(x,y)＝T[f(x,y)] (1)

其中处理后图像是g(x,y)，输入图像是f(x,y)，转换函数是T，表示对图像f(x,y)的各种转换操作。

基于频域增强的算法基础是卷积定理，它是将图像看作波，然后利用信号处理的手段对图像进行处理。通常采用数学表示方式，定义如下：

G(u,v)＝H(u,v)*F(u,v) (2)

根据上式，增强后的图像g(x,y)可以采用反变换方式得到。

g(x,y)＝F^-1[H(u,v)*F(u,v)] (3)

式中g(x,y)表示处理后的图像，F(u,v)是图像傅里叶变换，H(u,v)是滤波器变换函数，可以发现增强后的图像比原图像细节更清楚。在增强的过程中，如果强调低频分量，可以采用低通滤波器去除图像噪声；如果是强调高频分量，可以采用高通滤波器增强图像边缘，更好地勾画出轮廓。

直方图均衡(HE)是一个最常用的对比增强技术，图像的概率密度函数(PDF)描述如下：

其中n_k表达第k个灰度等级的图像的像素总数，N是图像的像素总数。图像的直方图累积分布函数(Cumulative Distribution Function,CDF)定义如下：

从公式(5)得到CDF值，直方图均衡映射从一个输入等级k的图像到输出等级H_k使用下面的映射函数：

H_k＝(K-1)×C(k) (6)

传统的直方图均衡方法，由于灰度拉伸导致过度增强或者闪烁效果，如果一幅图像的像素占有全部可能的灰度级并且分布均匀，则显示的图像有高对比度和多变的灰度色调。图1显示了直方图增强的结果。

色调函数映射(Tone Mapping)是另外一个对比增强技术，目前的色调函数增强可以分为两类：基于全局的色调函数增强和基于局部的色调函数增强，优点是：①可以保持图像的细节，②提供低动态范围的亮度信息。为增强低动态范围的图像，在时间域上使用非线性的曝光和噪声的过滤器，算法能更好的增强图像，减少噪声。通常色调函数增强是基于图像亮度层进行，这样能更好的保护增强后的细节。下面给出常见的色调函数：

色调函数的对比增强成功的应用到增强技术上，增强图像无论亮度和清晰度都更高，前面的部分也更清晰。

鉴于此，本发明的主要目的是解决上述目前存在与信息融合增强方法引入的新问题。为了实现此目标，我们提出了一种基于非抽样Contourlet的图像增强方法。该方法的时间消耗低，可以更好地满足夜间图像增强的实时性要求。

技术实现要素：

为达到上述目的，本发明的技术方案是这样实现的：基于NSCT的分析，提出对低亮度图像进行多尺度分解，然后进行融合增强的算法。该发明具体包括如下基本步骤：

A估算高亮度图像背景；

B转换RGB颜色空间转换为La*b*，并提取L分量作为灰度，然后分解得到亮度和反射度；

C提取亮度分量，然后使用非抽样Contourlet处理进行增强处理，即得到增强的夜间图像；

D对增强后的图像进行逆置转换得到增强后的多分辨率图像，对增强后的图像使用夜间图像颜色进行还原，并对图像重构；

E图像增强后的客观评价；

附图说明

图1本发明算法具体实施原理以及框图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的说明，具体具体实施原理以及框图见图1所示。

实施步骤A：高亮度图像背景估算方式如下：

在本发明中高亮度图像背景L(x,y)估算使用高斯低通滤波器来评估分量，实际上是一个带高斯核的2D离散卷积，数学表示如下：

实施步骤B：RGB图像转换为La*b*颜色空间，方式如下：

La*b*色空间(CIE LAB色空间)是1976年由国际照明学会推荐的均匀色空间，该空间是三维直角坐标系统。L表示颜色的明度，a*正值表示偏红，负值表示偏绿；b*正值表示偏黄，负值表示偏蓝。是目前最受广用的测色系统，以明度L和色度坐标a*、b*来表示颜色在色空间中的位置。La*b*颜色空间一般从XYZ颜色空间导出，因此首先要从RGB颜色空间转换到XYZ颜色空间，转换公式如下：

从XYZ颜色空间到La*b*颜色空间的转换过程如下：

其中

X_w,Y_w,和Z_w是参考的白色三激励值，即在CIE标准D65照明下的典型完美漫反色白色。

实施步骤C：使用非抽样Contourlet对图像进行增强，进一步包括以下几个步骤：

C1、首先对输入的夜间图像进行L层的NSCT分解，然后可以得到不同尺度和方向的子带系数 和其中低频子带系数用S_l(m,n)表示，高频子带系数用D_l(m,n)表示。

C2、对低频子带系数融合规则采用基于图像局部区域梯度能量和加权平均法相结合的系数选择方案，对高频子带系数融合规则采用方向子带信息和比较的方式，通过低频子带系数和高频子带系数融合可以得到融合图像F的系数。

C3、为了得到最后增强的融合图像F，必须对融合增强系数进行逆变换。

下面将详细分析步骤C2中低频子带系数和高频子带系数融合规则。

C21、通常情况下低频子带系数采用平均法融合，但是这种方法容易丢失原图像亮度信息。为了保持图像具有丰富的细节信息，提出了一种基于图像梯度能量(Energy of image gradient,EOG)方法对低频子带系数融合。这种方法主要考虑该区域的聚焦特性，定义如(16)所示：

其中M×N表示图像的尺寸大小。考虑到低频子带系数的融合以及图像中局部区域的清晰度等，在本发明我们引入图像局部区域梯度能量(Local area energy of image gradient,LEOG)作为低频子带融合方式，定义如式(17)所示：

其中M₁×N₁为局部区域尺寸大小，取值为7×7。为了恰当选择低频子带系数，本发明采用基于图像局部区域梯度能量和加权平均法相结合的系数选择方案，其定义如(18)所示。th表示实验阈值，根据实验结果进行确定。

C22、由于非抽样Contourlet变换具有平移不变性的性质，所以源图像和变换子带的尺寸大小是相同的。在同一尺度上图像强边缘的所有高频子带都具有模值较大的系数，本发明提出对源图像每个像素同一尺度上的高频子带信息汇集后采用比较的方式来选择高频子带系数。定义在尺度2^-l上的高频子带信息和为：

高频子带系数的融合规则是：如果那么选取图像A对应的高频子带系数作为融合图像的子带系数，否则我们选取图像B对应的高频子带系数作为融合图像的子带系数，定义的表达式如下：

实施步骤D：图像重构

图像重构是一个比较热门的研究领域，为了有效的恢复颜色信息，在本发明里，融合夜间图像的灰度和颜色信息来重构RGB的图像。图像重构的过程，由图像反射图像R和图像亮度图L构成灰度图I，然后由灰度图I和颜色信息a*b*恢复到RGB颜色空间。

实施步骤E：图像增强的客观评价

为了对融合效果有较客观的评价，本发明给出的评价指标包括：偏差、互信息量、相关系数、峰值信噪比(PSNR)等。

E1偏差(Deviation)：偏差是指计算白天视频背景图像和夜间视频增强后的视频帧之间的灰度差值。如果偏差越小融合效果越好，光谱扭曲程度也就越低，其表达式为：

其中F'为融合图像，即增强后的夜间视频增强帧。F为源图像，即使用NSCT融合前的白天视频背景帧。M,N表示视频图像的大小。

E2互信息量(Mutual information)，用于衡量融合前后的相关度，如果值越大，那么融合得到的图像获取的信息越多，反之越少。互信息可以用下式表示：

其中P_A表示图像A的概率密度，P_B表示图像B的概率密度，P_F表示融合的概率密度，P_FA(k,i)和P_FB(k,j)分别为融合前后的概率密度。下面我们对信息量进行归一化[0,1]处理，可以采用如下的等式进行：

H表示信息熵，即视频图像中所包含的平均信息量，定义为：

其中L是总灰度等级数。灰度值为i的像素数用N_i表示，图像总的像素数用N表示，P_i表示这两者之比。

E3相关系数(Related coefficient)，反映两幅图像的相似性，其值越大，融合图像获取的信息量越多，色彩更协调。下面给出表达式为：

其中表示融合图像的平均值，表示源图像的平均值。

E4峰值信噪比(PSNR)，PSNR常应用在图像压缩及图像增强方面。定义大小为m×n的夜间视频帧f(i,j)及增强视频帧f'(i,j)下的均方误差为MSE，本发明中的MSE定义如下：

使用的PSNR定义如下：

其中Max(I)是图像里最大相素值，最大的数据值在图像里用灰度重点突出。