一种图像去雾方法和系统与流程

本申请涉及一般的图像数据处理领域，尤其涉及一种图像去雾方法和系统。

背景技术：

近几年空气质量退化严重，雾霾等恶劣天气出现频繁，PM2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像，由于大气中混浊的媒介对光的吸收和散射影响严重，使“透射光”强度衰减，从而使得光学传感器接收到的光强发生了改变，直接导致图像对比度降低，动态范围缩小，模糊不清，清晰度不够，图像细节信息不明显，许多特征被覆盖或模糊，信息的可辨识度大大降低。同时，色彩保真度下降，出现严重的颜色偏移和失真，不仅使视觉效果变差，图像观赏性降低，还会影响图像后期的处理，给判定目标带来了一定的困难，直接限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦察等系统效用的发挥，给生产与生活等各方面都造成了极大的影响。以公路监控为例，由于大雾弥漫，道路的能见度大大降低，司机通过视觉获得的路况信息往往不准确，进一步影响对环境的判读，很容易发生交通事故，此时高速封闭或者公路限行，给人们的出行带来了极大的不便。而且，雾天获得的退化图像给监控交通情况也造成了很大的困难。又比如在军事侦察和遥感导航方面，雾天退化图像对信息的识别和处理会造成偏差，无法正确判别目标，某些情况下，受到条件限制，侦察和监视工作不可能重复进行，所以依据有限的图像资料获得更准确的目标信息是极其重要的。尤其是给机载可见光成像系统带来的影响更大，严重干扰了其工作的稳定性和可靠性，大大限制了其在地质灾害监测方面的应用，而地质灾害发生前后多伴有大雾等恶劣天气，对现场搜索救援工作产生严重的影响。

因此，需要图像去雾技术来增强或修复，以改善视觉效果和方便后期处理上述视觉效果不佳的图像部分信息缺失。图像去雾是对降质的模糊的有雾图像 通过一定的技术和手段去除雾的干扰，恢复出有效的图像细节信息，得到满意的视觉效果的高质量清晰度图像的技术进行清晰化处理的一种技术。

目前为止，研究人员主要从两个方向来研究图像去雾这一问题：基于图像增强的方向和基于物理模型的方向。图像增强方向的去雾方法并不考虑有雾空气使图像退化降质的实际物理过程，而是针对降质后的图像本身，用图像处理办法提高图像的对比度，突出图像的特征，提高图像的视觉效果和便于计算机视觉系统对图像的分析和处理。基于物理模型的方法表现出浓厚的兴趣，这个方向的关键是从物理上研究雾气降质图像的机制，构建出相应的物理模型，在了解雾气对视觉系统的影响本质后，再把雾气对图像的影响抵消和去除。

近年来，单幅图像去雾方法受到了很多学者的关注，这些方法通过采用单幅图像中包含的先验信息或提出一些合理的假设，实现图像去雾。Tan[1]通过最大化局部对比度的方法实现去雾，该方法恢复出的场景图颜色易趋于过饱和，且场景复原不是建立在特定的物理模型上。Fattal[2]通过假设物体表面反射率(Surface shading)和传输值(Transmission)局部统计不相关，利用独立成分分析(Independent component analysis，ICA)估计场景反射率。由于该方法是基于输入数据的统计特性的，这个统计特性对于浓雾和低信噪比情况将会失效。He等[3]首次提出了暗通道先验去雾方法并实现了良好的去雾效果，由于该方法对传输图进行优化时采用的软抠图(Soft image matting)算法会消耗很大的内存导致处理速度比较慢，不能实现图像的实时处理。

Adobe公司在本月将全线全部产品升级为CC 2015版本，新版Photoshop主要对系统运算进行了优化，但是全新的Camera Raw 9.1增加了一个非常实用的去雾镜功能。通过实际对比，去雾镜在对付由于光线问题造成的画面灰暗问题上，效果还是很明显的，特别是对于提升色彩的丰富度和照片层次感上。使用去雾镜后，照片会显得更锐利，层次更清晰，色彩更艳丽。实际运用中发现去雾镜在雾霾天作用并不大，或者准确说，去雾镜可以让照片色彩更艳丽，但是对于本身就没什么色彩的雾霾天气来说，去雾镜的功能也被限制了。去雾镜可以提高反差、提升色彩、增强层次、改善锐度，该功能并非简单的提升对比 度或者锐化，配合后期软件其他调节，可以快速改善画面发灰的问题，但是不能从本质上去除雾霾。

技术实现要素：

本申请的目标在于提供一种既保证图像细节又提高效率从而保证实用性的图像去雾方法和/或系统。

本申请的目标由一种图像去雾方法实现，该方法包括：

对待去雾的原图I和导向图p进行降采样；

针对降采样图求取原图I和导向图p在核函数窗口内的均值μ_k、及方差

基于所述均值和方差求得降采样图的导向滤波图q_i，其中q_i＝a_kI_i+b_k； i为像素标签，w_k为第k个核函数窗口，|w|为窗口内的像素个数，ε为平滑因子；其中所述导向滤波图对应于降采样图的透射率；

对所述降采样图的透射率进行升采样获得原图的细透射率t；

用所述细透射率对待去雾图像进行无雾图像恢复，其中其中J为要恢复的无雾图像，A为全球大气强度系数。

本申请的目标还由一种图像去雾系统实现，该系统包括：

降采样模块，用于对待去雾的原图I和导向图p进行降采样；

均值及方差获得模块，用于针对降采样图求取原图I和导向图p在核函数窗口内的均值μ_k、及方差

降采样图透射率获得模块，用于基于所述均值和方差求得降采样图的导向滤波图q_i，其中q_i＝a_kI_i+b_k；i为像素标签，w_k为第k个核函数窗口，|w|为窗口内的像素个数，ε为平滑因子；其中所述导向滤波图对应于降采样图的透射率；

细透射率获得模块，用于对所述降采样图的透射率进行升采样获得原图的细透射率t；

第一图像恢复模块，用于使用所述细透射率对待去雾图像进行无雾图像恢复，其中其中J为要恢复的无雾图像，A为全球大气强度系数。

在本说明书中，降采样即指采样点数减少。对于一幅N*M的图像来说，如果降采样系数为k，则即是在原图中每行每列每隔k个点取一个点组成一幅图像。通过降采样处理使得图像的尺寸变小，并尽可能的保存图像的信息。

升采样也称或图像插值，对于图像来说即是二维插值。如果升采样系数为k，即在原图n与n+1两点之间插入k-1个点，主要目的是放大图像。

本发明基于暗通道先验去雾算法的改进。针对软抠图算法具有较高的运算负荷，无法满足实时性的要求，利用导向滤波算法对透射率进行优化，并采用导向滤波的加速算法加速，使其满足实时性的要求。具体地，首先对导向图P和原图I进行降采样，针对降采样图求有关参数，最后再通过升采样还原到原图上。即求取细透射率的时候不是对原图进行求取，而是先对原图进行降采样，比如缩小为原图的1/4，计算出降采样图(小图)的透射率，之后再通过插值的方式获取原图大概的细透射率，从而在保证滤波效果的同时大大提高了执行速度，这对于去雾算法应用到移动终端设备是非常有意义的，因为移动终端的计算能力有限。例如，通过本发明对1024*578的图像进行去雾处理，可以将速度提升3倍。

附图说明

本发明将在下面参考附图并结合优选实施例进行更完全地说明。

图1为根据本发明方法的一实施例的流程图。

图2为根据本发明系统的一实施例的结构示意图。

为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。

具体实施方式

通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。

在计算机视觉和图像处理技术中，基于大气散射模型，一般用下列方程描述带雾图像的模型：

I(x)＝J(x)t(x)+A[1-t(x)] (1)

其中，I(x)就是待去雾图像，J(x)是要恢复的无雾清晰图像，参数A是全球大气强度系数，t(x)为透射率，图像去雾就是已知条件I(x)，求目标J(x)。

暗原色先验：认为无雾的户外自然场景图像，在经过暗原色优先处置之后，大部分像素的亮度接近零，如果暗原色图像中存在大量亮度较高的像素，那么这些亮度应来自空气中的雾气或天空，对于雾化的原始图像，将能够从暗原色优先处理的结果中得到初始透视图和大气强度值。

所以，对于户外图像J，暗原色定义为：

$J^{dark}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈\{r,g,b\}}{min}{J}^c\right(y\left)\right)---\left(2\right)$

其中c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的所有窗口的集合，y是一个窗口。

根据暗原色优先的理论得到：

J^dark→0 (3)

有了这个先验，接着就可以进行数学推导来解决问题：

对公式(1)进行变形得到：

$\frac{I^c\left(x\right)}{A^c}=t\left(x\right)\frac{J^c\left(x\right)}{A^c}+1-t\left(x\right)---\left(4\right)$

假设在每一个窗口内透射率t(x)为常数，定义为且A值给定，对公式(4)两边同时做两次最小值运算，则得到：

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c}{min}\frac{I^c\left(x\right)}{A^c}\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c}{min}\frac{J^c\left(x\right)}{A^c}\right)+1-\tilde{t}\left(x\right)---\left(5\right)$

结合公式(2)、(3)推导出

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{r,g,b\}}{min}\frac{J^c\left(y\right)}{A^c}\right)=0---\left(6\right)$

将公式(6)带入公式(5)，得到待去雾图的粗透射率：

$\widetilde{t\left(x\right)=1-}\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{r,g,b\}}{min}\frac{I^c\left(y\right)}{A^c}\right)---\left(7\right)$

上述推论中都是假设全球大气强度A值时已知的。在实际中，一般通过暗通道图从有雾图像中获取该值A。对于一副三通道图，暗通道图只有一幅，是灰度图，对应三个通道的A值取相同的值。求取A值的方法如下：

1)从暗通道图中按照亮度的大小取前0.05％-1％如0.1％的像素。

2)在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。

为了得到更为精细的透射率，保证图像细节，同时又能提升算法的效率，保证其实用性，本发明提出了快速的导向滤波的方法。

之所以选择导向滤波来求取细透射率，一方面，导向滤波具有良好的边缘保持平滑(图像中的景物之所以可以被清楚辨认，是因为目标物之间存在灰度显著变化的边界。而对边界上的像素进行平滑滤波时，简单选取邻域的中值或均值，都会在一定程度上降低边界的灰度显著性，从而导致图像的模糊。因此，希望在对图像进行平滑处理时，只对噪声部分进行平滑处理，同时又保持了图像边界原有的灰度特性，这类滤波器被称为边缘保持平滑滤波器。下面是几种常见的边缘保持平滑滤波器)特性，另一方面，导向滤波可被用来超越平滑，它可以使滤波输出更有条理和比输入少平滑。

导向滤波原理

图像导向滤波是一个线性移可变的滤波过程，包含原图I，导向图p和输出图像q。在初始时，导向图p等于原图I。那么对于输出图像中的第i个像素，其计算方法可表达为：

$q_i=\underset{j}{\Σ}{W}_{ij}{\left(I\right)}_{p_j}---\left(8\right)$

式中，i和j为像素标签，W_ij为滤波，定义为：

$W_{ij}\left(I\right)=\frac{1}{|w{|}^2}\underset{k:(i,j)\∈w_k}{\Σ}(1+\frac{(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}})---\left(9\right)$

其中w_k为第k个核函数窗口，|w|为窗口内的像素个数，μ_k和为导向图在窗口内的均值和方差。ε为平滑因子。

由于导向滤波的模型满足局部线性的模型，所以可以假设该核函数的输入与输出在一个二维窗口内满足线性关系，即：

q_i＝a_kI_i+b_k (10)

这里a和b是当窗口中心位于k时该线性函数的系数，对上式两边取梯度，可以得到：

▽q＝a▽I (11)

接下来是求出线性函数的系数a、b，通过线性回归的方法来实现，也就是我们通过最小二乘法来使下式最小：

得到：

$a_k=\frac{\frac{1}{\left|w\right|}{\mathrm{\Σ}}_{i\∈w_k}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{Q_k^2+\mathrm{\ϵ}}$

$b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k$

为了求出a、b，需要计算出均值μ_k，方差

图1示出了根据本发明一实施例的图像去雾方法的流程图，该方法包括步骤：在S10，对待去雾的原图I和导向图p进行降采样，如缩小为原图的1/4。在步骤S20，针对降采样图求取原图I和导向图p在核函数窗口内的均值μ_k、及方差在步骤S30，基于所述均值和方差求得降采样图的导向滤波图q_i，其中q_i＝a_kI_i+b_k；i为像素标签，w_k为第k个核函数窗口，|w|为窗口内的像素个数，∈为平滑因子并取0-1之间的值；求出a、b后，根据公式(10)就可以求出导向滤波图q。对于三通道图像，需要分别求出R、G、B三个通道的导向滤波图，其对应降采样图在三个通道上对应的透射率。在步骤S40，对所述降采样图的透射率进行升采样获得原图的细透射率t。降采样图透射率求取效率比较高，如果是320*240的图，得到的透射率图大小也为320*240，但是原图为640*480的话，降采样图的透射率图直接使用不与原图的尺寸匹配，所以通过升采样插值的方法将降采样图得到的小尺寸透射率扩展为原图的大小，以在计算时与原图的尺寸匹配，便于直接计算。对于图像来说，对图像进行降采样和上采样处理，均值μ_k、及方差参数是不变的。在步骤S50，基于暗通道先验去雾算法获得原图的粗透射率。在步骤S60，用所述粗透射率对待去雾的原图进行无雾图像恢复，其中 其中J为恢复得到的图像，A为全球大气强度系数。这里的数学符号I即为I(x)的缩写，A即为A(x)，t即为t(x)，J即为J(x)。在步骤S70，对用粗透射率进行无雾图像恢复得到的图像，用所述细透射率再进行一次无雾图像恢复，得到要恢复的无雾清晰图像。该实施例的方法减小了计算量，提高了效率，同时保证不影响图片的细节。

图2示出了根据本发明一实施例的图像去雾系统的示意图，该系统包括：降采样模块10，用于对待去雾的原图I和导向图p进行降采样；均值及方差获得模块20，用于针对降采样图求取原图I和导向图p在核函数窗口内的均值μ_k、 及方差降采样图透射率获得模块30，用于基于所述均值和方差求得降采样图的导向滤波图q_i，其中q_i＝a_kI_i+b_k；i为像素标签，w_k为第k个核函数窗口，|w|为窗口内的像素个数，∈为 平滑因子；其中所述导向滤波图对应于降采样图的透射率；细透射率获得模块40，用于对所述降采样图的透射率进行升采样获得原图的细透射率t；大气强度系数获得模块50，用于获得所述全球大气强度系数A；粗透射率获得模块60，用于基于暗通道先验去雾算法获得原图的粗透射率；第二图像恢复模块70，用于使用所述粗透射率对待去雾的原图进行无雾图像恢复；第一图像恢复模块80，用于使用所述细透射率对第二图像恢复模块得到的图像再次进行无雾图像恢复，其中其中J为要恢复的无雾清晰图像，A为全球大气强度系数。在实施例中，大气强度系数模块包括：像素获取子模块52，用于从待去雾图像的暗通道图中按照亮度的大小取前0.05％-1％的像素；最高亮度点获取子模块54，用于在所取出的像素位置中，在待去雾图像中寻找对应的具有最高亮度的点的值作为A值。

除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必精确按照所公开的顺序执行。

一些优选实施例已经在前面进行了说明，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。

参考文献

[1]Tan R T.Visibility in bad weather from a single image.In:Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,AK,USA:IEEE,2008.1-8

[2]Fattal R.Single image dehazing.ACM Transactions on Graphics,2008,27(3):Article No.72

[3]He K M,Sun J,Tang X O.Single image haze removal using dark channel prior.In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,USA:IEEE,2009.1956-1963