一种基于多尺度融合和全变分优化的图像去雾方法与流程

文档序号:12126190阅读:1034来源:国知局

本发明属于图像处理领域,尤其涉及一种基于多尺度融合和全变分优化的图像去雾方法。



背景技术:

当今社会,随着人类活动的日益频繁,生态环境的日益恶化,雾霾已经成为了一种常见的自然现象。雾霾是由悬浮在大气中的大量微小水滴、气溶胶等颗粒对光线的散射和吸收作用产生。雾霾的存在对于图像技术来说是一个重大的考验,它会导致图像中目标的对比度降低、饱和度下降和色调偏移。随着计算机视觉系统的发展及其在军事、交通以及安全监控等领域的发展,图像去雾已成为计算机视觉的重要研究方向。

然而,由于雾图中对比度和清晰度与场景深度紧密相关,传统的图像增强技术大多难以取得满意的复原效果。为实现场景深度的估计,研究者相继提出利用同场景的多幅图像(不同极化方向或者不同天气情况下拍摄)来推导景深信息。大多数机器视觉应用难以实现多幅图像的采集,因此借助已知先验或假设的单幅图像去雾研究近年来成为研究的重点。其中,基于暗通道先验假设的单幅图像去雾尤为引起关注。在大气散射物理模型基础上引入暗通道先验规律对降质图像进行复原,其局限性主要体现在两个方面,其一,采用软抠像方法对透射图进行精细化处理,计算开销大,影响工程实时处理;其二,暗通道先验失效,或全局大气光估计偏差,会极大影响图像的复原效果。

为了克服原始算法的局限性,先后出现若干改进算法。例如,提出利用中值滤波器近似估计大气耗散函数;引入图像处理单元执行像素级的并行计算,加快算法执行效率;利用雾图来引导透射图的精细滤波等等。这些方法虽然提高了实时处理能力,但或多或少都以牺牲去雾效果为代价。



技术实现要素:

本发明所要解决的技术问题是针对背景技术的不足提供了一种基于多尺度融合和全变分优化的图像去雾方法。

本发明为解决上述技术问题采用以下技术方案

一种基于多尺度融合和全变分优化的图像去雾方法,具体包含如下步骤:

步骤1,输入原雾图I;

步骤2,从步骤1输入的原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM;

步骤3,依据大气散射模型和暗通道先验,推导出像素级暗原色图PDM和块级暗原色图BDM对应的透射图,具体如下:

其中,PTM为像素级透射图,BTM为块级透射图,A是全局大气光强度;

步骤4,将步骤3计算出的PTM和BTM分别进行拉普拉斯金字塔分解,形成多级不同尺度图像;

步骤5,将PTM和BTM对应的分解图分别执行融合过程,再重构成原始尺寸的融合投射图;

步骤6,对步骤5重构成原始尺寸的融合透射图执行全变分优化处理;进而依据大气散射模型完成图像的复原。

作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案,在步骤2中,具体根据以下公式从原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM:

其中Ic(y)代表输入图像在颜色通道c上的分量,y是像素位置,其中,c∈{R,G,B},这里R,G,B分别表示红、绿、蓝三个颜色通道。PDM(y)代表像素y在三个颜色通道上的最小值,BDM(x)是PDM图中以像素x为中心的邻域(Ω(x))内的最小值。

作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案,在步骤5中,在每个分解层上,按照以下独立执行线性融合过程,再重构成原始尺寸的融合透射图;

其中,Pi和Bi分别是PTM和BTM经过拉普拉斯分解后的第i层分解图像,Fi是第i层融合图,N是分解层数目。

作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案,在步骤6中,全变分模优化处理公式具体如下所示:

其中,λ是惩罚因子,W是权值矩阵,其中,尺寸与原雾图一致,代表融合图像的N个分解层Fi,(1≤i≤N)经过拉普拉斯重构后的透射图粗估计,t是优化目标。

作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案,在步骤6中,根据大气散射模型,复原后的图像表示为:

其中,x是像素位置,I和J分别是输入的雾图和去雾后的图像,A是全局大气光强度,t是全变分优化后的透射图,t0是透射率下限值。

本发明采用以上技术方案与现有技术相比,具有以下技术效果:

1.本发明利用户外无雾图像存在的暗通道先验规律,从原雾图导出两幅透射粗估计图,在拉普拉斯金字塔分解框架下,对两幅透射图,在不同分解层上执行多尺度的加权融合处理,使得融合结果保留重要的场景深度边缘细节以及图像的低频平滑分量;

2.为了进一步消除融合形成的透射图中包含的高频纹理噪声分量,发明提出利用全变分模型进行透射图的局部平滑优化;

3.模型中引入梯度相关的权值矩阵,对景深一致与突变区域的像素执行不同程度的平滑处理,为加速求解优化模型的求解,本发明提出基于梯度近似的迭代过程;

4.本发明生成并优化透射图,使其同时具备局部平滑和边缘保持特性,加快透射图优化过程,使其满足实际工程应用的实时性需求;

5.利用本发明算法进行去雾复原后的图像无论在清晰度、对比度和颜色的保真度方面都取得很好的视觉效果,不仅保留了重要的景深边缘结构,还原出清晰的近景纹理,还解决了因存在高亮度近景物体带来的先验失效问题;另外,该算法还在处理效率上具有明显的优势。

附图说明

图1是本发明整个算法的流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明:

如图1所示,一种基于多尺度融合和全变分优化的图像去雾方法,具体包含如下步骤:

步骤1,输入原雾图I;

步骤2,从步骤1输入的原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM;

步骤3,依据大气散射模型和暗通道先验,推导出像素级暗原色图PDM和块级暗原色图BDM对应的透射图,

其中,PTM为像素级透射图,BTM为块级透射图,

步骤4,将步骤3计算出的PTM和BTM分别进行拉普拉斯金字塔分解,形成多级不同尺度图像;

步骤5,在每个分解层上,将PTM和BTM对应的分解图分别执行融合过程,再重构成原始尺寸的融合投影图;

步骤6,对步骤5重构成原始尺寸的融合透射图执行全变分优化处理;进而依据大气散射模型完成图像的复原。

算法具体过程如下:

1.全局大气光估计

按照式(1)和(2),从原雾图中导出两幅暗原色图,分别是像素级暗原色图PDM和块级暗原色图BDM。

选取BDM中前0.1%的最亮像素对应的位置集合S={x1,x2...},不同颜色通道上的全局大气光强度A被估计为:Ic(x*),其中,c∈{R,G,B},

2.PTM和BTM的生成

依据大气散射模型和暗通道先验,推导出PDM和BDM对应的透射图估计:

3.执行拉普拉斯金字塔分解,将PTM和BTM分解成不同尺度的{Pi}1≤i≤N和{Bi}1≤i≤N,其中,N代表分解的层数。

4.在每个分解层上,按照式(5)独立执行线性融合过程,得到{Fi}1≤i≤N

由拉普拉斯金字塔分解形成的多层图像中,所在层次越低,图像包含的高频分量越丰富,纹理和边缘细节越多。层次越高,分解图像中的平滑分量多,全局结构特征明显。PTM针对每个像素求取颜色通道的最小值,其包含了原雾图中几乎所有的纹理和边缘结构。BTM利用图像块的腐蚀过程实现的,具备局部平滑特性,但存在块效应现象,边缘模糊。因此,为了保留与原雾图一致的重要的景深边缘结构,以及满足景深局部平滑的特征,采用式(5)中权重的分配方案,即,层次越低,分配给PTM的权重越大;层次越高,分配给BTM的权值越大。当逐层执行融合操作后,将每层的融合结果进行重构,恢复成原始雾图的尺寸,获得透射图估计结果

透射图的全变分优化

融合后的透射图虽然保留重要的边缘结构,但仍然包含较多的纹理噪声,而深度与这些纹理是不相关的,有必要利用全变分模型执行进一步平滑处理。全变分模型如式(6)所示。

其中,λ是惩罚因子,W是权值矩阵(尺寸与原雾图一致),定义为:

代表原雾图亮度梯度。像素的亮度梯度越大,对应的权值越小。

为了加快全变分模型的求解过程,采用基于梯度近似的迭代方法。主要思想是:将(6)中近似表示为:

其中,r表示邻域的宽度。为了简化求解,每次迭代过程中,利用上一次求解的t 在邻域内的一阶差分的均值来表示▽t。对于第j次迭代,将(8)带入(6),并令其导数为0,得到:

求解(9),得到:

最后一次迭代的结果对应变分优化处理后的透射图。

5.图像重构

根据大气散射模型,复原后的图像表示为:

其中,分母中t0的引入是为远景保留一定的雾气,不破坏去雾后自然视觉效果。

综上所述,本发明利用户外无雾图像存在的暗通道先验规律,从原雾图导出两幅透射粗估计图,在拉普拉斯金字塔分解框架下,对两幅透射图,在不同分解层上执行多尺度的加权融合处理,使得融合结果保留重要的场景深度边缘细节以及图像的低频平滑分量;为了进一步消除融合形成的透射图中包含的高频纹理噪声分量,发明提出利用全变分模型进行透射图的局部平滑优化;模型中引入梯度相关的权值矩阵,对景深一致与突变区域的像素执行不同程度的平滑处理,为加速求解优化模型的求解,本发明提出基于梯度近似的迭代过程;

本发明生成并优化透射图,使其同时具备局部平滑和边缘保持特性,加快透射图优化过程,使其满足实际工程应用的实时性需求;利用本发明算法进行去雾复原后的图像无论在清晰度、对比度和颜色的保真度方面都取得很好的视觉效果,不仅保留了重要的景深边缘结构,还原出清晰的近景纹理,还解决了因存在高亮度近景物体带来的先验失效问题;另外,该算法还在处理效率上具有明显的优势。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1