一种基于深度学习的图像去雾方法与流程

文档序号:15493994发布日期:2018-09-21 21:15阅读:3544来源:国知局

本发明属于计算机图像处理领域,具体涉及到一种用于图像去雾的方法。



背景技术:

在雾或霾天气下图像质量严重退化,对比度低,清晰度差,影响了计算机图像处理中特征的提取分析以及目标的检测,而图像去雾可以提升场景可见度,修正颜色偏移,因此图像的去雾处理具有广泛的需求。

传统的图像去雾方法主要分为两类:图像增强法和图像复原法。图像增强法是对质量降低的图像做增强处理,提升图像的对比度和色彩饱和度,如retinex算法,伽马校正,直方图均衡等。这类方法的优点是操作简单,速度快,突出显示图像中有用的信息,但是这种方法没有对有雾图像的形成原因进行补偿,对图像中细节的处理并不理想,使得图像中的有用信息部分损失。图像复原法基于大气散射物理模型,通过对有雾图像降质原因的分析,并有效利用先验知识,来恢复原始图像。

由于图像复原法更具有针对性,可以取得更理想的去雾效果,因此成为图像去雾领域的研究热点。tan提出基于清晰图像比有雾图像对比度高的统计规律,采用对比度区域最大法进行去雾,这种方法增强了图像对比度,但由于没有从成像机理的角度恢复颜色和边缘等信息,导致复原后的图像颜色过于饱和,并且景深不连续处会有严重的halo效应;fattal假设场景目标辐射与介质传输具有局部区域统计不相关性,再通过独立成分分析法估计出场景辐射率,进而得到无雾图像,去雾效果较好,但对于灰度图像和浓雾天气并不适用;he提出基于暗通道先验法则的去雾方法,该方法通过大量户外无雾图像获取先验知识,但是也具有一定的局限性,对雪地,天空等偏白的场景效果不理想。

深度学习的兴起为图像去雾提供了新方法。目前的相关研究包括利用三种颜色通道特征进行去雾,以及利用稀疏自动编码机和人工提取多种特征,送入多层神经网络训练进行去雾等。相比于传统去雾方法,深度学习方法可以充分利用到图像的各种特征,包括颜色,纹理,结构等,具有广阔的研究前景。



技术实现要素:

基于对上述去雾方法的分析,本发明基于深度学习思想,提出一种将卷积神经网络和大气散射模型相结合的新的去雾方法。总体思路是利用一个训练好的深度卷积神经网络直接进行颜色,纹理,结构等各种图像特征的提取,端到端输出,得到各像素点场景深度,再将场景深度代入大气散射模型,推算得到无雾图像。

基于深度学习景深测量的图像去雾方法具体实现如下:

(一)设计用于图像景深测量的的深度卷积神经网络,由5个卷积层和1个全连接层组成。其中第一个卷积层的卷积核大小为11×11,第二个卷积层的卷积核大小为5×5,后面三层的卷积核大小均为3×3,前两层同时伴有池化操作,最大池化尺寸均为2×2。

(二)将有雾图像输入深度卷积神经网络中,首先采用不同尺度的卷积核进行特征提取,使提取到的特征具有旋转,平移不变性。卷积公式为:

其中:xi为输入特征图,yj为输出特征图,wij为卷积层中连接xi和yj的权值,*表示二维离散卷积运算,bj为偏置参量,可通过训练得到。

(三)将卷积阶段检测到的特征输入非线性单元,进行非线性变换,这里采用不饱和非线性函数relu,公式如下:

r=max(0,y)

梯度公式如下:

(四)经过非线性处理后,特征图进入下采样单元,这里采取的是平均池化操作,公式如下:

其中,r为池化尺寸大小,y’(a,b)为池化后的特征图。

(五)最后将下采样单元处理得到的特征图输出到全连接层,将提取的所有特征进行融合,同时在全连接层中引入dropout机制,减少数据的过拟合,最终输出有雾图像的场景深度图。

(六)用来描述有雾图像形成的大气散射模型如下:

i(x)=j(x)t(x)+a(1-t(x))

其中,x是空间坐标,i(x)是有雾图像,j(x)是无雾图像,a是全球大气光,t(x)是介质传输系数。

(七)介质传输系数t(x)表达式如下:

t(x)=e-βd(x)

其中,β是大气散射系数,d(x)是场景深度。

(八)根据相关研究,在大气同质的情况下,场景反照率β可视为一个常数,本发明中取2。

(九)将场景反照率β和前面由深度卷积神经网络输出的场景深度值d(x)代入介质传输系数表达式,求得t(x)。

(十)从暗通道图中取亮度大小前1%的像素平均值作为全球大气光a的值。

(十一)为避免图像整体偏白,为透射率t(x)设置阈值t0,当t值小于t0时,令t=t0,本发明中令t0=0.1。

(十二)有雾图像i(x)已知,将i(x),t(x),a的值代入大气散射模型,求取无雾图像j(x)有以下公式:

本发明利用深度卷积神经网络直接对有雾图像进行端到端输出,得到各像素点场景深度,再将深度值代入大气散射模型,恢复无雾图像。充分利用了卷积神经网络强大的特征提取和学习能力,改进了传统去雾方法存在的纹理细节丢失,颜色失真等问题。

附图说明

图1为本发明实施例中图像去雾的整体思路框图。

图2为本发明实施例中用于场景深度测量的深度卷积神经网络基本结构图。

图3为本发明实施例中各方法对有雾山峰图像进行去雾的效果对比图,从左上到右下依次为有雾图,fattal方法,he方法和本发明方法去雾图。

图4为本发明实施例中各方法对有雾楼宇图像进行去雾的效果对比图,顺序同上。



技术特征:

技术总结
雾或霾天气下图像质量严重退化,对比度低,清晰度差。利用传统方法去雾经常会产生色偏和失真,这里提出一种新的图像去雾方法:首先利用本文设计的深度卷积神经网络提取图像的颜色,纹理,结构等特征并进行映射,得到各像素点场景深度,再将深度值代入大气散射模型,推算得到无雾图像。这种方法充分利用了卷积神经网络强大的特征提取和学习能力,改进了传统去雾方法存在的纹理细节丢失,颜色失真等问题。

技术研发人员:韩松臣;余丽莎;黄畅昕
受保护的技术使用者:四川大学
技术研发日:2017.12.15
技术公布日:2018.09.21
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1