一种基于生成对抗网络的单幅图像去雾方法与流程

文档序号:15689962发布日期:2018-10-16 21:53阅读:3125来源:国知局

本发明涉及单幅图像去雾技术领域,具体的说,涉及了一种基于生成对抗网络的单幅图像去雾方法。



背景技术:

在雾霾天气下,空气中存在许多大气颗粒。这些颗粒不仅吸收和散射场景的反射光,而且还将一些大气光散射到照相机,导致照相机获取的图像劣化,使得图像对比度低、可见性差,质量严重下降。

目前,图像去雾算法主要可以分为三类:第一类是基于图像增强,但是基于图像增强会丢失图像的某些信息特征。第二类是基于物理模型的图像复原,图像复原算法的目的为获得具有良好可见性,同时保持良好的颜色恢复性能的自然清晰的图像;基于模糊条件下图像的劣化原因来建立大气散射的物理模型,首先需要估计物理参数模型,如大气光照强度和透射率(深度),然后逆解该物理模型来获得无雾图像,但是基于物理模型的图像复原处理范围有限;第三类为基于深度学习的图像去雾算法,例如卷积神经网络应用于图像去雾。

为了解决以上存在的问题,人们一直在寻求一种理想的技术解决方案。



技术实现要素:

本发明的目的是针对现有技术的不足,从而提供一种设计科学、实用性强、操作简便和去雾效果高的基于生成对抗网络的单幅图像去雾方法。

为了实现上述目的,本发明所采用的技术方案是:一种基于生成对抗网络的单幅图像去雾方法,获取无雾图像集作为测试样本集,对所述无雾图像集利用图像处理软件进行加雾处理得到有雾图像集作为训练样本集,该单幅图像去雾方法还包括,

步骤1,构建生成器网络模型,将经过加雾处理的训练样本集输入到所述生成器网络模型中,生成模仿所述测试样本集中无雾图像的初步去雾图像;

步骤2,构建判决器网络模型,将所述初步去雾图像输入到所述判决器网络模型中,计算代价函数,

步骤2.1,若代价函数计算结果小于预先设置的去雾阈值,则判断输入图像为测试样本集中的无雾图像,并将该生成器网络模型作为最优训练模型;

步骤2.2,若代价函数计算结果大于预先设置的去雾阈值,则判断输入图像为生成器网络模型生成的初步去雾图像,利用tensorflow训练生成对抗网络,更新生成器网络模型,转步骤2;

步骤3,将训练样本集输入最优训练模型,得到去雾后的图像。

基于上述,所述生成器网络模型包括编码器结构和解码器结构,

所述编码器结构为八层卷积网络结构,每层卷积网络结构之后设置batchnormalization层和prelu激活函数;每层卷积网络结构在进行下采样,布幅为2,八层卷积个数分别为64-128-254-512-512-512-512-512;卷积尺寸为4*4,输入图像的尺寸为256*256*3,其中3表示通道数,输出为一维向量;

所述解码器结构为八层网络结构,每层依次包括4*4反卷积、batchnormalization层和prelu激活函数,每层卷积网络结构在进行上采样,卷积尺寸为4*4,解码器结构的八层卷积个数设定为:512-512-512-512-512-254-128-64,解码器每层的最终结果为自身卷积结果与相对称的编码器结构卷积层相加,每层实际的卷积个数为解码器结构与编码器结构的相加:512-1024-1024-1024-1024-512-254-128;输出图像的尺寸为256*256*3。

基于上述,所述判决器网络模型包括四层下采样层和一判决层,输入图像尺寸为256*256*3,输出结果为一维;其中,每层下采样层的卷积核大小为4*4,步幅为2,输入图像每经过一层所述下采样层,其长和宽尺寸减少一半,每层所述下采样层依次包括卷积、batchnormalization层和prelu激活函数,每层下采样层的卷积的个数为64-128-254-512;所述判决层为一维向量,卷积核大小为4*4,步幅为1,卷积个数为1。

基于上述,所述代价函数loss计算公式为:

loss=lossgan+λlossmse

其中,λ表示可调参数,lossgan表示生成对抗网络代价函数,lossmse表示图像均方差。

基于上述,获取middleburystereodatasets以及在网上下载明亮的且无雾的图像构成无雾图像集作为测试样本集;利用adobelightroomcc软件对所述无雾图像集人工加雾,得到有雾图像集作为训练样本集。

本发明相对现有技术具有突出的实质性特点和显著的进步,具体的说,本发明提供了一种基于生成对抗网络的单幅图像去雾方法,将卷积神经网络应用在生成对抗网络gan上,构建生成器网络模型和判决器网络模型,加雾处理得到的训练样本集作为输入,获取无雾图像集作为测试样本集作为标准参考;本发明有效改善了图像质量,其具有设计科学、实用性强、操作简便和去雾效果高的优点。

具体实施方式

下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。

一种基于生成对抗网络的单幅图像去雾方法,首先获取无雾图像集作为测试样本集,对所述无雾图像集利用图像处理软件进行加雾处理得到有雾图像集作为训练样本集,该单幅图像去雾方法还包括,

步骤1,构建生成器网络模型,将经过加雾处理的训练样本集输入到所述生成器网络模型中,生成模仿所述测试样本集中无雾图像的初步去雾图像;

步骤2,构建判决器网络模型,将所述初步去雾图像输入到所述判决器网络模型中,计算代价函数,

步骤2.1,若代价函数计算结果小于预先设置的去雾阈值,则判断输入图像为测试样本集的无雾图像,并将该生成器网络模型作为最优训练模型;

步骤2.2,若代价函数计算结果大于预先设置的去雾阈值,则判断输入图像为生成器网络模型生成的初步去雾图像,利用tensorflow训练生成对抗网络,更新生成器网络模型,转步骤2;

步骤3,将有雾图像集输入最优训练模型,输出去雾后的图像。

本发明给出了一种获得测试样本集和训练样本集的具体实施方式,获取middleburystereodatasets以及在网上下载明亮的且无雾的图像,构成无雾图像集;利用adobelightroomcc软件对所述无雾图像集人工加雾,得到有雾图像集。具体的,

所述无雾图像集包含室内室外各种场景,由于现实中很难获得同一场景有雾和无雾的图像对,现有基于学习的图像去雾算法,有雾图像大都是通过深度图经由大气散射模型,随机设置参数人工合成;大气散射模型公式为i=j·t+a(1-t);网络输入有雾图像,输出有雾图像透射率,然后再经过逆推计算出无雾图像。

为了能够简化上述过程,使得本发明的图像去雾方法能够直接经过生成对抗网络得到无雾图像,利用adobe公司的lightroomcc软件的dehaze功能,人工地为所述无雾图像集进行加雾;同时,为了能够适应不同天气条件下的雾浓度,学习到不同雾浓度图像的特征,对无雾图像集合成了浓度分别为10,20,30,40,50,60,70,80,90,100的雾,得到有雾图像集,作为生成器网络模型的输入;将有雾图像集的图像长和宽裁剪成256*256的大小,以适应判决器网络结构。

具体的,所述生成器网络模型包括编码器结构和解码器结构,所述编码器结构为八层卷积网络结构,每层卷积网络结构都在进行下采样,布幅为2;每层卷积网络结构之后有batchnormalization层和prelu激活函数,提高网络的非线性和泛化能力;卷积尺寸为4*4,输入图像256*256*3的尺寸,其中3表示通道数,最终输出一维向量;八层卷积网络结构的卷积个数分别为64-128-254-512-512-512-512-512,可以看做每层卷积都在进行下采样,布幅为2。

所述解码器结构为八层网络结构,每层依次包括反卷积、batchnormalization和prelu,不断上采样,最终输出一个与输入图像尺寸相同256*256*3的图像,卷积尺寸为4*4。所述解码器结构相当于所述编码器结构的反过程,因此,生成器网络模型为左右对称的结构。为保持底等结构,所述解码器结构每层的最终结果为自身卷积结果与相对称的编码器卷积层相加。设置所述解码器结构八层卷积个数为:512-512-512-512-512-254-128-64,而每层实际的卷积个数为所述解码器结构与所述编码器结构相加:512-1024-1024-1024-1024-512-254-128。

具体的,所述判决器网络模型包括四层下采样层和一判决层,每层下采样层的卷积核大小为4*4,步幅为2,层卷积的个数为64-128-254-512,输入图像每经过一层所述下采样层,长和宽尺寸减少一半;每层所述下采样层依次包括卷积、batchnormalization层和prelu激活函数;输入图像尺寸为256*256*3,所述判决层为一维向量,卷积核大小为4*4,步幅为1,卷积个数为1,输出结果为一维。

具体的,代价函数loss由两部分组成。一部分为生成对抗网络代价函数lossgan,一部分为图像均方差lossmse,所述代价函数loss计算公式为:

loss=lossgan+λlossmse

其中,λ表示可调参数,lossgan表示生成对抗网络代价函数,lossmse表示图像均方差。

具体的,所述判决器网络模型和代价函数:将所述有雾图像集输入所述判决器网络模型,计算代价函数;经过多次对比实验结果,得到以下最优参数,最大迭代次数设置为200万次,学习率为0.0002,λ为100;然后在tensorflow框架下进行训练,得到训练的网络模型参数。

最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1