一种基于生成对抗网络的图像去雾方法与流程

文档序号:17149671发布日期:2019-03-19 23:18阅读:369来源:国知局
一种基于生成对抗网络的图像去雾方法与流程

本发明涉及图像去雾的方法,具体涉及一种基于生成对抗网络的图像去雾方法,属于计算机图形图像处理技术领域。



背景技术:

随着科技的进步,大量的户外数字图像被采集、分析用于各种各样的科学研究、生产实践,如目标检测,地形分类,户外摄影等。然而,由于户外环境下水气或空气中悬浮颗粒的存在,户外采集的图像常常伴有雾或者雾霾,这引起了图像对比度降低、部分场景缺失、颜色偏移等一系列退化现象,对我们获取图像有效信息造成很大阻碍。因此,寻找一种有效的数字图像去雾方法是至关重要并且必不可少的,较多的学者、研究员在此领域投入了大量的心血。

fattal等提出了光线传播与阴影区域局部不相关的假设,该方法适用于带有稀薄雾的图像,对于浓厚的雾图并不能起到很好的去雾效果。tan等的研究认为,无雾的图像在对比度上相较于有雾图像往往具有更高的数值,基于这一假设提出了最大化图片局部对比度的方法进行去雾,对于浓雾图像有着很好的效果,然而tan的方法经常伴有光晕现象的产生。he等提出的dcp算法是近年来图像去雾领域的最佳成果,该算法基于暗通道先验对有雾图像能够起到十分出色的去雾效果,暗通道先验是指一副无雾图片中除了天空和一些明亮区域外,总有颜色通道像素值为0的像素存在。然而该算法仍然存在颜色退化、透射率估计不足等问题,后续有更多基于dcp的研究旨在解决这些问题。尽管图像去雾算法发展很快,但是由于图像去雾问题本身欠约束的特点,先验信息并不充足,各种先验假设在解决某一类问题的同时,经常伴有新的问题产生,人为地分析、寻找精准的先验模型是十分困难的。大数据时代的到来为以往难以实现的任务提供了可能性,近年来,深度学习迅速崛起,由于其自动提取特征的特点,被广泛地关注和应用,随着网络结构设计的优化,在各类图像处理领域发挥着越来越重要的作用。



技术实现要素:

针对现有技术的不足,本发明的目的在于提供一种基于生成对抗网络的图像去雾方法。该方法鉴于难以获得同场景下无雾图像和有雾图像数据集的问题,设计了一种包括独特的网络结构和损失函数的去雾网络模型,利用生成器和判别器网络表达非线性的图像退化和复原过程,最终,通过生成器生成高度匹配目标图像的去雾图像,实现图像去雾的目的。

根据本发明的实施方案,提供一种基于生成对抗网络的图像去雾方法:

一种基于生成对抗网络的图像去雾方法,该方法包括以下步骤:

1)获取样本数据:通过公开的数据集或网络爬虫技术获取有雾图像和无雾图像的样本数据;

2)生成对抗网络的对抗训练:样本数据中的真实有雾图像作为第一生成器的输入数据,第一生成器生成一次无雾图像,第一生成器生成的一次无雾图像作为第二生成器的输入数据,第二生成器生成二次有雾图像;

样本数据中的真实无雾图像作为第二生成器的输入数据,第二生成器生成一次有雾图像,第二生成器生成的一次有雾图像作为第一生成器的输入数据,第一生成器生成二次无雾图像;

第一判别器判断一次有雾图像是来自第二生成器还是来自样本数据,并将一次有雾图像与样本数据中的真实有雾图像之间的第一误差反馈给第二生成器,第二生成器减小第一误差,提高生成图像的真实度;第二判别器判断一次无雾图像是来自第一生成器还是来自样本数据,并将一次无雾图像与样本数据中的真实无雾图像之间的第二误差反馈给第一生成器,第一生成器减小第二误差,提高生成图像的真实度;

第一生成器和第二生成器分别与第二判别器和第一判别器进行反复对抗训练,得到最优去雾网络模型;

3)图像去雾:利用训练完成的最优去雾生成网络模型对有雾图像进行去雾,输入有雾图像,输出去雾后的无雾图像。

在本发明中,步骤2)中所述一次有雾图像与样本数据中的真实有雾图像之间的第一误差的计算方法具体为:

a)计算第一判别器产生的损失

(1);

式(1)中y为标签,取值为{0,1},为判别器预测值。标签即指在计算机中用一个数值表示真假,0为假,1为真;即,不论是有雾图像还是无雾图像,只要是真实图像就打标签1,只要是生成图像,就打标签0。相应的,判别器的预测值也是0或1。

在本发明中,由于两个判别器完成的是二分类问题,所以用交叉熵表示判别器的损失,用来描述预测值和真实值之间的差别。

b)计算对第二生成器进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值。对于每一个像素点,r的归一化方法为r=r/(r+g+b),相应的,g的归一化方法为g=g/(r+g+b),b的归一化方法为b=b/(r+g+b)。w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数,即式(2)为以图像为输入参数的函数。

在本发明中,由于去雾操作是对r,g,b三个通道进行同样的操作,保持去雾后的图像不发生颜色失真,因此加入了色调约束对第一生成器和第二生成器进行约束,即本发明中的损失函数是以色差损失为正则项的损失函数。

c)定义样本数据的生成对抗网络的损失,由式(1)和(2)可得:

(3);

式(3)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,f表示第二生成器,dx表示第一判别器,f(y)为第二生成器f生成的一次有雾图像,n为样本数据中真实有雾图像的个数,λ为比例系,为正则项对权重约束,为系数。表示第二生成器的色调约束的损失。

比例系数λ的设置反映了λ所在部分对整体的影响程度,用于修饰正则项(约束项),λ的取值在0.01~0.9之间,优选为0.01~0.5。

在本发明中,步骤2)中所述一次无雾图像与样本数据中的真实无雾图像之间的第二误差的计算方法具体为:

a)计算第二判别器产生的损失

(4);

式(4)中y为标签,取值为{0,1},为判别器预测值;

b)计算对第一生成器进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值,w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数;

c)定义样本数据的生成对抗网络的损失,由式(4)和(2)可得:

(5);

式(5)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,g表示第一生成器,dy表示第二判别器,g(x)表示第一生成器g生成的一次无雾图像,m为样本数据中真实无雾图像的个数,λ为比例系数,为正则项对权重约束,为系数。表示第一生成器的色调约束的损失。

在本发明的样本数据中,真实有雾图像和真实无雾图像的两类样本的数量基本相等,本发明的理想情况即为两类样本的数量相等,即m=n。

在本发明中,样本数据中的真实有雾图像和第二生成器生成的二次有雾图像之间的循环损失为:

(6);

式(6)中x表示样本数据中的真实有雾图像,g表示第一生成器,f表示第二生成器,c表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,f(g(x))表示第二生成器f生成的二次有雾图像。

在本发明中,样本数据中的真实无雾图像和第一生成器生成的二次无雾图像之间的循环损失为:

(7);

式(7)中y表示样本数据中的真实无雾图像,g表示第一生成器,f表示第二生成器,cc表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,g(f(y))表示第一生成器g生成的二次无雾图像。

在本发明中,联合训练两个生成对抗网络,联合网络的损失函数为:

a)联合网络的循环损失lcyc为:

(8);

b)联合网络的损失函数为:

(9);

式(9)中γ为比例系数。

比例系数γ的设置反映了γ所在部分对整体的影响程度,γ的取值在0.01~0.9之间,优选为0.01~0.5。优选的是,步骤2)中第二判别器判断一次无雾图像是来自第一生成器还是来自样本数据的概率为0.5时,去雾网络模型的训练达到最优化。

优选的是,步骤1)中还包括对样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据。

优选的是,步骤1)中还包括对样本数据进行归一化处理,具体为:通过图像裁剪或放缩将全部样本数据统一大小。

在本发明中,第一生成器g不仅利用样本数据中的真实有雾图像x作为输入数据,生成一次无雾图像g(x),还利用第二生成器f生成的一次有雾图像f(y)作为输入数据,从而生成二次无雾图像g(f(y));相应的,第二生成器f不仅利用样本数据中的真实无雾图像y作为输入数据,生成一次有雾图像f(y),还利用第一生成器g生成的一次无雾图像g(x)作为输入数据,从而生成二次有雾图像f(g(x))。其中,第一判别器dx为以真实有雾图像为真的判别器,将样本数据中的真实有雾图像x和第二生成器f生成的一次有雾图像f(y)输入第一判别器dx,第一判别器dx判断一次有雾图像f(y)是来自第二生成器f还是来自样本数据中的真实有雾图像x,并将一次有雾图像f(y)和真实有雾图像x之间的第一误差反馈给第二生成器f,第二生成器f通过不断地减小生成的一次有雾图像f(y)与真实有雾图像x之间的第一误差,以达到生成更加真实的有雾图像。第二判别器dy为以真实无雾图像为真的判别器,将样本数据中的真实无雾图像y和第一生成器g生成的一次无雾图像g(x)输入第二判别器dy,第二判别器dy判断一次无雾图像g(x)是来自第一生成器g还是来自样本数据中的真实无雾图像y,并将一次无雾图像g(x)和真实无雾图像y之间的第二误差反馈给第一生成器g,第一生成器g通过不断地减小生成的一次无雾图像g(x)与真实无雾图像y之间的第二误差,以达到生成更加真实的无雾图像。

由于第一判别器dx仅需要判断图像是否为真实有雾图像,第二判别器dy仅需要判断图像是否为真实无雾图像,即判别器只需要清楚雾在图像上体现出来的像素分布特征,例如强度分布及位置分布等,便可判断图像是否为真实有雾图像或真实无雾图像,因此本发明方法在获取样本数据时并不需要配对的同一场景的有雾图像和无雾图像。而在两个生成对抗网络的协同训练过程中,第二生成器f不断学习有雾图像的分布特征,第一生成器g不断学习无雾图像的分布特征,从而达到更好的去雾效果。

当第二判别器dy判断一次无雾图像g(x)是来自第一生成器g还是来自样本数据中的真实无雾图像y的概率为0.5时,表示去雾网络模型已经训练到了平衡点,第一生成器g足以生成与真实有雾图像x高度匹配的无雾图像,而第二判别器dy将难以判断该无雾图像是来自第一生成器g还是来自样本数据,即得到最优化的去雾网络模型。

在本发明中,二次有雾图像f(g(x))和真实有雾图像x之间存在循环损失,二次无雾图像g(f(y))和真实无雾图像y之间存在循环损失,通过加入循环损失来限制一次无雾图像g(x)和一次有雾图像f(y)的生成结构,避免其随意生成,以保证生成的一次无雾图像g(x)和一次有雾图像f(y)是有意义的,循环损失体现了两个生成对抗网络之间的限制关系。

在本发明中,两个生成对抗网络相互制约、联合训练,整个联合网络的损失函数为,即联合网络的损失为两个子网络的损失与循环损失的和。在两个生成对抗网络反复训练的过程中,两个生成器分别生成各自的一次生成图像(即输入真实图像产生的生成图像),将对应的一次生成图像和真实图像分别输入给相应的判别器,根据损失函数的反向传播损失,训练最优的判别器,再在当前最优判别器的基础上,同样依据反向传播损失,训练最优的生成器,同时计算真实图像和二次生成图像(即输入一次生成图像产生的生成图像)之间的循环损失,用以指导两个生成对抗网络的协同训练过程。即联合网络的损失函数可以用来衡量子网络的更新对整体网络是有利还是有弊。

在本发明中,获取样本数据后,往往需要对样本数据集中的样本数据进行筛选和归一化处理。其中,筛选处理中的删除图像残缺,其标准为删除部分图像数据丢失造成的图像残缺;删除清晰度低的样本数据,其中清晰度低的标准为清晰度低于人眼正常识别范围;删除内容不合格的样本数据,例如删除内容不健康的样本数据。所述归一化处理,本发明中根据图像的需求,一般将样本数据通过裁剪或放缩统一为256*256或512*512的大小,以保证样本数据的纯洁性和一致性。

在本申请中,第一生成器、第二生成器的网络结构为:输入层尺寸为256*256*3,经过3次4*4卷积核的卷积操作,3次下采样,每次输出的特征图谱在图中由上至下列出,最终输出1*1*256的列向量;经过6个残差块的卷积操作重组特征后,输入得到后续网络进行还原。

第一判别器、第二判别器的网络结构为:对输入图像进行卷积操作,最后经过一个全连接层输出预测结果。本申请中的第一判别器、第二判别器、第一生成器和第二生成器的激活函数均选择relu函数。

与现有技术相比,本发明具有如下有益效果:

1、针对当前大多采用先验知识方法中设计先验物理模型复杂,去雾速度慢的问题,本方法通过直接训练循环生成对抗网络得到最优生成网络g,直接生成无雾图,避免人工设计先验模型,且去雾速度更快。

2、针对传统神经网络用于解决图像去雾中需要获取大量成对匹配的同一场景下有雾图和无雾作为训练数据集,而这一数据集获取困难的问题,本文使用的循环生成对抗网络,不需要同一场景的有雾-无雾匹配图像,只需要真实的有雾图和无雾图作为训练集,即可训练得到最优生成模型g。

3、针对传统先验模型中容易出现颜色偏移,对比度过高,造成颜色失真的问题,本方法在训练循环生成对抗网络中加入色调约束,用以提高去雾后图像的色彩还原度,有效的改善了颜色失真的问题。

附图说明

图1为本发明的生成器网络结构图,输入层尺寸为256×256×3,经过3次4×4卷积核的卷积操作,3次下采样,每次输出的特征图谱在图中由上至下列出,最终输出1×1×256的列向量;经过6个残差块的卷积操作重组特征后,输出256×256×3的无雾图;

图2为本发明的判别器网络结构图判别器输入层尺寸为256×256×3,经过48个8×8卷积核、64个4×4卷积核、80个5×5卷积核,80个5×5卷积核后,经由全连接层组合特征,输出预测概率;

图3为本发明一种基于生成对抗网络的图像去雾方法的工作流程图。

图4为本发明一种基于生成对抗网络的图像去雾方法的工作流程图。

具体实施方式

根据本发明的实施方案,提供一种基于生成对抗网络的图像去雾方法:

一种基于生成对抗网络的图像去雾方法,该方法包括以下步骤:

1)获取样本数据:通过公开的数据集或网络爬虫技术获取有雾图像和无雾图像的样本数据;

2)生成对抗网络的对抗训练:样本数据中的真实有雾图像作为第一生成器的输入数据,第一生成器生成一次无雾图像,第一生成器生成的一次无雾图像作为第二生成器的输入数据,第二生成器生成二次有雾图像;

样本数据中的真实无雾图像作为第二生成器的输入数据,第二生成器生成一次有雾图像,第二生成器生成的一次有雾图像作为第一生成器的输入数据,第一生成器生成二次无雾图像;

第一判别器判断一次有雾图像是来自第二生成器还是来自样本数据,并将一次有雾图像与样本数据中的真实有雾图像之间的第一误差反馈给第二生成器,第二生成器减小第一误差,提高生成图像的真实度;第二判别器判断一次无雾图像是来自第一生成器还是来自样本数据,并将一次无雾图像与样本数据中的真实无雾图像之间的第二误差反馈给第一生成器,第一生成器减小第二误差,提高生成图像的真实度;

第一生成器和第二生成器分别与第二判别器和第一判别器进行反复对抗训练,得到最优去雾网络模型;

3)图像去雾:利用训练完成的最优去雾生成网络模型对有雾图像进行去雾,输入有雾图像,输出去雾后的无雾图像。

在本发明中,步骤2)中所述一次有雾图像与样本数据中的真实有雾图像之间的第一误差的计算方法具体为:

a)计算第一判别器产生的损失

(1);

式(1)中y为标签,取值为{0,1},为判别器预测值;

b)计算对第二生成器进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值,w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数;

c)定义样本数据的生成对抗网络的损失,由式(1)和(2)可得:

(3);

式(3)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,f表示第二生成器,dx表示第一判别器,f(y)为第二生成器f生成的一次有雾图像,n为样本数据中真实有雾图像的个数,λ为比例系数,为正则项对权重约束,为系数。表示第二生成器的色调约束的损失。

在本发明中,步骤2)中所述一次无雾图像与样本数据中的真实无雾图像之间的第二误差的计算方法具体为:

a)计算第二判别器产生的损失

(4);

式(4)中y为标签,取值为{0,1},为判别器预测值;

b)计算对第一生成器进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值,w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数;

c)定义样本数据的生成对抗网络的损失,由式(4)和(2)可得:

(5);

式(5)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,g表示第一生成器,dy表示第二判别器,g(x)表示第一生成器g生成的一次无雾图像,m为样本数据中真实无雾图像的个数,λ为比例系数,为正则项对权重约束,为系数。表示第一生成器的色调约束的损失。

在本发明中,样本数据中的真实有雾图像和第二生成器生成的二次有雾图像之间的循环损失为:

(6);

式(6)中x表示样本数据中的真实有雾图像,g表示第一生成器,f表示第二生成器,c表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,f(g(x))表示第二生成器f生成的二次有雾图像。

在本发明中,样本数据中的真实无雾图像和第一生成器生成的二次无雾图像之间的循环损失为:

(7);

式(7)中y表示样本数据中的真实无雾图像,g表示第一生成器,f表示第二生成器,c表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,g(f(y))表示第一生成器g生成的二次无雾图像。

在本发明中,联合训练两个生成对抗网络,联合网络的损失函数为:

a)联合网络的循环损失lcyc为:

(8);

b)联合网络的损失函数为:

(9);

式(9)中γ为比例系数。

优选的是,步骤2)中第二判别器判断一次无雾图像是来自第一生成器还是来自样本数据的概率为0.5时,去雾网络模型的训练达到最优化。

优选的是,步骤1)中还包括对样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据。

优选的是,步骤1)中还包括对样本数据进行归一化处理,具体为:通过图像裁剪或放缩将全部样本数据统一大小。

实施例

图3为本发明的整体工作流程图,基于生成对抗网络的图像去雾方法包括以下步骤:

1)1)获取样本数据:爬取3600张公开的图像作为样本数据,对样本数据中的原始图像数据进行筛选和归一化处理,以去除有水印及发生扭曲、变形的图像,最终得到3000张可用图像,为保证图像不失真同时便于网络计算处理,将图像裁剪成960*960的大小,然后通过图像缩小算法将图像缩小至512*512的大小。

2)生成对抗网络的对抗训练:定义生成对抗网络gan的网络结构,第一生成器g和第二生成器f具备同样的结构,都是在自编码器的基础上结合去雾过程特点设计的网络结构;第一判别器dx和第二判别器dy均为用于分类的cnn网络。将样本数据投入网络模型中进行训练,样本数据中的真实有雾图像x作为第一生成器g的输入数据,第一生成器g生成一次无雾图像g(x),第一生成器g生成的一次无雾图像g(x)作为第二生成器f的输入数据,第二生成器f生成二次有雾图像f(g(x));样本数据中的真实无雾图像y作为第二生成器f的输入数据,第二生成器f生成一次有雾图像f(y),第二生成器f生成的一次有雾图像f(y)作为第一生成器g的输入数据,第一生成器g生成二次无雾图像g(f(y));

第一判别器dx判断一次有雾图像f(y)是来自第二生成器f还是来自样本数据,并将一次有雾图像f(y)与样本数据中的真实有雾图像x之间的第一误差反馈给第二生成器f,第二生成器f减小第一误差,提高生成图像的真实度;第二判别器dy判断一次无雾图像g(x)是来自第一生成器g还是来自样本数据,并将一次无雾图像g(x)与样本数据中的真实无雾图像y之间的第二误差反馈给第一生成器g,第一生成器减小第二误差,提高生成图像的真实度;

第一生成器g和第二生成器f分别与第二判别器dy和第一判别器dx进行反复对抗训练,得到最优去雾网络模型。当第二判别器dy判断一次无雾图像g(x)是来自第一生成器g还是来自样本数据的概率为0.5时,去雾网络模型的训练达到最优化。

所述一次有雾图像f(y)与样本数据中的真实有雾图像x之间的第一误差的计算方法具体为:

a)计算第一判别器dx产生的损失

(1);

式(1)中y为标签,取值为{0,1},为判别器预测值;

b)计算对第二生成器f进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值,w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数;

c)定义样本数据的生成对抗网络的损失,由式(1)和(2)可得:

(3);

式(3)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,f表示第二生成器,dx表示第一判别器,f(y)为第二生成器f生成的一次有雾图像,n为样本数据中真实有雾图像的个数,λ为比例系数,为正则项对权重约束,为系数。表示第二生成器f的色调约束的损失。

所述一次无雾图像与样本数据中的真实无雾图像之间的第二误差的计算方法具体为:

a)计算第二判别器dy产生的损失

(4);

式(4)中y为标签,取值为{0,1},为判别器预测值;

b)计算对第一生成器g进行约束的色调约束

(2);

式(2)中r,g,b为图像去雾后三个通道的归一化值,w表示输出图像的宽度,h表示输出图像的高度,i表示式(2)的输入参数;

c)定义样本数据的生成对抗网络的损失,由式(4)和(2)可得:

(5);

式(5)中x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,g表示第一生成器,dy表示第二判别器,g(x)表示第一生成器g生成的一次无雾图像,m为样本数据中真实无雾图像的个数,λ为比例系数,为正则项对权重约束,为系数。其中:m=n。表示第一生成器g的色调约束的损失。

样本数据中的真实有雾图像x和第二生成器f生成的二次有雾图像f(g(x))之间的循环损失为:

(6);

式(6)中x表示样本数据中的真实有雾图像,g表示第一生成器,f表示第二生成器,c表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,f(g(x))表示第二生成器f生成的二次有雾图像。

样本数据中的真实无雾图像y和第一生成器g生成的二次无雾图像g(f(y))之间的循环损失为:

(7);

式(7)中y表示样本数据中的真实无雾图像,g表示第一生成器,f表示第二生成器,c表示输出图像的通道数,w表示输出图像的宽度,h表示输出图像的高度,g(f(y))表示第一生成器g生成的二次无雾图像。

联合训练两个生成对抗网络,联合网络的损失函数为:

a)联合网络的循环损失lcyc为:

(8);

b)联合网络的损失函数为:

(9);

式(9)中γ为比例系数。

生成对抗网络的去雾算法训练流程具体如下:

设置损失函数中的比例系数λ和γ均为0.01,网络的训练过程采用带有动量的随机梯度下降算法优化参数,初始学习率设置为10-8,动量系数和权重衰减系数分别设置为0.9和0.0001。对于每一个生成对抗网络,在完成网络初始化后,先固定生成器对判别器进行训练,涉及判别器部分的损失函数项被纳入到梯度反向传播中,对参数进行优化。然后固定判别器对生成器进行训练,涉及生成器部分的损失函数项被纳入到梯度反向传播中,对参数进行优化,设置迭代终止次数为500次。

x表示样本数据中的真实有雾图像,y表示样本数据中的真实无雾图像,g表示第一生成器,f表示第二生成器,dx表示以真实有雾图像为真的第一判别器,dy表示以真实无雾图像为真的第二判别器。

(1)固定第二生成器f、第一判别器dx和第二判别器dy的权重参数:将真实有雾图像x输入第一生成器g,第一生成器g生成一次无雾图像g(x);将一次无雾图像g(x)输入第二生成器f,第二生成器f生成二次有雾图像f(g(x));计算二次有雾图像f(g(x))和真实有雾图像x之间的循环损失lcyc(g,f);将真实无雾图像y和一次无雾图像g(x)输入第二判别器dy,计算第二判别器dy产生的损失;计算第二生成器g的色调约束的损失;根据反向梯度传播算法更新第一生成器g的权重参数;

(2)固定第二生成器f、第一判别器dx、第一生成器g的权重参数:将真实有雾图像x输入第一生成器g,第一生成器g生成一次无雾图像g(x);将一次无雾图像g(x)输入第二生成器f,第二生成器f生成二次有雾图像f(g(x));计算二次有雾图像f(g(x))和真实有雾图像x之间的循环损失lcyc(g,f);将真实无雾图像y和一次无雾图像g(x)输入第二判别器dy,计算第二判别器dy产生的损失;计算第二生成器g的色调约束的损失;根据反向梯度传播算法更新第二判别器dy的权重参数;

(3)固定第一生成器g、第一判别器dx、第二判别器dy的权重参数:将真实无雾图像y输入第二生成器f,第二生成器f生成一次有雾图像f(y);将一次有雾图像f(y)输入第一生成器g,第一生成器g生成二次无雾图像g(f(y));计算二次无雾图像g(f(y))和真实无雾图像y之间的循环损失lcyc(f,g);将真实有雾图像x和一次有雾图像f(y)输入第一判别器dx,计算第一判别器dx产生的;计算第二生成器f的色调约束的损失;根据反向梯度传播算法更新第二生成器f的权重参数;

(4)固定第一生成器g、第二生成器f、第二判别器dy的权重参数:将真实无雾图像y输入第二生成器f,第二生成器f生成一次有雾图像f(y);将一次有雾图像f(y)输入第一生成器g,第一生成器g生成二次无雾图像g(f(y));计算二次无雾图像g(f(y))和真实无雾图像y之间的循环损失lcyc(f,g);将真实有雾图像x和一次有雾图像f(y)输入第一判别器dx,计算第一判别器dx产生的;计算第二生成器f的色调约束的损失;根据反向梯度传播算法更新第一判别器dx的权重参数;

(5)重复步骤(1)-(4),直至达到预设迭代次数。

3)图像去雾:利用训练完成的最优去雾网络模型对有雾图像进行去雾,输入待去雾的有雾图像,第一生成器g输入层尺寸为256×256×3,经过3次4×4卷积核的卷积操作,3次下采样,每次输出的特征图谱在图中由上至下列出,最终输出1×1×256的列向量;经过6个残差块的卷积操作重组特征后,输出256×256×3的无雾图。

在本实施例中,通过对自爬取数据集进行有雾图像和无雾图像的建模,然后设计了一种基于生成对抗网络的图像去雾的方法,实现了对不同程度的有雾图像的去雾功能。

本实施例是本发明的一个简单实现,该过程可以方便的推广到其他智能监控设备、手持移动终端等基于多媒体设备中,从而解决有雾图像对科研、日常生产等工作带来的不便问题。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1