一种基于生成对抗网络的域自适应去雾方法与流程

[0001]
本发明主要涉及计算机图像与视频处理领域，具体涉及一种基于生成对抗网络的域自适应去雾方法。


背景技术：

[0002]
雾霾是城市中一种常见的天气现象，我国很多地区已将雾霾作为灾害性天气进行预警预报，而高密度的人口地区必然会排放出大量的细颗粒物，一旦排放超过大气循环能力和承载度，细颗粒物浓度将持续积聚，此时如果受静稳天气等影响，极易出现大范围的雾霾，而在雾霾严重时，道路的能见度低，驾驶员获取的道路信息严重不足，极易发生交通事故，同时自动驾驶系统、目标跟踪系统会受到严重制约，因此在雾霾这类恶劣天气下恢复清晰视频图像一直是智能化交通领域的一个研究热点。
[0003]
目前的去雾主要方法是暗通道先验的去雾方法，研究人员曾提出来经典的雾图模型：其中i(x)是待去雾图像，j(x)是要恢复的无雾图像，a为全球大气光成分，t为空气折射率，而我们已知的条件就是i(x)，要求目标值j(x)。暗通道先验去雾的大致工作流程大致如下：1)求图像暗通道2)利用暗通道计算出折射率3)利用暗通道估计大气光4)代入雾图模型公式进行去雾计算。
[0004]
然而，直接使用暗通道先验的去雾方法会使得最终恢复的图像比较暗，同时，当折射率图比较粗糙时就会使得去雾图像出现不协调的部分，而为了获取更为精细的折射率图时，前人曾引入了soft matting方法，虽然可以获取更为细腻的结果，但是这个方法最严重的问题是有着太多的浮点计算，使得速度特别慢，这样就出现了要么速度快但是去雾效果一般要么是效果好但是耗时严重这个问题。这样在当今智能化交通领域就很难同时满足：
①
实时获取去雾图像；
②
去雾图像清晰度高这两个要求，因此，寻求在雾霾等可见度低的恶劣环境下同时满足这两个要求的方法具有极其重要的研究意义。


技术实现要素：

[0005]
近年来数字图像处理技术发展迅猛，对于图像的处理有很多不同的手段。国内外学者越来越关注在小信息量输入（单幅图像）的条件下，对数字图像外观的建模与重绘，但该技术对于视频的去雾处理技术应用还太完整，而且传统的视频去雾的算法由于其复杂度较高，很难满足智能化交通领域视频处理的要求。基于大气退化物理模型的单幅图像去雾是通过合理的数学推演和假设，还原清晰、高品质的图像。但这种图像增强的算法并不能满足视频去雾的高性能要求，在很多情况下，对输入的有雾图像并没有达到去雾增强的作用，
反而使得视频画面质量下降。本发明旨在解决这些视频去雾处理技术现存的问题。
[0006]
本发明所采用的技术方案是通过摄像头获取有雾视频，对视频中的每帧模糊图像输入到去雾模型进行处理。去雾模型包括雾天图像预处理模块（主要为cycle-gan生成对抗网络结构)和去雾模块（由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成），经过模型处理后得到清晰的图片，然后将处理结果合成为清晰的视频通过显示器终端可视化。
[0007]
雾天图像预处理模块主要使用cycle-gan生成对抗网络结构，对图像首先进行预处理。我们从公开数据集上收集合成雾天图像，将获取的实时有雾视频中得到的图像经过生成器（generator）生成近似于合成雾天图像得假图。cycle-gan网络结构的判别器（discriminator）把该图像与原有雾图像进行比对。判别器由多个卷积层构成，从图像中提取特征后，判断这些特征是否属于特定类别，判别器网络的最后一层是用于产生一维输出的卷积层。然后计算图像损失值，二者对抗，重构误差，在引导图像类型迁移时保留图像的固有属性。最终经过预处理模块处理的实时数据更加接近于合成雾天数据，然而合成雾天数据去雾技术已经较为发达，那么最终处理效果会大大改善。
[0008]
去雾模块由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成，对经过预处理的图像进行去雾处理，得到清晰的图像。首先，预处理得到的特征明显的图像，经过粗尺度卷积神经网络处理得到粗透射率图，再由细尺度卷积神经网络对该图进行处理，再将得到的结果经过编码器-解码器网络结构进行进一步的去雾处理，得到清晰的图像。最终将这些处理过后的图像合成为流畅的清晰视频，再在显示器终端进行可视化，达到视频去雾的效果。
[0009]
本发明的有益效果是，在消除不利天气影响、增强视见度的基础上，考虑系统实时性。充分利用多种不同卷积神经网络结构的优势，对模糊图像进行处理和增强，有效地增加了视频图像的辨识度。
附图说明
[0010]
图1为本发明的操作原理框图。
[0011]
图2为本发明的cycle-gan的网络流程图。
[0012]
图3为本发明的编码器-解码器网络结构图。
具体实施方式
[0013]
为了使发明的目的、特征和优点更加清晰，下面结合附图和具体实施方案，对本发明进一步的详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0014]
请参阅图1，在雾霾等能见度低的恶劣天气环境下视频采集设备获取到的模糊视频图像传输到视频图像处理模块组df-cnn，在视频图像处理模块组进行视频图像处理，最终将清晰的去雾视频图像在显示器上可视化。
[0015]
视频图像处理模块组df-cnn的组成如下，在去雾模型内部，由雾天图像预处理模块和去雾模块组成，雾天图像预处理模块主要为cycle-gan生成对抗网络结构；去雾模快主要由粗尺度卷积神经网络、细尺度卷积神经网络和编码器-解码器网络结构组成。
[0016]
视频图像处理模块组df-cnn的组成如下，首先将摄像头拍摄到的有雾模糊视频图像输入到去雾模型上，将视频分为多帧的图像，然后图像经过雾天图像预处理模块进行预处理,即通过风格迁移将实时的有雾数据转化为合成风格的有雾数据，但是此时生成的图像无法满足实际需求。
[0017]
接下来将经cycle-gan生成对抗网络结构处理后的图像输入到去雾模块中，通过粗尺度卷积神经网络，将图像先转化为粗透射率图像，然后将粗透射率图传输到细尺度卷积神经网络中进行再次处理，将处理后的图像传输到编码器-解码器上，在编码器-解码器中先将图像经过编码器进行压缩处理，将图像噪点降到最低，再经过解码器释放，将图像的非噪点部分进行放大，此时，得到的图像已经满足了实际需求。
[0018]
最后将处理好的图像合成为视频，然后将实时有雾视频去雾清晰化结果进行可视化输出，处理后的视频同样可以应用到智慧化交通如自动驾驶系统或目标跟踪系统上。
[0019]
上述实施例为本发明的一种实施方式，但本发明的实施方式不限定于此，从事该技术人员在未背离本发明精神和原则下所做的任何修改、替换、改进，均包含在发明的保护范围内。