一种基于风格迁移网络的图像去雾方法及系统与流程

本发明涉及数字图像处理技术领域，具体提供一种基于风格迁移网络的图像去雾方法及系统。

背景技术：

雾霾是一种常见的大气现象，主要出现在秋冬季节，它们都是由空气中散布的高浓度粉尘、气溶胶、微小水滴等大气颗粒物质所导致的灾害性天气现象。在形成机制上，雾和霾并不完全相同。雾是由空气中存在大量的微小水滴和冰晶，从而在接近地面的大气中形成的一种天气环境，其中的大气颗粒半径一般在1～10微米，颗粒较大其尺寸远大于可见光波长，因此其对不同波长的可见光的散射作用基本一致，导致雾气在视觉上泛白。霾与雾的区别主要在大气颗粒的类型上，霾颗粒主要由空气中悬浮的粉尘构成，颗粒半径一般为0.001～1微米，其尺寸对于波长较长的可见光散射更多，从而使得霾在视觉色彩上偏黄。二者都对人类的生产和生活带来了极大的不利影响，由于其影响的光线的传播使得，现在通用的数字图像采集设施获取的图像能见度低、对比度下降，为后续的图像分割、目标识别、目标跟踪、行为检测、自动驾驶等计算机视觉任务造成了极大的不便。

随着近年来雾霾天气的增加和图像技术、深度学习技术的快速发展，图像去雾问题受到了广泛的关注。目前常见的图像去雾方法是基于物理成像模型的方法：该类方法通过研究大气散射颗粒对光线传输的影响，并尝试将其作用机制运用在图像去雾算法中，对雾天图像的退化过程进行建模，之后通过对其中参数的调解优化来去除图像中的雾霾。一般这类方法的模型受到图像采集时的大气情况、距离景深等条件影响，对普通设备的去雾来说硬件要求过高，应用范围有限。

技术实现要素：

本发明的技术任务是针对上述存在的问题，提供一种不需要大量的先验知识，无需人为干预，仅需要对图像进行处理，适用范围广泛的基于风格迁移网络的图像去雾方法。

本发明进一步的技术任务是提供一种基于风格迁移网络的图像去雾系统。

本发明进一步的技术任务是提供一种基于风格迁移网络的图像去雾方法在图像或视频处理的应用。

为实现上述目的，本发明提供了如下技术方案：

一种基于风格迁移网络的图像去雾方法，该方法使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。

作为优选，该方法具体包括以下步骤：

s1、根据雾霾图像即内容图像选择特征相近的无雾霾图像即风格图像，并调整内容图像与风格图像的尺寸相同；

s2、使用初始化的网络参数构建图像生成网络fw；

s3、将内容图像输入生成网络，计算得到对应的生成图像yt；

s4、使用卷积深度神经网络分类模型的卷积层和池化层，对生成图像和风格图像进行特征提取；

s5、对内容图像和对应的生成图像使用均方差计算内容损失函数lcontent，对风格图像和对应的生成图像使用均方差计算风格损失函数lstyle；

s6、将内容损失函数与风格损失函数相加合并得到总体损失函数l，使用adam优化函数减小总体损失函数l，来调整生成网络的参数w；

s7、返回步骤s3，使用调整后的生成网络参数重新计算生成图像yt+1，反复迭代至指定次数，返回最终生成图像y。

作为优选，步骤s4中，可使用已有经过验证的可靠图像分类卷积深度神经网络，使用其中训练好的卷积层参数和池化层参数。

作为优选，所述卷积深度神经网络分类模型采用inception或vgg。

一种基于风格迁移网络的图像去雾系统，该系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块：

图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸；

多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数；

损失优化模块计算、合并内容损失函数和风格损失函数，使用adam优化函数优化，并反馈调节生成网络的参数。

作为优选，所述图像生成模块包括初始化的参数矩阵，与内容图像矩阵计算得到大小不变的生成图像。

作为优选，所述内容图像提取使用的卷积层数少于风格图像提取的卷积层数。

作为优选，所述损失优化模块相加合并内容损失函数和风格损失函数，作为整体优化，并反馈调节生成网络的参数。

该发明的基于风格迁移网络的图像去雾方法在图像或视频处理的应用。

与现有技术相比，本发明的基于风格迁移网络的图像去雾方法具有以下突出的有益效果：该基于风格迁移网络的图像去雾方法通过使用已有图像分类网络中稳定的卷积层参数和池化层参数，可以快速进行图像内容和风格特征提取，避免复杂耗时的参数训练过程，仅需要对生成网络参数进行调整，使用者不需要额外的先验知识，仅需要选择与雾霾图像相近的真实图像即可完成图像的去雾操作，快速实现图像能见度和对比度的提升，无需人为干预即可达到去雾目的，具有良好的推广应用价值。

附图说明

图1是本发明所述基于风格迁移网络的图像去雾方法的流程图。

具体实施方式

下面将结合附图和实施例，对本发明的基于风格迁移网络的图像去雾方法及系统作进一步详细说明。

实施例

本发明的基于风格迁移网络的图像去雾方法，使用卷积神经网络通过卷积和池化，对雾霾图像和生成图像提取内容特征，并计算雾霾图像和生成图像的内容损失函数，对无雾霾图像提取风格特征，并计算无雾霾图像和生成图像的风格损失函数，将内容损失函数与风格损失函数合并得总体损失函数，通过迭代优化函数来调整网络参数，并使用调整后的网络参数重新计算生成图像。

该基于风格迁移网络的图像去雾方法通过基于风格迁移网络的图像去雾系统实现。基于风格迁移网络的图像去雾系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块。

图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸。

多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数。

损失优化模块计算、合并内容损失函数和风格损失函数，使用adam优化函数优化，并反馈调节生成网络的参数。

如图1所示，该方法具体包括以下步骤：

s1、根据雾霾图像即内容图像选择特征相近的无雾霾图像即风格图像，并调整内容图像与风格图像的尺寸相同。

s2、使用初始化的网络参数构建图像生成网络fw。

s3、将内容图像输入生成网络，计算得到对应的生成图像yt。

s4、使用卷积深度神经网络分类模型的卷积层和池化层，对生成图像和风格图像进行特征提取。

其中风格特征提取使用的卷积层深度比内容特征提取的深度要高，以便提取出有差异的高层抽象风格特征和底层内容特征。

s5、对内容图像和对应的生成图像使用均方差计算内容损失函数lcontent，对风格图像和对应的生成图像使用均方差计算风格损失函数lstyle。

s6、将内容损失函数与风格损失函数相加合并得到总体损失函数l，使用adam优化函数减小总体损失函数l，来调整生成网络的参数w。

将内容损失与风格损失进行结合，避免出现分别优化二者使得算法收敛速度降低和均衡二者比重的问题，进一步提高效率。

s7、返回步骤s3，使用调整后的生成网络参数重新计算生成图像yt+1，反复迭代至指定次数，返回最终生成图像y。

作为优选，步骤s4中，可使用已有经过验证的可靠图像分类卷积深度神经网络，使用其中训练好的卷积层参数和池化层参数。而不必自行使用大量的数据集和时间来训练特征提取模型的复杂参数，使得算法效率得到提高。

作为优选，所述卷积深度神经网络分类模型采用inception或vgg。

一种基于风格迁移网络的图像去雾系统，该系统包括图像生成模块、多层卷积神经网络特征提取模块和损失优化模块：

图像生成模块使用初始化的参数矩阵与内容图像计算得到生成图像，生成图像与内容图像及风格图像具有相同的分辨率尺寸。

图像生成模块包括初始化的参数矩阵，与内容图像矩阵计算得到大小不变的生成图像。风格图像与内容图像具有相近的色彩空间范围，并调整为相同尺寸大小。

多层卷积神经网络特征提取模块提取内容图像和风格图像特征，并计算内容损失函数和风格损失函数。

卷积神经网络特征提取模块已经训练完毕，能够良好实现图像内容及高层特征的提取，包含多个卷积层和池化层。内容图像提取使用的卷积层数少于风格图像提取的卷积层数。

多层卷积神经网络特征提取模块，网络模型训练完毕，其中包含多个卷积层和池化层，不使用全连接层和softmax层，雾霾内容图像和无雾霾图像的通过该网络提取特征。其中内容提取使用的卷积层数少于风格提取的卷积层数。

损失优化模块计算、合并内容损失函数和风格损失函数，使用adam优化函数优化，并反馈调节生成网络的参数。

损失优化模块相加合并内容损失函数和风格损失函数，作为整体优化，并反馈调节生成网络的参数。

可以根据实际需要，采用该发明的基于风格迁移网络的图像去雾方法应用在图像或视频处理中。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。