一种图像去雨雾方法、装置、设备及存储介质与流程

本发明涉及图像处理技术领域，特别是涉及一种图像去雨雾方法、装置、设备及存储介质。

背景技术

在雾天或者雨天拍照图像的时候，可能会在成图时形成些许模糊与遮挡，导致对图像的理解可能存在着困难，这时图像的清晰化就很有必要。

而现有的关于图像去雨或去雾的方法，仅仅基于一种模糊环境下对图像进行的处理，只能处理指定的一种雨图或者是雾图，这对于在未知情况下要达到去雨或去雾的效果是很难预知的，并不能通过一个程序达到一张图像自动识别的去雨或去雾。这是由于现有的方法都只是做图像的分割，只是对于雨的特征或者雾的特征提取，这对于图像的整体利用相对来说很少，所以处理只能达到单一的效果。

因此，如何自动识别雨图、雾图并进行有效去雨雾，是本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图像去雨雾方法、装置、设备及存储介质，可以通过深度学习cgan网络更方便、更准确对待处理图像进行含雾和含雨的处理。其具体方案如下：

一种图像去雨雾方法，包括：

采集数据集；所述数据集包括清晰图，与所述清晰图匹配的雨图和雾图；

利用采集到的所述数据集训练深度学习cgan网络；

通过训练好的所述深度学习cgan网络对待处理图像进行去雨雾处理。

优选地，在本发明实施例提供的上述图像去雨雾方法中，利用采集到的所述数据集训练深度学习cgan网络，具体包括：

对采集到的所述数据集进行分类，分为训练集和验证集；

将所述训练集输入至深度学习cgan网络进行训练，自动调节所述深度学习cgan网络中生成器和判别器的参数；

通过所述验证集在训练过程中观察所述深度学习cgan网络的输出结果，判断是否需要人为修改超参数和初始化值。

优选地，在本发明实施例提供的上述图像去雨雾方法中，将所述训练集输入至深度学习cgan网络进行训练，自动调节所述深度学习cgan网络中生成器和判别器的参数，具体包括：

构建条件生成深度学习cgan网络；所述深度学习cgan网络包括生成器和判别器这两个模型；

读取所述训练集，并将读取的所述训练集和随机噪声矩阵输入到所述生成器并生成新图像；

将所述生成器生成的新图像与所述清晰图通过所述判别器进行对比，根据对比结果计算损失函数；

根据所述损失函数计算出损失值，自动训练并继续调整所述生成器和所述判别器的参数，直至使所述损失函数的值为相对最小值或者epoch达到预设阈值为止。

优选地，在本发明实施例提供的上述图像去雨雾方法中，调整所述生成器和所述判别器的参数，具体包括：

调节所述生成器的参数，使所述生成器内生成的新图像接近于所述清晰图，不被误判别；

调节所述判别器的参数，使损失函数内所述清晰图的判别概率越大，所述生成器内生成的新图像的判别概率越大。

优选地，在本发明实施例提供的上述图像去雨雾方法中，采集数据集，具体包括：

将采集到的清晰图存入第一文件夹，将与所述清晰图匹配的雨图和雾图存入第二文件夹；

对相互匹配的所述清晰图、所述雨图和所述雾图进行相同命名；

将存入所述第一文件夹和所述第二文件夹中的图像大小调整为统一的图像格式，作为预先采集的数据集。

优选地，在本发明实施例提供的上述图像去雨雾方法中，与所述清晰图匹配的雨图是对所述清晰图进行加雨效果得到的；

与所述清晰图匹配的雾图是对所述清晰图进行加雾效果得到的。

本发明实施例还提供了一种图像去雨雾装置，包括：

数据集采集模块，用于采集数据集；所述数据集包括清晰图，与所述清晰图匹配的雨图和雾图；

网络训练模块，用于利用采集到的所述数据集训练深度学习cgan网络；

图像处理模块，用于通过训练好的所述深度学习cgan网络对待处理图像进行去雨雾处理。

本发明实施例还提供了一种图像去雨雾设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述图像去雨雾方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述图像去雨雾方法。

本发明所提供的一种图像去雨雾方法、装置、设备及存储介质，该方法包括：首先采集数据集；该数据集包括清晰图，与所述清晰图匹配的雨图和雾图；然后利用采集到的数据集训练深度学习cgan网络；最后通过训练好的深度学习cgan网络对待处理图像进行去雨雾处理。

考虑到图像的生成在天气雨雾时可能会造成的模糊情况，本发明使用深度学习cgan网络直接学习许多雨图和雾图，无论输入的待处理图像是雨图还是雾图时，都能有效识别，更好的利用整张图的特征，使图像特征信息不丢失，通过图像的相关性很好地还原出原图，达到很好的清晰化效果，更具有可靠性和准确性，并且能处理大多模糊图像，将图像清晰化更简便、更容易。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的图像去雨雾方法的流程图；

图2为本发明实施例提供的图像去雨雾装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像去雨雾方法，如图1所示，包括以下步骤：

s101、采集数据集；该数据集包括清晰图，与清晰图匹配的雨图和雾图；

s102、利用采集到的数据集训练深度学习cgan网络；

s103、通过训练好的深度学习cgan网络对待处理图像进行去雨雾处理。

在本发明实施例提供的上述图像去雨雾方法中，首先采集包括清晰图，与清晰图匹配的雨图和雾图的数据集；然后利用采集到的数据集训练深度学习卷积生成式对抗网络(convolutionalgenerativeadversarialnetwork，简称cgan)；最后通过训练好的深度学习cgan网络对待处理图像进行去雨雾处理。这样使用深度学习cgan网络直接学习许多雨图和雾图，当输入的待处理图像无论是含雨图还是含雾图时，都能有效识别，更好的利用整张图的特征，使图像特征信息不丢失，通过图像的相关性很好地还原出原图，达到很好的清晰化效果，更具有可靠性和准确性，并且能处理大多模糊图像，将图像清晰化更简便、更容易。

进一步地，由于采用的深度学习cgan网络在训练时需要输入两张图像具有相同的信息，一张含有雨或雾，另一张则是清晰的图像，这在现实场景很难存在，所以需要通过前期的准备得到相关的数据集。因此，在具体实施时，步骤s101采集数据集，具体可以包括以下步骤：

步骤一、通过寻找网上公开数据集，找到良好环境下的清晰图像的原图，作为待处理图像的清晰图；

步骤二、使用传统图像处理方法对寻找的无雨无雾图像进行图像的加雾效果和加雨效果的处理，即与清晰图匹配的雨图是对清晰图进行加雨效果得到的，与清晰图匹配的雾图是对清晰图进行加雾效果得到的；

步骤三、将采集到的清晰图存入第一文件夹，将与清晰图匹配的雨图和雾图存入第二文件夹；对相互匹配的清晰图、雨图和雾图进行相同命名，保证清晰图、含雨或含雾图像达成一一对应，这样才能在建立模型时做到对雨图或雾图的特征对应提取和消除；

步骤四、进行图片重构，将存入第一文件夹和第二文件夹中的图像大小调整为统一的图像格式，如512*512的图像格式，作为预先采集的数据集。

进一步地，在具体实施时，在本发明实施例提供的上述图像去雨雾方法中，深度学习cgan网络包括生成器和判别器两个模型，步骤s102利用采集到的数据集训练深度学习cgan网络，具体可以包括以下步骤：

首先，对采集到的数据集进行分类，将取得的数据集分为训练集和验证集；

之后，将训练集输入至深度学习cgan网络进行训练，自动调节深度学习cgan网络中生成器和判别器的参数，需要训练集训练出深度学习能自主修改的权值参数；

最后，通过验证集在训练过程中观察深度学习cgan网络的输出结果，判断是否需要人为修改超参数和初始化值；若需要，则执行对超参数和初始化值的修改，若不需要，则直接输出网络模型。

针对上述步骤中自动调节生成器和判别器的参数，具体可以包括以下步骤：

第一步、构建条件生成深度学习cgan网络；该深度学习cgan网络包括生成器和判别器这两个模型；设g为生成器，d为判别器。具体地，设置cgan网络的相关训练参数，例如，学习率与epoch的次数，可调整整个cgan网络的训练效果；

第二步，读取训练集(第一文件夹和第二文件夹中各类图像文件)，设第一文件夹内清晰图(清晰的无雨雾原图)为y，第二文件夹内与清晰图匹配的雨图或雾图为x，随机噪声矩阵为z；将训练集中的雨图或雾图x和随机噪声矩阵z后输入到生成器g，并生成新图像z^*；

第三步、将生成器g生成的新图像z^*与清晰图y通过判别器d进行对比，根据对比结果计算损失函数：

其中，e代表每个bacth_size里图片集的均值，d(y|x)代表在将雾图或雨图作为标签时将清晰图y判别为无雨雾图像的概率；d(g(z^*|x))代表在将雾图或雨图为标签时将生成的新图像z^*判别为无雨雾图像的概率。

第四步、根据损失函数计算出损失值，自动训练并继续调整生成器和判别器的参数；一直重复第二步至第四步，直到损失函数的值为相对最小值或者epoch达到预设阈值为止，具体过程如下：

首先调节生成器g的参数，使生成器g内生成的新图像z^*更能接近于清晰图(清晰的无雨雾原图)，不被误判别，即g(z|x)越小；然后调节判别器d的参数，使损失函数内清晰图y的判别概率d(y|x)越大，生成的新图像z^*的判别概率d(g(z^*|x))越大；由此不断调整两个网络的参数，满足g(z|x)概率最小，d(y|x)和d(g(z^*|x))概率最大，最后得出损失函数的相对最小值minmax：

第五步，得到一个基于cgan的去雨雾网络模型g，即可将待处理图像(有雨雾的图片)作为输入，最终生成无雨雾的高清图。

基于同一发明构思，本发明实施例还提供了一种图像去雨雾装置，由于该图像去雨雾装置解决问题的原理与前述一种图像去雨雾方法相似，因此该图像去雨雾装置的实施可以参见图像去雨雾方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的图像去雨雾装置，如图2所示，具体包括：

数据集采集模块11，用于采集数据集；数据集包括清晰图，与清晰图匹配的雨图和雾图；

网络训练模块12，用于利用采集到的数据集训练深度学习cgan网络；

图像处理模块13，用于通过训练好的深度学习cgan网络对待处理图像进行去雨雾处理。

在本发明实施例提供的上述图像去雨雾装置中，可以通过上述三个模块的相互作用，能同时处理雨图和雾图，无论输入的待处理图像是雨图还是雾图时，都能有效识别，充分利用整张图的特征信息，使图像特征信息不丢失，通过图像的相关性很好地还原出原图，达到很好的清晰化效果，更具有可靠性和准确性，并且能处理大多模糊图像，将图像清晰化更简便、更容易。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种图像去雨雾设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的图像去雨雾方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像去雨雾方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种图像去雨雾方法、装置、设备及存储介质，该方法包括：首先采集数据集；该数据集包括清晰图，与清晰图匹配的雨图和雾图；然后利用采集到的数据集训练深度学习cgan网络；最后通过训练好的深度学习cgan网络对待处理图像进行去雨雾处理。考虑到图像的生成在天气雨雾时可能会造成的模糊情况，本申请使用深度学习cgan网络直接学习许多雨图和雾图，无论输入的待处理图像是雨图还是雾图时，都能有效识别，更好的利用整张图的特征，使图像特征信息不丢失，通过图像的相关性很好地还原出原图，达到很好的清晰化效果，更具有可靠性和准确性，并且能处理大多模糊图像，将图像清晰化更简便、更容易。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的图像去雨雾方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。