图像处理方法、图像去雨方法、装置、终端及介质与流程

本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理方法、一种图像处理装置、一种图像去雨方法、一种图像去雨装置、一种终端及一种计算机存储介质。

背景技术：

对图像去噪一直都是图像技术领域的重要研究课题，图像中任何可能妨碍用户进行信息接收的因素或者导致拍摄的图像不清晰的因素均可称为图像噪声。例如在下雨天，终端所拍摄的户外图像通常会包含雨线或者雨滴，这些雨线或者雨滴会导致图像不清晰，从而降低用户的体验。目前，图像去噪的方法主要有分层去噪的方法，该分层去噪的方法基于一些视觉特征(颜色、纹理以及形状等)将有噪图像分成噪声层和背景层，再将噪声层从该有噪图像中分离出来，留下背景层。实践发现现有这种分层去噪的方法可能会导致背景层的图像模糊和信息丢失，从而降低去噪后的图像的质量。

技术实现要素：

本发明实施例提供了一种图像处理方法、图像去雨方法、装置、终端及介质，可以解决去噪后的图像模糊和信息丢失的问题，提高去噪后的图像的质量。

一方面，本发明实施例提供了一种图像处理方法，该图像处理方法包括：

获取待处理的原始图像，所述原始图像包含噪声数据；

调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；

输出所述目标图像。

再一方面，本发明实施例提供了一种图像去雨方法，应用于终端，所述终端包括用于去噪处理的优化的网络模型，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的，该图像去雨方法包括：

若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；

对所述有雨图像进行去雨处理得到去雨图像；

在所述终端屏幕中显示所述去雨图像。

再一方面，本发明实施例提供了一种图像处理装置，该图像处理装置包括：

获取单元，用于获取待处理的原始图像，所述原始图像包含噪声数据；

处理单元，用于调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；

输出单元，用于输出所述目标图像。

再一方面，本发明实施例提供了一种图像去雨装置，应用于终端，所述终端包括用于去噪处理的优化的网络模型，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；该图像去雨装置包括：

获取单元，用于若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；

处理单元，用于对所述有雨图像进行去雨处理得到去雨图像；

显示单元，用于在所述终端屏幕中显示所述去雨图像。

再一方面，本发明实施例提供了一种终端，该终端包括输入设备和输出设备，所述终端还包括：

处理器，适于实现一条或一条以上指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或一条以上第一指令，所述一条或一条以上第一指令适于由所述处理器加载并执行如下步骤：

获取待处理的原始图像，所述原始图像包含噪声数据；

调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；

输出所述目标图像；或者，

所述计算机存储介质存储有一条或一条以上第二指令，所述一条或一条以上第二指令适于由所述处理器加载并执行如下步骤：

若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；

对所述有雨图像进行去雨处理得到去雨图像；

在所述终端屏幕中显示所述去雨图像。

再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或一条以上第一指令，所述一条或一条以上第一指令适于由处理器加载并执行如下步骤：

获取待处理的原始图像，所述原始图像包含噪声数据；

调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；

输出所述目标图像；或者，

所述计算机存储介质存储有一条或一条以上第二指令，所述一条或一条以上第二指令适于由处理器加载并执行如下步骤：

若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；

对所述有雨图像进行去雨处理得到去雨图像；

在所述终端屏幕中显示所述去雨图像。

本发明实施例在获取了待处理的包含噪声数据的原始图像之后，采用优化的网络模型对原始图像进行去噪处理得到目标图像；在图像去噪处理过程不需要对原始图像进行分层处理，从而可以保证目标图像的清晰度以及图像信息的完整性，进而提高去噪后的目标图像的质量。另外，本发明实施例所采用的优化的网络模型包括第一网络和第二网络，第一网络与第二网络可以通过对抗学习不断优化网络模型，这就使得优化的网络模型能够提供高质量的去噪处理服务，保证去噪后的图像的质量。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种网络优化方法的流程示意图；

图2是本发明实施例提供的一种图像处理方法的流程示意图；

图3是本发明实施例提供的一种生成网络的结构示意图；

图4是本发明实施例提供的一种判别网络的结构示意图；

图5a是本发明实施例提供的一种原始图像的示意图；

图5b是本发明实施例提供的一种目标图像的示意图；

图6是本发明实施例提供的一种图像去雨方法的流程示意图；

图7是本发明实施例提供的一种图像去雨方法的应用场景示意图；

图8是本发明实施例提供的另一种图像去雨方法的应用场景示意图；

图9是本发明实施例提供的另一种图像去雨方法的应用场景示意图；

图10是本发明实施例提供的另一种图像去雨方法的应用场景示意图；

图11a是本发明实施例提供的另一种图像去雨方法的应用场景示意图；

图11b是本发明实施例提供的另一种图像去雨方法的应用场景示意图；

图12是本发明实施例提供的一种终端屏幕的界面示意图；

图13是本发明实施例提供的一种图像处理装置的结构示意图；

图14是本发明实施例提供的一种图像去雨装置的结构示意图；

图15是本发明实施例提供的一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图像中任何可以妨碍用户进行信息接收的因素或者导致拍摄的图像不清晰的因素均可称为图像噪声；例如，人们在外出旅游时通常会拍摄很多美景的照片，但是可能会因为环境因素(如雨雪天等)而导致拍出的照片不清晰。又如，人们在拍摄目标图像(如人脸)时，可能会因为手的轻微抖动导致拍摄得到的人脸照片模糊。再如，在公共区域的重要位置设置的摄像头会因为风沙雨雪的遮挡，从而导致工作人员无法获取到清晰的图像。以上所述的图像中的影响图像清晰度的因素(如图像中的雨线、雪线或者模糊的人脸等)均可认为是图像噪声。

本发明实施例的相关技术提及现有技术在进行图像去噪处理时，通常都会选择分层去噪的方法；以对有雨图像进行去雨(雨线或雨滴)处理为例：首先可以根据视觉特征(如颜色、纹理、形状等)将有雨图像分成雨层和背景层，然后将雨层从该有雨图像中分离出来，留下背景层，该背景层的图像即为所获得的去雨图像。但是，当雨水的特征与背景图像的特征非常相似时(例如真实的雨线和带有条形图案的图像)，若仍使用该分层去噪的方法进行图像去雨，则可能会在分层过程中不能很好地区分雨线和背景中的某些纹理(例如背景图像中的条形图案)，从而导致背景层的图像模糊和信息丢失。除了上述所描写的分层去噪的方法之外，现有技术有时也可使用一个深层神经网络对图像进行去噪处理。需要说明的是，神经网络包括输入层、隐藏层和输出层，神经网络的层次是由隐藏层的数量决定的，一般地，若隐藏层的数量小于或等于设定值，则该神经网络可以被称作浅层神经网络；若隐藏层的数量大于设定值，则该神经网络可以被称作深层神经网络，此处的设定值可以根据经验确定，例如：设定值可以为5，即包含5个或5个以下隐藏层的神经网络可称为浅层神经网络，而包含5个以上隐藏层的神经网络可称为深层神经网络。现有主流技术通常使用的深层神经网络的层次较多(其隐藏层的数量通常会达到14层甚至更多)，导致图像色彩失真，并且在处理分辨率较高的图像时，采用深层神经网络去噪不仅计算时间长，还会占用大量的计算资源，从而会降低图像去噪的效率。由此可见，目前主流的图像去噪的方法具有如下缺点：(1)容易导致去噪图像模糊和信息丢失，去噪图像的清晰度较低；(2)容易导致图像色彩失真；(3)计算时间长，占用大量的计算资源。

为了解决现有技术的图像去噪方法所存在的问题，本发明实施例提出了一种图像处理方案的构想：首先，获取待处理的原始图像，所述原始图像包含噪声数据；此处的原始图像可以为例如有雨图像、有雪图像等等，相应地，原始图像所包含的噪声数据可以是例如雨线数据(或雨滴数据)或者雪线数据等等。其次，调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，此处的网络模型可包括第一网络和第二网络，所述第一网络可以为浅层神经网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。最后输出所述目标图像，相应地，该目标图像可以例如是去雨后的图像、去雪后的图像等等。本发明实施例中的图像处理方法具有如下优点：(1)相比较于分层去噪的方法，本发明实施例在进行图像去噪时，采用了一个优化的网络模型对原始图像(即有噪图像)进行去噪处理，从而得到目标图像(即去噪图像)。在图像去噪的过程中，不需要将图像进行分层处理，从而可以避免不能很好地区分雨线和背景中的某些纹理的技术问题，进而保证了目标图像的清晰度以及图像信息的完整性。(2)相比于采用一个深层神经网络去噪的方法，本发明实施例中所使用的优化的网络模型包含两个网络，两个网络通过对抗学习能够实现优化，从而提升去噪处理的效果，另外，第一网络可以选用浅层神经网络，相比于现有的深层神经网络，浅层神经网络在去噪处理时可以减少色彩失真，并且在图像处理过程中仅需占用少量的计算资源，且能快速地完成计算，图像去噪处理的效率更高。

在一个实施例中，所述网络模型可以为生成式对抗网络模型(generativeadversarialnetworks，gan)，所述第一网络可以为生成网络(简称g网络)，所述第二网络可以为判别网络(简称d网络)。gan模型是一种深度学习的模型，该模型主要通过框架中的两个网络(g网络和d网络)进行相互对抗学习，从而得到较好的输出。g网络是一个用于生成图像的网络，可以理解成图像生成器。本发明实施例中，g网络用于接收待处理的原始图像(有噪图像)，对该原始图像进行去噪处理后生成目标图像(去噪图像)。d网络是一个用于判别输入图像是否是真实无噪图像的网络，可以理解成图像判别器。本发明实施例中，当g网络生成一个目标图像后，会将该目标图像输入至d网络中进行判别，由d网络输出判别结果。在一个实施例中，该判别结果可以是“0”或者“1”，“0”表示d网络判别出输入图像是生成的目标图像而非真实无噪图像，表明生成的目标图像与真实无噪图像差异较为明显，不够真实；“1”表示d网络判别出输入图像是真实无噪图像，表明生成的目标图像与真实无噪图像差异较小，生成的目标图像较为真实。由此可见，g网络的目标是使生成的目标图像无限逼近于真实无噪图像，而d网络的目标是尽最大能力将g网络生成的目标图像和真实无噪图像区分开。因此，g网络和d网络通过不断相互对抗学习来达到各自的目标，该g网络和d网络之间相互对抗学习的过程即是对gan模型进行不断优化的过程。

下面以网络模型为gan模型为例，结合附图1详细阐述gan模型的优化过程。请参见图1，该gan模型的优化过程可包括以下步骤s101-s104：

s101，获取用于网络优化的合成图像。

所述合成图像包括一个有噪样本图像和一个无噪样本图像。在具体实现中，本步骤s101可以包括以下步骤s11-s12：

s11，获取用于网络优化的数据集，所述数据集包括至少一个有噪样本图像和至少一个无噪样本图像，所述有噪样本图像与所述无噪样本图像一一对应。

s12，选取任一个有噪样本图像及其对应的无噪样本图像构成所述合成图像。

步骤s11-s12中，由于真实有噪图像往往很难有对应的无噪标签，因此本发明实施例在进行网络优化的过程中，采用的用于网络优化的数据集可以是预先设置好的用于进行网络优化的数据集合，该数据集主要收录有两部分数据，一部分为无噪样本图像集合，可采用y表示，该无噪样本图像集合中包括多个无噪样本图像y。另一部分为有噪样本图像集合，可采用x表示，该有噪样本图像集合中包括多个有噪样本图像x。无噪样本图像与有噪样本图像一一对应。此处的有噪样本图像指的是基于所述无噪样本图像，通过图像合成技术所得到的图像。选取任一个有噪样本图像及其对应的无噪样本图像以数据对的形式进行组合即可构成所述合成图像，例如，从有噪样本图像集合x中选取x，从无噪样本图像集合y中选取与x对应的y，则合成图像可表示为(x,y)，其中x∈x，y∈y。

s102，将所述合成图像输入至所述生成网络进行去噪处理得到去噪样本图像。g网络的输入是上述步骤s101所获得的合成图像(x,y)，而g网络的输出是与输入的合成图像一样大小的去噪样本图像g(x)。

s103，将所述去噪样本图像及所述合成图像包括的无噪样本图像一并输入至所述判别网络进行判别处理得到判别结果。

s104，根据所述判别结果对所述生成网络和所述判别网络进行优化。

在具体实现中，本步骤s104可以包括以下步骤s21-s22：

s21，获取所述网络模型的优化公式，并根据所述判别结果确定所述优化公式的值。

所述优化公式可以如式1.1所示：

上式1.1中，y表示输入至d网络的无噪样本图像，d(y)表示将无噪样本图像y输入至d网络中所得到的判别结果。x表示有噪样本图像，g(x)表示去噪样本图像；d(g(x))表示将去噪样本图像输入至d网络中所得到的判别结果。

通过式1.1所示的优化公式可知，g网络的目的是使优化公式的值达到最小，这样才能让d网络最大可能地将生成的去噪样本图像判别为无噪样本图像。而d网络的目的是使优化公式的值达到最大，这样才可以正确区分生成的去噪样本图像和无噪样本图像。g网络和d网络通过不同的方法对同一个公式进行优化，相反的优化目标使得这两个网络可以学习更好的特征。在进行网络优化的过程中，最开始g网络输出的去噪样本图像g(x)和无噪样本图像y是不同的，此时的d网络可以很快地学习到g(x)和y的区别，输出判别结果；并还可以根据学习到的区别来更新自己的网络参数以优化d网络，从而提高d网络的判别能力。而g网络为了最小化该优化公式的值，则可以在接收到d网络输出的判别结果以后，根据该判别结果反向传播后得到的网络参数进行g网络的网络参数更新，通过减小log(1-d(g(x)))的值，使得g(x)与y更加接近。然后d网络会学习到新的g(x)与y之间的区别，并输出新的判别结果，以及根据新的区别再次更新自己的网络参数。而g网络在下一次优化过程中也会继续更新自己的网络参数来减小g(x)与y之间的差距。通过这样反复的对抗学习，该优化公式的值就会趋于一个平衡的状态，所谓的平衡的状态是g网络所生成的去噪样本图像g(x)会逐渐逼近无噪样本图像y；并且当g网络所生成的g(x)无限逼近于y时，d网络会无法区分g网络所生成的g(x)与y。

s22，对所述判别网络进行优化以增大所述优化公式的值，对所述生成网络进行优化以减小所述优化公式的值。

在一个实施例中，d网络可以通过最小化d网络的全局损失函数来增大所述优化公式的值，因此对所述d网络进行优化的目标是最小化d网络的全局损失函数，那么步骤s22可以包括步骤s221-s222：

s221，获取所述判别网络的全局损失函数，以及所述判别网络的当前网络参数。

所述d网络的全局损失函数ld可以用于计算所述d网络在判别所述去噪样本图像时所产生的损失值，所述d网络的全局损失函数ld可以参见式1.2所示：

s222，调整所述判别网络的当前网络参数以减小所述判别网络的全局损失函数的值，以优化所述判别网络。

在另一个实施例中，g网络可以通过最小化g网络的全局损失函数来减小所述优化公式的值，因此对所述g网络进行优化的目标是最小化g网络的全局损失函数，那么步骤s22还可以包括步骤s223-s224：

s223，获取所述生成网络的全局损失函数，以及所述生成网络的当前网络参数。

生成网络的全局损失函数包括至少两个维度的局部损失函数；所述维度包括以下任一种：色彩空间维度、网络损失维度、语义维度。所述g网络的全局损失损失函数lg可以确定g网络在生成去噪样本图像时所产生的图像损失值，因此，可以根据该全局损失函数lg来优化g网络，以使得优化后的g网络在生成去噪样本图像时所产生的图像损失值最小，从而降低去噪样本图像的色彩失真，提高去噪样本图像的清晰度。因此，一个合适的全局损失函数lg对g网络生成的去噪样本图像的质量有着至关重要的作用。本发明实施例在获取所述g网络的全局损失函数lg的时候，可以先获取所述g网络中的至少两个维度的局部损失函数，再采用预设加权的方式对所述至少两个维度的局部损失函数进行加权处理，得到所述全局损失函数lg。例如，可以先获取局部损失函数：rgb色彩损失函数、ycbcr色彩损失函数、判别网络损失函数和感知特征损失函数。

所述rgb色彩损失函数用于计算去噪样本图像g(x)与无噪样本图像y的均方误差，具体的函数可以参见式1.3所示：

所述ycbcr色彩损失函数用于计算去噪样本图像g(x)与无噪样本图像y在转换到ycbcr空间后的均方误差。在一个实施例中，在计算过程中，y通道和cbcr通道分开计算，y通道用于优化去噪结果，cbcr通道用于减轻色彩失真。具体的函数可以参见式1.4所示：

其中，x表示rgb空间到ycbcr空间的转换。由于这是一个线性变换，因此在计算量上远小于网络优化时卷积函数的计算量，因此不会对网络优化时的资源占用造成影响。

采用rgb色彩损失函数和ycbcr色彩损失函数来优化g网络，可以提高g网络生成的去噪样本图像的质量，从而可以优化去噪结果。

所述判别网络损失函数用于计算判别网络把生成的去噪样本图像g(x)判别成无噪样本图像y的概率的对数，具体的函数可以参见式1.5所示：

所述感知特征损失函数用于计算去噪样本图像g(x)与无噪样本图像y输入网络φ后输出的两张特征图φ(g(x))和φ(y)的均方误差，通过已经训练好的网络φ来判断两张图像的特征是否相同。具体的函数可以参见式1.6所示：

其中，该网络φ可用于识别图像的语义，例如识别该图像是人脸图像，或者是风景图像，亦或者是动物图像，等等。将去噪样本图像g(x)与无噪样本图像y输入网络φ，网络φ可以通过分别识别这两张图像的语义信息，从而判断这两张图的特征点是否相同。在一个实施例中，在进行全局损失函数lg的确定中，可以选在imagenet上训练好的vgg网络，取从输入到输出的中间部分的特征作为训练时使用的网络φ。在其他实施例中，在选择该感知特征损失函数中的网络φ时，也可以选择其他网络的中间输出，如resnet，googlenet，等等。

上述所提及到的四个局部损失函数中的n均表示数据集中样本对的总数，即数据集中的数据对(x,y)的数量。在获取了上述的四个局部损失函数以后，对其进行加权处理，可得到所述g网络的全局损失函数lg，即具体的全局损失函数lg可以参见式1.7所示：

lg＝lrgb+λ1la+λ2lf+λ3lyuv式1.7

其中，λ1、λ2和λ3是调节la、lf和lyuv三个局部损失函数的参数，用于平衡全局损失函数lg的权重。对于该λ1、λ2和λ3的取值，可以根据图像去噪过程所总结的经验值来确定。g网络的优化目标就是最小化该全局损失函数lg，该全局损失函数lg的值越小，则表明g网络生成的去噪样本图像g(x)与无噪样本图像y的差距越小。

本发明实施例采用至少两个维度的局部损失函数对g网络进行优化，相比较于现有的只用一种损失函数(如rgb色彩损失函数)，本发明实施例可以在减少图像色彩失真的同时，还可以通过判别网络损失函数更好地去除噪声，采用感知特征损失函数提高去噪图像的清晰度。由此可以看出，本发明实施例所采用的全局损失函数lg可以更好地提高去噪图像的质量。

s224，按照减小所述生成网络的全局损失函数的值的原则，将所述判别结果进行反向传播以调整所述生成网络的当前网络参数，以优化所述生成网络。

由于所述全局损失函数lg可以确定g网络在生成去噪样本图像时所产生的图像损失值，因此按照减小所述g网络的全局损失函数lg的值的原则，将所述判别结果进行反向传播以调整所述g网络的当前网络参数，可以使得调整了参数后的g网络在下次生成去噪样本图像的过程中，减少图像的色彩损失以及特征损失，从而提高去噪图像的清晰度，解决去噪后图像模糊的问题。在具体实施过程中，先将所述去噪样本图像g(x)与所述无噪样本图像y代入所述全局损失函数lg中，得到所述g网络的损失值。然后按照减小所述生成网络的全局损失函数的值的原则，对所述判别结果中进行反向计算以调整所述g网络的当前网络参数。

在一个实施例中，对所述网络模型进行网络优化时，可以采取更新n次d网络的网络参数后，更新1次g网络的网络参数的优化方式。在更新某个网络的时候，另一个网络的参数不更新，只进行前向计算，得到的梯度保留并用于另一个网络的反向计算。所谓的前向计算是指网络从输入到输出的计算，所谓的反向计算是指根据链式法则反向计算梯度，改变网络参数。例如，对d网络进行参数更新的时候，保持g网络的参数信息不变，d网络所得到的梯度信息用于反向传播，以得到用于更新g网络的参数信息。又例如，对g网络进行参数更新的时候，保持d网络的参数信息不变，g网络所得到的梯度信息用于反向传播以得到更新d网络的参数信息。其中，n的取值可以是1，也可以是取大于1的任何正整数，具体的取值可以根据实际的任务需求来确定。在其他实施例中，对生成式对抗网络进行网络优化时，也可以先对g网络进行网络优化，再对d网络进行网络优化，即先更新g网络的网络参数，后更新d网络的网络参数。

基于上述描述可知，本发明实施例的网络模型中，第一网络用于对有噪图像进行去噪处理得到去噪图像，而第二网络用于对第一网络所生成的去噪图像进行判别得到判别结果，将所述判别结果反向传播又可以反过来优化第一网络的网络参数，使得优化后的第一网络生成的去噪图像更加真实。

基于上述描述，本发明实施例提供一种图像处理方法，参见图2，该方法包括以下步骤s201-s203。

s201，获取待处理的原始图像，所述原始图像包含噪声数据。

该原始图像可以是指包含任何可能妨碍用户进行信息接收的因素或者导致拍摄的图像不清晰的因素的图像，如包含有雨线、雪线的图像等等。在一个实施例中，获取待处理的原始图像的方式可以有两种：(1)主动获取待处理的原始图像。例如在下雨天，用户使用终端进行图像拍摄时，若终端检测到摄像组件所拍摄的图像中包含雨线时，则终端可以主动获取所述摄像组件所拍摄的图像，并将所述摄像组件所拍摄的图像作为待处理的原始图像。(2)根据用户的指令获取待处理的原始图像。例如在下雨天，用户使用终端进行图像拍摄后，终端会获取摄像组件所拍摄的图像，并在终端屏幕中显示该图像以供用户查看。若用户发现该所拍摄的图像中包含了雨线，导致了图像不清晰，则可以向终端输入一个处理指令。若终端接收到该处理指令，则会获取该所拍摄的图像，并将该所拍摄的图像作为待处理的原始图像。在一个实施例中，若用户发现终端的图库中的一些历史图像为有噪图像，则用户也可以向该终端输入处理指令，以触发该终端获取这些历史图像作为待处理的原始图像，并对这些历史图像进行去噪处理，以得到清晰的历史图像。在一个实施例中，该处理指令可以是用户通过点击或者按压所述摄像组件所拍摄的图像所生成的指令。例如，用户可以按压该所拍摄的图像，使按压力度或按压时长达到预设值，此时的终端可以接收到该处理指令。再一个实施例中，该处理指令也可以是用户通过按压终端上的按键所生成的指令。再一个实施例中，该处理指令还可以是用户通过向终端输入语音而生成的指令。例如，用户可以对着终端说“请将该拍摄的图像进行去噪处理，并输出去噪图像”，此时的终端可以接收到该处理指令。应理解的是，上述只是举例，并非穷举。

s202，调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像。

其中，所述网络模型包括第一网络和第二网络，所述第一网络可以为浅层神经网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。由于浅层神经网络与深层神经网络相比，可以减少图像色彩的失真，且可以占用少量的计算资源，并在短时间完成计算，因此采用该浅层神经网络来进行图像处理，可以提高图像的处理效率，减少图像的色彩失真。

在一个实施例中，所述网络模型可以为生成式对抗网络模型，所述第一网络为生成网络，所述第二网络为判别网络。所述生成网络的全局损失函数包括至少两个维度的局部损失函数，所述维度包括以下任一种：色彩空间维度、网络损失维度、语义维度。所述色彩空间维度可以包括rgb空间维度和ycbcr空间维度，所述网络损失维度可以包括判别网络损失维度，所述语义维度可以包括感知特征损失维度。对应的，色彩空间维度的局部损失函数可以是上述所列出的rgb色彩损失函数lrgb和ycbcr色彩损失函数lyuv，网络损失维度的局部损失函数可以是判别网络损失函数la，语义维度的损失函数可以是感知特征损失函数lf。

在一个实施例中，该生成网络的网络结构可以是一个全卷积网络，包括三个卷积层，每个卷积层后面均可以连接激活函数(如tanh激活函数)，并将最后一层激活函数的输出加上输入作为该生成网络的输出，具体的结构示意图可以如图3所示。对应的，调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像的具体实施方式可以是：将所述原始图像输入至所述生成网络以去除所述噪声数据，获得中间图像。将所述中间图像与所述原始图像进行叠加得到目标图像。其中，所述噪声数据包括以下任一种：雨线数据、雨滴数据、雪线数据。本发明实施例在输出目标图像时，采用了将生成网络的输出与输入进行加和的方式，可以减小输出与输入的差距，进一步减少色彩失真，并在网络优化中可以加速网络的收敛速度。

在一个实施例中，该判别网络的网络结构可以是一个卷积神经网络，包括六个卷积层和一个全连接层。第一个卷积层后面可以只有激活函数，其他卷积层后面除了激活函数以外还可以有用于加速神经网络优化的加速算法(如batchnorm算法)。该判别网络最后连接激活函数(如sigmoid激活函数)作为该判别网络的输出，具体的结构示意图可以如图4所示。应理解的是，在其他实施例中，该生成网络和判别网络的网络结构可以改变，即该生成网络和判别网络的网络结构中所包括的卷积层个数可以改变，激活函数以及加速算法的使用均可以有其他的选择组合方式，本发明实施例不作限定。

s203，输出所述目标图像。

本发明实施例在获取了待处理的包含噪声数据的原始图像之后，采用了一个优化的网络模型对原始图像进行去噪处理以得到去噪后的目标图像。不需要将原始图像进行分层处理，从而可以保证目标图像的清晰度以及图像信息的完整性。所述优化的网络模型包括了第一网络和第二网络，所述第一网络可以为浅层神经网络，因此在计算时间和计算资源占用方面都优于其他方法。依赖于视觉特征的去噪方法需要的计算时间长，并且视觉特征需要大量的训练数据。在处理同样大小图像的情况下，本发明实施例所采用的去噪方法的计算时间远小于依赖视觉特征的分层方法的计算时间。

为了更清楚地说明本发明实施例，下面将结合具体例子加以说明。

为了得到优化的网络模型，该网络模型为生成式对抗网络模型，则需要通过生成网络和判别网络对生成式对抗网络模型进行网络优化。在进行网络优化的过程中，可以采用一些真实无雨图像集合(即无噪样本图像集合y)中的真实无雨图像和合成的雨图数据集合(即有噪样本图像集合x)中的有噪样本图像来对该生成式对抗网络进行网络优化。在进行网络优化时，每个迭代的输入都是成对的合成图像(x,y)。其中，x∈x，y∈y。将该合成图像输入至生成式对抗网络的生成网络中，经过生成网络的全卷积网络后，得到和输入图像一样大的去雨图像g(x)。然后将去雨图像g(x)和真实无雨图像y输入判别网络中，得到“0”或者“1”的判别结果。若判别结果为“1”，则说明判别网络无法正确区分该去雨图像g(x)与真实无雨图像y了。若判别结果为“0”，则说明判别网络可以区分出该去雨图像g(x)为合成图像。因此，在进行网络优化的过程中，可采用用于减少色彩损失的色彩损失函数，用于更好去除雨线的判别网络损失函数，以及用于优化去雨效果的感知特征损失函数等损失函数确定全局损失函数lg，生成网络可以按照使自己的全局损失函数的值变小的原则，根据判别结果来不断优化自己的网络参数，每次更新了参数值的生成网络均会根据该合成图像(x,y)再次生成去雨图像g(x)，并将此次的g(x)输入至判别网络中进行判别。而判别网络在每次的判别过程中，也会不断优化自己的网络参数，以提高判别结果的准确性。如此循环，直到生成网络生成的去雨图像g(x)无限逼近于真实无雨图像y，而判别网络无法区分出生成的去雨图像g(x)与真实无雨图像y之间的区别。此时，意味着网络模型已经达到了最优化的状态，结束对网络模型的优化，得到优化的网络模型。在得到优化的网络模型以后，可以将如图5a所示的有雨图像(即待处理的原始图像)输入至该优化的网络模型中，得到并输出如图5b所示的去雨图像(即目标图像)。

本发明实施例的优化的网络模型中用于进行去噪处理的第一网络采用浅层神经网络，这样既能够完成图像去噪处理任务，同时占用少量的计算资源，可短时间完成计算。并且，浅层神经网络在图像处理过程中能够提取图像特征(例如：语义特征)，使得处理后的去噪图像可以更加清晰，去除雨线的同时还可以保留背景中的某些物体的视觉特征(例如纹理特征)。

基于上述描述，本发明实施例还提供一种图像去雨方法，该图像去雨方法应用于终端，所述终端包括用于去噪处理的优化的网络模型，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。参见图6，该方法包括以下步骤s301-s303：

s301，若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据。

在一个实施例中，图像去雨的触发事件可以是指用户点击终端的拍摄按钮而产生的事件。用户通过终端的摄像组件进行图像拍摄时，终端可以将摄像组件所拍摄到的图像显示在终端屏幕中。在下雨天，用户若要拍摄户外的景色，则在点击终端的拍摄按钮之后，终端屏幕中所显示的图像会包含雨线数据和/或雨滴数据，如图7所示。而终端检测到用户点击拍摄按钮时，终端则检测到了图像去雨的触发事件，此时，终端可以从该终端屏幕中获取包含雨线数据和/或雨滴数据的有雨图像。

再一个实施例中，图像去雨的触发事件可以是用户输入的图像去雨的处理指令而产生的事件。该用户输入的图像去雨的处理指令可以是按压图像指令。例如，用户在浏览图库时，终端屏幕可以显示图库中的每一张图像以供用户进行查看。当用户发现包含雨线数据和/或雨滴数据的图像时，可以按压该包含雨线数据和/或雨滴数据的图像，如图8所示。终端检测到用户按压图像的力度或者时长超过预设值时，则可以认为是检测到了图像去雨的触发事件，从而获取终端屏幕中的有雨图像。在一个实施例中，若终端检测到用户按压图像的力度或者时长超过预设值，则还可以在终端屏幕中弹出一个提示框，用于提示用户是否要进行图像去雨处理，如图9所示。若接收到用户对该提示框的确认指令后，则获取终端屏幕中的有雨图像。再一个实施例中，该用户输入的图像去雨处理的指令还可以是用户点击终端屏幕中的上传按钮，如图10所示。当终端检测到用户点击此上传按钮，则可以认为检测到了图像去雨的触发事件。当然，该上传按钮也可以是终端的实体按键，在此不作限定。再一个实施例中，该用户输入的图像去雨处理的指令还可以是语音指令。例如，用户可以对着终端说“请将当前屏幕中的有雨图像进行去雨处理”。终端若获取到该条语音指令，则可以获取终端屏幕中的有雨图像。

再一个实施例中，图像去雨的触发事件可以是用户指纹匹配成功事件。例如，用户可以预先向终端录入一个用于指示终端执行图像去雨处理操作的指纹，如图11a所示。用户在浏览到有雨图像时，可以向终端输入此指纹，如图11b所示。终端在接收到此指纹以后，会将接收到的指纹与终端指纹数据库中的指纹进行匹配，若该接收到的指纹与预先录入的用于指示终端执行图像去雨处理操作的指纹匹配成功，则可以认为终端获取到了图像去雨的触发事件，从而获取终端屏幕中的有雨图像。

需要说明的是，以上对于图像去雨的触发事件均是举例，并非穷举。

s302，对所述有雨图像进行去雨处理得到去雨图像。

具体的处理过程可以参加上述实施例中的步骤s202，本发明实施例不再赘述。

s303，在所述终端屏幕中显示所述去雨图像。

在步骤s302对有雨图像进行去雨处理得到去雨图像以后，可以在终端屏幕中显示所述去雨图像，如图12所示。

本发明实施例若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，并调用终端中的优化的网络模型对所述有雨图像进行去雨处理以得到去雨图像，不需要将有雨图像进行分层处理，从而可以保证去雨图像的清晰度以及图像信息的完整性。在得到去雨图像以后，可以在终端屏幕中显示该去雨图像。

基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置，该图像处理装置可以是运行于服务器中的一个计算机程序(包括程序代码)，也可以是包含在终端中的一个实体装置。该图像处理装置可以执行图1和图2所示的方法。请参见图13，该图像处理装置运行如下单元：

获取单元101，用于获取待处理的原始图像，所述原始图像包含噪声数据。

处理单元102，用于调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。

输出单元103，用于输出所述目标图像。

在一种实施方式中，所述网络模型为生成式对抗网络模型，所述第一网络为生成网络，所述第二网络为判别网络；

所述生成网络的全局损失函数包括至少两个维度的局部损失函数；

所述维度包括以下任一种：色彩空间维度、网络损失维度、语义维度。

再一种实施方式中，所述处理单元102具体用于：

将所述原始图像输入至所述生成网络以去除所述噪声数据，获得中间图像；

将所述中间图像与所述原始图像进行叠加得到目标图像；

其中，所述噪声数据包括以下任一种：雨线数据、雨滴数据、雪线数据。

再一种实施方式中，所述图像处理装置还包括：

优化单元104，用于通过所述生成网络和所述判别网络之间的对抗学习对所述网络模型进行优化，得到所述优化的网络模型；

其中，所述生成网络为浅层神经网络。

再一种实施方式中，所述优化单元104具体用于：

获取用于网络优化的合成图像，所述合成图像包括一个有噪样本图像和一个无噪样本图像；

将所述合成图像输入至所述生成网络进行去噪处理得到去噪样本图像；

将所述去噪样本图像及所述合成图像包括的无噪样本图像一并输入至所述判别网络进行判别处理得到判别结果；

根据所述判别结果对所述生成网络和所述判别网络进行优化。

再一种实施方式中，所述获取单元101具体用于：

获取用于网络优化的数据集，所述数据集包括至少一个有噪样本图像和至少一个无噪样本图像，所述有噪样本图像与所述无噪样本图像一一对应；

选取任一个有噪样本图像及其对应的无噪样本图像构成所述合成图像。

再一种实施方式中，所述优化单元104具体用于：

获取所述网络模型的优化公式，并根据所述判别结果确定所述优化公式的值；

对所述判别网络进行优化以增大所述优化公式的值，对所述生成网络进行优化以减小所述优化公式的值。

再一种实施方式中，所述优化单元104具体用于：

获取所述判别网络的全局损失函数，以及所述判别网络的当前网络参数；

调整所述判别网络的当前网络参数以减小所述判别网络的全局损失函数的值，以优化所述判别网络。

再一种实施方式中，所述优化单元104具体用于：

获取所述生成网络的全局损失函数，以及所述生成网络的当前网络参数；

按照减小所述生成网络的全局损失函数的值的原则，将所述判别结果进行反向传播以调整所述生成网络的当前网络参数，以优化所述生成网络。

根据本发明的一个实施例，图1和图2所示的方法所涉及的各个步骤均可以是由图13所示的图像处理装置中的各个单元来执行的。例如，图1中网络优化过程所涉及的步骤可以由图13中所示的优化单元104来执行。图2中所示的步骤s201、s202、s203可以分别由图13中所示的获取单元101、处理单元102和输出单元103来执行。

根据本发明的另一个实施例，图13所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图1中和图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图13中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本发明实施例在获取了待处理的包含噪声数据的原始图像之后，采用优化的网络模型对原始图像进行去噪处理得到目标图像；在图像去噪处理过程不需要对原始图像进行分层处理，从而可以保证目标图像的清晰度以及图像信息的完整性，进而提高去噪后的目标图像的质量。另外，本发明实施例所采用的优化的网络模型包括第一网络和第二网络，第一网络与第二网络可以通过对抗学习不断优化网络模型，这就使得优化的网络模型能够提供高质量的去噪处理服务，保证去噪后的图像的质量。

基于上述图像去雨方法实施例的描述，本发明实施例还公开了一种图像去雨装置，所述图像去雨装置应用于终端，所述终端包括用于去噪处理的优化的网络模型，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。当然，该图像去雨装置也可以是运行于服务器中的一个计算机程序(包括程序代码)。该图像去雨装置可以执行图6所示的方法。参见图14，该图像去雨装置运行如下单元：

获取单元201，用于若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据。

处理单元202，用于对所述有雨图像进行去雨处理得到去雨图像。

显示单元203，用于在所述终端屏幕中显示所述去雨图像。

本发明实施例若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，并调用终端中的优化的网络模型对所述有雨图像进行去雨处理以得到去雨图像，不需要将有雨图像进行分层处理，从而可以保证去雨图像的清晰度以及图像信息的完整性。在得到去雨图像以后，可以在终端屏幕中显示该去雨图像。

基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图15，所述终端内部结构至少包括处理器301、输入设备302、输出设备303以及计算机存储介质304。其中，终端内的处理器301、输入设备302、输出设备303以及计算机存储介质304可通过总线或其他方式连接，在本发明实施例所示图15中以通过总线305连接为例。所述计算机存储介质304用于存储计算机程序，所述计算机程序包括程序指令，所述处理器301用于执行所述计算机存储介质304存储的程序指令。处理器301(或称cpu(centralprocessingunit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；在一个实施例中，本发明实施例所述的处理器301可以用于根据获取到的待处理的原始图像进行一系列的图像处理，包括：获取待处理的原始图像，所述原始图像包含噪声数据；调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像；输出所述目标图像，等等。再一个实施例中，本发明实施例所述的处理器301还可以用于根据获取到的有雨图像进行一系列的图像去雨操作，包括：若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；对所述有雨图像进行去雨处理得到去雨图像；在所述终端屏幕中显示所述去雨图像，等等。本发明实施例还提供了一种计算机存储介质(memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器301加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或一条以上第一指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或一条以上第一指令由处理器301加载并执行如下步骤：

获取待处理的原始图像，所述原始图像包含噪声数据；

调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，其中，所述网络模型包括第一网络和第二网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的；

输出所述目标图像。

在一个实施例中，所述网络模型为生成式对抗网络模型，所述第一网络为生成网络，所述第二网络为判别网络；

所述生成网络的全局损失函数包括至少两个维度的局部损失函数；

所述维度包括以下任一种：色彩空间维度、网络损失维度、语义维度。

在一个实施例中，在调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

将所述原始图像输入至所述生成网络以去除所述噪声数据，获得中间图像；

将所述中间图像与所述原始图像进行叠加得到目标图像；

其中，所述噪声数据包括以下任一种：雨线数据、雨滴数据、雪线数据。

在一个实施例中，在获取待处理的原始图像之前，该一条或一条以上第一指令由该处理器301加载，还用于执行：

通过所述生成网络和所述判别网络之间的对抗学习对所述网络模型进行优化，得到所述优化的网络模型；

其中，所述生成网络为浅层神经网络。

在一个实施例中，在通过所述生成网络和所述判别网络之间的对抗学习对所述网络模型进行优化，得到所述优化的网络模型时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

获取用于网络优化的合成图像，所述合成图像包括一个有噪样本图像和一个无噪样本图像；

将所述合成图像输入至所述生成网络进行去噪处理得到去噪样本图像；

将所述去噪样本图像及所述合成图像包括的无噪样本图像一并输入至所述判别网络进行判别处理得到判别结果；

根据所述判别结果对所述生成网络和所述判别网络进行优化。

在一个实施例中，在获取用于网络优化的合成图像时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

获取用于网络优化的数据集，所述数据集包括至少一个有噪样本图像和至少一个无噪样本图像，所述有噪样本图像与所述无噪样本图像一一对应；

选取任一个有噪样本图像及其对应的无噪样本图像构成所述合成图像。

在一个实施例中，在根据所述判别结果对所述生成网络和所述判别网络进行优化时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

获取所述网络模型的优化公式，并根据所述判别结果确定所述优化公式的值；

对所述判别网络进行优化以增大所述优化公式的值，对所述生成网络进行优化以减小所述优化公式的值。

在一个实施例中，在对所述判别网络进行优化以增大所述优化公式的值时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

获取所述判别网络的全局损失函数，以及所述判别网络的当前网络参数；

调整所述判别网络的当前网络参数以减小所述判别网络的全局损失函数的值，以优化所述判别网络。

在一个实施例中，在对所述生成网络进行优化以减小所述优化公式的值时，该一条或一条以上第一指令由该处理器301加载，还用于执行：

获取所述生成网络的全局损失函数，以及所述生成网络的当前网络参数；

按照减小所述生成网络的全局损失函数的值的原则，将所述判别结果进行反向传播以调整所述生成网络的当前网络参数，以优化所述生成网络。

本发明实施例在获取了待处理的包含噪声数据的原始数据之后，采用了一个优化的网络模型对原始图像进行去噪处理以得到去噪后的目标图像。不需要将原始图像进行分层处理，从而可以保证目标图像的清晰度以及图像信息的完整性。所述优化的网络模型包括了第一网络和第二网络，所述第一网络可以为浅层神经网络，因此在计算时间和计算资源占用方面都优于其他方法。依赖于视觉特征的去噪方法需要的计算时间长，并且视觉特征需要大量的训练数据。在处理同样大小图像的情况下，本发明实施例所采用的去噪方法的计算时间远小于依赖视觉特征的分层方法的计算时间。

再一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或一条以上第二指令，以实现上述有关图像去雨实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或一条以上第二指令由处理器301加载并执行如下步骤：

若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，所述有雨图像包含雨线数据和/或雨滴数据；

对所述有雨图像进行去雨处理得到去雨图像；

在所述终端屏幕中显示所述去雨图像。

本发明实施例若检测到图像去雨的触发事件，则获取终端屏幕中的有雨图像，并调用终端中的优化的网络模型对所述有雨图像进行去雨处理以得到去雨图像，不需要将有雨图像进行分层处理，从而可以保证去雨图像的清晰度以及图像信息的完整性。在得到去雨图像以后，在终端屏幕中显示该去雨图像。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。