一种基于生成对抗网络的水下图像去噪方法与流程

本发明涉及水下图像处理领域，尤其是一种水下图像的去噪方法。

背景技术：

水下图像在海洋资源开发、探索领域发挥着重要作用，主要应用于以下几个方面：(1)军事方面，可以探测识别水下目标，实现水下高清成像，便于搜寻打捞海底沉船与飞机残骸等；(2)环境保护方面，可以监视海洋物种迁徙与海洋生态环境变化等；(3)工程方面，可以监控海底工程建设、实现深海工作站的对接以及为工程后续的全自动检修维护提供便利。相对于空气中成像，在水中拍摄光学图像的环境较为复杂。由于拍摄过程受到水中浮游微生物、杂质以及水体本身的散射效应，导致拍摄得到的水下图像往往模糊不清。通常而言，对水下图像进行一定程度的增强处理，可以使得捕获的目标更加清晰，其中视网膜增强是最为常用的算法之一。但是，经视网膜增强后的水下图像仍然包含大量的噪声，对后期的目标检测、目标识别等任务造成极大的困扰。因此，对增强后的图像进行去噪是非常有必要的。近年来，依赖于深度学习的图像处理、计算机视觉算法均取得了显著的进步。目前而言，大量基于深度学习的图像去噪工作已在国内外开展。文献“zhangk,zuow,cheny,etal.beyondagaussiandenoiser:residuallearningofdeepcnnforimagedenoising.ieeetransactionsonimageprocessing,2017,26(7):3142-3155”提出了一种基于cnn网络的图像去噪方法，该方法依赖于“噪声图像＝图像+噪声”机制，通过训练使网络不断模拟逼近噪声，训练完成后利用“含噪图像-噪声”得到清晰图像。

该方法模型简单，可有效去除已知属性的噪声，但对于水下未知属性的噪声，方法的有效性会大大降低，同时由于卷积操作会导致去噪后图像的边缘轮廓变得模糊，细节信息损失严重。

技术实现要素：

为了克服现有技术的不足，本发明提供一种基于生成对抗网络的水下图像去噪方法，利用生成对抗网络模型与感知代价函数，对视网膜增强后的水下图像进行去噪处理，同时保留并且增强图像中的边缘纹理信息。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一：生成对抗网络结构模型

生成对抗网络包括生成网络与对抗网络两个子网络，分别记为g网络与d网络，在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(convolutionallayer，conv)与非线性函数的激活层，得到64维度的特征映射图，在激活层中，采用lrelu(leakyrectifiedlinearunit)函数，然后将特征映射图输入到级联的残差块，获取层次更深的特征映射图，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练；最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果；

所有卷积层的卷积核的尺寸均设为3×3，在生成网络中，批归一化层(batchnormalization，bn)级联到卷积层之后；

在对抗网络中，串联卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息；

步骤二：计算生成网络的感知代价

在生成网络中采用感知相似度计算生成网络的输出与清水标签图像之间的相似性，令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与l(x，y)分别通过vgg-19网络映射到特征空间然后计算感知代价，感知代价公式如公式(1)所示：

式中，||·||2表示计算二范数；

对于特征空间利用预训练好的深度网络模型vgg-19将图像空间映射到特征空间，vgg-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征，选取vgg-19中第五个卷积块的第四个卷积层的输出得到特征空间

步骤三：计算生成网络的生成代价

生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价，对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1；生成网络训练过程中，对抗网络的输出经sigmoid函数激活后，应往标签1的方向逼近，生成代价公式如公式(2)所示：

式中，为生成代价，d(·)为对抗网络的映射过程；

步骤四：计算对抗网络的对抗代价

在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1，其对抗网络的训练代价如公式(3)所示：

式中，为对抗代价；

步骤五：网络训练

基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价函数的偏导数作为代价梯度，利用反向传播算法与梯度下降算法优化网络参数，其中γ为生成代价的权重；然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价，利用梯度下降算法更新对抗网络的参数，对抗网络输入分别为生成网络的输出图像且标签为0、无噪的标签图像标签为1，公式(3)的偏导数作为代价梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练，依次重复训练生成网络与对抗网络，直至代价不再下降，网络训练完成后，将f(x，y)输入到生成网络g，其输出即为去噪后的图像。

本发明的有益效果是本发明去噪效果明显并且增强了边缘纹理，网络训练过程中标签图像制作更容易。根据提出的生成对抗网络模型及对抗训练机制可以看出，本发明具有很好的去噪效果。在创建的水下图像数据集上对发明的去噪方法的有效性进行测试，相对于文献中的cnn网络去噪方法，本发明提出的基于生成对抗网络的水下图像去噪方法在四种图像质量评价标准(psnr、ssim、mse、brisque)下均有了极大地改进，尤其在brisque标准上，去噪效果提升了高达二倍。

附图说明

图1是本发明基于生成对抗网络的水下图像去噪方法的流程图。

图2是生成网络与对抗网络模型，其中(a)是生成网络的模型，(b)是对抗网络的模型。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

为了克服水下图像噪声难以去除、边缘纹理不能增强的问题，本发明提出了一种基于生成对抗网络的水下图像去噪方法。该方法首先将视网膜增强后的含有噪声的水下图像输入到一个由若干残差块组成的生成网络，得到一个具有三通道(r，g，b三通道)输出的特征映射图；然后将输出得到的特征映射图与清水的无噪标签图像分别通过vgg-19网络(该网络已由google公司提出并公开使用)映射得到一个深度特征空间，并计算特征映射图与清水的无噪标签图像在深度特征空间中的感知代价，使得生成网络输出的特征映射图尽可能接近清水标签图像，同时可以避免由于标签图像与噪声图像由于外部因素(例如像素未完全对齐、光照变化)在图像空间中引起的度量误差。计算感知代价的同时，将生成网络输出的特征映射图输入到对抗网络，通过与清水标签图像进行对抗训练，达到对抗网络的分类能力越来越强、生成网络输出的特征映射图越来越清晰的目的。最后训练完成后，将含噪的水下图像输入到生成网络，其输出即为处理后的无噪图像。本发明通过引入对抗机制，去噪效果明显，尤其是该方法可有效保留甚至增强图像中的边缘纹理信息，具有更好地视觉效果和成像品质。

步骤一：生成对抗网络结构模型

生成对抗网络包括生成网络与对抗网络两个子网络，分别记为g网络与d网络，在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(convolutionallayer，conv)与非线性函数的激活层，得到64维度的特征映射图，在激活层中，本发明采用lrelu(leakyrectifiedlinearunit)函数，然后将特征映射图输入到级联的残差块，获取层次更深的特征映射图，随着网络层级的逐渐递增，噪声在特征映射图中的影响逐渐衰弱，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练；最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果；

为了增加网络层数的同时减少网络参数，所有卷积层的卷积核的尺寸均设为3×3，因为卷积核的参数初始化对网络的有效性影响非常大，为了消除由参数初始化引起的卷积前后数据分布不一致的问题，在生成网络中，批归一化层(batchnormalization，bn)级联到卷积层之后；

在对抗网络中，通过串联卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息，这样可以避免由于图像旋转、光照变化等因素引起的判定误差；

步骤二：计算生成网络的感知代价

在网络训练阶段，为了消除噪声、同时增强边缘纹理信息，需要使得生成网路的输出图像与标签图像尽可能接近。传统而言，图像空间上的距离度量是常用的样本相似度描述方法。但是，由于标签图像与生成网络输出图像之间存在的像素错位，以及拍摄环境中光照变化、抖动等客观因素，直接在图像空间度量相似度的传统方法存在一定的偏差。因此，在生成网络中本发明采用感知相似度计算生成网络的输出与清水标签图像之间的相似性，令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与i(x，y)分别通过vgg-19网络映射到特征空间然后计算感知代价，感知代价公式如公式(1)所示：

式中，||·||2表示计算二范数；

对于特征空间利用预训练好的深度网络模型vgg-19将图像空间映射到特征空间，vgg-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征，本发明中选取vgg-19中第五个卷积块的第四个卷积层的输出得到特征空间

步骤三：计算生成网络的生成代价

在生成对抗网络中，生成网络与对抗网络是交替训练的。对抗训练的目的是使得生成网络的输出越来越逼近清水的无噪标签图像，而对抗网络则是使得分类器分辨含噪图像与清水的无噪标签图像的能力越来越强。生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价。对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1。生成网络训练过程中，对抗网络的输出经sigmoid函数激活后，应往标签1的方向逼近，生成代价公式如公式(2)所示：

式中，为生成代价，d(·)为对抗网络的映射过程；

步骤四：计算对抗网络的对抗代价

对抗网络的目的是经过不断的对抗学习使得分类器可以很好地识别含噪图像与无噪图像。需要在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1，其对抗网络的训练代价如公式(3)所示：

式中，为对抗代价；

步骤五：网络训练

基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价函数的偏导数作为代价梯度，利用反向传播算法与梯度下降算法优化网络参数，其中γ为生成代价的权重，设置γ＝0.0061；(经验取值)在此过程中无噪的标签图像只用来度量感知代价，不参与生成代价的计算；然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价，利用梯度下降算法更新对抗网络的参数，对抗网络输入分别为生成网络的输出图像且标签为0、无噪的标签图像标签为1，公式(3)的偏导数作为代价梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练，依次重复训练生成网络与对抗网络，直至代价不再下降，网络训练完成后，将f(x，y)输入到生成网络g，其输出即为去噪后的图像。

本发明的实施例如下，参照图1，本发明提出的生成对抗网络的水下图像去噪方法的具体步骤如下：

(1)输入噪声图像

将增强后的含噪水下图像输入到本发明提出的生成对抗网络中。

(2)生成对抗网络结构模型

针对水下图像去噪方法的生成对抗网络包括生成网络与对抗网络两个子网络，分别记为g网络与d网络。在生成网络中，输入的含噪图像首先经过3×3×3×64的卷积层(convolutionallayer，conv)与非线性函数的激活层，得到64维度的特征映射图。在激活层中，本发明采用lrelu(leakyrectifiedlinearunit)函数。然后将特征映射图输入到一系列级联的残差块，获取层次更深的特征映射图。随着网络层级的逐渐递增，噪声在特征映射图中的影响逐渐衰弱。另外，在每个残差块中，残差块输入与输出叠加在一起，优点是使网络更容易被训练。最终，将残差块输出的结果经卷积核尺寸为3×3×64×3的卷积层映射得到生成网络的最终结果。为了增加网络层数的同时减少网络参数，所有卷积层的卷积核的尺寸均设为3×3。因为卷积核的参数初始化对网络的有效性影响非常大，为了消除由参数初始化引起的卷积前后数据分布不一致的问题，在生成网络中，批归一化层(batchnormalization,bn)级联到卷积层之后。在对抗网络中，通过简单的罗列一系列的卷积层与下采样层，逐步降低输入图像的空间维度，捕获图像的深层次语义信息，这样可以避免由于图像旋转、光照变化等因素引起的判定误差。

(3)计算生成网络的感知代价

在网络训练阶段，为了消除噪声、同时增强边缘纹理信息，需要使得生成网路的输出图像与标签图像尽可能接近。传统而言，图像空间上的距离度量是常用的样本相似度描述方法。但是，由于标签图像与生成网络输出图像之间存在的像素错位，以及拍摄环境中光照变化、抖动等客观因素，直接在图像空间度量相似度的传统方法存在一定的偏差。因此，在生成网络中本发明采用感知相似度计算生成网络的输出与清水标签图像之间的相似性。令f(x，y)为输入的增强后的水下含噪图像，f′(x，y)为生成网络的输出图像，l(x，y)为清水的无噪标签图像，将f′(x，y)与l(x，y)分别通过vgg-19网络映射到特征空间然后计算感知代价，感知代价如公式(4)所示：

式中，表示计算二范数。

对于特征空间利用预训练好的深度网络模型vgg-19将图像空间映射到特征空间。vgg-19是通过一系列的卷积层与池化层操作逐步降低图像维度，提取高层特征。本发明中选取vgg-19中第五个卷积块的第四个卷积层的输出得到特征空间

(4)计算生成网络的生成代价

计算生成网络的生成代价。在生成对抗网络中，生成网络与对抗网络是交替训练的。对抗训练的目的是使得生成网络的输出越来越逼近清水的无噪标签图像，而对抗网络则是使得分类器分辨含噪图像与清水的无噪标签图像的能力越来越强。生成代价是指将生成网络的输出f′(x，y)输入到对抗网络中产生的分类代价。对抗网络的本质是一个二分类器，标定含有噪声图像的标签为0，无噪图像的标签为1。生成网络训练过程中，对抗网络的输出经sigmoid函数激活后，应往标签1的方向逼近，生成代价如公式(5)所示：

式中，d(·)为对抗网络的映射过程。

(5)计算对抗网络的对抗代价

计算对抗网络的对抗代价。对抗网络的目的是经过不断的对抗学习使得分类器可以很好地识别含噪图像与无噪图像。这就需要在对抗网络的训练过程中，含噪图像经对抗网络的输出值趋近0，而无噪图像经对抗网络输出值则趋近1。其对抗网络的训练代价如公式(6)所示：

(6)网络训练

基于生成对抗网络的水下图像去噪网络在训练阶段是交替完成的，即首先训练生成网络，根据感知代价与生成代价的共同作用，计算代价产生的梯度，利用反向传播算法与梯度下降算法(行业内悉知算法)优化网络参数，其中γ为生成代价的权重，设置γ＝0.0061。在此过程中无噪的标签图像只用来度量感知代价，不参与生成代价的计算。然后利用训练好的生成网络的输出作为对抗网络的输入，根据对抗网络的代价更新对抗网络的参数。对抗网络输入分别为生成网络的输出图像(标签为0)、无噪的标签图像(标签为1)，计算公式(6)产生的梯度，同样利用反向传播算法与梯度下降算法对网络参数进行训练。依次重复上述过程，直至代价收敛。网络训练完成后，在测试阶段，将增强后的含噪图像输入到生成网络，生成网络的输出即为图像去噪的结果。