一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统与流程

本发明涉及图像去噪
技术领域：
，尤其涉及一种基于多尺度膨胀卷积残差网络的图像去噪方法及系统。
背景技术：
：图像去噪是计算机视觉领域一个经典而又活跃的问题。人们在获取图像的过程中，会由于光照、温度、天气等不可抗拒外部环境噪声的干扰，和电阻、电磁等元器件对于成像设备的影响，导致图像在数字化和成像过程中产生噪声，从而影响图像质量，进而影响后期的图像传播和图像处理，如动作识别、图像分割等。因此，图像去噪技术具有非常重要的研究意义。针对不同图像自身的特点以及噪声的规律，目前，图像去噪算法主要分为：传统去噪算法和基于深度神经网络的去噪算法。传统去噪算法主要分为：稀疏模型、梯度模型、马尔可夫随机场模型和非局部自相似模型。其中最流行的是基于非局部自相似模型的方法，像bm3d、wnnm等。这种方法可以利用到图像的自相似性信息，获得了较好的去噪效果。然而，这些方法在测试的过程中涉及复杂的优化问题，这给实际应用带来了困难。而且，当图像的自相似性低的时候会产生过平滑的结果。基于深度神经网络的去噪算法，可以利用神经网络强大的非线性建模能力，通过设置合适的网络结构，可以利用图像数据集来优化网络参数，从而学习到图像的噪声特征，进而去除图片中的噪声。目前，最流行的方法包括dncnn、ffdnet等，虽然这些方法取得了不错的去噪效果，然而这些方法通常是以牺牲参数量为代价来提升去噪性能的，这给实际应用带来了困难。因此，如何有效的对图像进行去噪，是一项亟待解决的问题。技术实现要素：有鉴于此，本发明提供了一种基于多尺度膨胀卷积残差网络的图像去噪方法，能够降低网络的参数量同时保证网络的去噪性能，且能够在去除图片噪声的同时保留住图片锋利的边缘和精细的细节信息。本发明提供了一种基于多尺度膨胀卷积残差网络的图像去噪方法，包括：获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。优选地，所述获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像，包括：获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。优选地，所述设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型，包括：将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。优选地，所述超参数包括：网络模型的学习率、衰减率和训练次数。一种基于多尺度膨胀卷积残差网络的图像去噪系统，包括：获取模块，用于获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像；构建模块，用于搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；训练模块，用于设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；去噪模块，用于将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。优选地，所述获取模块在执行获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像时，具体用于：获取训练数据集，并根据网络的接受域大小对所述训练数据集中的图像进行裁剪，得到块图像。优选地，所述训练模块在执行设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型时，具体用于：将所述块图像块按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到所述图像块上；设置网络模型超参数，设置权值初始化方式，设置网络模型的损失函数；利用随机梯度下降法和反向回传算法训练所述图像去噪模型，得到训练好的图像去噪模型。优选地，所述超参数包括：网络模型的学习率、衰减率和训练次数。综上所述，本发明公开了一种基于多尺度膨胀卷积残差网络的图像去噪方法，当需要对图像进行去噪时，首先获取训练数据集，并对所述训练数据集中的图像进行裁剪，得到块图像，然后搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型，设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。本发明提出的网络能够更好的表示和学习低级别特征并且使网络包含更少的参数量，能够降低网络的参数量同时保证网络的去噪性能；通过在网络中选择最优的混合膨胀率模式，模式中的每一个像素对于网络的接受域有着相似的贡献，能够使网络平等的学习图片的细节信息，能够在去除图片噪声的同时保留住图片锋利的边缘和精细的细节信息。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪方法实施例1的方法流程图；图2为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪系统实施例1的结构示意图；图3为对比不同混合膨胀率模式对于接受域影响的示意图；图4为本发明公开的基于多尺度膨胀卷积残差网络的图像去噪的网络示意图；图5为本发明和其他流行的去噪方法在海星上的去噪结果对比的示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提出的一种基于多尺度膨胀卷积残差网络的图像去噪方法，具体来说，本发明采用了残差映射，目标是学习噪声映射，得到噪声映射后，用原图像减去噪声映射即可得到去噪后的图片。更重要的是，本发明采取了一些策略提高网络的去噪表现。首先，采用了一个多尺度结构来学习网络的前两层的对于图像去噪任务非常重要的低级别特征。在这个结构中，通过几个具有不同膨胀率或者滤波器大小的并行卷积来逐步提取和细化特征。除此之外，使用对称连接将低级别特征和高级别特征连接起来。其次，为了在保持较少的参数的同时有效地扩大接受域，采用膨胀卷积来代替常规卷积。由于选择不合适的膨胀率会导致网格效应，这将会降低学习更好的特征表示的可能性。因此，本发明采用了混合膨胀率模式来消除相邻信息丢失的问题，混合膨胀率模式的设计原则是使两个非零值之间的最大距离小于等于滤波器大小：最大距离定义如下：mi＝max[mi+1-2ri,mi+1-2(mi+1-ri),ri]；其中，ri是膨胀率，并且mn＝rn。并且，本发明选择每个像素对于接受域有相似的贡献的混合膨胀率模式来使网络平等的学习图片的细节信息。不同的混合膨胀率模式如图3所示，(a)、(b)、(c)分别代表[1，2，5]，[1，3，9]，[1，2，7]，从图3可以看出，本发明的混合膨胀率模式可以有效的消除网格效应，使得网络可以完整的学习到图片的信息，同时，为了使网络可以平等的学习图片信息，本发明选择每个像素对于接受域有相似贡献的混合膨胀率模式，并通过实验可以选择最佳的[1，2，7]构建网络。为了更加清楚的对本发明的技术方案进行描述，下面以具体的实例进行说明：如图1所示，为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪方法实施例的方法流程图，所述方法可以包括以下步骤：s101、获取训练数据集，并对训练数据集中的图像进行裁剪，得到块图像；本实施例选取伯克利图像分割数据集(bsd500)中的400张灰度图像数据作为训练数据集，将块图像大小根据网络的接受域大小设置为50×50，并在训练数据集中随机裁剪约128×1,800张块图像。然后，将块图像归一化处理得到训练数据。s102、搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；网络模型的建立，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式(hybriddilationratepattern，hdp)在有效扩展网络接受域的同时平等学习图片细节信息，并引入多尺度结构来更好的表示和学习对于图片去噪任务重要的低级别特征，得到端到端的图像去噪模型。具体的，本实施例的网络可以更好的表示和学习对于图像去噪任务重要的低级别特征。在网络中，获取上下文信息的方式有两种，一种是通过将低级别特征与高级别特征连接起来的对称连接；另一种是通过使用不同的膨胀率或滤波器尺寸从每个递归层提取不同尺度的特征并获得不同的接受域。具体的网络结构如图4所示：第一层：将输入图像(input)分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理(bn)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(relu)得到图像out1。第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(relu)得到图像out2。第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，然后进行非线性激活(relu)得到图像out3。第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，然后进行非线性激活(relu)得到图像out4。第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理(bn)，将处理后的图片进行非线性激活(relu)得到图像out5.第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理(bn)，将处理后的图片进行非线性激活(relu)得到图像out6。第七层：将图像out5与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像(input)减去学习到的图像得到的output作为输出。由于输入输出的图片尺寸需要一致，因此，可以将所有的卷积的步长设置为1并且采用零填充策略。s103、设置网络模型超参数，选择损失函数和优化方法对图像去噪模型进行训练，得到训练好的图像去噪模型；将块图像按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到块图像上，设置网络模型的学习率，衰减率，训练次数等超参数，设置权值初始化方式，设置网络模型的损失函数，利用随机梯度下降法(stochasticgradientdescent，sgd)和反向回传算法(backpropagation，bp)训练图像去噪模型，得到训练好的图像去噪模型。具体的，将块图像按照批量尺寸为128组合一起作为输入，利用高斯白噪声模拟的真实噪声添加到块图像上。设置训练周期为50，设置网络模型的初始学习率为0.001，在迭代30周期后衰减到0.0001，以保证训练后期波动不会太大。使用msra方法初始化权重值，使得生成的权值足够随机从而收敛的全局最优解。设定网络模型的损失函数为欧式距离函数，定义如下：其中，θ是一系列可学习的参数，是n对噪声/真实图片的训练块图像。使用adam(adaptivemomentestimation)优化器训练所述图像去噪模型，得到训练好的图像去噪模型，保存训练好的图像去噪模型权重。s104、将噪声图片变换处理后输入到训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。本实施例选取常用的set12数据集作为测试数据集验证去噪方法的有效性，将数据集中图片添加随机高斯白噪声模拟的真实噪声后，使用增强预测策略，将得到的噪声图片旋转和翻转后，导入到训练好的图像去噪模型后输出去噪后的图片，将得到的图片进行平均操作后得到最终的去噪后的图片。结果分析：采用峰值信噪比(psnr)评价去噪表现，峰值信噪比的定义如下：其中，x是真实图片，x'是去噪后的图片，mse(x,x')代表x和x'之间的均方差，定义如下：其中，m、n分别代表图片的长和宽。表1展示在set12数据集中不同去噪方法的峰值信噪比结果，表1中可以看出本发明只在低噪声水平时(例如σ＝15)略低于dncnn方法，在高噪声水平(例如σ＝25、σ＝50)时均高于dncnn方法和其他流行的方法。本发明不仅获得了较好的去噪结果，而且能够使用较少的参数量。表1在set12数据集中不同方法的去噪结果methodsbm3dwnnmtnrddncnnffdnetoursσ＝1532.3732.7032.5032.8632.7532.84σ＝2529.9730.2630.0630.4430.4330.46σ＝5026.7227.0526.8127.1827.3227.32表2列出了不同网络去噪方法使用的参数量，从表2中可以看出本发明使用了更少的参数量，因此更适合于实际应用。表2不同网络去噪方法使用的参数量methodsdncnnffdnetoursparameters5.551×1055.586×1052.595×105图5展示了海星在噪声水平50的时候不同方法的去噪结果：图中从(a)到(h)分别对应noisy、groundtruth、bm3d、wnnm、epll、dncnn、ffdnet、ours。从图5中可以看出，本发明产生了令人愉悦的去噪结果，不仅能够保留锋利的边缘和精细的细节，还能够在平滑的区域产生很好的视觉效果。如图2所示，为本发明公开的一种基于多尺度膨胀卷积残差网络的图像去噪系统实施例的结构示意图，所述系统可以包括：获取模块201，用于获取训练数据集，并对训练数据集中的图像进行裁剪，得到块图像；本实施例选取伯克利图像分割数据集(bsd500)中的400张灰度图像数据作为训练数据集，将块图像大小根据网络的接受域大小设置为50×50，并在训练数据集中随机裁剪约128×1,800张块图像。然后，将块图像归一化处理得到训练数据。构建模块202，用于搭建网络模型，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式，并引入多尺度结构，得到端到端的图像去噪模型；网络模型的建立，采用批归一化和残差学习相结合的方式，采用最优的混合膨胀率模式(hybriddilationratepattern，hdp)在有效扩展网络接受域的同时平等学习图片细节信息，并引入多尺度结构来更好的表示和学习对于图片去噪任务重要的低级别特征，得到端到端的图像去噪模型。具体的，本实施例的网络可以更好的表示和学习对于图像去噪任务重要的低级别特征。在网络中，获取上下文信息的方式有两种，一种是通过将低级别特征与高级别特征连接起来的对称连接；另一种是通过使用不同的膨胀率或滤波器尺寸从每个递归层提取不同尺度的特征并获得不同的接受域。具体的网络结构如图4所示：第一层：将输入图像(input)分别与32个3×3、32个5×5、64个7×7的滤波器卷积操作得到的图片进行归一化处理(bn)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(relu)得到图像out1。第二层：将图像out1分别与32个膨胀率为1的3×3、64个膨胀率为2的3×3、32个膨胀率为3的3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，将处理后的图片按照通道连接在一起后与64个1×1的滤波器卷积，然后进行非线性激活(relu)得到图像out2。第三层：将图像out2与64个膨胀率为7的3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，然后进行非线性激活(relu)得到图像out3。第四层：将图像out3与64个3×3的滤波器卷积操作得到的图片进行归一化处理(bn)，然后进行非线性激活(relu)得到图像out4。第五层：将图像out4与64个膨胀率为2的3×3的滤波器卷积操作得到的图片与out2按照通道连接在一起后进行归一化处理(bn)，将处理后的图片进行非线性激活(relu)得到图像out5.第六层：将图像out5与64个膨胀率为7的3×3的滤波器卷积操作得到的图片与out1按照通道连接在一起后进行归一化处理(bn)，将处理后的图片进行非线性激活(relu)得到图像out6。第七层：将图像out5与1个3×3的滤波器卷积操作得到的图像时学习到的噪声图像，将输入图像(input)减去学习到的图像得到的output作为输出。由于输入输出的图片尺寸需要一致，因此，可以将所有的卷积的步长设置为1并且采用零填充策略。训练模块203，用于设置网络模型超参数，选择损失函数和优化方法对所述图像去噪模型进行训练，得到训练好的图像去噪模型；将块图像按照批量尺寸组合一起作为输入，利用高斯白噪声模拟真实噪声添加到块图像上，设置网络模型的学习率，衰减率，训练次数等超参数，设置权值初始化方式，设置网络模型的损失函数，利用随机梯度下降法(stochasticgradientdescent，sgd)和反向回传算法(backpropagation，bp)训练图像去噪模型，得到训练好的图像去噪模型。具体的，将块图像按照批量尺寸为128组合一起作为输入，利用高斯白噪声模拟的真实噪声添加到块图像上。设置训练周期为50，设置网络模型的初始学习率为0.001，在迭代30周期后衰减到0.0001，以保证训练后期波动不会太大。使用msra方法初始化权重值，使得生成的权值足够随机从而收敛的全局最优解。设定网络模型的损失函数为欧式距离函数，定义如下：其中，θ是一系列可学习的参数，是n对噪声/真实图片的训练块图像。使用adam(adaptivemomentestimation)优化器训练所述图像去噪模型，得到训练好的图像去噪模型，保存训练好的图像去噪模型权重。去噪模块204，用于将噪声图片变换处理后输入到所述训练好的图像去噪模型中，将得到的图片做平均操作后输出去噪后的图片。本实施例选取常用的set12数据集作为测试数据集验证去噪方法的有效性，将数据集中图片添加随机高斯白噪声模拟的真实噪声后，使用增强预测策略，将得到的噪声图片旋转和翻转后，导入到训练好的图像去噪模型后输出去噪后的图片，将得到的图片进行平均操作后得到最终的去噪后的图片。结果分析：采用峰值信噪比(psnr)评价去噪表现，峰值信噪比的定义如下：其中，x是真实图片，x'是去噪后的图片，mse(x,x')代表x和x'之间的均方差，定义如下：其中，m、n分别代表图片的长和宽。表1展示在set12数据集中不同去噪方法的峰值信噪比结果，表1中可以看出本发明只在低噪声水平时(例如σ＝15)略低于dncnn方法，在高噪声水平(例如σ＝25、σ＝50)时均高于dncnn方法和其他流行的方法。本发明不仅获得了较好的去噪结果，而且能够使用较少的参数量。表2列出了不同网络去噪方法使用的参数量，从表2中可以看出本发明使用了更少的参数量，因此更适合于实际应用。图5展示了海星在噪声水平50的时候不同方法的去噪结果：图中从(a)到(h)分别对应noisy、groundtruth、bm3d、wnnm、epll、dncnn、ffdnet、ours。从图5中可以看出，本发明产生了令人愉悦的去噪结果，不仅能够保留锋利的边缘和精细的细节，还能够在平滑的区域产生很好的视觉效果。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或
技术领域：
内所公知的任意其它形式的存储介质中。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页1 2 3