基于深度学习的图像去噪方法、装置、设备和存储介质与流程

本发明涉及模式识别与计算机视觉领域，尤其是一种基于深度学习的图像去噪方法、装置、设备和存储介质。

背景技术：

随着互联网迅速发展，图像处理已经被广泛应用到航空探索、大气监控、医疗诊病以及公安侦查等领域。其中图像去噪是图像处理问题的重要组成部分，它一般是通过y＝x+v模型来复原图像，y是噪声图像，x是无噪声图像，v是噪声图像，从贝叶斯角度来看，先验是很重要对于图像去噪。例如：自适应方法和稀疏方法结合能很好地进行图像去噪和减少图像去噪的运算量，例如bm3d方法利用把2维图像转为3维数组和利用稀疏方法来处理3维数据的噪声，而增加梯度直方图方法也是处理图像去噪很有效的方法。虽然以上方法已经获得很好性能，但是它们需要手动调参来获得最优结果，同时它们需要用复杂的优化算法来提高去噪性能。

深度学习技术因为gpu和较强的自学习能力已经成为图像去噪关键技术之一，同时也能解决上述方法不足，但是已有的深度学习方法在高斯噪声图像去噪的方面性能较好，但是这些方法对于真实的噪声图像是无效的，因此需要提出一种基于噪声权值的卷积神经网络的图像去噪方法是很有意义的。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种能够作用于真实噪声图像的基于深度学习的图像去噪方法、装置、设备和存储介质。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于深度学习的图像去噪方法，包括步骤：

搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；

选取训练集，并设置所述神经网络图像去噪模型的训练参数；

根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；

将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；

所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。

进一步地，还包括对所述待处理的图像进行预处理，所述预处理具体步骤为：

扩充待处理图像样本；

对所述扩充后的待处理图像样本进行重叠分块；

所述扩充待处理图像样本具体为：将待处理图像样本缩小到原来的1/2、1/3和1/4，再利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本。

进一步地，所述神经网络图像去噪模型为19层网络，其中第2层至第16层采用ln横向规范化形式，所述ln具体是将经过卷积层得到特征进行归一化来统一数据的分布。

进一步地，所述神经网络图像去噪模型中第17层为去噪图像的权重，所述权重即根据噪声的分布程度确定的相应的权重。

进一步地，所述神经网络图像去噪模型中包括残差学习过程，具体实现为：将输入与第19层的输出相加。

进一步地，所述多种激活函数包括sigmoid激活函数、tanh激活函数和relu激活函数；

其中第1层和第17层采用sigmoid激活函数，第2层至第16层采用tanh激活函数。

进一步地，所述神经网络图像去噪模型中第18层为1x1的卷积核，其余各层均是3x3的卷积核。

第二方面，本发明提供一种基于深度学习的图像去噪装置，包括：

卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；

训练集选取装置，用于选取训练集，并设置所述神经网络图像去噪模型的训练参数；

图像去噪模型生成装置：根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；

待处理图像去噪装置，用于将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像。

第三方面，本发明提供一种基于深度学习的图像去噪的控制设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的方法。

本发明的有益效果是：

本发明通过采用搭建一个19层的卷积神经网络，不同于传统的去除噪声的方法需要复杂的优化算法以及需要手动选择参数来提升去除噪声性能，而是将待处理图像输入神经网络图像去噪模型中，进行去除噪声处理，根据噪声的分布程度引入相应的权重到网络模型中，即所谓的注意力机制，用于提高该网络模型在去除噪声方面的性能，使得该模型能够适用于真实噪声的处理。

另外，本发明还通过对待处理图像进行预处理，扩充样本并把噪声图像进行重叠分块，有利用减少计算资源，同时重叠分块图像能更好捕获各块之间的信息，随后，将分块的噪声图像放入模型进行去除噪声处理。为了防止网络模型在训练过程中出现梯度消失或者梯度爆炸的情况，引入残差学习过程，由于训练数据经过卷积操作后，其的分布范围会改变，因此采用ln横向规范化形式将经过卷积层得到特征进行归一化来统一数据的分布，使数据保存在相同的范围，并加快网络收敛速度。

本发明可广泛适用于高斯噪声、真实图像噪声、超分辨等低水平视觉的图像任务处理过程。

附图说明

图1a～图1c是现有技术中利用卷积神经网络搭建的去噪模型；

图2是本发明一种实施方式的基于深度学习的图像去噪方法基本流程图；

图3是本发明一种实施方式的基于深度学习的图像去噪方法整体实现步骤；

图4a～图4d是本发明一种实施方式的扩充图像示意图；

图5是本发明一种实施方式的进行重叠分块后的噪声图像示意图；

图6是本发明一种实施方式的具体的神经网络图像去噪模型结构示意图；

图7是本发明一种实施方式的分块噪声图像经过神经网络图像去噪模型示意图；

图8是本发明一种实施方式的基于深度学习的图像去噪装置结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

如图1a～图1c所示，为现有技术中利用卷积神经网络搭建的去噪模型，可见图1a中dncnn模型利用卷积，激活函数relu以及bn技术提出一种图像去噪方法；图1b中ffdnet模型把噪声映射和无噪声图像同时作为训练去噪模型的类别，该方法能很好地进行仿真噪声的盲去噪；图1c中ircnn模型优化方法和cnn结合来处理噪声。

其中，dncnn可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用，然而真实的噪声并不是均匀的高斯噪声，其是信号依赖的，各颜色通道相关的，而且是不均匀的，可能随空间位置变化的，ffdnet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景，但是三种模型均不是针对真实的噪声图像进行处理，因此本发明提供一种能够用于真实噪声图像的图像去噪方法。

实施例一：

如图2所示，为本实施例的基于深度学习的图像去噪方法基本流程图，包括步骤：s1：搭建神经网络图像去噪模型，具体的神经网络图像去噪模型由19个卷积层和多种激活函数构成；s2：选取训练集，并设置神经网络图像去噪模型的训练参数；s3：训练形成深度学习的神经网络图像去噪模型，具体为：根据神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数，训练神经网络图像去噪模型，形成深度学习的神经网络图像去噪模型；s4：获取去噪后的无噪声图像，具体为：将待处理的图像输入到所述神经网络图像去噪模型(wcndn网络)，输出去噪后的无噪声图像。

如图3所示，为本实施例的基于深度学习的图像去噪方法整体实现步骤，具体包括步骤如下所示：

1)对待处理的原图像进行扩充样本。

利用图像分块能够有效减少计算资源，如图4a～4d所示，为本实施例中扩充图像示意图，以高斯噪声为例，本实施例中对待处理的原图像进行扩充样本，即将图像缩小到原来的1/2、1/3和1/4，然后利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，这样一幅图像将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本，将待处理的原图像数据集与扩充样本后的不同分辨率图像组成新的数据集，这样主要是扩充数据，有利于本实施例更好地训练神经网络图像去噪模型。

2)利用重叠分块法将图像进行分块。

如果仅仅对图像进行分块处理，然后把处理的图像块进行简单的拼接，容易导致界边处缝的问题。所以，需要在图像分块时使得相邻图像块有一定的重叠，然后选择最优的处理结果填充重叠区域，从而消除接边缝，即采用重叠分块图像能更好捕获各块之间的信息。

本实施例中将新的数据集中每副图像利用重叠分块法进行图像分块，不同图像块图像间鲁棒性更好，如图5所示，为本实施例中进行重叠分块后的噪声图像示意图，假设分块大小为40*40(像素)，图中示出了4个不同分块的示意图。

上述步骤1)和步骤2)都属于对待处理图像进行预处理，预处理具体指：扩充待处理图像样本，并对扩充后的待处理图像样本进行重叠分块。

3)将分块噪声图像输入到神经网络图像去噪模型中，获得去噪后的无噪声图像。

本实施例中神经网络图像去噪模型一共有19个卷积层，称为wcndn(weightedconvolutionalneuraldenoisingnetwork),具体的网络模型结构示意图如图6所示，包括：

第1层为卷积层，其激活函数为非线性的激活函数sigmoid激活函数；第2-16层为卷积层，其激活函数为tanh激活函数，并且采用ln横向规范化形式；第17层为卷积层，其激活函数为sigmoid激活函数；第18-19为卷积层。

其中上述模型中，第18层为降低参数量采用1x1的卷积核，其余各层均是3x3的卷积核。

由于真实噪声图像中的噪声分布是不均匀的，如果要对不同分布噪声统一处理，就需要很大的时间复杂度，并且图像去噪模型的性能不高。因此把注意力机制融合到本实施例的图像去噪模型中，其中，注意力机制即权重机制，是根据噪声的分布程度来确定相应的权重，同时提高此网络在去除噪声上性能。

本实施例中将18层卷积与第17层卷积相乘，并经过激活函数relu后得到的结果作为第19层卷积层的输入，即用第17层与第18层相乘后，先经过激活函数relu，后经过第19层来恢复图像，其中第17层为去噪图像的权重，这样可减少去除噪声算法的复杂度并提高去噪方法的性能。

一般来说深度的神经网络不容易收敛，通常采用bn(batchnormalization)方法来解决这个问题。但是bn方法主要依据batch的大小，当batch比较小的时候，就不太适用，由于训练数据经过卷积操作后，分布范围改变，因此本实施例把ln(layernormalization)技术融合到该wcndn网络中，在网络模型的第2层至第16层采用ln技术，ln具体的是将经过卷积层得到特征进行归一化来统一数据的分布，归一化使数据保存在相同的范围，并加快网络收敛速度，具体的可以理解为ln是横着来进行归一化，它不受batch大小的影响，ln的平均数与方差的计算公式如下所示：

其中公式(1)和(2)中：h表示第h层，nh表示第h层输入的总神经元个数，xi^h表示第h层的第i个神经元，μ^h表示第h层的均值，σ^h表示第h层的方差，λ是常数，同一层网络共享一个均值和方差。

另外，网络模型训练过程中有时会出现梯度消失或者梯度爆炸，本实施例中引入差学习过程来防止这种情况，本实施例中采用残差学习具体是将最初的输入和第19层的输出相加来增加网络的性能。

下面介绍一下本实施例使用到的三种激活函数。

sigmoid函数是使用范围最广的一类激活函数，具有指数函数形状，在物理上最接近神经元。它的输出范围在(0,1)之间，即sigmoid函数将经过卷积运算后的数据直接转换为0-1之间，可以被表示成概率，或者用于数据的归一化，具体的公式为：

tanh函数由sigmoid函数衍生而来，与sigmoid函数相比，它的均值为0，这就使得其收敛速度要比sigmoid快，从而可以减少迭代次数，tanh函数将经过卷积后的数据转换为-1到1之间，具体的公式为：

relu函数为线性整流单元或者修正线性单元，是一种分段线性函数，在x>0时不存在饱和问题，从而可以保持梯度不衰减，解决了梯度消失问题，具体公式如下：

上述公式(3)至公式(5)中，x表示卷积核的输出。

训练模型过程中，初始化参数为：将学习率设置为10-4,训练周期设置为50，本实施例采用的数据集是开源数据集，其中训练时采用bsd400,测试时采用bsd68，其余权值初始化均采用msra初始化方法。

如图7所示，为本实施例中分块噪声图像经过神经网络图像去噪模型示意图，以图5中第三个图为例，图中可见，经过神经网络图像去噪模型后，输入图像上的噪声被去除，输出的图像是一个去除噪声后的无噪声图像。

实施例二：

如图8所示，为本实施例的一种基于深度学习的图像去噪装置结构框图，包括：

卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，神经网络图像去噪模型由多个卷积层和多种激活函数构成；训练集选取装置，用于选取训练集，并设置神经网络图像去噪模型的训练参数；图像去噪模型生成装置：根神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；待处理图像去噪装置，用于将待处理的图像输入到神经网络图像去噪模型，输出去噪后的无噪声图像。

另一方面，本发明还提供一种基于深度学习的图像去噪的控制设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如实施例一所述的基于深度学习的图像去噪方法。

另一方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如实施例一所述的基于深度学习的图像去噪方法。

本发明通过采用搭建一个19层的卷积神经网络，不同于传统的去除噪声的方法需要复杂的优化算法以及需要手动选择参数来提升去除噪声性能，而是将待处理图像输入神经网络图像去噪模型中，进行去除噪声处理，根据噪声的分布程度引入相应的权重到网络模型中，即所谓的注意力机制，用于提高该网络模型在去除噪声方面的性能，使得该模型能够适用于真实噪声的处理。

另外，本发明还通过对待处理图像进行预处理，扩充样本并把噪声图像进行重叠分块，有利用减少计算资源，同时重叠分块图像能更好捕获各块之间的信息，随后，将分块的噪声图像放入模型进行去除噪声处理。为了防止网络模型在训练过程中出现梯度消失或者梯度爆炸的情况，引入残差学习过程，由于训练数据经过卷积操作后，其的分布范围会改变，因此采用ln横向规范化形式将经过卷积层得到特征进行归一化来统一数据的分布，使数据保存在相同的范围，并加快网络收敛速度。本发明可广泛适用于高斯噪声、真实图像噪声、超分辨等低水平视觉的图像任务处理过程。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。