一种图像去噪处理方法与流程

本发明涉及图像处理技术领域，尤其涉及一种图像去噪处理方法。

背景技术：

传统技术中，图像去噪的方法主要包括分层去噪，分层去噪是基于一些视觉特征将有噪图像分成噪声层和背景层，再将噪声层从该有噪图像中分离出来的图像处理方法。

然而该分层去噪方法在图像处理过程中会使得背景层的图像模糊和信息丢失，从而使得处理后图像的质量较低。

技术实现要素：

本发明实施例提供了一种图像去噪处理方法，包括如下步骤：

获取图像去噪指令；

获取用于网络优化的数据集，所述数据集包括至少一个噪声图像和至少一个干净图像；

选取任一个噪声图像及其对应的干净图像构成合成图像；

将所述合成图像输入至去噪处理神经网络模型进行去噪处理得到去噪样本图像；

将所述去噪样本图像及所述合成图像包括的干净图像输入至判别神经网络模型进行判别处理得到判别结果；

根据所述判别结果对所述去噪处理神经网络模型和所述判别神经网络模型进行优化，包括：

根据优化公式以及所述判别结果，确定所述优化公式的参数值，所述优化公式为：

其中，y表示输入至判别神经网络模型的干净图像，d(y)表示将干净图像输入至判别神经网络模型中所得到的判别结果，x表示噪声图像，g(x)表示去噪样本图像；d(g(x))表示将去噪样本图像输入至判别神经网络模型中所得到的判别结果；

获取所述判别神经网络模型的损失函数，以及所述判别神经网络模型的当前网络参数，其中所述判别神经网络模型的损失函数ld用于计算所述判别神经网络模型在判别所述去噪样本图像时所产生的损失值，所述判别神经网络模型的损失函数ld为：

其中，所述n表示数据集中样本对的总数；

调整所述判别神经网络模型的当前网络参数以减小所述判别神经网络模型的损失函数的损失值，以优化所述判别神经网络模型，其中优化后的判别神经网络模型能增大所述优化公式的参数值；

将所述判别结果进行反向传播处理，调整所述去噪处理神经网络模型的当前网络参数，以优化所述去噪处理神经网络模型，其中，优化后的去噪处理神经网络模型能减小所述优化公式的参数值；

根据所述优化后的去噪处理神经网络模型以及判别神经网络模型对输入的待处理目标图像进行去噪处理。

本发明实施例在获取了待处理的包含噪声数据的原始图像之后，采用优化的网络模型对原始图像进行去噪处理得到目标图像，在处理过程中不需要对原始图像进行分层处理，从而保证了目标图像的清晰度以及信息完整性，提高了去噪处理后的图像的质量。

附图说明

图1是本发明实施例提供的一种网络优化方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明实施例提供了一种图像去噪处理方法，包括如下步骤：

步骤1，获取图像去噪指令。

所述图像去噪指令可以通过用户触发预先设置的按钮生成，也可以由系统根据定制的策略来自动生成。

步骤2，获取用于网络优化的数据集，所述数据集包括至少一个噪声图像和至少一个干净图像。

由于真实有噪图像往往很难有对应的无噪标签，本实施例在进行网络优化的过程中，采用的用于网络优化的数据集可以是预先设置好的用于进行网络优化的数据集合，该数据集主要收录有两部分数据，一部分为干净图像集合，可采用y表示，该干净图像集合中包括多个干净图像y。

另一部分为噪声图像集合，可采用x表示，该噪声图像集合中包括多个噪声图像x。本实施例中，所述干净图像与噪声图像为一一对应匹配设置。一个实施例中得到所述噪声图像的方法包括基于所述干净图像，通过图像合成技术，得到所述噪声图像。

步骤3，选取任一个噪声图像及其对应的干净图像构成合成图像。

选取任一个噪声图像及其对应的干净图像以数据对的形式进行组合即可构成所述合成图像，例如，从噪声图像集合x中选取x，从干净图像集合y中选取与x对应的y，则合成图像可表示为(x,y)，其中x∈x，y∈y。

步骤4，将所述合成图像输入至去噪处理神经网络模型进行去噪处理得到去噪样本图像，所述去噪处理神经网络模型的输出是与输入的合成图像一样大小的去噪样本图像g(x)。

步骤5，将所述去噪样本图像及所述合成图像包括的干净图像输入至判别神经网络模型进行判别处理得到判别结果。

步骤6，根据所述判别结果对所述去噪处理神经网络模型和所述判别神经网络模型进行优化，包括：

步骤61，根据优化公式以及所述判别结果，确定所述优化公式的参数值，所述优化公式为：

其中，y表示输入至判别神经网络模型的干净图像，d(y)表示将干净图像输入至判别神经网络模型中所得到的判别结果，x表示噪声图像，g(x)表示去噪样本图像；d(g(x))表示将去噪样本图像输入至判别神经网络模型中所得到的判别结果。

去噪处理神经网络模型的目的是使优化公式的参数值达到最小，这样才能让判别神经网络模型将生成的去噪样本图像判别为干净图像。

而判别神经网络模型的目的是使优化公式的参数值达到最大，这样才可以正确区分生成的去噪样本图像和干净图像。去噪处理神经网络模型和判别神经网络模型通过不同的方法对同一个公式进行优化，相反的优化目标使得这两个网络可以学习更好的特征。

在进行网络优化的过程中，最开始去噪处理神经网络模型输出的去噪样本图像g(x)和干净图像y是不同的，此时的判别神经网络模型可以很快地学习到g(x)和y的区别，输出判别结果；并还可以根据学习到的区别来更新自己的网络参数以优化判别神经网络模型，从而提高判别神经网络模型的判别能力。而去噪处理神经网络模型为了最小化该优化公式的参数值，则可以在接收到判别神经网络模型输出的判别结果以后，根据该判别结果反向传播后得到的网络参数进行去噪处理神经网络模型的网络参数更新，通过减小log(1-d(g(x)))的值，使得g(x)与y更加接近。

然后判别神经网络模型会学习到新的g(x)与y之间的区别，并输出新的判别结果，以及根据新的区别再次更新自己的网络参数。而去噪处理神经网络模型在下一次优化过程中也会继续更新自己的网络参数来减小g(x)与y之间的差距。通过这样反复的对抗学习，该优化公式的值就会趋于一个平衡的状态，所谓的平衡的状态是去噪处理神经网络模型所生成的去噪样本图像g(x)会逐渐逼近干净图像y；并且当去噪处理神经网络模型所生成的g(x)无限逼近于y时，判别神经网络模型会无法区分去噪处理神经网络模型所生成的g(x)与y。

步骤62，获取所述判别神经网络模型的损失函数，以及所述判别神经网络模型的当前网络参数，其中所述判别神经网络模型的损失函数ld用于计算所述判别神经网络模型在判别所述去噪样本图像时所产生的损失值，所述判别神经网络模型的损失函数ld为：

步骤63，调整所述判别神经网络模型的当前网络参数以减小所述判别神经网络模型的损失函数的损失值，以优化所述判别神经网络模型，其中优化后的判别神经网络模型能增大所述优化公式的参数值。

步骤64，将所述判别结果进行反向传播处理，调整所述去噪处理神经网络模型的当前网络参数，以优化所述去噪处理神经网络模型，其中，优化后的去噪处理神经网络模型能减小所述优化公式的参数值。

去噪处理神经网络模型的损失函数包括至少两个维度的局部损失函数；所述维度包括以下任一种：色彩空间维度、网络损失维度、语义维度。所述去噪处理神经网络模型的全局损失损失函数lg可以确定去噪处理神经网络模型在生成去噪样本图像时所产生的图像损失值，因此，可以根据该损失函数lg来优化去噪处理神经网络模型，以使得优化后的去噪处理神经网络模型在生成去噪样本图像时所产生的图像损失值最小，从而降低去噪样本图像的色彩失真，提高去噪样本图像的清晰度。因此，一个合适的损失函数lg对去噪处理神经网络模型生成的去噪样本图像的质量有着至关重要的作用。

本发明实施例在获取所述去噪处理神经网络模型的损失函数lg的时候，可以先获取所述去噪处理神经网络模型中的至少两个维度的局部损失函数，再采用预设加权的方式对所述至少两个维度的局部损失函数进行加权处理，得到所述损失函数lg。例如，可以先获取局部损失函数：rgb色彩损失函数、ycbcr色彩损失函数、判别神经网络模型损失函数和感知特征损失函数。

所述rgb色彩损失函数用于计算去噪样本图像g(x)与干净图像y的均方误差，具体的函数可以参见下式：

所述ycbcr色彩损失函数用于计算去噪样本图像g(x)与干净图像y在转换到ycbcr空间后的均方误差。在一个实施例中，在计算过程中，y通道和cbcr通道分开计算，y通道用于优化去噪结果，cbcr通道用于减轻色彩失真。具体的函数可以参见下式：

其中，x表示rgb空间到ycbcr空间的转换。由于这是一个线性变换，因此在计算量上远小于网络优化时卷积函数的计算量，因此不会对网络优化时的资源占用造成影响。

采用rgb色彩损失函数和ycbcr色彩损失函数来优化去噪处理神经网络模型，可以提高去噪处理神经网络模型生成的去噪样本图像的质量，从而可以优化去噪结果。

所述判别神经网络模型损失函数用于计算判别神经网络模型把生成的去噪样本图像g(x)判别成干净图像y的概率的对数，具体的函数可以参见下式：

所述感知特征损失函数用于计算去噪样本图像g(x)与干净图像y输入网络φ后输出的两张特征图φ(g(x))和φ(y)的均方误差，通过已经训练好的网络φ来判断两张图像的特征是否相同。具体的函数可以参见下式：

其中，该网络φ可用于识别图像的语义。将去噪样本图像g(x)与干净图像y输入网络φ，网络φ可以通过分别识别这两张图像的语义信息，从而判断这两张图的特征点是否相同。在一个实施例中，在进行损失函数lg的确定中，可以选在imagenet上训练好的vg去噪处理神经网络模型，取从输入到输出的中间部分的特征作为训练时使用的网络φ。在其他实施例中，在选择该感知特征损失函数中的网络φ时，也可以选择其他网络的中间输出，如resnet，googlenet，等等。

上述四个局部损失函数中的n，均表示数据集中样本对的总数，即数据集中的数据对(x,y)的数量。在获取了上述的四个局部损失函数以后，对其进行加权处理，可得到所述去噪处理神经网络模型的损失函数lg，即具体的损失函数lg可以参见下式：

lg＝lrgb+λ1la+λ2lf+λ3lyuv

其中，λ1、λ2和λ3是调节la、lf和lyuv三个局部损失函数的参数，用于平衡损失函数lg的权重。对于该λ1、λ2和λ3的取值，可以根据图像去噪过程所总结的经验值来确定。去噪处理神经网络模型的优化目标就是最小化该损失函数lg，该损失函数lg的值越小，则表明去噪处理神经网络模型生成的去噪样本图像g(x)与干净图像y的差距越小。

本发明采用至少两个维度的局部损失函数对去噪处理神经网络模型进行优化，相比较于现有的只用一种损失函数(如rgb色彩损失函数)，本发明实施例可以在减少图像色彩失真的同时，还可以通过判别神经网络模型损失函数更好地去除噪声，采用感知特征损失函数提高去噪图像的清晰度。由此可以看出，本发明实施例所采用的损失函数lg可以更好地提高去噪图像的质量。

按照减小所述去噪处理神经网络模型的损失函数的值的原则，将所述判别结果进行反向传播以调整所述去噪处理神经网络模型的当前网络参数，以优化所述去噪处理神经网络模型。

由于所述损失函数lg可以确定去噪处理神经网络模型在生成去噪样本图像时所产生的图像损失值，因此按照减小所述去噪处理神经网络模型的损失函数lg的值的原则，将所述判别结果进行反向传播以调整所述去噪处理神经网络模型的当前网络参数，可以使得调整了参数后的去噪处理神经网络模型在下次生成去噪样本图像的过程中，减少图像的色彩损失以及特征损失，从而提高去噪图像的清晰度，解决去噪后图像模糊的问题。在具体实施过程中，先将所述去噪样本图像g(x)与所述干净图像y代入所述损失函数lg中，得到所述去噪处理神经网络模型的损失值。然后按照减小所述去噪处理神经网络模型的损失函数的值的原则，对所述判别结果中进行反向计算以调整所述去噪处理神经网络模型的当前网络参数。

在一个实施例中，对所述网络模型进行网络优化时，可以采取更新n次判别神经网络模型的网络参数后，更新1次去噪处理神经网络模型的网络参数的优化方式。在更新某个网络的时候，另一个网络的参数不更新，只进行前向计算，得到的梯度保留并用于另一个网络的反向计算。所谓的前向计算是指网络从输入到输出的计算，所谓的反向计算是指根据链式法则反向计算梯度，改变网络参数。例如，对判别神经网络模型进行参数更新的时候，保持去噪处理神经网络模型的参数信息不变，判别神经网络模型所得到的梯度信息用于反向传播，以得到用于更新去噪处理神经网络模型的参数信息。又例如，对去噪处理神经网络模型进行参数更新的时候，保持判别神经网络模型的参数信息不变，去噪处理神经网络模型所得到的梯度信息用于反向传播以得到更新判别神经网络模型的参数信息。其中，n的取值可以是1，也可以是取大于1的任何正整数，具体的取值可以根据实际的任务需求来确定。在其他实施例中，对生成式对抗网络进行网络优化时，也可以先对去噪处理神经网络模型进行网络优化，再对判别神经网络模型进行网络优化，即先更新去噪处理神经网络模型的网络参数，后更新判别神经网络模型的网络参数。

步骤7，根据所述优化后的去噪处理神经网络模型以及判别神经网络模型对输入的待处理目标图像进行去噪处理。

为了解决现有技术的图像去噪方法所存在的问题，本发明实施例提出了一种图像处理方案的构想：

首先，获取待处理的原始图像，所述原始图像包含噪声数据。

其次，调用优化的网络模型对所述原始图像进行去噪处理，得到目标图像，此处的网络模型可包括第一网络和第二网络，所述第一网络可以为浅层神经网络；所述优化的网络模型是通过所述第一网络与所述第二网络之间的对抗学习对所述网络模型进行优化所获得的。

最后输出所述目标图像。本发明实施例中的图像处理方法具有如下优点：

相比较于分层去噪的方法，本发明实施例在进行图像去噪时，采用了一个优化的网络模型对原始图像(即有噪图像)进行去噪处理，从而得到目标图像(即去噪图像)。在图像去噪的过程中，不需要将图像进行分层处理，从而可以避免不能很好地区分雨线和背景中的某些纹理的技术问题，进而保证了目标图像的清晰度以及图像信息的完整性。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。