图像噪声去除系统、方法及设备与流程

本发明属于图像处理技术领域，具体涉及一种图像噪声去除系统、方法及设备。

背景技术：

在对图像数据进行处理时，噪声数据几乎总是存在的。无论是医疗图像、手机拍摄的照片、还是监控设备的图像或多或少均包含噪声数据，去除图像噪声数据对于后续的图像处理是必不可少的处理步骤。

现有的去除图像噪声的方法主要包括两类：

第一类是假设噪声的分布情况，以医疗ct图像为例，通常假设医疗ct图像中的噪声服从泊松分布，且不同位置的噪声是相互独立的，但是实际应用中，假设的噪声分布情况在实际数据上并不合理，图像中不同位置的噪声很可能是具有很强相关性的，不同图像的噪声分布情况不同，对噪声的假设不能反映真实的情况；

第二类是基于机器学习，将带有噪声的图像输入预先训练好的神经网络，输出不带噪声的图像，但是训练神经网络的训练数据需要是配对好的含有噪声和不含噪声的图像数据，而配对好的训练数据通常难以获得，在实际研究时，通常采用人造数据，但是人造数据不一定完全符合数据的噪声分布情况。以医疗图像为例，虽然可以对同一个物体或者病人使用不同的辐射计量，达到不同的噪声水平，但是同样很难实现两次拍摄的图像完全一致，而且多次拍摄成本也是一个很大的障碍。

因此，如何提出一种既对图像噪声分布不做任何假设，且不用配对的有噪声和无噪声的训练数据实现去除图像中噪声数据的方案是本领域技术人员目前需要解决的问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有技术基于图像噪声分布假设以及需要配对的有噪声和无噪声的训练数据实现去除图像中噪声的问题，本发明的第一方面提供了一种图像噪声去除系统，包括：生成对抗网络和图像去噪网络，所述生成对抗网络包括噪声生成网络和噪声判别网络；

所述图像去噪网络配置为对目标图像进行去噪处理得到低噪声图像，或者在所述系统对所述生成对抗网络和所述图像去噪网络进行网络训练时对所述噪声生成网络的输出结果进行去噪处理得到低噪声图像样本；

所述噪声生成网络配置为根据所述低噪声图像样本与随机噪声生成噪声图像并且将所述噪声图像分别输出至所述图像去噪网络和所述噪声判别网络；

所述噪声判别网络配置为根据预设的噪声图像样本预测所述噪声生成网络输出的噪声图像是真实噪声图像的概率。

在上述方案的优选技术方案中，所述噪声生成网络包括噪声生成模块和噪声叠加模块；

所述噪声生成模块配置为根据所述低噪声图像样本与随机噪声生成噪声并且将所述噪声输出至所述噪声叠加模块；

所述噪声叠加模块配置为将所述噪声生成模块输出的噪声叠加至所述低噪声图像样本得到所述噪声图像。

在上述方案的优选技术方案中，所述低噪声图像样本对应的数据矩阵与所述随机噪声对应的数据矩阵大小相同。

在上述方案的优选技术方案中，所述系统还包括网络训练装置，所述网络训练装置配置为根据所述噪声图像样本并且利用机器学习算法同时对所述生成对抗网络和所述图像去噪网络进行网络训练。

在上述方案的优选技术方案中，所述生成对抗网络和所述图像去噪网络均是神经网络。

本发明的第二方面还提供了一种基于上述方案所述的图像噪声去除系统的图像噪声去除方法，所述方法包括利用完成网络训练后的图像去噪网络对目标图像进行去噪处理得到低噪声图像；

所述方法还包括：利用所述网络训练装置同时对所述系统中的生成对抗网络和图像去噪网络进行网络训练。

在上述方案的优选技术方案中，“利用所述网络训练装置同时对所述系统中的生成对抗网络和图像去噪网络进行网络训练”的步骤包括：

根据预设的噪声图像样本与预设的目标函数并且利用机器学习算法同时对所述生成对抗网络和所述图像去噪网络进行网络训练；

其中，所述目标函数包括所述生成对抗网络对应的第一目标函数以及所述图像去噪网络对应的第二目标函数。

在上述方案的优选技术方案中，所述第一目标函数如下式所示：

其中，v(d,g)表示所述第一目标函数，所述g和d分别表示所述生成对抗网络中的噪声生成模块和噪声判别模块，所述pdata(x)是噪声图像样本集，所述pz(z)是随机噪声函数，所述g(z)表示所述噪声生成模块g根据第z个随机噪声生成的噪声图像，所述d(g(z))表示所述噪声判断模块d预测所述噪声图像g(z)是真实噪声图像的概率，所述d(x)表示所述噪声判断模块d预测第x个噪声图像样本是真实噪声图像的概率。

在上述方案的优选技术方案中，所述第二目标函数是最小平法误差准则函数。

本发明的第三方面还提供了一种图像噪声去除设备，包括控制系统和上述方案所述的图像噪声去除系统，所述控制系统包括处理器和存储设备；

所述存储设备适于存储多条程序，所述程序适于由所述处理器加载以执行上述方案所述的图像噪声去除方法。

与最接近的现有技术相比，上述技术方案至少具有如下有益效果：

本发明提供的图像噪声去除系统，包括生成对抗网络和图像去噪网络，生成对抗网络包括噪声生成网络和噪声判别网络，图像去噪网络可以对目标图像进行去噪处理得到低噪声图像，噪声生成网络可以生成与真实噪声图像接近的伪造噪声图像，噪声判别网络可以判别噪声生成网络生成伪造噪声是否为真实的噪声图像；本发明的系统无需对图像的噪声分布进行任何假设，且不需使用配对的有噪声和无噪声的训练数据，可以适用于各种类型的噪声，且更为经济。

附图说明

图1为本发明一种实施例的图像噪声去除方法的主要步骤示意图；

图2(a)为本发明一种实施例的低噪声图像的示意图；

图2(b)为本发明一种实施例的模拟噪声的示意图；

图2(c)为本发明一种实施例的伪造噪声图像的示意图；

图2(d)为本发明一种实施例的目标噪声图像的示意图；

图2(e)为本发明一种实施例的降噪后图像的示意图；

图3为本发明一种实施例的图像噪声去除系统的主要结构示意图；

图4为本发明一种实施例的图像噪声去除系统去除噪声的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

参阅附图1，图1示例性地示出了本实施例中图像噪声去除方法的主要步骤。如图1所示，本实施例中图像噪声去除方法主要包括如下步骤：

步骤s101：获取低噪声图像以及与低噪声图像对应的随机噪声。

在实际应用中，假设的噪声分布情况在实际数据上并不合理，图像中不同位置的噪声很可能是具有很强相关性的，不同图像的噪声分布情况不同，对噪声的假设不能反映真实的情况；配对的有噪声和无噪声的图像数据难以获得且获取成本较高。

可以通过预先训练好的神经网络实现去除图像噪声，具体地，以ct图像降噪为例，可以获取低辐射计量的低噪声图像以及与该图像对应的随机噪声，其中，低噪声图像是以低辐射计量照射照片产生的图像，图像中噪声数据较低，随机噪声可以是高斯随机噪声，高斯随机噪声是一个2d矩阵，其低噪声图像对应的数据矩阵与随机噪声对应的数据矩阵大小相同。

步骤s102：噪声生成网络根据低噪声图像和低噪声图像对应的随机噪声生成模拟噪声。

具体地，由于真实的噪声在不同位置的值是相关的，并且和图像本身的信号值是相关的，且为了保留图像原本的宏观结构，可以通过噪声生成网络生成模拟噪声，模拟噪声只在局部对图像进行调整，从而避免生成的噪声图像和无噪声图像是对应的，得到更为真实的噪声数据。其中，噪声生成网络可以是根据预设的噪声图像样本与预设的目标函数并利用机器学习算法训练好的神经网络，噪声生成网络可以是unet网络。

将低噪声图像和低噪声图像对应的随机噪声输入噪声生成网络，噪声生成网络输出模拟噪声，其中，模拟噪声对应的数据矩阵与低噪声图像对应的数据矩阵大小相同，且模拟噪声也是一个2d矩阵。

步骤s103：将模拟噪声与低噪声图像进行叠加，得到伪造噪声图像。

通过模拟噪声和低噪声图像的叠加，可以保留图像原本的宏观结构，噪声只在局部对图像进行调整，由于后续生成对抗网络的modecollapsing的问题，若是直接生成噪声图像则不能保证对应关系。

步骤s104：将伪造噪声图像和低噪声图像输入噪声判别网络，噪声判别网络判别输入图像为真实噪声图像的概率。

噪声判别网络是一个分类神经网络，对两种类型的图像进行分类，噪声生成网络生成的伪造噪声图像会尽可能地接近真实的噪声图像，而噪声判别网络会尽可能地识别出伪造的噪声图像，通过多个图像样本数据的训练，可以使噪声生成网络生成的噪声图像更接近真实的噪声图像，判别网络可以更准确地识别出真实的图像。

其中，噪声判别网络可以是根据预设的噪声图像样本与预设的第一目标函数并利用机器学习算法训练好的神经网络，噪声判别网络可以是resnet网络。

具体地，第一目标函数可以如公式(1)所示：

其中，v(d,g)表示第一目标函数，所述g和d分别表示生成对抗网络中的噪声生成网络和噪声判别网络，pdata(x)是噪声图像样本集，pz(z)是随机噪声函数，g(z)表示噪声生成网络g根据第z个随机噪声生成的噪声图像，d(g(z))表示噪声判断网络d预测噪声图像g(z)是真实噪声图像的概率，所述d(x)表示噪声判断模块d预测第x个噪声图像样本是真实噪声图像的概率。

步骤s105：图像去噪网络对目标图像进行去噪处理，得到低噪声图像。

在实际应用中，可以将噪声判别网络判别为真的伪造噪声图像输入图像去噪网络，图像去噪网络可以根据预设的噪声图像样本与预设的第二目标函数并且利用机器学习算法训练的神经网络，其中，第二目标函数可以是最小平法误差准则函数。

如图2(a)-(e)所示，图2(a)-(e)示例性地示出了本实施例中低噪声图像、模拟噪声、伪造噪声图像、目标噪声图像以及降噪后图像的示意图，其中，图2(a)为低噪声图像，图2(b)为模拟噪声，图2(c)为伪造噪声图像，图2(d)为目标噪声图像，图2(e)为降噪后图像。

通过本发明的方法可以适用于各种类型的噪声，无需配对数据，适用范围广，并且更加经济。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

基于上述方法实施例，本发明还提供了一种图像噪声去除系统。下面结合附图，对该图像噪声去除系统进行说明。

参阅附图3，图3示例性地示出了本实施例中图像噪声去除系统的主要结构。如图3所示，本实施例图像噪声去除系统包括生成对抗网络和图像去噪网络1，生成对抗网络包括噪声生成网络2和噪声判别网络3。参阅附图4，图4示例性地示出了本实施例中图像噪声去除系统去除噪声的流程。

图像去噪网络1配置为对目标图像进行去噪处理得到低噪声图像，或者在系统对生成对抗网络和图像去噪网络1进行网络训练时对噪声生成网络2的输出结果进行去噪处理得到低噪声图像样本；

噪声生成网络2配置为根据低噪声图像样本与随机噪声生成噪声图像并且将噪声图像分别输出至图像去噪网络1和噪声判别网络3；

噪声判别网络3配置为根据预设的噪声图像样本预测噪声生成网络2输出的噪声图像是真实噪声图像的概率。

在上述方案的优选技术方案中，噪声生成网络2包括噪声生成模块和噪声叠加模块；

噪声生成模块配置为根据低噪声图像样本与随机噪声生成噪声并且将噪声输出至噪声叠加模块；

噪声叠加模块配置为将噪声生成模块输出的噪声叠加至低噪声图像样本得到噪声图像。

在上述方案的优选技术方案中，低噪声图像样本对应的数据矩阵与随机噪声对应的数据矩阵大小相同。

在上述方案的优选技术方案中，系统还包括网络训练装置，网络训练装置配置为根据噪声图像样本并且利用机器学习算法同时对生成对抗网络和图像去噪网络1进行网络训练。

在上述方案的优选技术方案中，生成对抗网络和图像去噪网络1均是神经网络。

基于上述系统实施例，本发明还提供了一种图像噪声去除设备，该图像噪声去除设备可以包括控制系统和上述的图像噪声去除系统，控制系统可以包括处理器和存储设备；

存储设备适于存储多条程序，程序适于由处理器加载以执行上述的图像噪声去除方法。

所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明系统、设备实施例的具体工作过程以及相关说明，可以参考前述方法实施例中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。