一种基于深度卷积神经网络去除泊松噪声的方法与流程

本发明涉及图像去噪领域，尤其是涉及了一种基于深度卷积神经网络去除泊松噪声的方法。

背景技术：

图像去噪常用于视频监控、医学、天文图像等领域，还原噪声图像并保留图像关键信息，即去除影响对图像源信息进行理解分析的因素，获得视觉更清晰的效果。具体地安全领域内可以在模糊视频中是帧中目标轮廓清晰以助于辨别特定人或物，而医学上，由于医学成像系统的复杂性常产生噪声导致医学图像质量下降，进而影响医学分析诊断系统分析的精确性，故去除泊松噪声可以使得医学分析诊断能够得到精确的图像利于医学后续工作。故尽可能的减少噪声、提高图像的质量，选用适当的方法尽可能地去除噪声干扰是一个非常重要的图像预处理步骤，换句话说图像去噪算法研究是一切图像处理的前提，具有相当重要的意义。

本发明提出了一种基于深度卷积神经网络去除泊松噪声的方法，采取监督的方法，并使用由深度神经网络所表现的强大表示能力，在没有明确依赖一个模型的情况下，学习去除泊松噪声。通过构建一个深度神经网络DeNet，接收噪声灰度图像作为输入，网络每一层均用3×3的卷积核对上一层输出进行卷积，然后提取最后一个通道与输入图像组合预测原图的清晰图像，产生对原始清晰图像的估计，最终输出所得清晰图像。本发明突破了对数据模型的依赖，易于通过训练适应某种数据类型，此外，高度可并行化可在GPU上进行快速运算，使得能够更快速得到更精确的图像，推动了医学和天文等领域后续工作的研究和发展。

技术实现要素：

针对现有方法多需要更有效的对比推动研究的问题，本发明的目的在于提供一种基于深度卷积神经网络去除泊松噪声的方法，通过构建一个深度神经网络，采取监督的方法学习去除泊松噪声，易于通过训练适应某种数据类型，此外，高度可并行化可在GPU上进行快速运算，使得能够更快速得到更精确的图像，推动了医学和天文等领域后续工作的研究和发展。

为解决上述问题，本发明提供一种基于深度卷积神经网络去除泊松噪声的方法，其主要内容包括：

(一)网络架构；

(二)训练网络；

(三)监督框架；

(四)去除泊松噪声。

其中，所述的网络架构，是一个深度神经网络，用于将被泊松噪声污染的图像恢复成清晰图像，即去除泊松噪声，表示为DeNet，当网络估计噪声图像与清晰图像之间的差异时是以超分辨率为目的，并且与残差网络相似的是其权重梯度也是要通过后面的层并且直接从损失函数传播到每一层。

进一步地，所述的DeNet，DeNet网络接收噪声灰度图像作为输入，产生对原始清晰图像的估计，在每一层上，利用64个尺寸为3×3的卷积核在上一层输出上以步长为1做卷积，第63个输出通道用于计算后续步骤，而最后一个通道被提取出来直接与输入图像组合来预测清晰输出，这些提取层可以被视为负噪声成分因为它们的和抵销了噪声，网络包括20个卷积层，其中第18层使用非线性修正线性单元(ReLU)，而最后两层完全保持线性。

其中，所述的训练网络，在采用数据流图用于数值计算的开源软件库中执行网络，对5000幅图像做240K次迭代，采用了64个尺寸为128×128的图像块，图像被转换为YCbCr，Y通道在经过峰值缩放并偏移后，用作输入灰度图像，为扩张数据，在训练过程中，随机对训练图像进行裁剪和翻转垂直轴得到新的图像块，此外，噪声实现也是随机的。

进一步地，所述的训练过程，使用自适应矩估计(ADAM)优化器完成训练，分别用不同的峰值单独训练网络，为避免卷积在图像块的边界产生伪图像，在训练期间使用l₂损失在图像块的中心部分裁减了外部的21个像素。在测试时，将使用对称映射的21个像素在其通过网络传递之前用于填充图像，然后裁剪回原来的大小输出最终结果。

进一步地，所述的自适应矩估计(ADAM)，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，学习率为α＝10^-4，β₁＝0.9，β₂＝0.999和∈＝10^-8，优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

其中，所述的监督框架，是为泊松去噪而构建，使网络具备固有灵活性可对特定数据进行微调，此框架使用语义类作为先验，并构建类感知去噪器，即限制为特定语义类，其中类感知是通过训练而得，并非如一般方法是通过设计或用户手动提供而得，因此它可以自动扩展到任何类型或数量的类，例如，选择人脸去噪以获得个人清晰照片集合，或者，一个潜在地训练的同时另一个深度网络对噪声图像进行自动分类。

进一步地，所述的泊松噪声，既不是累加的也不是固定的，因为其强度取决于图像强度，当信噪比(SNR)在每个像素中是时，降低图像中的强度会产生更强的噪声，因此，利用Y的最大值(其峰值)定义图像中的噪声功率，假设强度值在整个动态范围内均匀分布时，此方法具有优越的性能，并且适用于大多数自然图像。

其中，所述的去除泊松噪声，使用语义类作为先验，并构建类感知去噪器，通过深度卷积神经网络DeNet，以噪声灰度图像作为输入，每一层均用3×3的卷积核对上一层输出进行卷积，然后提取最后一个通道与输入图像组合预测原图的清晰图像，产生对原始清晰图像的估计，最终输出所得清晰图像。

附图说明

图1是本发明一种基于深度卷积神经网络去除泊松噪声的方法的系统流程图。

图2是本发明一种基于深度卷积神经网络去除泊松噪声的方法的DeNet网络架构图。

图3是本发明一种基于深度卷积神经网络去除泊松噪声的方法的去噪流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于深度卷积神经网络去除泊松噪声的方法的系统流程图。主要包括网络架构、训练网络、监督框架、去除泊松噪声。

其中，所述的网络架构，是一个深度神经网络，用于将被泊松噪声污染的图像恢复成清晰图像，即去除泊松噪声，表示为DeNet，当网络估计噪声图像与清晰图像之间的差异时是以超分辨率为目的，并且与残差网络相似的是其权重梯度也是要通过后面的层并且直接从损失函数传播到每一层。

DeNet网络接收噪声灰度图像作为输入，产生对原始清晰图像的估计，在每一层上，利用64个尺寸为3×3的卷积核在上一层输出上以步长为1做卷积，第63个输出通道用于计算后续步骤，而最后一个通道被提取出来直接与输入图像组合来预测清晰输出，这些提取层可以被视为负噪声成分因为它们的和抵销了噪声，网络包括20个卷积层，其中第18层使用非线性修正线性单元(ReLU)，而最后两层完全保持线性。

其中，所述的训练网络，在采用数据流图用于数值计算的开源软件库中执行网络，对5000幅图像做240K次迭代，采用了64个尺寸为128×128的图像块，图像被转换为YCbCr，Y通道在经过峰值缩放并偏移后，用作输入灰度图像，为扩张数据，在训练过程中，随机对训练图像进行裁剪和翻转垂直轴得到新的图像块，此外，噪声实现也是随机的。训练期间，使用自适应矩估计(ADAM)优化器完成训练，分别用不同的峰值单独训练网络，为避免卷积在图像块的边界产生伪图像，在训练期间使用l₂损失在图像块的中心部分裁减了外部的21个像素。在测试时，将使用对称映射的21个像素在其通过网络传递之前用于填充图像，然后裁剪回原来的大小输出最终结果。

其中，所述的监督框架，是为泊松去噪而构建，使网络具备固有灵活性可对特定数据进行微调，此框架使用语义类作为先验，并构建类感知去噪器，即限制为特定语义类，其中类感知是通过训练而得，并非如一般方法是通过设计或用户手动提供而得，因此它可以自动扩展到任何类型或数量的类，例如，选择人脸去噪以获得个人清晰照片集合，或者，一个潜在地训练的同时另一个深度网络对噪声图像进行自动分类。

注意，泊松噪声既不是累加的也不是固定的，因为其强度取决于图像强度，当信噪比(SNR)在每个像素中是时，降低图像中的强度会产生更强的噪声，因此，利用Y的最大值(其峰值)定义图像中的噪声功率，假设强度值在整个动态范围内均匀分布时，此方法具有优越的性能，并且适用于大多数自然图像。

其中，所述的去除泊松噪声，使用语义类作为先验，并构建类感知去噪器，通过深度卷积神经网络DeNet，以噪声灰度图像作为输入，每一层均用3×3的卷积核对上一层输出进行卷积，然后提取最后一个通道与输入图像组合预测原图的清晰图像，产生对原始清晰图像的估计，最终输出所得清晰图像。

图2是本发明一种基于深度卷积神经网络去除泊松噪声的方法的DeNet网络架构图。DeNet网络接收噪声灰度图像作为输入，产生对原始清晰图像的估计，在每一层上，利用64个尺寸为3×3的卷积核在上一层输出上以步长为1做卷积，第63个输出通道用于计算后续步骤，而最后一个通道被提取出来直接与输入图像组合来预测清晰输出，这些提取层可以被视为负噪声成分因为它们的和抵销了噪声，网络包括20个卷积层，其中第18层使用非线性修正线性单元(ReLU)，而最后两层完全保持线性。

图3是本发明一种基于深度卷积神经网络去除泊松噪声的方法的去噪流程图。以噪声灰度图像作为输入，通过深度卷积神经网络DeNet，每一层均用3×3的卷积核对上一层输出进行卷积，然后提取最后一个通道与输入图像组合预测原图的清晰图像，产生对原始清晰图像的估计，最终输出所得清晰图像。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。