基于生成对抗网络的三维荧光显微信号去噪方法与流程

本发明涉及计算成像、显微成像与机器学习技术领域，特别涉及一种基于生成对抗网络的三维荧光显微信号去噪方法。

背景技术：

荧光信号三维成像在显微成像中具有非常重要的作用，其中包括三维结构成像和三维功能成像。然而，这些生物体内的荧光团受到最大光子曝光的限制，过大的光强会使得生物体内的荧光团发生漂白或失活，因此必须在有限的光照强度下进行荧光信号的观测，使得观测结果需要在成像速度，空间分辨率和成像深度之间进行权衡。

如何从短曝光得到的低信噪比荧光数据获得类似长曝光下的高信噪比荧光数据，是非常有意义的一个工作。它不需要额外的硬件设备，只需要通过对采集的低信噪比数据进行去噪和分析，从而获取高信噪比的荧光结果。

相关技术中，随着深度学习技术的快速发展，通过训练数据进行网络的训练，可以更好的解决分类、回归等任务，也能在分割、跟踪等任务中取得理想的效果。在显微成像领域中，卷积神经网络技术已在细胞分类、癌症细胞分割、电镜层析等领域取得一定的效果，为该技术在其他领域和任务中的应用提供了一定的方向和途径。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于生成对抗网络的三维荧光显微信号去噪方法，该方法可以有效的提升低信噪比三维荧光显微信号的去噪能力，更加可靠并准确。

为达到上述目的，本发明实施例提出了一种基于生成对抗网络的三维荧光显微信号去噪方法，包括以下步骤：步骤s1：搭建去噪生成网络，所述去噪生成网络包括数个第一卷积层、第一最大池化层、上采样层、跳连接层及每个卷积层后面连接的第一规范化操作、第一激励操作；步骤s2：搭建去噪判别网络，所述去噪判别网络包括数个卷积层、最大池化层、全连接层，以及每个卷积层后面连接的第二规范化操作、第二激励操作以及二分类的输出；步骤s3：建立训练数据与测试样本数据；步骤s4：根据所述训练数据与所述测试样本数据以最小化代价函数为目标，训练所述去噪生成网络和所述去噪判别网络；步骤s5：将荧光显微数据输入到所述去噪生成网络，得到去噪结果。

本发明实施例的基于生成对抗网络的三维荧光显微信号去噪方法，通过训练去噪生成网络和去噪判别网络，从而能够将低信噪比的三维荧光数据去噪得到高信噪比的数据，显著地提高了三维荧光信号的效果，能够有效的提升低信噪比三维荧光显微信号的去噪能力，更加可靠并准确。

另外，根据本发明上述实施例的基于生成对抗网络的三维荧光显微信号去噪方法还可以具有以下附加的技术特征：

可选地，在本发明的一个实施例中，所述步骤s1包括：步骤s11：搭建第一卷积部分，其中，所述第一卷积部分为2层3d卷积层，每个第一卷积层后面对应接一个最大池化层；步骤s12：搭建上卷积部分，其中，所述上卷积部分为2层3d卷积层，每个卷积层后面对应接一个上采样层并同时接一个跳连接层将对应池化前的数据进行组合；步骤s13：搭建整个生成网络模型的输出部分，其中，所述输出部分包括1层卷积层，以与输入数据相加得到输出结果，输出为与输入同样尺寸的数据，输入数据去噪后的结果。

可选地，在本发明的一个实施例中，所述步骤s2包括：步骤s21：搭建第二卷积部分，其中，所述第二卷积部分为4层3d卷积层，每个第二卷积层后面对应接一个最大池化层；步骤s22：搭建全连接部分；步骤s23：搭建整个卷积神经网络模型的输出部分，其中，输出为一个数，表示当前输入的数据是原始的高信噪比数据。

进一步地，在本发明的一个实施例中，所述步骤s1中的输入为64x64x16的三维低信噪比荧光数据，所述数据三维低信噪比荧光从相机拍摄的低信噪比荧光图像序列堆栈中随机或通过滑动窗口获取，目标输出为64x64x16的三维高信噪比荧光数据，所述三维高信噪比荧光数据从所述相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

进一步地，在本发明的一个实施例中，所述步骤s2中的输入为64x64x16原始的高信噪比数据或者去噪后的低信噪比数据，去噪数据为步骤s1中去噪网络输出的三维荧光数据，原始数据从所述相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

进一步地，在本发明的一个实施例中，所述步骤s3中，所述训练数据包括10000个荧光区域数据，且大小为64x64x16，其中，利用不同的照明光强度获取相同区域下不同信噪比数据；利用不同的曝光时间获取相同区域下不同信噪比数据，且所述测试样本数据为不同区域下低信噪比数据。

进一步地，在本发明的一个实施例中，所述步骤s4中的去噪判别网络代价函数如下：

l1(z,z^*)＝-z^*·log(z)-(1-z^*)·log(1-z)，

其中，z为所述低信噪比数据经过所述去噪判别网络输出得到的概率值，z^*为所述训练样本是否属于原始高信噪比数据。

进一步地，在本发明的一个实施例中，所述步骤s4中的去噪生成网络代价函数如下：

l2(y,y^*)＝sum(y-y^*)²+log(1-z)，

其中，为所述低信噪比数据经过所述去噪生成网络输出得到的去噪数据，y^*为所述训练样本中对应的高信噪比真值数据。

进一步地，在本发明的一个实施例中，所述步骤s4中网络权重初始化采用一维高斯分布，利用adamoptimizer方法来最小化损失函数。

进一步地，在本发明的一个实施例中，所述步骤s4中网络权重值是通过最小化损失函数直到不再下降为止得到。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于生成对抗网络的三维荧光显微信号去噪方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于生成对抗网络的三维荧光显微信号去噪方法。

图1是本发明一个实施例的基于生成对抗网络的三维荧光显微信号去噪方法的流程图。

如图1所示，该基于生成对抗网络的三维荧光显微信号去噪方法包括以下步骤：

步骤s1：搭建去噪生成网络，去噪生成网络包括数个第一卷积层、第一最大池化层、上采样层、跳连接层及每个卷积层后面连接的第一规范化操作、第一激励操作。

可以理解的是，首先搭建去噪生成网络，所述生成网络包括数个卷积层、最大池化层、上采样层、跳连接层，以及每个卷积层后面连接的规范化操作、激励操作，所述规范化操作采用batchnormalization，所述激励操作采用relu函数。

可选地，在本发明的一个实施例中，步骤s1包括：

步骤s11：搭建第一卷积部分，其中，第一卷积部分为2层3d卷积层，每个第一卷积层后面对应接一个最大池化层。

步骤s12：搭建上卷积部分，其中，上卷积部分为2层3d卷积层，每个卷积层后面对应接一个上采样层并同时接一个跳连接层将对应池化前的数据进行组合。

步骤s13：搭建整个生成网络模型的输出部分，其中，输出部分包括1层卷积层，以与输入数据相加得到输出结果，输出为与输入同样尺寸的数据，输入数据去噪后的结果。

具体地，步骤s1：搭建去噪生成网络包括如下步骤：s11、整个生成网络模型的前半部分，既卷积部分的搭建：卷积部分为2层3d卷积层，每个卷积层包括卷积操作、batchnormalization操作、relu激励操作，每个卷积层后面接一个最大池化层；s12、整个生成网络模型的后半部分，既上卷积部分的搭建：上卷积部分为2层3d卷积层，每个卷积层包括卷积操作、batchnormalization操作、relu激励操作，每个卷积层后面接一个上采样层并同时接一个跳连接层将对应池化前的数据进行组合；s13、整个生成网络模型的输出部分的搭建:输出部分包括1层卷积层，每个卷积层包括卷积操作、batchnormalization操作、relu激励操作，最后与输入数据相加得到输出结果，输出为与输入同样尺寸的数据，即输入数据去噪后的结果。

进一步地，在本发明的一个实施例中，步骤s1中的输入为64x64x16的三维低信噪比荧光数据，数据三维低信噪比荧光从相机拍摄的低信噪比荧光图像序列堆栈中随机或通过滑动窗口获取，目标输出为64x64x16的三维高信噪比荧光数据，三维高信噪比荧光数据从相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

也就是说，步骤s1中的输入为64x64x16的三维低信噪比荧光数据，该数据从相机拍摄的低信噪比荧光图像序列堆栈中随机或通过滑动窗口获取，目标输出为64x64x16的三维高信噪比荧光数据，该数据从相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

步骤s2：搭建去噪判别网络，去噪判别网络包括数个卷积层、最大池化层、全连接层，以及每个卷积层后面连接的第二规范化操作、第二激励操作以及二分类的输出。

可以理解的是，搭建去噪判别网络，所述判别网络包括数个卷积层、最大池化层、全连接层，以及每个卷积层后面连接的规范化操作、激励操作以及一个二分类的输出，所述规范化操作采用batchnormalization，所述激励操作采用relu函数。

可选地，在本发明的一个实施例中，步骤s2包括：

步骤s21：搭建第二卷积部分，其中，第二卷积部分为4层3d卷积层，每个第二卷积层后面对应接一个最大池化层。

步骤s22：搭建全连接部分。

步骤s23：搭建整个卷积神经网络模型的输出部分，其中，输出为一个数，表示当前输入的数据是原始的高信噪比数据。

具体地，步骤s2：搭建去噪判别网络包括如下步骤：s21、整个判别网络模型的前半部分，既卷积部分的搭建：卷积部分为4层3d卷积层，每个卷积层包括卷积操作、batchnormalization操作、relu激励操作，每个卷积层后面接一个最大池化层；s22、整个判别网络模型的后半部分，既全连接部分的搭建：全连接部分为2层全连接层；s23、整个卷积神经网络模型的输出，既一个二分类的输出:输出为一个数，表示当前输入的数据是原始的高信噪比数据而不是去噪后的低信噪比数据的概率。

进一步地，在本发明的一个实施例中，步骤s2中的输入为64x64x16原始的高信噪比数据或者去噪后的低信噪比数据，去噪数据为步骤s1中去噪网络输出的三维荧光数据，原始数据从相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

也就是说，步骤s2中的输入为64x64x16原始的高信噪比数据或者去噪后的低信噪比数据，去噪数据为步骤s1中去噪网络输出的三维荧光数据，原始数据从相机拍摄的高信噪比荧光图像序列堆栈中的对应输入数据区域获取。

步骤s3：建立训练数据与测试样本数据，即建立所需的训练、测试样本数据。

进一步地，在本发明的一个实施例中，步骤s3中，训练数据包括10000个荧光区域数据，且大小为64x64x16，其中，利用不同的照明光强度获取相同区域下不同信噪比数据；利用不同的曝光时间获取相同区域下不同信噪比数据，且测试样本数据为不同区域下低信噪比数据。

可以理解的是，步骤s3中，所述荧光显微训练样本包括10000个荧光区域数据，大小为64x64x16，这些数据获取的方法包括但不限于：利用不同的照明光强度获取相同区域下不同信噪比数据；利用不同的曝光时间获取相同区域下不同信噪比数据。测试样本为不同区域下低信噪比数据。

步骤s4：根据训练数据与测试样本数据以最小化代价函数为目标，训练去噪生成网络和去噪判别网络。

也就是说，以最小化代价函数为目标训练所述生成网络和判别网络。

进一步地，在本发明的一个实施例中，步骤s4中的去噪判别网络代价函数如下：

l1(z,z^*)＝-z^*·log(z)-(1-z^*)·log(1-z)，

其中，z为低信噪比数据经过去噪判别网络输出得到的概率值，z^*为训练样本是否属于原始高信噪比数据。

进一步地，在本发明的一个实施例中，步骤s4中的去噪生成网络代价函数如下：

l2(y,y^*)＝sum(y-y^*)²+log(1-z)，

其中，y为低信噪比数据经过去噪生成网络输出得到的去噪数据，y^*为训练样本中对应的高信噪比真值数据。

进一步地，在本发明的一个实施例中，步骤s4中网络权重初始化采用一维高斯分布，利用adamoptimizer方法来最小化损失函数。

进一步地，在本发明的一个实施例中，步骤s4中网络权重值是通过最小化损失函数直到不再下降为止得到。

综上，步骤s3中数据集选取训练样本，步骤s4对所有训练样本分别训练的网络形成的去噪生成网络和去噪判别网络，以在下一步骤将待去噪的数据输入到去噪生成网络模型，输出去噪后的数据。

步骤s5：将荧光显微数据输入到去噪生成网络，得到去噪结果。

即言，最后将荧光显微数据输入到去噪生成网络，输出去噪结果，

具体而言，本发明实施例的方法包括搭建去噪生成网络，搭建去噪判别网络，将荧光显微数据输入到去噪生成网络，输出去噪结果，生成网络包括数个卷积层、最大池化层、上采样层、跳连接层，以及每个卷积层后面连接的规范化操作、激励操作，规范化操作采用batchnormalization，激励操作采用relu函数；判别网络包括数个卷积层、最大池化层、全连接层，以及每个卷积层后面连接的规范化操作、激励操作以及一个二分类的输出，规范化操作采用batchnormalization，激励操作采用relu函数；建立所需的训练、测试样本数据；以最小化代价函数为目标训练生成网络和判别网络；将荧光显微数据输入到去噪生成网络，输出去噪结果，从而能够有效的提升低信噪比三维荧光显微信号的去噪能力。

根据本发明实施例的基于生成对抗网络的三维荧光显微信号去噪方法，通过训练去噪生成网络和去噪判别网络，从而能够将低信噪比的三维荧光数据去噪得到高信噪比的数据，显著地提高了三维荧光信号的效果，能够有效的提升低信噪比三维荧光显微信号的去噪能力，更加可靠并准确。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。