一种基于深度学习的宽场照明荧光超分辨显微成像方法

1.本发明涉及光学超分辨显微成像领域，具体地说，涉及一种基于深度学习的宽场照明荧光超分辨显微成像方法。


背景技术：

2.荧光超分辨显微成像技术作为重要的细胞微观结构观测手段，其分辨率和成像速度决定了对细胞动态过程的探测能力。在此背景下，相较于单分子定位显微术(smlm)和受激发射损耗显微术(sted)等超分辨技术，结构光照明显微术(sim)兼具高速成像和高分辨率的特性，并且对生物样品标记要求低，光毒性小，成为目前最适合观测细胞生理过程的超分辨手段。
3.虽然sim在光毒性和成像速度方面具有优良的性能，它需要利用经过正弦条纹光场照明样品，采集三个方向，三步相移条纹照明的九张原始图片进行2d sim超分辨图像的重建，对于条纹对比度，以及条纹移相精度有着很高的要求，这意味着结构光照明超分辨对系统像差和信噪比(snr)很敏感，由于像差或系统误差导致的图像畸变将使重建过程产生错误，从而输出劣质的重建结果。到目前为止，研究人员提出了多种算法，如blind-sim等，消除sim对照明光场周期，相移量等参数估计精确度的依赖性，但这些算法的成功重建依赖于采集大量的散斑照明图像，降低了sim成像的时间分辨率。同时，目前的宽场超分辨深度学习算法仅通过缩小宽场与对应超分辨重建结果之间的损失函数实现分辨率提升，缺失条纹照明图像所包含的莫尔条纹信息，重建结果的分辨率低于sim超分辨深度学习算法的重建分辨率。


技术实现要素：

4.为了解决上述技术问题，本发明提出一种基于深度学习的宽场照明荧光超分辨显微成像方法，可实现宽场照明下单帧活细胞样品超分辨成像。
5.本发明所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，包含以下步骤：
6.s1、训练集原始图像获取：利用sim硬件系统拍摄样品在相同区域中处于不同方向、不同相位正弦条纹照明下的图像作为一组原始图像，拍摄不同样品在不同区域中处于不同方向、不同相位正弦条纹照明下的图像，获得多组原始图像；
7.s2、训练数据集制作：将s1中采集的一组原始图像进行加和平均，得到相应的宽场图像；将一组原始图像作为训练网络的真值，相应宽场图像作为训练网络的输入进行训练，得到一批训练数据集；
8.s3、网络训练、损失函数构建：采用adam优化器对训练数据集的数据进行迭代优化，缩小损失函数中输出与真值的差距至网络收敛，将此时的参数保存为最优网络参数，作为宽场荧光超分辨重建的前置条件；
9.s4、超分辨图像重建：利用均匀光场照明样品，得到样品的宽场荧光图像，输入步
骤s3中训练好的最优网络参数得到网络输出的sim数据，再通过sim重建算法进行sim超分辨重建，得到重建的超分辨图像。
10.作为优选，所述步骤s1中如果为二维sim照明模式采集数据，一组原始数据为9张图，如果为三维sim照明模式采集数据，一组原始数据为15张图。
11.作为优选，所述所述步骤s2中先对多组原始图像进行分割、旋转进行数据增广，再进行加和平均。
12.作为优选，所述步骤s2中先对多组原始图像进行归一化，设置信息密度阈值，去除信息密度低于信息密度阈值的图像，再进行加和平均。
13.作为优选，所述步骤s3包括以下子步骤：
14.s3.1、构建生成对抗网络，该网络由生成器网络与辨别器网络两部分组成；
15.s3.2、构建包含生成器损失和辨别器损失的损失函数，生成器损失用于量化描述生成器输出与真值之间的差距，该损失为傅里叶损失，均方根误差与辨别器损失加权和，用于约束输出的空域、频域损失；辨别器损失函数描述辨别器识别正确率，为二进制交叉熵函数；
16.s3.3、将s2所得宽场图像输入生成器网络，s1中所得多组原始图像作为真值，在迭代中缩小生成器损失函数取值，优化生成器网络，同时将生成器网络输出与s1中所得多组原始图像输入辨别器网络，提升辨别器网络识别真实原始图像准确率。
17.作为优选，所述子步骤s3.1中生成器网络用于扩大网络的感受野，其包含2个下采样模块，9个残差块，2个上采样模块。
18.作为优选，所述子步骤s3.2中傅里叶损失为网络输出与真值的频域模值之差的平均值。
19.作为优选，所述子步骤s3.3中生成器网络与辨别器网络所使用的优化器均为adam优化器，在生成器训练中冻结辨别器。
20.作为优选，所述步骤s4包括以下子步骤：
21.s4.1、将宽场荧光图像输入步骤s3中搭建的生成器网络，载入步骤s3中保存的最优网络参数,网络输出不同方向、不同相位正弦条纹照明的sim数据；
22.s4.2、将网络输出的sim数据输入sim重建算法进行重建，得到超分辨结果。
23.作为优选，所述子步骤s4.1中，如果网络载入为二维sim数据训练参数，则输出9张图片，利用二维sim重建算法进行重建；如果网络载入为三维sim数据训练参数，则输出15张图片，利用三维sim重建算法进行重建。
24.作为优选，所述子步骤s4.2的sim重建算法包括任意现有的二维或三维sim重建算法，用于计算网络输出的sim图相对应的调制频率、相位和高低频分量，然后将计算出不同频率分量移至对应位置，再对高频频谱进行滤波，得到重建的超分辨图像。
25.与现有技术相比，本发明具有以下有益的技术效果：
26.(1)仅通过一张宽场图像即可实现超分辨sim重建，成像速度快，降低了光毒性，提升了时间分辨率；
27.(2)与传统使用单张宽场图和相应超分辨图直接训练实现宽场超分辨成像的方法相比，本发明由于利用了更多的样品信息，可达到的空间分辨率更高；
28.(3)训练集需要使用sim系统采集，一旦训练完成之后即可基于普通的宽场显微镜
系统完成超分辨成像，光路简单，样品要求低，普适性强。
附图说明
29.图1为本发明的原始图像采集与网络训练过程示意图；
30.图2为本发明的宽场荧光超分辨重建过程示意图；
31.图3为本发明所使用的生成对抗网络结构图；
32.图4为本发明的实施效果图。
具体实施方式
33.下面通过附图以及具体实施方式进一步说明本发明。
34.实施例1
35.本发明的一种基于深度学习的宽场照明荧光超分辨显微成像方法，包括以下步骤：
36.s1、训练集原始图像获取：利用sim硬件系统拍摄样品在相同区域中处于不同方向、不同相位正弦条纹照明下的图像作为一组原始图像，拍摄不同样品在不同区域中处于不同方向、不同相位正弦条纹照明下的图像，获得多组原始图像；
37.s2、训练数据集制作：如图1所示，将s1中采集的一组原始图像进行归一化，设置信息密度阈值，去除信息密度低于信息密度阈值的图像，再进行加和平均，得到相应的宽场图像；将一组原始图像作为训练网络的真值，相应宽场图像作为训练网络的输入进行训练，得到一批训练数据集；
38.s3、网络训练、损失函数构建：如图1所示，构建损失函数，定量描述网络输出与真值的差距，将s2所得训练数据集输入生成器网络，采用adam优化器进行迭代优化，缩小损失函数取值至网络收敛，保存生成器权重参数，作为宽场荧光超分辨重建的前置条件，在生成器训练中冻结辨别器；该步骤通过以下子步骤实现：
39.s3.1，构建生成对抗网络，该网络由生成器网络与辨别器网络两部分组成。生成器网络部分参考了resnet，具体结构如图3所示，该网络由下采样模块，残差块，上采样模块组成，形成了典型的encode-decode网络结构，下采样模块扩大了网络的感受野，使得网络学习到更为全局的信息，残差块优化了梯度消失问题，最后由上采样模块对信息进行逐步解码。辨别器网络包含12个卷积层，采用leaky relu激活函数对每个卷积层的输出进行激活，保证当输入小于0时网络的学习效率，在经由全局平均池化层后，连接两个全连接层，从而得到输入网络图片为实拍sim原始数据的概率。
40.s3.2、构建包含生成器损失和辨别器损失的损失函数，生成器损失用于量化描述生成器输出与真值之间的差距，该损失为傅里叶损失，均方根误差与辨别器损失加权和，用于约束输出的空域、频域损失；辨别器损失函数描述辨别器识别正确率，为二进制交叉熵函数损失函数由两部分组成，一个是生成器损失，一个是生成对抗损失，满足如下表达式：
[0041][0042]
l
g|d
(x,y)＝βlg(x,y)+γld(g(x)i)
[0043]
其中，lg代表生成器损失，ld代表辨别器损失，l
g|d
代表生成对抗网络联合损失，w,h为图像的宽和高，g(x)i为生成器输出，x为s2获得宽场图像，yi为s1所得sim原始图像，即真值，fft为傅里叶变换。β，λ，γ为网络超参数。
[0044]
s3.3、将s2所得宽场图像输入生成器网络，s1中所得多组原始图像作为真值，在迭代中缩小生成器损失函数取值，优化生成器网络，同时将生成器网络输出与s1中所得多组原始图像输入辨别器网络，提升辨别器网络识别真实原始图像准确率。
[0045]
s4、超分辨图像重建：如图2所示，利用均匀光场照明样品，得到样品的宽场荧光图像，将宽场荧光图像输入s3中搭建的resnet，并将s3中所得最优网络参数载入生成器，得到生成器网络输出的sim原始数据；将生成器网络输出的sim原始数据输入fair-sim重建算法，得到重建的超分辨图像，如图4所示。该步骤通过以下子步骤实现：
[0046]
s4.1、将宽场荧光图像输入s3中搭建生成器网络，载入s3中保存的最优网络参数，从而得到不同方向、不同相位正弦条纹照明的sim原始数据。如果网络载入为二维sim数据训练参数，则输出9张图片，利用二维sim重建算法进行重建；如果网络载入为三维sim数据训练参数，则输出15张图片，利用三维sim重建算法进行重建。sim重建算法包括任意现有的二维或三维sim重建算法。
[0047]
s4.2、通过计算s4.1中，不同方向sim原始图相对应的调制频率k0和相位得到经不同方向条纹照明调制所得的样品高频分量和低频分量，根据计算得出的k0，将计算出不同频率分量移频至对应位置，对高频频谱进行维纳滤波，得到重建的超分辨图像，从而得到超分辨显微结果。
[0048]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。