基于神经网络的傅里叶叠层显微镜光瞳恢复方法与流程

本发明涉及计算成像领域，具体涉及一种基于傅里叶叠层成像技术的显微镜图像重建方法。

背景技术：

傅立叶叠层成像显微镜(fpm)是一种新开发的成像方法，旨在规避空间带宽积(sbp)的限制，并获得宽视场，高分辨率的复杂图像。傅里叶叠层成像技术自2013以来，被应用于光学显微、生物医学、生命科学等领域，获得大视场、高分辨率的显微图像。然而，在fpm成像系统中，所使用的光学元件的光瞳像位差和非相干光成像显著地降低重建结果的质量。

技术实现要素：

本发明为解决现有傅里叶叠层成像模型在光学相差影响下导致的重建精度低，以及当前使用基于深度卷积神经网络的重建模型通用性差的问题，本发明提供一种基于神经网络的傅里叶叠层显微镜光瞳恢复方法。

基于神经网络的傅里叶叠层显微镜光瞳恢复方法，该方法由以下步骤实现：

步骤一、获取不同led的低分辨率子图像；

步骤二、基于tensorflow库构建神经网络模型，具体过程为：

初始化待重建的频谱oe(u)以及光瞳函数p(u)；

将步骤一获得的低分辨率子图像中对应于中心led的图像进行上采样，并进行傅里叶变换，将变换得到的结果作为神经网络模型中初始化的频谱；

采用对应系统参数的相干传递函数ctf进行光瞳函数的初始化；所述相干传递函数ctf的表达式为：

式中，fx和fy分别为频域的横纵坐标，na为系统中物镜的数值孔径，λ为led光源的中心波长；

步骤三、将步骤二中所述初始化后的待重建频谱oe(u)和光瞳函数p(u)分别表示为实部和虚部的结合，用下式表示为：

oe(u)＝or(u)+ioj(u)

p(u)＝pr(u)+ipj(u)(2)

式中，r为实部，j为虚部，u为频域的坐标，i表征虚数单位；

步骤四、根据第m个led的入射波矢量um对步骤三中的待重建频谱oe(u)进行平移，结果如下：

oe(u-um)＝or(u-um)+ioj(u-um)(3)

式中，um用下式表示为：

式中，xm和ym分别为第m个led在空域的坐标，d为led阵列距离样品的距离；

步骤五、将所述光瞳函数与所述相干传递函数ctf相乘，用于对光瞳函数进行约束，获得约束后的实部和虚部的光瞳函数分别为：

其中，c为约束过程；

步骤六、将步骤四获得的平移后的待重建频谱oe(u-um)和与步骤五中约束后的光瞳函数p^c(u)相乘，生成对应第m个led的低分辨率频谱olr，m(u)，用下式表示为：

olr，m(u)＝oe(u-um)·p^c(u)(6)

进一步推出下式：

步骤七、将步骤六获得的低分辨率频谱olr，m(u)裁剪成对应的低分辨率尺寸，获得裁剪后的对应真实成像过程的低分辨率频谱

步骤八、对步骤七中所述的低分辨率频谱进行傅里叶逆变换，获得对应于第m个led的低分辨率复振幅ee，m(l)，用下式表示为：

式中，l表示空间域坐标系，f^-1表示傅里叶逆变换；

步骤九、采用实际测量的对应第m个led的低分辨率子图对步骤八获得的低分辨率复振幅ee，m(l)的强度进行校正，获得校正后的低分辨率复振幅所述校正后的低分辨率复振幅作为神经网络的输出值；所述神经网络模型构建完成；所述校正后的低分辨率复振幅用下式表示为：

式中，∑pix为对实际测量的图像以及网络模型中得到的低分辨率图像的每个像素的值进行求和；

步骤十、对步骤九构建完成神经网络模型进行训练；具体过程为：

将所述神经网络模型的损失函数设置为步骤九获得的校正后的低分辨率复振幅和实际测量的对应第m个led的低分辨率子图的开方之间的l2范数，如下式所示：

式中，m为led的个数；

采用结合nesterov动量的梯度下降算法和nadam作为所述神经网络模型的优化函数训练步骤三所述的待重建频谱频谱oe(u)和光瞳函数p(u)；

步骤十一、对所述神经网络模型中训练获得的样品的高分辨率频谱进行逆傅里叶变换，获得所述样品的高分辨率复振幅信息。

本发明的有益效果：本发明结合fpm系统的正向成像方式并基于tensorflow这个深度学习框架搭建了一个神经网络模型。该网络模型引入了对于系统光瞳函数的恢复过程，相较于传统的没有考虑光瞳函数的算法，本发明可以更好的抑制系统中的光学像差对重建结果的影响从而得到更好的结果。

本发明将样本的频谱和光瞳函数都设为网络中可被训练的二维网络层，通过最小化训练过程中的损失函数来同时获得样品的复振幅信息和光瞳函数，本发明具有良好的普适性并能够在系统中存在像差的情况下仍获得相较于传统算法更好的重建结果。

附图说明

图1为本发明所述的基于傅里叶叠层显微镜的神经网络光瞳恢复方法的网络结构图；

图2为本发明所述的基于傅里叶叠层显微镜的神经网络光瞳恢复方法在成像视场中心区域(小像差)与as算法的重建结果对比图；

图3为本发明所述的基于傅里叶叠层显微镜的神经网络光瞳恢复方法在成像视场边缘区域(大像差)与as算法的重建结果对比图。

具体实施方式

具体实施方式一、结合图1至图3说明本实施方式，基于傅里叶叠层显微镜的神经网络光瞳恢复方法，本实施方式具有更好的对像差影响的抑制能力，可以重建出样品更清晰的复振幅信息，并同时能够恢复出系统的光瞳函数。

本实施方式基于机器学习平台tensorflow，构建了嵌入光瞳恢复的傅里叶叠层前向成像网络(forwardimagingneuralnetworkwithpupilrecovery)，采用的傅里叶叠层成像技术为经典的fpm系统结构，该系统的设置包括一个na＝0.1的2x物镜，一个6.5μm像素尺寸的ccd传感器和一个可编程的led矩阵，其中21×21个元件放置在样品前87.5μm，两个相邻led之间的横向距离为2.5mm。高分辨率光谱的初始猜测是由中心led照射的上采样数据的傅里叶变换。

方法的具体步骤为：

步骤一、依次点亮led阵列中的led，并通过fpm系统在相机上接收到对应于不同led的低分辨率子图像。

依照图1所示的网络结构图搭建神经网络模型，其搭建过程由以下步骤实现：

步骤二、初始化待重建的频谱oe(u)以及光瞳函数p(u)；

将步骤一获得的低分辨率子图像中对应于中心led的图像进行上采样，并进行傅里叶变换，将变换得到的结果作为神经网络模型中初始化的频谱；

采用对应系统参数的相干传递函数ctf进行光瞳函数的初始化；所述相干传递函数ctf的表达式为：

式中，fx和fy分别为频域的横纵坐标，na为系统中物镜的数值孔径，λ为led光源的中心波长；

步骤三、将步骤二中所述初始化后的待重建频谱oe(u)和光瞳函数p(u)分别表示为实部和虚部的结合，用下式表示为：

oe(u)＝or(u)+ioj(u)

p(u)＝pr(u)+ipj(u)(2)

式中，r为实部，j为虚部，u为频域的坐标，i表征虚数单位；

步骤四、根据第m个led的入射波矢量um对步骤三中的待重建频谱oe(u)进行平移，结果如下：

oe(u-um)＝or(u-um)+ioj(u-um)(3)

式中，um用下式表示为：

式中，xm和ym分别为第m个led在空域的坐标，d为led阵列距离样品的距离；

步骤五、在重建光瞳函数期间，由于输入图像中的噪声，使得光通函数中在的范围外可能变为非零，进而通过乘以系统的相干传递函数ctf进行光瞳约束。

将所述光瞳函数与所述相干传递函数ctf相乘，用于对光瞳函数进行约束，获得约束后的实部和虚部的光瞳函数分别为：

其中，c为约束过程；

步骤六、将步骤四获得的平移后的待重建频谱oe(u-um)和与步骤五中约束后的光瞳函数p^c(u)相乘，生成对应第m个led的低分辨率频谱qlr，m(u)，用下式表示为：

qlr，m(u)＝qe(u-um)·p^c(u)(6)

进一步推出下式：

步骤七、将步骤六获得的低分辨率频谱qlr，m(u)裁剪成对应的低分辨率尺寸，获得裁剪后的对应真实成像过程的低分辨率频谱

步骤八、对步骤七中所述的低分辨率频谱进行傅里叶逆变换，获得对应于第m个led的低分辨率复振幅ee，m(l)，用下式表示为：

式中，l表示空间域坐标系，f^-1表示傅里叶逆变换；

步骤九、采用实际测量的对应第m个led的低分辨率子图对步骤八获得的低分辨率复振幅ee，m(l)的强度进行校正，从而抑制由多个led元件的强度不均匀引起的负面影响，获得校正后的低分辨率复振幅所述校正后的低分辨率复振幅作为神经网络的输出值；所述神经网络模型构建完成；所述校正后的低分辨率复振幅用下式表示为：

式中，∑pix为对实际测量的图像以及网络模型中得到的低分辨率图像的每个像素的值进行求和；

步骤十、对步骤九构建完成神经网络模型进行训练；具体过程为：

将所述神经网络模型的损失函数设置为步骤九获得的校正后的低分辨率复振幅和实际测量的对应第m个led的低分辨率子图的开方之间的l2范数，这样可以在固定的学习速率下获得良好的重建结果。

如下式所示：

式中，m为led的个数；

为了使损失最小化，采用结合nesterov动量的梯度下降算法和nadam作为所述神经网络模型的优化函数训练步骤三所述的待重建频谱频谱oe(u)和光瞳函数p(u)；

只有在所有捕获的强度图像用于训练网络之后，才完成单个训练过程的时间

将上述过程重复迭代多次，以确保最终样本的频谱和光瞳函数达到收敛。

步骤十一、对所述神经网络模型中训练获得的样品的高分辨率频谱进行逆傅里叶变换，获得所述样品的高分辨率复振幅信息。

结合图2和图3说明本实施方式，对开源数据集(人骨肉瘤上皮u2os染色标本)在成像视场中心区域部分进行重建，并将本发明的方法和as重建方法进行比较。虽然对于显微镜视场中心区域来说，系统的像差较小，但仍能看出没有考虑光瞳回复的as算法在图像细节上要逊于基于本发明的结果，同时本实施方式的方法在重建相位上相较于as方法有更平滑的背景以及更高的对比度。

图3为对开源数据集(人骨肉瘤上皮u2os染色标本)在成像视场边缘区域部分进行重建，并将本实施方式的方法和as重建方法进行比较。在显微镜视场边缘区域系统的像差较大，可看出对于没有考虑光瞳回复的as算法在恢复的结果上出现了明显的收敛错误，并丢失了图像的细节信息，而本实施方式仍能恢复出清晰的样品细节以及对比度更高的样品相位信息。