基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法与流程

本发明涉及光学超分辨显微成像领域，具体地说，涉及一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法。

背景技术：

荧光显微术由于其具有非侵入的特点在生物研究和临川诊断的应用中具有举足轻重的作用。然而，由于衍射极限的存在，光学显微镜的分辨率通常无法超过200nm。在过去的几十年里，人们发明出许多技术用以突破这一衍射极限，在这些显微术中，结构光照明显微术(sim)在生物医学成像中是一有力的工具，因为该方法可以提供较高的时间和空间分辨率，可以实现视频率的成像速度。尽管sim只能实现两倍分辨率的提升，但它所需要的光功率相对于受激发射损耗显微术(sted)来说要小得多，后者为了实现几纳米量级的分辨率往往需要高达吉瓦/平方厘米的光功率。其他的方法比如光活化定位显微术(palm)和随机光重构显微术(storm)相比于sim在视场很大时则要慢得多，它们在重构一张超分辨图像时，需要上千张的原始图像，这使得这种方法很难应用于在活体成像中。由于人们通常需要观察细胞的整个生命活动，sim由于其快速、低光毒性和光漂白性而成为一种广受欢迎的成像技术。

基于全内反射模式下的sim，也即tirf-sim相比于传统的sim有更高的分辨率，这是由于所产生的照明条纹在该条件下更加精细。在全内反射(tir)模式下，从所拍摄的原始图中精确地获取参数，如照明条纹的调制频率和相位，对于分离叠加的信息分量至关重要。到目前为止，研究人员提出了多种算法提高tirf-sim从原始数据以优化的条纹相位重构出超分辨图像。

尽管sim在分辨率和速度方面具有优良的性能，它对于系统像差和信噪比(snr)很敏感，由于像差或系统误差导致的图像畸变，以及图像在低信噪比时拍摄，将使重构过程产生错误，从而输出劣质的重构结果。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法，可实现宽场超分辨显微成像。本发明提出在tir模式下的条纹照明傅里叶域迭代更新技术，可以实现约100nm的横向分辨率，减小背景噪声水平，以及校正系统未知的光学像差。类似于tirf-sim，两个相向传播的倏逝波干涉后产生正弦照明条纹，这种由倏逝波干涉产生的非均匀照明可以将物体更高的频谱信息下调制到系统otf的带宽范围内，从而实现更高的分辨率。同时，由tir产生的倏逝波提供了极其薄的一个激发层，因此也提高了探测的对比度，减小了背景噪声水平。在图像重构过程中，针对所拍摄的携带着混频分量信息的低分辨率图像采用傅里叶域迭代拼接更新技术重构一张超分辨图像。条纹照明的傅里叶域迭代更新技术是一种在通过在空间域和傅里叶域之间来回切换迭代的方式依次更新图像的方法，它迭代至解收敛为止，这种迭代方法有助于压制噪声，提高对比度和snr。相对于sim来讲，条纹照明的傅里叶域迭代更新技术作为一种优化算法不容易受系统误差影响，它能够在预先未知系统像差的情况下重构出一张高质量的超分辨图。

为了实现上述目的，本发明提供的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法，包括以下步骤：

(1)将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束，汇聚到物镜的入瞳面，再经过该物镜后变成两束平行光，在荧光样品的表面激发出两个相向传播的倏逝波进行干涉，产生精细的倏逝波条纹照明荧光样品，荧光样品受到非均匀的照明光场调制后频谱产生平移；由物镜接收荧光样品发出的荧光信号后，在成像像面用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；

(2)多次改变倏逝波照明条纹的空间位移和方向，再次拍摄受条纹强度调制的荧光信号，得到一系列混有荧光样品高低频信息的低分辨率图像，作为原始图像；

(3)将原始图像做傅里叶域迭代更新处理，首先提取原始图像中的倏逝波照明条纹，再将照明条纹与荧光样品的初始估计图相乘得到目标图像，用对应该条纹照明拍摄的原始图像的频谱更新目标图像对应的频谱，并对成像系统的otf进行校正，不断迭代最终重构出一张荧光样品的超分辨图像。

进一步地，所述步骤(1)中采用的物镜为数值孔径na大于1.33的油浸型物镜，两束平行光束汇聚到该物镜的入射光瞳处，两聚焦点所连直线经过入瞳圆心，两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径，经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品，两束光分别在样品表面产生相向传播的倏逝波，倏逝波干涉形成干涉条纹照明样品。

进一步地，所述步骤(2)产生n张原始图像的步骤如下：

(2.1)每个方向下的照明条纹通过改变其中一光路的光程使条纹每次移动照明条纹周期的三分之一，实现三步移相；

(2.2)依次改变会聚在物镜入瞳处两聚焦光点的位置，从而激发出另一方向相向传播的倏逝波，干涉形成该方向对应的照明条纹，直到在一个π方位角内均匀产生n/3(n/3>5)个方向的照明条纹；

(2.3)每次在改变照明条纹的空间位移或方向时，荧光样品被调制后发出混频信号被探测器接收，形成一张低分辨率图；

n/3个方向的条纹，进行三步相移则共拍摄n张低分辨率图in(n＝1,2,3,…,n)(对应n个条纹pn(n＝1,2,3,…,n))，作为后续重构样品超分辨图像算法的原始图。

进一步地，所述步骤(2)中，n取30，即采用10个方向的照明条纹，最终生成30张原始图像。

进一步地，所述步骤(3)中，首先提取原始图像中的倏逝波照明条纹，获得高精度的条纹调制频率和相位，作为后续迭代算法恢复一张高质量的超分辨图的前提，具体包括以下子步骤：

a.建立某个方向照明条纹三步相移照明时的成像模型：

其中，i^j(j＝1,2,3)为第j步相移照明时所拍摄的原始图像；p^j(j＝1,2,3)是第j步相移时对应的照明条纹，k0是照明条纹的调制频率，r是空间坐标，是条纹的相位，m为调制深度，o代表荧光样品的物函数，h是探测点扩散函数(psf)，*表示卷积；

b.将公式(1)在傅里叶空间下用矩阵形式表达为：

其中，k是傅里叶空间上的坐标，在i和o之上的上标～表示对应的傅里叶变换，表示光学传递函数otf；

c.对原始图像的傅里叶变换做自相关，求得精确的调制频率k0和调制相位

其中，代表相关操作，上标*代表一个复变量的复共轭，将在傅里叶域k′＝±k0处输出峰值，通过获取峰值位置即求得调制频率k0；

当k′＝k0时，方程(3)将满足如下表达式：

因此，调制相位通过如下公式求得：

其中，arg(·)表示某个复数变量的幅值；

d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作，从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹pn(n＝1,2,3,…,n)。

进一步地，所述步骤(3)中，提取照明条纹后，进行图像迭代更新，具体包括以下子步骤：

(3.1)将所有原始图像进行叠加作为一张宽场图像，并将其作为荧光样品物函数o的初始估计图；

(3.2)将步骤(3.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新，每一次迭代更新的具体步骤如下：

a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹pn，获得目标图像itn＝o*pn；

b.用对应该条纹照明拍摄的原始图像in的傅里叶变换频谱更新目标图像itn对应的频谱，其更新表达式如下：

其中，为更新的目标函数频谱；

c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数：

其中，为更新的物函数；

d.通过更新光学传递函数(otf)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正，从而获得像差校正后的样品恢复图像，更新otf的公式如下：

其中，是更新的otf，ε是一个正常数，防止分母为零的情况出现；

e.执行步骤a-d直到完成所有原始图像的迭代更新；

(3.3)重复执行步骤(3.2)，直到所得到的解收敛，此时输出一张重构的样品超分辨图像。

与现有技术相比，本发明具有以下有益的技术效果：

(1)可达到约100nm的横向分辨率；

(2)可减小背景水平，提高对比度；

(3)可校正系统未知像差；

(4)可实现活体成像。

附图说明

图1为本发明基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法流程图；

图2为本发明实施例的超分辨显微成像装置示意图；

图3为两入射光在物镜入瞳面处的位置示意图，白色圆点位置表示当前某一方向对应的光斑位置，实线圆表示入瞳大小，虚线圆表示光斑所处的区域，其大小小于入瞳但接近于入瞳，以充分利用物镜有效数值孔径；

图4(a)为本发明实施例的全内反射结构光照明成像模式示意图；图4(b)为倏逝波干涉产生的干涉条纹示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。

实施例1

如图1所示，本实施例提供的一种基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法，包括以下步骤：

(1)将一束平行照明的激光光束分束为强度相等、偏振方向一致的两束平行光束，汇聚到物镜的入瞳面，再经过该物镜后变成两束平行光，在荧光样品的表面激发出两个相向传播的倏逝波进行干涉，产生精细的倏逝波条纹照明荧光样品，荧光样品受到非均匀的照明光场调制后频谱产生平移；由物镜接收荧光样品发出的荧光信号后，在成像像面用探测器接收该荧光信号，得到一张混有荧光样品高低频信息的低分辨率图像；

采用的物镜为数值孔径na大于1.33的油浸型物镜，两束平行光束汇聚到该物镜的入射光瞳处，如图3所示，两聚焦点所连直线经过入瞳圆心，两聚焦点的距离接近入瞳直径以尽量充分利用物镜数值孔径，经过物镜的两束聚焦光出射后以超过临界角的角度入射到荧光样品，如图4(a)所示，两束光分别在样品表面产生相向传播的倏逝波，倏逝波干涉形成干涉条纹照明样品，所形成的某一方向的干涉条纹如图4(b)所示。

(2)多次改变倏逝波照明条纹的空间位移和方向，再次拍摄受条纹强度调制的荧光信号，得到一系列混有荧光样品高低频信息的低分辨率图像，作为原始图像；

产生n张原始图像的步骤如下：

(2.1)每个方向下的照明条纹通过改变其中一光路的光程使条纹每次移动照明条纹周期的三分之一，实现三步移相；

(2.2)依次改变会聚在物镜入瞳处两聚焦光点的位置，从而激发出另一方向相向传播的倏逝波，干涉形成该方向对应的照明条纹，直到在一个π方位角内均匀产生n/3(n/3>5)个方向的照明条纹；

(2.3)每次在改变照明条纹的空间位移或方向时，荧光样品被调制后发出混频信号被探测器接收，形成一张低分辨率图；

n/3个方向的条纹，进行三步相移则共拍摄n张低分辨率图in(n＝1,2,3,…,n)(对应n个条纹pn(n＝1,2,3,…,n))，作为后续重构样品超分辨图像算法的原始图；

优选地，n取30，即采用10个方向的照明条纹，最终生成30张原始图像。

(3)将原始图像做傅里叶域迭代更新处理，首先提取原始图像中的倏逝波照明条纹，再将照明条纹与荧光样品的初始估计图相乘得到目标图像，用对应该条纹照明拍摄的原始图像的频谱更新目标图像对应的频谱，并对成像系统的otf进行校正，不断迭代最终重构出一张荧光样品的超分辨图像；具体如下：

首先提取原始图像中的倏逝波照明条纹，获得高精度的条纹调制频率和相位，作为后续迭代算法恢复一张高质量的超分辨图的前提，具体包括以下子步骤：

a.建立某个方向照明条纹三步相移照明时的成像模型：

其中，i^j(j＝1,2,3)为第j步相移照明时所拍摄的原始图像；p^j(j＝1,2,3)是第j步相移时对应的照明条纹，k0是照明条纹的调制频率，r是空间坐标，是条纹的相位，m为调制深度，o代表荧光样品的物函数，h是探测点扩散函数(psf)，*表示卷积；

b.将公式(1)在傅里叶空间下用矩阵形式表达为：

其中，k是傅里叶空间上的坐标，在i和o之上的上标～表示对应的傅里叶变换，表示光学传递函数otf；

c.对原始图像的傅里叶变换做自相关，求得精确的调制频率k0和调制相位

其中，代表相关操作，上标*代表一个复变量的复共轭，将在傅里叶域k′＝±k0处输出峰值，通过获取峰值位置即求得调制频率k0；

当k′＝k0时，方程(3)将满足如下表达式：

因此，调制相位通过如下公式求得：

其中，arg(·)表示某个复数变量的幅值；

d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作，从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹pn(n＝1,2,3,…,n)。

提取照明条纹后，进行图像迭代更新，具体包括以下子步骤：

(3.1)将所有原始图像进行叠加作为一张宽场图像，并将其作为荧光样品物函数o的初始估计图；

(3.2)将步骤(3.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新，每一次迭代更新的具体步骤如下：

a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹pn，获得目标图像itn＝o*pn；

b.用对应该条纹照明拍摄的原始图像in的傅里叶变换频谱更新目标图像itn对应的频谱，其更新表达式如下：

其中，为更新的目标函数频谱；

c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数：

其中，为更新的物函数；

d.通过更新光学传递函数(otf)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正，从而获得像差校正后的样品恢复图像，更新otf的公式如下：

其中，是更新的otf，ε是一个正常数，防止分母为零的情况出现；

e.执行步骤a-d直到完成所有原始图像的迭代更新；

(3.3)重复执行步骤(3.2)，直到所得到的解收敛，此时输出一张重构的样品超分辨图像。

实施例2

如图2给出了一种实现本发明方法的超分辨显微成像装置，但不限于图2所示的装置。

本实施例的基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像装置包括激光器1，保偏单模光纤2，光束准直器3，第一反射镜4，第一二分之一波片5，偏振分束器6，第二反射镜7，第一振镜模块8，第一扫描透镜9，第三反射镜10，压电陶瓷11，第二二分之一波片12，第二振镜模块13，第二扫描透镜14，合束器15，偏振转换器16，第一场镜17，第二场镜18，二向色镜19，显微物镜20，样品21，第三场镜22，emccd23，计算机24。

采用图2所示的装置实现的宽场超分辨显微方法，其过程如下：

1.激光器1发出线偏振激光，耦合到保偏单模光纤2传输后进入光束准直器3中进行准直变成平行光；准直后的平行光经过第一反射镜4转折后经过第一二分之一波片5，然后由偏振分束器6分束成透射的p光光路和反射的s光光路，通过旋转第一二分之一波片5，改变透射光路和反射光路光强，使两路光的光强相等；反射光经过第二反射镜7转折后进入第一振镜模块8，再经过第一扫描透镜9变成会聚光；透射光路经第三反射镜10转折再进入第二二分之一波片12，然后经过第二振镜模块13，再由第二扫描透镜14变成会聚光；旋转第二二分之一波片12，使透射光路的p光变成s光，从而保证两路光的偏振方向一致；透射光和反射光再经过合束器15合束使其主光轴变成一致；合束后的两束光经过偏振转换器16，使两束光从s线偏振光变成切向偏振光，从而使两束光干涉后产生的干涉条纹对比对最好；然后两会聚光再经过第一场镜17和第二场镜18，经过二向色镜19后成像到显微物镜20入瞳面；两会聚光再经过显微物镜20后变成平行光照明样品21；显微物镜20入瞳面处的两个会聚光斑的连线经过入瞳圆心，通过控制第一振镜模块8和第二振镜模块13使两会聚光斑的连线长度接近入瞳直径，以保证由显微物镜20出射的两束光超过全内反射临界角在波片和样品界面产生倏逝波干涉，形成的倏逝波干涉条纹照明样品；通过控制压电陶瓷11改变第三反射镜10的位移，从而改变两路光的光程差，实现干涉条纹的相移或空间位移；通过控制第一振镜模块8和第二振镜模块13，改变两束聚焦光在物镜后焦面的位置，从而改变干涉条纹的方向。

2.荧光样品21受到干涉条纹的调制后发出荧光，混有低频和高频的荧光信号被同一个显微物镜20接收，再经过二向色镜19反射后经过第三场镜22成像到工业相机emccd23上；计算机24控制压电陶瓷11的移动、第一振镜模块8和第二振镜13的扫描以及emccd23的图像采集以获得原始图像；

3.按如下步骤进行图像处理以恢复一张样品的超分辨图像：

1)提取照明条纹

a.建立某个方向照明条纹三步相移照明时的成像模型：

其中，i^j(j＝1,2,3)为第j步相移照明时所拍摄的原始图像；p^j(j＝1,2,3)是第j步相移时对应的照明条纹，k0是照明条纹的调制频率，r是空间坐标，是条纹的相位，m为调制深度，o代表荧光样品的物函数，h是探测点扩散函数(psf)，*表示卷积；

b.将公式(1)在傅里叶空间下用矩阵形式表达为：

其中，k是傅里叶空间上的坐标，在i和o之上的上标～表示对应的傅里叶变换，表示光学传递函数otf；

c.对原始图像的傅里叶变换做自相关，求得精确的调制频率k0和调制相位

其中，代表相关操作，上标*代表一个复变量的复共轭，将在傅里叶域k′＝±k0处输出峰值，通过获取峰值位置即求得调制频率k0；

当k′＝k0时，方程(3)将满足如下表达式：

因此，调制相位通过如下公式求得：

其中，arg(·)表示某个复数变量的幅值；

d.对所有方向条纹照明下所获得的原始图像作步骤a-c操作，从而获得所有照明条纹的调制频率k0和相位从而提取出所有照明条纹pn(n＝1,2,3,…,n)。

2)图像迭代更新算法

(2.1)将所有原始图像进行叠加作为一张宽场图像，并将其作为荧光样品物函数o的初始估计图；

(2.2)将步骤(2.1)得到的初始估计值依次用所拍得的在不同条纹照明下的低分辨率图进行更新，每一次迭代更新的具体步骤如下：

a.将初始估计图乘以提取出的某个方向的倏逝波照明条纹pn，获得目标图像itn＝o*pn；

b.用对应该条纹照明拍摄的原始图像in的傅里叶变换频谱更新目标图像itn对应的频谱，其更新表达式如下：

其中，为更新的目标函数频谱；

c.用更新的目标图像在空域中按如下表达式更新荧光样品物函数：

其中，为更新的物函数；

d.通过更新光学传递函数(otf)实现对成像系统(即包括物镜在内的所有采用的光学元件)的像差校正，从而获得像差校正后的样品恢复图像，更新otf的公式如下：

其中，是更新的otf，ε是一个正常数，防止分母为零的情况出现；

e.执行步骤a-d直到完成所有原始图像的迭代更新；

(2.3)重复执行步骤(2.2)，直到所得到的解收敛，此时输出一张重构的样品超分辨图像。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。