基于光栅投影和SLM相移的结构光照明显微装置及方法

基于光栅投影和slm相移的结构光照明显微装置及方法
技术领域
1.本发明属于显微成像技术领域，具体涉及一种基于光栅投影和slm相移的结构光照明显微装置及方法。


背景技术：

2.光学显微装置以其结构简单、易操作、损伤低等优势成为观测微观世界的重要手段，被广泛应用于生命科学及生物医学领域。然而，传统光学显微只能获取样品的强度信息，对大多数生物样品(透明或半透明的)成像时，存在图像对比度低的缺点。荧光显微技术利用化学染料或荧光蛋白对细胞进行特异性标记，可以高衬度地观测样品的特定结构。然而，受到物理衍射极限的限制，光学显微镜的空间分辨率一般只有照明光波长的1/2，通常为200nm左右。
3.超分辨光学显微技术能够超越光学衍射极限并获得几十甚至几个纳米的空间分辨率，彻底改变了光学显微镜的历史，在生物医学和化学科学中发挥着至关重要的作用。在过去的30年中，已经出现了各种超分辨光学显微技术，如storm(stochastic optical reconstruction microscopy，随机光学重建显微)、smlm(single-molecule localization microscopy，单分子定位显微)、sted(simulated emission depletion microscopy，受激发射损耗显微)和sim(structured illumination microscopy，结构光照明显微)。其中，sted通过将激发焦点与额外的环形损耗光叠加，减小了传统激光扫描共焦显微镜的有效焦点(即psf(point spread function，点扩散函数))的大小，从而提高了成像空间分辨率。smlm的核心思想是以化学或物理方式控制荧光染料或蛋白质分子，使得在每一帧中只有离散的一小部分分子发出荧光信号；通过对这些荧光点进行高精度高斯峰拟合来确定这些稀疏分布分子的横向位置以实现超分辨重构。smlm通常需要记录数千张图像来重建一幅具有几十纳米左右分辨率图像，时间分辨率较差。理论上，sted和smlm都具有无限高的分辨率，甚至可以到原子尺度。然而，在实际成像中，sted和smlm的实际空间分辨率受到成像系统中的光学像差、背景噪声、自发荧光，所使用的荧光团的亮度、光稳定性和标记密度有限、snr(signal-to-noise ratio，成像信噪比)等多种因素的限制，两者目前报道的最高空间分辨率分别为40nm和20nm。
4.相比sted和smlm，sim技术具有成像速度快、照明光剂量小、样品制备简单以及对荧光标记物和标记程序没有特殊要求等优点，成为了研究活细胞结构和动态过程的首要成像手段。sim利用不同方向、不同相移量的条纹结构光照亮样品并依次记录生成的干涉图样，利用结构光和样品之间的“莫尔效应”将传统光学显微镜无法检测的高频信息平移到低频空间顺利通过光学系统，最后利用超分辨重构算法便可获取样品的超分辨图像。当荧光发射与激发强度呈线性响应时，线性sim的空间分辨率增强最高可达两倍；当荧光信号与激发光光强呈非线性响应时(具有高次谐波)，非线性sim中的分辨率增强可以超过两倍。
5.遗憾的是，现有的sim技术一般利用slm(spatial light modulator，空间光调制器)或dmd(digital micro-mirror device，数字微镜器件)快速产生能够切换不同方向和
相移量的条纹结构光，因此成像通量或照明区域的条纹数目受到slm或dmd本身像素个数的限制。当sim的条纹周期接近λ/(2na)以实现两倍分辨率提高时，成像视场的直径仅有几十微米，无法提供丰富的时间和空间信息以及完成对不同区域内细胞结构及其动态变化过程的实时、高分辨成像。具体例子如下：目前主流的slm或dmd的像素个数为1920
×
1080，为了实现结构照明光的相移，每个条纹需要占用slm/dmd的四个像素。因此，基于slm/dmd投影的sim沿着长边方向和短边方向最多可以产生480/270个条纹。要在放大倍数100倍、数值孔径na＝1.4的物镜和488nm激发光下实现两倍超分辨成像，条纹周期需为λ
em
/(2na)＝520nm/(2
×
1.4)＝190nm。此时，有限视场为190nm
×
480
×
190nm
×
270＝91
×
51μm2。然而，对于生物医学研究，人们往往渴望能在大的成像视场内获得高分辨的图像。例如，在病理切片的观测和诊断中，需要在大的视场内对组织、细胞结构进行观测和分析。目前往往采取图像拼接的方式来获得较大视场的超分辨率图像，该过程较为繁琐且耗时，不利于拍摄活细胞内的快速动态生命活动等。以上原因在一定程度上限制了sim技术在生物医学等诸多方面的应用。


技术实现要素：

6.为了克服现有超分辨显微技术中成像通量受到投影器件像素个数少的约束问题，本发明提供了一种基于光栅投影和slm相移的结构光照明显微装置及方法，可对大范围内组织或细胞的精细结构进行超分辨成像，具有高通量、空间分辨率高、成像视场大、成像装置简单等优点。本发明要解决的技术问题通过以下技术方案实现：
7.本发明的一个方面提供了一种基于光栅投影和slm相移的结构光照明显微装置，其特征在于，包括依次设置的结构光产生单元、相移及光强调制单元和成像单元，其中，
8.所述结构光产生单元用于产生多束沿不同方向传播的平行光并干涉形成条纹结构光；
9.所述相移及光强调制单元包括空间光调制器和空间掩膜板，所述空间光调制器上能够加载不同图样以对所述条纹结构光同时进行方向选择和相移操作，所述空间掩膜板用于对方向选择和相移操作后所述条纹结构光进行滤波，使得仅保留每个方向上
±
1级衍射光而滤掉其它的衍射光；
10.所述成像单元用于利用滤波后的条纹结构光照明样品并记录在不同条纹结构光照明下的荧光图像。
11.在本发明的一个实施例中，所述结构光产生单元包括沿光路方向依次设置的激光器、第一线偏振片、第二线偏振片、第一薄透镜、第二薄透镜和二维光栅，其中，
12.所述第一线偏振片用于将所述激光器产生的激光调节为合适光强的线偏振光，所述第二线偏振片用于将所述线偏振光调节为水平偏振光；
13.所述第一薄透镜的后焦面与所述第二薄透镜的前焦面重合，用于对所述水平偏振光进行准直和扩束，使得光束能够覆盖所述二维光栅的有效靶面；
14.所述二维光栅用于对经准直和扩束的光束进行衍射，形成不同传播方向的多束衍射光。
15.在本发明的一个实施例中，所述相移及光强调制单元包括第三薄透镜、非偏振分光棱镜、空间光调制器、第四薄透镜、第五薄透镜和空间掩膜板，其中，
16.所述第三薄透镜用于对沿不同传播方向的多束衍射光进行汇聚并照射到所述非
偏振分光棱镜上，所述非偏振分光棱镜设置在所述第三薄透镜远离所述二维光栅的一侧，所述空间光调制器设置在所述非偏振分光棱镜的透射光方向上且位于所述第三薄透镜后焦面预定距离处；
17.所述空间光调制器用于加载光栅图样或不同灰度值图样，以同时实现对一个方向上的
±
1级衍射光进行光强调制，对另一个方向上的
±
1级衍射光进行相移操作；
18.所述第四薄透镜的后焦面与所述第五薄透镜的前焦面重合，用于将经所述空间光调制器调制的照明光频谱面成像至所述空间掩膜板上；
19.所述空间掩膜板设置在所述第五薄透镜的后焦面，用于对经过所述空间光调制器后沿不同方向传播的条纹结构光进行滤波，保留各方向
±
1级衍射光而滤掉其它的衍射光。
20.在本发明的一个实施例中，所述空间光调制器的靶面分成多个区域，其中，
21.所述多个区域中的一部分区域用于加载光栅图样，所述光栅图样将所述对应区域上的衍射光再次衍射向不同方向，并结合所述空间掩模板以抑制对应区域上的衍射级光强；
22.所述多个区域中的剩余区域用于依次加载不同灰度值的均匀图样，以对对应区域上的衍射级进行相移操作。
23.在本发明的一个实施例中，所述成像单元包括第六薄透镜、平面反射镜、二向色镜、镜筒透镜、显微物镜、滤光片和相机，其中，
24.所述第六薄透镜的前焦面与所述第五薄透镜的后焦面重合；所述平面反射镜倾斜设置，用于将来自所述第六薄透镜的光束反射至所述二向色镜；
25.所述镜筒透镜和所述显微物镜依次设置在所述二向色镜的光透射方向上，样品置于由所述镜筒透镜和所述显微物镜组成的望远镜系统的前焦面上；
26.所述滤光片和所述相机依次设置在所述二向色镜的光束反射方向上；
27.所述二维光栅经过所述第六薄透镜后的像面与所述相机到所述镜筒透镜的距离相同。
28.本发明的另一方面提供了一种基于光栅投影和slm相移的结构光照明显微方法，包括：
29.利用上述实施例中任一项所述的基于光栅投影和slm相移的结构光照明显微装置，通过同步控制空间光调制器和相机依次获得样品在不同方向结构光照明下不同相移的多个荧光图像；
30.根据所述多个荧光图像，结合超分辨重构算法，重构样品的超分辨sim图像。
31.在本发明的一个实施例中，获得样品在不同方向结构光照明下不同相移的多个荧光图像，包括：
32.打开激光器，在空间光调制器的左上区域和右下区域加载光栅图样，左下区域和右上区域中的一侧加载灰度值为0的均匀灰度图样，另一侧依次加载三种不同灰度值图样以进行相移操作，从而获得该照明方向上三个不同相移量的结构光；随后在左下区域和右上区域加载光栅图样，在左上区域和右下区域中的一侧加载0灰度值图样，另一侧依次加载三种不同灰度值图样以进行相移操作，从而获得另一个照明方向上三个不同相移量的结构光；利用相机分别记录样品在六种不同模式的结构光照射下的六张荧光图像。
33.在本发明的一个实施例中，所述三种不同灰度图样为分别对应空间光调制器上调
制0、2π/3、4π/3相移量的图样。
34.与现有技术相比，本发明的有益效果在于：
35.本发明提出了一种基于光栅投影和slm相移的结构光照明显微装置和方法，不仅具有传统结构光照明显微镜成像速度快、对样品损伤小、空间分辨率高等优点，而且还具有以下优点：首先，在保持高分辨率的情况下，仍然具有高通量成像范围，克服了成像通量受slm或dmd本身像素个数限制的问题；其次，利用光栅投影产生条纹结构光，克服了传统基于slm或dmd投影方法像素化的缺点；同时，利用空间光调制器实现相移，避免机械移动光栅引入的相移误差；最后，利用在空间光调制器上加载光栅图样来形成不同方向的条纹，克服传统旋转光栅的机械操作。综上所述，该显微成像装置和方法具有高分辨、高通量、装置简单、操作方便等优点，可以被广泛应用于生命科学等多个领域。
36.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
37.图1是本发明实施例提供的一种基于光栅投影和slm相移的结构光照明显微装置的结构示意图；
38.图2是本发明实施例提供的一种利用空间光调制器实现相移原理图；
39.图3是本发明实施例提供的一种空间光调制器对衍射级光强和相位调制原理图；
40.图4是直径为240nm荧光小球样品的宽场图像和超分辨sim图像。
41.附图标记说明：
42.1-激光器；2-第一线偏振片；3-第二线偏振片；4-第一薄透镜；5-第二薄透镜；6-二维光栅；7-第三薄透镜；8-非偏振分光棱镜；9-空间光调制器；10-第四薄透镜；11-第五薄透镜；12-空间掩膜板；13-第六薄透镜；14-平面反射镜；15-二向色镜；16-镜筒透镜；17-显微物镜；18-样品；19-滤光片；20-相机。
具体实施方式
43.为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于光栅投影和slm相移的结构光照明显微装置及方法进行详细说明。
44.有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
45.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
46.实施例一
47.本实施例提供了一种基于光栅投影和slm相移的结构光照明显微装置，该结构光照明显微装置包括依次设置的结构光产生单元、相移及光强调制单元和成像单元，其中，所述结构光产生单元用于产生多束沿不同方向传播的平行光并干涉形成条纹结构光；所述相移及光强调制单元包括空间光调制器和空间掩膜板，所述空间光调制器上能够加载不同图样以对所述条纹结构光同时进行方向选择(光强调制)光强调制和相移操作，所述空间掩膜板用于对方向选择(光强调制)和相移操作后的条纹结构光进行滤波，使得仅保留每个方向上
±
1级衍射光而滤掉其它的衍射光；所述成像单元用于利用滤波后的条纹结构光照明样品并记录在不同条纹结构光照明下的荧光图像。
48.进一步地，请参见图1，图1是本发明实施例提供的一种基于光栅投影和slm相移的结构光照明显微装置的结构示意图。所述结构光产生单元包括沿光路方向依次设置的激光器1、第一线偏振片2、第二线偏振片3、第一薄透镜4、第二薄透镜5和二维光栅6，其中，第一线偏振片2用于将激光器1产生的激光调节为合适光强的线偏振光，第二线偏振片3用于将线偏振光调节为水平偏振光；第一薄透镜4的后焦面与第二薄透镜5的前焦面重合，用于对水平偏振光进行准直和扩束，使得光束能够覆盖二维光栅6的有效靶面；二维光栅6用于对经准直和扩束的光束进行衍射，形成不同传播方向的多束平行衍射光。
49.具体地，激光器1发出的激光经过第一线偏振片2后变为线偏振光，通过改变第一线偏振片2的角度可实现照明光强的调节，避免后续空间光调制器被强激光损坏，随后第二线偏振片3将上述线偏振光的偏振状态调节为水平偏振，使得后续空间光调制器对入射光的相位调制效率达到最大化。
50.激光器1的波长在可见光范围，输出激光功率稳定，具有适当的相干长度。在本实施例中，激光器1的波长λ＝532nm，第一线偏振片2和第二线偏振片3波长范围400-700nm，消光比为500:1。
51.进一步地，将第二薄透镜5的前焦平面与第一薄透镜4的后焦平面重合放置可以保证光束经过扩束准直后以平行光出射，光束经第一薄透镜4和第二薄透镜5组成的准直扩束系统，出射的光束能覆盖二维光栅6的有效靶面，且满足照明视场的需要，随后经过二维光栅6的光束被衍射成不同传播方向的多束平行光，且其
±
1级衍射光具有高的衍射效率，用于产生线性照明光，以提高光强利用率。
52.在本实施例中，二维光栅6为透射型光栅，可将入射光向多个衍射级方向进行衍射。优选地，第一薄透镜4和第二薄透镜5均为消色差双胶合透镜，第一薄透镜4的焦距为f1＝50mm；第二薄透镜5的焦距为f2＝200mm；二维光栅6的周期λ＝12.5μm。
53.进一步地，所述相移及光强调制单元包括第三薄透镜7、非偏振分光棱镜8、空间光调制器9、第四薄透镜10、第五薄透镜11和空间掩膜板12，其中，第三薄透镜7用于对沿不同传播方向的多束衍射光进行汇聚并照射到非偏振分光棱镜8上，非偏振分光棱镜8设置在第三薄透镜7远离二维光栅6的一侧，空间光调制器9设置在非偏振分光棱镜8的透射光方向上且位于第三薄透镜7后焦面预定距离处；空间光调制器9用于在分别覆盖不同方向衍射光频谱的各个区域加载光栅图样或不同灰度值图样，以同时实现对一个方向上的
±
1级衍射光进行光强调制，对另一个方向上的
±
1级衍射光进行相移操作；第四薄透镜10的后焦面与第五薄透镜11的前焦面重合，用于将经空间光调制器9调制的照明光频谱面成像至空间掩膜板12上；空间掩膜板12设置在第五薄透镜11的后焦面，用于对经过所述空间光调制器9后沿
不同方向传播的条纹结构光进行滤波，保留各方向
±
1级衍射光而滤掉其它的衍射光。
54.在本实施例中，经第三薄透镜7的多束平行衍射光汇聚并通过非偏振分光棱镜8，将空间光调制器9放置在距离第三薄透镜7后焦平面预定距离处，避免光束直接汇聚损伤空间光调制器，同时保证空间光调制器有足够多的有效像素对照明光进行调制。空间光调制器9的靶面分成多个区域，其中，所述多个区域中的一部分区域用于加载光栅图样，光栅图样将对应区域上的衍射光再次衍射向不同方向，以对对应区域上的衍射级光强进行调制，由于只有零级光能通过空间掩膜板，加载光栅图样可以调制(抑制)该方向上的条纹结构光强度，以实现条纹结构光的方向选择；所述多个区域中的剩余区域用于依次加载不同灰度值的均匀图样，以对对应区域上的衍射级进行相移操作。
55.具体地，请参见图2和图3，图2是本发明实施例提供的一种利用空间光调制器实现相移原理图，在图2中，图(a)为空间光调制器上加载的灰度值图样对应相移示意图；(b)为产生的不同相移量(0、2π/3和4π/3)的结构光条纹图像；(c)为沿图(b)中虚线的强度分布曲线。图3是本发明实施例提供的一种空间光调制器对衍射级光强和相位调制原理图，在图3中，(a)为空间掩膜板示意图；(b)为二维光栅产生的衍射光的频谱图像；(c)为衍射光经过空间掩膜板后形成的二维条纹结构光图像；(d)为空间光调制器上加载光栅图样和不同的灰度值图样的示意图；(e)为在空间光调制器的光强和相位调制下，照明光的频谱图像；(f)为图(e)中频谱被空间掩膜版滤波后产生的一维条纹结构光图像。
56.如上所述，利用空间光调制器9可同时完成对各方向衍射级的方向选择(光强调制)和相移操作。具体地，将空间光调制器9的靶面分成为四个区域，对沿着一个对角线方向(如图3(d)中1号箭头方向)的两个区域加载光栅图样，可以抑制该区域上衍射级光强。在第五薄透镜11处的衍射级频谱如图3(e)所示，与未进行调制的频谱(图3(b)所示)进行对比可以发现，1号箭头方向(左对角线)上的
±
1衍射级的能量被极大减弱；最终只剩下2号箭头方向(右对角线)上的
±
1级干涉，形成了一维结构光。同时，在空间光调制器9另一对角线方向两个区域的其中一个只加载0灰度值图样，另一个依次加载不同灰度值(如0、79、158)的均匀图样，以产生相移量依次为0、2π/3、4π/3的结构光图像，如图2(b)所示。通过图2(c)中强度曲线分布可以发现该方式具有较好的相移精度。因此该方法可以无需其他额外器件同时实现对条纹结构光进行方向选择(光强调制)和相移操作。
57.在本实施例中，空间光调制器9的靶面分成四个大小相同的长方形区域，首先，在左上区域和右下区域(-45
°
对角线方向)加载光栅图样，以抑制对应区域上的衍射级光强，左下区域和右上区域(45
°
对角线方向)一侧加载灰度值为0的均匀灰度图样，另一侧依次加载0、79、158灰度值图样，以进行相移操作，从而获得该照明方向上三个不同相移量的结构光；接着，在左下区域和右上区域(45
°
对角线方向)加载光栅图样，以抑制对应区域上的衍射级光强，左上区域和右下区域(-45
°
对角线方向)一侧加载0灰度值图样，另一侧依次加载0、79、158灰度值图样，以进行相移操作，从而获得另一个方向上三个不同相移量的结构光，从而可以得到两个照明方向、三步相移下的六种不同模式结构光。
58.更进一步地，空间光调制器9上加载的光栅可为二进制光栅。该光栅可将对应区域上的光波衍射向不同的衍射级来实现光强调制，最后只有未被光强调制的衍射级可以通过空间掩膜板12上的小孔。
59.优选地，本实施例的第三薄透镜7为消色差双胶合透镜，焦距为f3＝80mm，非偏振
分光棱镜8为可见光波段下的非偏振分光棱镜，优选地分光比为50:50，空间光调制器9的入射光为水平偏振，用于实现条纹结构光的方向选择(光强调制)和相移操作(对于该照明光波长可以实现0-2π的相位调制)。
60.在本实施例中，第四薄透镜10和第五薄透镜11均为消色差双胶合透镜。为方便在光路中安装固定，空间掩膜板12可以在一块圆形金属薄片加工四个小孔，只保证x方向(光的传播方向)和y方向(水平面上垂直于x的方向)的
±
1级衍射光通过而阻挡其他衍射光通过。优选地，第四薄透镜10的焦距为f4＝100mm；第五薄透镜11的焦距为f5＝80mm。
61.进一步地，所述成像单元包括第六薄透镜13、平面反射镜14、二向色镜15、镜筒透镜16、显微物镜17、滤光片19和相机20，其中，第六薄透镜13的前焦面与第五薄透镜11的后焦面重合；平面反射镜14倾斜设置，用于将来自第六薄透镜13的光束反射至二向色镜15；镜筒透镜16和显微物镜17依次设置在二向色镜15的光透射方向上，样品18置于由镜筒透镜16和显微物镜17组成的望远镜系统的前焦面上；滤光片19和相机20依次设置在二向色镜15的光束反射方向上。
62.待测荧光样品18放在由镜筒透镜16和显微物镜17组成的望远镜系统的前焦面上，因此产生的荧光将出现在该系统的后焦面上，该面则为相机20的放置位置。
63.在本实施例中，第六薄透镜13为消色差双胶合透镜。二向色镜15用于实现对激光的透射和来自样品的荧光的反射。镜筒透镜16配合显微物镜17使用，用于消除像差并保证成像质量和放大倍数。滤光片19用于消除多余波段的杂散光。相机20为普通黑白cmos相机，具有一定的增益、灰度阶、像素尺寸和像素数量。优选地，第六薄透镜13的焦距为f6＝150mm；镜筒透镜16的焦距为f7＝200mm；显微物镜17的放大倍率为20
×
，数值孔径na＝0.75；二向色镜15根据波长选择特性将激发光反射而将辐射光透射；滤光片19的中心波长cwl＝562nm，用来滤除其他波段的杂散光；cmos相机20的像素个数为4096
×
3000，像素大小为3.45μm。
64.具体地，经空间掩膜板12滤级后的四束衍射光(其中两束的衍射级光强被空间光调制器9上加载的光栅平均衰减到原先的4.5％)被第六薄透镜13准直成沿不同方向传播的平行结构光，再由平面反射镜14反射，穿过二向色镜15后被由镜筒透镜16和显微物镜17组成的望远镜系统成像到样品18上。随后，样品产生的荧光被由显微物镜17和镜筒透镜16组成的望远镜系统收集，经二向色镜15反射和滤光片19的滤波后，形成的荧光图像由cmos相机20接收。
65.进一步地，二维光栅6经过第六薄透镜13后的像面和cmos相机20两者到所述镜筒透镜16的距离相同，用于使样品、结构光、相机三者像面一致以得到最佳的成像效果。
66.具体地，本实施例的结构光照明显微装置的工作过程如下：
67.首先，打开激光器1和cmos相机20，放置待测荧光样品18，调节其位置使其清楚成像到cmos像面上；调节第一线偏振片2，旋转至光强适中，并保证第二线偏振片3的偏振方向沿水平方向。随后，激光器1发出的激光经过第一线偏振片2调节光强后照射在第二线偏振片3上产生水平线偏振光，产生的水平线偏振光被用作照明光。该照明光经过由第一薄透镜4和第二薄透镜5组成的扩束准直系统后经二维光栅6被衍射成沿不同传播方向的多束衍射光，且其
±
1级衍射光具有高的衍射效率。随后，所述多束衍射光由第三薄透镜7汇聚后通过非偏振分光棱镜8并照射在距离第三薄透镜7后焦平面一定距离d处的空间光调制器9上。通
过在空间光调制器9上加载不同模式的图样(如图3(d)所示)，对其中一个对角线方向上的衍射级光强进行调制，并对另一个对角线方向的衍射级产生相移。经空间光调制器9调制后的照明光，经过非偏振分光棱镜8反射后，其频谱被由第四薄透镜10和第五薄透镜11组成的望远镜系统成像到空间掩膜板12上，空间掩膜板12只让x方向和y方向的
±
1级衍射光通过而阻挡其他衍射光通过。经过第六薄透镜13后产生的条纹结构光被平面反射镜14反射后穿过二向色镜15，最终被由镜筒透镜16和显微物镜17组成的望远镜系统成像到待测荧光样品18上。待测荧光样品18被结构光激发的荧光经过显微物镜17和镜筒透镜16，由二向色镜15反射后通过滤光片19滤波，最终产生的荧光图像由cmos相机20接收。
68.如上所述，空间光调制器9的靶面分成四个大小相同的长方形区域，首先，在左上区域和右下区域(-45
°
对角线方向)加载光栅图样，左下区域和右上区域(45
°
对角线方向)一侧加载灰度值为0的均匀灰度图样，另一侧依次加载0、79、158灰度值图样，从而获得该照明方向三个不同相移量的结构光；接着，在左下区域和右上区域(45
°
对角线方向)加载光栅图样，左上区域和右下区域(-45
°
对角线方向)一侧加载0灰度值图样，另一侧依次加载0、79、158灰度值图样，从而获得另一个照明方向三个不同相移量的结构光，并记录样品在两个照明方向、三步相移下的六种不同模式结构光照射下的六张荧光图像。利用cmos相机20依次采集所述六张荧光图像，并结合超分辨重构算法，利用采集到的六张荧光图像即可再现出待测荧光样品的超分辨图像。具体地，根据所述六张荧光图像，通过相应的sim重构算法，求解出各方向的高频分量，并将其移至频谱上的正确位置，最后通过逆傅里叶变换得到超分辨sim图像，具体图像处理过程参见下述实施例二。
69.在本实施例中，对于实现高通量成像而言，二维光栅6的周期为12.5μm，经过系统后生成的结构光照明条纹周期约为0.69μm(约为4个cmos像素)，最终光学系统视场标定为690
×
517μm2，即在全视场内沿着长边方向和短边方向约有1000/749个条纹。需要说明的是，基于slm或dmd的结构光照明显微镜最多可以产生480/300个条纹。具体估算如下：若slm的像素个数为1920
×
1200，要生成周期为4个像素的条纹，沿着长边方向和短边方向最多可以产生480/300个条纹，对应视场为0.69μm
×
480
×
0.69μm
×
300＝331
×
207μm2，而本发明实施例中利用光栅投影生成条纹的视场约为该视场的5.2倍。因此，本发明实施例基于光栅投影和slm相移的结构光照明显微装置能够对样品实现高通量成像。
70.接着，本实施例以240nm直径荧光小球(rf240c，激发波长532nm,辐射波长610nm)作为被测样品来证明本发明实施例装置的超分辨成像能力。在实验中，利用二维光栅产生的零级衍射光作为照明光(沿轴向方向传播)，得到样品的宽场照明图像。其次，依次在空间光调制器9上加载光栅图样和灰度值依次为0、79、158均匀图样的组合，并记录样品在两个照明方向、三步相移下的六张强度图像。随后，通过相应的sim重构算法，求解出各方向的高频分量，并将其移至频谱上的正确位置，最后通过逆傅里叶变换得到超分辨sim图像。
71.请参见图4，图4是直径为240nm荧光小球样品的宽场图像和超分辨sim图像，其中，图(a)包括荧光小球样品的宽场图像(左侧)、超分辨图像(右侧)以及宽场图像和超分辨图像的局部区域(
①‑⑤
)的放大图像(下侧)；(b)和(c)分别为区域
②
和
③
中虚线的强度曲线分布。通过对比荧光小球样品的宽场图像和超分辨sim图像(图4(a)所示)可以发现，利用本发明实施例的装置获得的超分辨sim图像更能体现出样品的细节信息，这一点可以通过对局部区域(
①‑⑤
)进行放大且相互比较得到验证。此外，本实施例的实验过程还任意选取了
15个荧光小球，对经过其中心的强度曲线进行高斯拟合后得到半高全宽(fwhm)，如图4(c)所示，最终定量获得宽场照明下光学系统的空间分辨率为518
±
16nm(mean
±
std)，超分辨重构后的空间分辨率为292
±
16nm(mean
±
std)，即空间分辨率获得了1.77倍的提升。因此，本发明实施例的结构光照明显微装置在保持高通量成像的同时，还使整个视场范围内的样品得到了超分辨重构。
72.本实施例提出了一种基于光栅投影和slm相移的结构光照明显微装置，不仅具有传统结构光照明显微镜成像速度快、对样品损伤小、空间分辨率高等优点，而且还具有以下优点：首先，在保持高分辨率的情况下，仍然具有高通量成像范围，克服了成像通量受到slm或dmd本身像素个数的限制；其次，利用光栅投影产生条纹结构光，克服了传统基于slm或dmd投影方法像素化的缺点；同时，利用空间光调制器实现相移，避免机械移动光栅引入的相移误差；最后，利用在空间光调制器上加载光栅图样来形成不同方向的条纹，克服传统旋转光栅的机械操作。综上所述，该显微成像装置具有高分辨、高通量、装置简单、操作方便等优点，可以被广泛应用于生命科学等多个领域。
73.实施例二
74.在实施例一的基础上，本实施例提供了一种基于光栅投影和slm相移的结构光照明显微方法，所述方法包括：
75.s1：利用实施例一所述的基于光栅投影和slm相移的结构光照明显微装置，通过同步控制空间光调制器和相机依次获得样品在x方向(光的传播方向)和y方向(水平面上垂直于x的方向)的结构光照明下的三步相移荧光图像。
76.具体地，打开激光器；在空间光调制器的左上区域和右下区域(-45
°
对角线方向)加载光栅图样，左下区域和右上区域(45
°
对角线方向)中的一侧加载灰度值为0的均匀灰度图样，另一侧依次加载三种不同灰度值(0、79和158)图样以进行相移操作，从而获得该方向上三个不同相移量的结构光；随后在左下区域和右上区域(45
°
对角线方向)加载光栅图样，在左上区域和右下区域(-45
°
对角线方向)中的一侧加载0灰度值图样，另一侧依次加载三种不同灰度值图样以进行相移操作，从而获得另一个方向上三个不同相移量的结构光；利用相机分别记录样品在六种不同模式结构光照射下的荧光图像。
77.在本实施例中，所述三种不同灰度值图样优选地为灰度值分别为0、79、158的均匀图样，分别对应空间光调制器上调制0、2π/3、4π/3相移量。
78.s2：根据所述多个荧光图像，结合超分辨重构算法，重构样品的超分辨sim图像。
79.具体地，当两个高频条纹叠加时会产生低频条纹(莫尔效应)，这种新产生的低频条纹同时包含有两个高频条纹的信息。从频域角度分析，在传统光学显微系统中，显微物镜的空间分辨率取决于它能采集到的最大空间频率k0，当样品细节部分对应的高频信息k》k0时将无法被光学系统收集，进而导致系统空间分辨率降低。若使用空间频率为k1的结构光照明样品，将会产生空间频率为|k-k1|《k0的莫尔条纹，通过相应算法解析出莫尔条纹中包含的样品高频信息，就可以重构包含样品细节信息的超分辨图像，具体过程如下：
80.结构光照明时的正弦条纹图案可表示为：
[0081][0082]
其中，r表示空间位置矢量，i0为结构光强度均值，p
θ
为结构光照明条纹的空间频
率，为结构光初始相位，m为调制因子，θ表示结构光照明方向。
[0083]
因此，用s(r)表示样品荧光强度分布，则结构光照明下样品荧光发射强度分布可表示为经过光学系统后形成的干涉图像可表示为：
[0084][0085]
其中，h(r)为光学系统的psf(点扩散函数)，表示卷积运算符，n(r)为背景噪声。
[0086]
对式(2)两端进行傅里叶变换可得：
[0087][0088]
其中，为系统的otf(optical transfer function，光学传递函数)，式(3)表明是样品三个不同频率分量的线性组合。
[0089]
为同时求解上述三个未知量，则需要建立一个三元一次方程组，因此常常采取相移方式，即通过改变结构光照明的初始相位可得到：
[0090][0091][0092]
其中，i0为常数因子，可假设为1，背景噪声n(r)通常可以忽略，则通过相应的矩阵运算操作，由式(4)可得：
[0093][0094]
通过式(6)，利用维纳滤波等方法可以相应求解出通过式(6)，利用维纳滤波等方法可以相应求解出将这些频率分量移动到样品频谱中正确的位置，就可以恢复出不同结构光照明方向θ下对应的高频信息。为保证重构样品的各向同性，通常会取两个或两个以上的照明方向，如θ1＝0
°
，θ2＝60
°
，θ3＝120
°
，来得到较全面的高频信息，最后通过逆傅里叶变换便可重构出具有样品高频信息的超分辨sim图像。
[0095]
本实施例的结构光照明显微方法利用空间光调制器实现相移，避免机械移动光栅
引入的相移误差，并且利用在空间光调制器上加载光栅图样来形成不同方向的条纹，克服传统旋转光栅的机械操作。
[0096]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。