一种三维像素超分辨显微成像方法
【专利摘要】一种三维像素超分辨显微成像方法，其特征在于，沿与图像采集装置传感器平面水平方向x、竖直方向y和显微镜的z轴方向各均成非直角空间偏转角的空间矢量扫描样品，以能够使每两张相邻的图像切片之间沿着x,y,z方向均有亚像素位移的步长进行扫描，通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。扫描矢量与水平方向、竖直方向和显微镜的z轴所成的空间偏转角可以相同，也可以不同。
【专利说明】一种三维像素超分辨显微成像方法
【技术领域】
[0001] 本发明涉及一种显微成像方法，特别涉及一种三维像素超分辨显微成像方法。
【背景技术】
[0002] 荧光显微成像作为对微观世界里发生的特异性事件的一种观察手段，长久以来对 于现代生命科学研究具有重大意义。特别是在发育生物学，再生医学，组织工程等需要对多 细胞样品进行观察、分析的领域里，进行三维度、全方位的成像对于分析样品的结构，生物 学特性非常重要。然而，无论是倒置显微镜还是共聚焦显微镜，均无法在低倍率，大视场下 提供轴向分辨率足够好的三维图像。近年来新发展出来的切片光显微成像系统提供了一种 新型的三维显微图像的获取手段，有别于传统的光路显微手段，切片光显微成像系统增加 了额外的照明光路来提供厚度极薄的线聚焦切片光照明，当染色样品放置于激光光片焦点 处附近时，将被该激光光片穿透照明，有如被一把虚拟激光刀片切过，同时每次仅有被照明 的薄切面会发射荧光，形成图像。通过在z方向的扫描样品或切片光产生一系列的切面荧 光图像，最终堆叠重构出样品的三维结构。由于使用单独的切片光照明，三维成像的的轴向 分辨率获得提升，不再受物镜景深的影响，而由光片的厚度决定。但是与此同时，高斯型切 片光的可用范围（瑞利范围）与光片厚度的平方成正比。在切片光成像系统中，通常会产生 一个2-8微米厚的光片，用来提供几十到数百微米范围的照明，与此照明范围匹配的成像 物镜通常是10倍镜或者20倍镜，即高轴向分辨率与大照明范围不可兼得。当需要提供大 视场、高分辨的图像时，通常使用中高倍物镜分块采集多张高分辨率图像，再将多幅图像对 齐，拼接出一张大视野、高分辨率的图像。进行三维成像时，图像拼接需要对样品在X，y，Z 轴分别进行扫描，然后使用计算机运算进行拼接处理。这种方法需要进行耗时的X，y，Z轴 扫描，不但增加了前端系统的硬件复杂度，而且需要后期图像处理的支持。此外，图像拼接 相对于原成像系统并没有光学原理上的实质改变，对于一些高倍率成像设置下所固有的缺 陷，如低照度，短工作距离带来的操作不便和低兼容性等并无改善。
[0003] 此外，为实现更高的空间分辨率和动态分辨率，国际上对于切片光成像系统进行 了多种改良，比如扫描式切片光成像技术，贝塞尔切片光成像技术，X型双路照明双路采集 切片光成像技术正在蓬勃发展。这些改良技术均采用更多的高精度光学元件和自控设备来 搭建更为复杂的成像系统。硬件的堆叠、复杂的系统增加了操作难度和成本，对技术的普及 并无裨益。更重要的是，即使是使用切片光显微成像技术，目前的主流手段依旧不能完全满 足大视场与高分辨兼备的三维成像需求。
【发明内容】
[0004] 针对上述倒置显微镜，共聚焦荧光显微镜，切片光等三维显微成像技术共同面临 的大视场和高分辨率难以兼容的问题，本发明提供了一种新型的三维像素超分辨显微成像 方法。发明的核心内容为：在做三维成像时使用一种偏转型线性扫描方式取代常规的纯Z 轴线性扫描，进而通过深度过扫描使获得的多张图像间在X，y，z三个方向均有亚像素的位 移。再使用计算机算法对多帧图像进行亚像素高分辨率信息的拼接、融合，最终实现三个维 度上的图像分辨率倍增。本发明的方法只需将倒置显微镜，共聚焦荧光显微镜，切片光显微 成像技术中的Z轴扫描装置进行小的改装，把扫描方向偏转，即可实现通过线性过扫描将 得到的亚像素高分辨率信息分配到X，y，Z三个方向，进而仅仅通过一个方向的线性扫描就 实现了三个维度的分辨率提升。更重要的是，在获得同等分辨率的情况下，三维像素超分辨 成像技术能够较传统的三维显微成像技术使用倍率更低，价格更便宜的物镜。这样不仅获 得了更大视场范围的成像，还进一步改善了高倍率成像设置下导致的动态范围不足，操作 不便和兼容性低等固有问题。而在使用同样倍率的物镜时，本发明的方法能够将分辨率进 一步提升。图像的三维像素超分辨处理目前是可以在Matlab的环境下实现，也可在更高效 的编程环境下执行，如使用C，C++，CUDA及任何可用的通用计算资源，以期达到准实时的三 维超分辨处理。
[0005] 本发明提供了一种三维像素超分辨显微成像方法，该方法沿与图像采集装置传感 器平面水平方向X、坚直方向y和显微镜的z轴方向均成非直角空间偏转角的空间矢量扫描 样品，以能够使每两张相邻的图像之间沿着X，y，z方向均有亚像素位移的步长进行扫描， 通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分 割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模 糊处理，得到清晰的高分辨图像F。
[0006] 本发明的三维像素超分辨显微成像方法可以与任何扫描式三维显微成像方式集 成，优选倒置显微镜成像，共聚焦荧光显微镜成像或切片光显微成像。
[0007] 扫描矢量与水平方向X、坚直方向y和显微镜的Z轴所成的空间偏转角可以相同， 也可以不同。该偏转角的大小优选由成像系统的单个空间体像素的形状决定，而单个空间 体像素的形状进一步由采集物镜的放大倍率、相机像素大小或放大倍率，以及光学系统的 轴向分辨率决定。在几种常见的扫描式三维显微成像方式中，对于倒置显微镜成像，轴向分 辨率的大小由瑞利范围决定，侧向向分辨率由放大倍率与相机像素大小决定，对于共聚焦 荧光显微镜成像，轴向分辨率的大小由瑞利范围和艾利单位决定，侧向分辨率由放大倍率 和选择的图像分辨率决定，对于切片光显微成像，轴向分辨率的大小由光片厚度决定，侧向 分辨率由放大倍率与相机像素大小决定。侧向分辨率决定了低分辨体像素在X和y方向的 大小，而轴向分辨率决定了体像素在Z方向的大小。扫描矢量的基本要求为：每一步扫描在 X，y，z方向均产生比例近似的亚像素位移（比例的定义为在该维度的亚像素位移量除以该 维度的像素大小）。扫描矢量的方向优选为体像素的体对角线方向，如图4所示。三维扫 描过程上，本发明的方法使用深度过扫描，过扫描的扫描方式和前述的非Z轴偏转型扫描 方向相结合，能够确保在扫描过程中每两帧图像之间在X，y，Z三个维度都有亚像素级的微 位移，从而使图像序列中具有足够多的用于后期重构超分辨图像的亚像素信息。过扫描的 步长可根据样品的尺寸、成像的设置以及需要实现的三维超分辨倍数选择。进一步的，空间 偏转角优选为75-85度，过扫描步长优选为50纳米到500纳米之间。
[0008] 当本发明的三维像素超分辨显微成像方法与切片光显微成像技术集成时，可实现 切片光照明光路的进一步简化。切片光照明光路使用激光发生装置、空间滤波装置、切片 光产生装置产生光片。优选的激发光产生装置为激光二极管或激光器(产生窄带激发光)， 空间滤波装置为圆形光阑或方形挡光狭缝，切片光产生装置为柱面镜或柱面镜加物镜的组 合。首先我们将三路不同波长（405nm，473nm，532nm)的激光对齐并汇合，以满足生物实验 多类荧光激发的需求，例如〇八?1^11'(：，1^乂4488,6--，（181?0等。一个圆形或方形光阑被 放置在对齐的激光光路后，用于将光斑整形成理想的形状。接下来，使用一个柱面镜对整形 的光斑进行一维的线聚焦，进而在激光传播方向上形成一个高斯型的极薄激光切片。在常 规的切片光成像系统中，为实现高分辨成像，通常会产生一个2-8微米厚的光片，用来提供 几十到数百微米范围的照明，与此照明范围匹配的成像物镜通常是10倍镜或者20倍镜。为 产生该厚度的光片，需使用柱面镜加物镜的组合以消除光片的色差，畸变等不利因素(如图 1所示)。与此设置不同的是，本发明使用厚度在5微米以上、优选10微米以上的厚但较均 匀的切片光，用来提供显著更大范围的样品照明（1到3_)，同时使用与此照明范围匹配的 低倍率物镜，如2X或4X物镜进行图像采集。产生厚激光光片一方面能够提供大范围的照 明，另一方面随着折射角的减小，以及光片瑞利范围的增加，色差和畸变的影响大幅减小， 也降低了对高精度光学元件的要求，例如不再需要在柱面镜后增加一个额外的照明物镜， 进而有利于实现系统的精简。图2为结合了三维像素超分辨技术的切片光显微成像装置示 意图。
[0009] 根据不同的样品及染色质量，我们使用图像采集装置以20_400fps、优选 100-400fps的速率连续采集超分辨扫描的图像序列。图像采集装置可以为sCM0S、(XD、PMT 等。整个扫描过程通常在一分钟内完成，产生一组包含1000-10000张图像的序列（图像张 数由样品尺寸决定)，我们定义它为原始的大视场图像序列A。图像序列A被实时地写入计 算机的高速固态硬盘阵列中，用以进行后期的三维像素超分辨处理。
[0010] 多类像素超分辨算法主要被用于无镜显微成像和全息显微成像技术，通过多帧互 相关联的低分辨率图像重构出一张高分辨二维图像。理论上多类像素超分辨处理的方法均 可用于本发明，优选移位-叠加法。
[0011] 本发明的三维像素超分辨显微成像方法中，超分辨处理的方法还可以为 Papoulis-Gerchberg 方法、Iterated Back Projection 方法、Robust Super Resolution 方法或 Structure-Adaptive Normalized Convolution 方法。
[0012] 本发明的三维像素超分辨显微成像方法中，进一步优选的超分辨处理的具体过程 为，将Bi按照三个维度的超分辨增强因子Ex，Ey，Ez插值到高分辨率的图像栅格中，生成 Ci，将多组Ci按照各自的亚像素位移矢量shifti移回参考原位，生成Di，并将Di叠加和平 均生成三维高分辨图像E，对E进行去模糊处理，最终获得清晰的高分辨率输出图像F。
[0013] 本发明的后期三维像素超分辨处理包含3个关键步骤： 1)将原始图像序列A根据恩奎斯特采样原则分割成低分辨、轴向信息无损的三维图像 序列Bi，i = 1，2, 3, 4,…，η，Β1-Βη为η组三维图像，而每组图像Bi均为三维的，包含多张 二维图像。其中n = 1/s，1为z轴分辨率，s为过扫描步长，即产生多少组低分辨序列B由 z轴分辨率和过扫描步长决定。例如，当采用切片光显微成像时，对于光片厚度为10微米 条件下，用4倍镜以及滨松flash 4.0 sCMOS相机采集的1000张图像的序列，为实现20倍 的超分辨因子（Ex*Ey*Ez = 2*2*5 = 20)，我们通常选择扫描步长为约500纳米。接下来通 常把获取的原始过扫描图像A分成20组Bi，Bl为第1张，第11张，第21张，…，第981 张，B2为第2张，第12张，…，第982张，B20为第20张，第30张，…，第1000张。根据 恩奎斯特无损采样原则，每组Bi中的的张数间隔至多为20/2=10张，对应距离间隔最多为 光片厚度的一半5微米。至此把一组1000张图像的序列分成20组、每组100张切片的三 维图像序列Bi。每组Bi中的X，y方向像素分辨率为resx = resy = Pitch / Mag,其中 pitch代表相机每个像素的大小，Mag为使用物镜的放大倍率，z方向像素分辨率为resz = 1/2,其中1为光片厚度（当采用切片光显微成像时，以光片Z轴方向半高宽FWHM定义)。而 根据恩奎斯特采样原理，X，y, Z方向的光学分辨率对应分别为2*resx，2*resy，2*resz。 在我们所举的这个例子里，Bi的像素分辨率分别为为1. 6微米、1. 6、5微米，光学分辨率则 分别为3. 2微米、3. 2微米、10微米。
[0014] 2)对Bi进行移位-叠加的超分辨处理，生成三维高分辨图像E，超分辨处理的具体 过程为：（a)将Bi按照三个维度的超分辨增强因子Ex，Ey，Ez插值到高分辨率的图像栅格 中，生成Ci，插值方法优选双三次方插值，Ci中的Ex*Ey*Ez个体像素对应于Bi中的单个体 像素，但Ci仅具有高的像素密度，图像的实际光学分辨率并没有获得提高。Ex，Ey，Ez的 选择遵循以下原则：第一，根据样品在各个维度上的原始分辨率（resx，resy，resz)，以及 所要达到的最终分辨率选择所需的Ex，Ey，Ez;第二，因为x、y方向原始分辨率相同，因此 通常最终X、y方向的超分辨率也会相同，所以Ex通常会设置为等于Ey ;第三，Ex*Ey*Ez应 设置为不大于前述的n，否则计算得到的图像伪信号过多。通常，实现本方法时先确定要实 现的Ex, Ey，Ez，然后确定η值，再根据η值确定扫描步长s，（b)将Ci按照各自已知的亚像 素位移矢量shifti移回参考位，生成Di，并将Di叠加和平均生成单个高分辨率图像E。E 既融合了高光学分辨率的信息，也包含由系统点扩散函数导致的像素模糊。将Ci移回参考 位的具体过程为，使用C1作为参考图像，将C2到Cn按各自的亚像素位移矢量与C1对齐。 每组图像的亚像素位移矢量由空间偏转角和扫描步长决定。所有的位移矢量均为沿着与图 像扫描相同的方向。移动后留下的空位像素在程序里被自动填为零。例如，对于图像Ci，每 个轴上被移动的像素可以被定义为：
【权利要求】
1. 一种三维像素超分辨显微成像方法，其特征在于，沿与图像采集装置传感器平面水 平方向X、坚直方向y和显微镜的Z轴方向各均成非直角空间偏转角的空间矢量扫描样品， 以能够使每两张相邻的图像切片之间沿着X，y，z方向均有亚像素位移的步长进行扫描， 通过图像采集装置采集得到原始三维图像序列A，将原始图像序列A根据无损采样原则分 割成多组三维图像序列Bi，对Bi进行超分辨处理，生成三维高分辨图像E，再对E进行去模 糊处理，得到清晰的高分辨图像F，扫描矢量与水平方向、坚直方向和显微镜的z轴所成的 空间偏转角可以相同，也可以不同。
2. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，该方法可与倒置显微 镜成像，共聚焦荧光显微镜成像或切片光显微成像集成。
3. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，所述的超分辨处理的 方法优选移位-叠加法。
4. 根据权利要求3所述的三维像素超分辨切片光显微成像方法，所述超分辨处理的具 体过程为，将Bi按照三个维度的超分辨增强因子Ex，Ey，Ez插值到高分辨率的图像栅格 中，生成Ci，将多组Ci按照各自的亚像素位移矢量shifti移回参考原位，生成Di，并将Di 叠加和平均生成三维高分辨图像E，再对E进行去模糊处理，得到清晰的高分辨图像F。
5. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，所述的空间偏转角的 大小优选由成像系统的单个空间体像素的形状决定，单个空间体像素的形状由成像系统的 原始侧向分辨率和原始轴向分辨率决定。
6. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，所述的扫描矢量的方 向优选为体像素的体对角线方向。
7. 根据权利要求4所述的三维像素超分辨切片光显微成像方法，所述的步长由Ex， Ey，Ez的乘积和光学系统的z轴分辨率决定。
8. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，该方法与切片光显微 成像集成，切片光显微成像系统的照明光路包括激光发生装置、空间滤波装置、切片光产生 装置，其中切片光产生装置为柱面镜，无需使用物镜。
9. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，所述的超分辨处理 的方法为 Papoulis-Gerchberg 方法、Iterated Back Projection 方法、Robust Super Resolution 方法或 Structure-Adaptive Normalized Convolution 方法。
10. 根据权利要求4所述的三维像素超分辨切片光显微成像方法，所述插值为双三次 方插值。
11. 根据权利要求1所述的三维像素超分辨切片光显微成像方法，通过去卷积的方法 进行去模糊处理。
【文档编号】G01N21/64GK104111242SQ201410269145
【公开日】2014年10月22日 申请日期:2014年6月17日 优先权日:2014年6月17日
【发明者】费鹏, 虞之龙, 董思炎, 关泽一, 严刚 申请人:费鹏