一种具有三维成像能力的显微镜和成像方法与流程

本发明涉及成像显微镜和显微成像方法，特别是涉及一种以生物和医学为主要应用领域的高通量三维数字成像显微镜和高通量三维数字显微成像方法。

背景技术：

三维数字成像是现代显微成像的重要内容之一。在不降低分辨率的前提下非破坏的成像更多样品是三维显微成像方法的重要追求。

一般的，三维数字成像以某种产生衬度响应(如荧光)的方法探测样品(激发)，以某种方法记录这些衬度(光电转换并数字化)，并以待测区域内每一个体单元的衬度数字化为体像素作为最终产出。以此，体像素的数目，即样品待测区域的体积除以体像素对应的体积(由要求的分辨率决定)，和数字化的速度决定了三维数字成像速度的一个上限。然而现有技术的成像速度远未达到这一极限。以现有的主流成像设备400兆像素每秒的数字化(16bit)速度为例对0.5立方厘米的小鼠大脑成像，三维体像素对应1×1×1微米的单元(亚细胞分辨)的数字成像速度上限应为1250秒，大约21分钟；体像素对应5×5×5微米单元(胞体分辨)则仅需10秒。现有技术中，亚微米分辨率的鼠脑成像代表速度为3天(gong，h.etal.nat.commun.7：12142，2016)，胞体分辨的最新结果约为2小时(liye，etal.，cell，165(7)，16june2016，)。以现有技术而言，激发和记录的速度不是瓶颈。造成这一差距的一个重要原因是现有技术无法在成像过程中避免成像中断，从而使有效成像时间缩短。

现有成像技术通常采用这样的方案：首先对与成像方向(即探测主轴方向，通常称之为z方向)垂直的一个平面成像——可以是逐点成像或者部分/整个视野同时成像，以扫描共聚焦(scanningconfocal)或光切片(spim，有时也缩写为lsm)成像为例；在z方向上根据分辨率要求做相对运动，到达一个新的平面，这一过程约需10毫秒；对新平面成像；重复以上运动与成像，直到在z方向上覆盖样品，完成一个视野内的三维成像，然后在垂直于z的方向上移动到一个新视野，这一过程约需多达数百毫秒；重复以上运动与成像，直到在垂直于z的方向上也覆盖样品，完成样品的三维成像。以上过程中包含了大量的中断成像的过程，每次移动本身花费时间，并要进一步等待启动、停止引起的振动耗散，才能开始继续成像，从而产生长时间的成像中断。在样品体积较大，分辨率要求较高的情况下，上述中断成像的次数以三次方增大，严重影响成像的效率。部分技术以电调焦透镜等方案减少中断成像时间，但仅适用于z方向，且尺度有很大限制，对三维数字成像的通量仅有部分的改善。

图1a至图1g展示了现有技术实现三维成像通常采用的方案：首先如图1a所示对与成像方向(即探测主轴方向，通常称之为z方向)垂直的一个平面成像——可以是逐点成像或者部分/整个视野同时成像，以扫描共聚焦(scanningconfocal)或光切片(spim，有时也缩写为lsm)成像为例；在z方向上根据分辨率要求做相对运动，到达一个新的成像位置如图1b；在成像位置成像如图1c所示；重复以上运动与成像，如图1d所示，直到在z方向上覆盖样品，完成一个视野内的三维成像；然后在垂直于z的方向上移动到一个新视野，如图1e所示；在视野三维成像如图1f所示；重复以上运动与成像，直到在垂直于z的方向上也覆盖样品，完成样品的三维成像如图1g所示。以上过程中包含了大量的中断成像的过程，每次移动本身花费时间，并要进一步等待启动和停顿所引起的振动消失，才能开始继续成像，从而产生长时间的成像中断。我们可以看到，上述中断成像是与移动关联的。在以多次局部成像组合成整体成像的三维成像技术中，一定形式的样品与探测的相对移动是很难避免的，但并不是所有相对运动都要求中断成像。传统三维成像所包含的相对运动可以分成两类：第一类运动：单视野内三维成像过程中不同面的成像，每次数据读取之间发生的较小的相对移动，通常数微米以下；第二类运动：视野转换过程中发生的较大的相对移动，通常百微米以上。

参考文献：

gong，h.etal.high-throughputdual-colourprecisionimagingforbrain-wideconnectomewithcytoarchitectoniclandmarksatthecellularlevel.nat.commun.7：12142，doi：10.1038/ncomms12142(2016).

liye，etal.wiringandmolecularfeaturesofprefrontalensemblesrepresentingdistinctexperiences，cell，volume165，issue7，16june2016，pages1776-1788，issn0092-8674，http：//dx.doi.org/10.1016/j.cell.2016.05.010。

技术实现要素：

(一)要解决的技术问题

本发明主要解决的技术问题是提供一种维数字成像显微镜和三维数字显微成像方法，能够改善有效成像时间从而实现高通量三维数字显微成像。

(二)技术方案

为解决上述技术问题，按照本发明的一个方面，提供一种具有三维成像能力的显微镜，包括：至少一个激发装置，用于沿激发主轴方向在样品待测区域内产生可探测的衬度；至少一个探测装置，用于沿探测主轴方向探测样品待测区域内产生的衬度；至少一个移动机构，用于产生样品与所述激发装置和探测装置的相对运动；其中，所述相对运动的方向与所述激发主轴方向既不平行也不垂直；所述相对运动的方向与所述探测主轴方向既不平行也不垂直。对样品一个三维区域成像的整体过程中，成像与所述相对运动均具不停顿的特征，并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。这里，关于相对运动的方向的选择有助于减少必须中断成像的视野转换。

由于成像时的所述相对运动具有匀速、基本不停顿的特征，消除了速度变化或启动、停顿引起的不规则抖动。所可能仍然存在的运动引起的模糊简单且一致，可以简便的以去卷积等方法计算消除。

优选地，在所述探测装置的有效探测区域中，与成像的每一体像素对应的样品单元仅在不长于特定时间内被所述激发装置激发，在所述特定时间内由所述相对运动产生的位移不大于所述显微镜的分辨率要求。这样，所述相对运动产生的运动模糊可以忽略不计。

优选地，在所述样品所在环境填充透明物质，所述透明物质与当时所述样品的折射率近似相等。

优选地，所述激发装置以一个或数个发光二极管、连续激光器、脉冲激光器的组合激发光源。

优选地，所述可探测的衬度为荧光、弹性散射光、拉曼散射、shg、thg、受激拉曼散射等信号的一种或组合。

优选地，所述激发装置使用以脉冲时间不长于所述特定时间的脉冲，以光片照明方式激发样品。

优选地，所述激发装置为脉冲激光器、脉冲工作的发光二极管，或者是以不同方法调制的连续光源的组合。

优选地，所述激发装置和所述探测装置同步工作。

优选地，所述激发装置包含一个或多个柱面镜、柱面透镜、变形镜、透射相位器件、反射相位器件，用以形成所述光片照明。

优选地，所述激发装置产生至少一个在探测区域内与所述探测装置的探测方向近似垂直的激发光束。

优选地，所述激发装置包含至少一个扫描机构，该扫描机构能够使所述激发光束扫描移动。

优选地，所述激发光束在探测区域内沿光束方向光束半径变化不超过3倍。

优选地，所述扫描机构包含一个或多个扫描振镜、共振扫描镜、旋转多面镜、声光调制器的组合。

优选地，所述探测装置是以矩阵感光器件作为成像器件，所述成像器件与所述扫描机构同步工作。

优选地，所述探测装置包含与所述扫描机构同步工作的去扫描机构，并以阵列或矩阵感光器件作为成像器件。

优选地，所述激发装置包含一个光束分割机构，用于将一个激发光束分割成多个激发光束。

优选地，所述光束分割机构可包含一个或多个透镜阵列、反射镜阵列、半透半反镜阵列的组合，或包含固定或可调的相位滤波器或数字微镜阵列。

优选地，所述激发装置和所述探测装置构成扫描共聚焦成像的结构。

本发明还提出一种三维显微成像的方法，包括：利用至少一个激发装置，沿激发主轴方向在样品待测区域内产生可探测的衬度；利用至少一个探测装置，沿探测主轴方向探测样品待测区域内产生的衬度，所述探测装置不排除与所述激发装置共用元件；其中，所述样品与所述激发装置、探测装置的相对运动的方向与所述激发主轴方向既不平行也不垂直；所述相对运动的方向与所述探测主轴方向既不平行也不垂直。

本发明优选为利用去卷积等方法消除运动所致的模糊。

(三)有益效果

根据本发明提供的以上装置和方法，本发明的优点和有益效果包括：减少三维成像中的成像停顿，包括样品移动的同时不间断的成像，减少必须中断成像的视野转换，同时消除前述实现中成像时样品运动引起的模糊，改善前述实现中引起的像差。与现有技术相比，本发明提供的装置和方法可以在同等分辨率条件下，提高三维成像通量。

附图说明

图1a～图1g展示了现有技术实现三维成像通常采用的方案；

图2a～图2c展示了本发明的三维成像原理；

图3展示了一台三维成像显微镜的原理图，作为本发明的一个应用实例，附图中各部件的标记如下：1、激发装置；2、探测装置；3、样品台；4、激发光源；5、扫描振镜；6，7、接力透镜；8、反射镜；9、反射镜或二向色镜；10、物镜；11、样品内激发、探测区域；12、物镜；13、镜筒透镜；14、相机；

图4展示了图3所示系统采集的小鼠脑荧光成像实例，其中4(a)所示为一个数百微米厚脑片的成像结果三维重构的冠状切面图，4(b)所示为脑片小范围内神经元胞体和树突的细微结构，4(c)所示为某一成像面内捕获的神经元轴突等细胞精细结构；

图5展示了另一台三维成像显微镜的原理图，作为本发明的另一个应用实例，附图中各部件的标记如下：1、激发装置；2、探测装置；3、样品台；4、激发光源；5、柱面镜；10、物镜；11、样品内激发、探测区域；12、物镜；13、镜筒透镜；14、相机；

图6展示了又一台三维成像显微镜的原理图，作为本发明的又一个应用实例，附图中各部件的标记如下：1、激发装置；2、探测装置；3、样品台；4、激发光源；5、两维扫描机构；6，7、接力透镜；8、反射镜；9、二向色镜；10、物镜；11、样品内激发、探测区域；12、镜筒透镜；13、相机；

图7是去卷积算法消除运动模糊以改善图像质量的说明，其中图7a为静止时拍摄的纳米荧光珠；图7b为1毫米每秒运动时10毫秒曝光的情形；图7c为以去卷积处理后的结果；

图8说明了本发明的显微镜与成像方法采用连续光源通过扫描方式抑制运动模糊的原理；

图9说明了本发明的显微镜与成像方法采用折射率匹配改善本发明的显微镜采集图像的质量。

具体实施方式

以下的发明内容中，我们将展示一种设备和方法，可以在上述第一种运动中不中断成像，并最大程度减少第二种运动的存在，从而增加有效成像时间，提高成像通量。

本发明的核心内容为减少不必要的成像中断，围绕这一内容采用一系列技术的组合，其基本内容包括样品移动的同时基本不间断的成像，减少必须中断成像的视野转换，消除前述实现中成像时样品运动引起的模糊，改善前述实现中引起的像差等。

为解决上述技术问题，按照本发明的一个方面，提供一种具有三维成像能力的显微镜，包括至少一个激发装置，用于沿激发主轴方向在样品待测区域内产生可探测的衬度。所述显微镜还包括至少一个探测装置，用于沿探测主轴方向探测样品待测区域内产生的衬度，所述探测装置不排除与所述激发装置共用元件；所述显微镜还包括至少一个移动机构，用于产生样品与所述激发装置和探测装置的相对运动。对样品一个三维区域成像的整体过程中，成像与所述相对运动均具不停顿的特征，并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。这里，关于相对运动的方向的选择有助于减少必须中断成像的视野转换。

由于成像时的所述相对运动具有匀速、基本不停顿的特征，消除了速度变化或启动、停顿引起的不规则抖动。所可能仍然存在的运动引起的模糊简单且一致，可以简便的以去卷积等方法计算消除。

进一步，本发明可以采用的一个技术方案是在所述探测装置的有效探测区域中，与成像的每一体像素对应的样品单元仅在不长于特定时间内被所述激发装置激发，在所述特定时间内由所述相对运动产生的位移不大于所述显微镜的分辨率要求。这样，所述相对运动产生的运动模糊可以忽略不计。

更进一步，本发明可以采用的一个技术方案是在成像时，在所述样品所在环境填充透明物质，所述透明物质与当时所述样品的折射率近似相等。

所述激发装置可使用一个或数个发光二极管、连续激光器、脉冲激光器的组合作为激发光源。所述可探测的衬度为荧光、弹性散射光、拉曼散射、shg、thg、受激拉曼散射等信号的一种或组合。所述探测装置使用ccd、cmos感光元件、光电二极管(pd)包括雪崩光电二极管(apd)、光电倍增管构成的点、阵列或矩阵器件中的一种或者组合作为感光器件。

所述激发装置可使用以脉冲时间不长于所述特定时间的脉冲，以光片照明方式激发样品，并且所述探测装置以矩阵感光器件如ccd、cmos相机作为成像器件。

所述激发装置可包含一个或多个柱面镜、柱面透镜、变形镜、透射相位器件、反射相位器件，用以形成所述光片照明。

所述脉冲光源可包含一个或数个脉冲激光器、脉冲工作的发光二极管或者是以不同方法调制的连续光源的的组合。且所述脉冲光源可与所述成像器件同步工作。

本发明的一种实施方式是，所述激发装置产生至少一个与所述探测装置的探测方向近似垂直的激发光束；所述激发装置包含至少一个扫描机构，该扫描机构能够使所述激发光束扫描移动。

优选地，所述激发光束在探测区域内沿光束方向光束半径变化不超过3倍。

所述扫描机构的一种实施方式是包含一个或多个扫描振镜(galvanometerscanner)、共振扫描镜、旋转多面镜、声光调制器的组合。

另一种实施方式是，所述探测装置是以矩阵感光器件如ccd、cmos相机作为成像器件，所述成像器件与所述扫描机构同步工作。所述探测装置可以包含与所述扫描机构同步工作的去扫描机构，并以阵列或矩阵感光器件如led阵列、ccd、cmos相机作为成像器件。

根据本发明，所述激发装置可包含一个光束分割机构，用于将一个激发光束分割成多个激发光束。所述光束分割机构可包含一个或多个透镜阵列、反射镜阵列、半透半反镜阵列的组合，或包含固定或可调的相位滤波器或数字微镜阵列(dmd)。

一种实施方式是，所述激发装置和所述探测装置构成扫描共聚焦成像的结构。

此外，本发明还提出提供一种三维显微成像的方法，包括：利用至少一个激发装置，沿激发主轴方向在样品待测区域内产生可探测的衬度；利用至少一个探测装置，沿探测主轴方向探测样品待测区域内产生的衬度，所述探测装置不排除与所述激发装置共用元件；利用至少一个移动机构，产生样品与所述激发装置和探测装置的相对运动。对样品一个三维区域成像的整体过程中，成像与所述相对运动均具有不停顿的特征，并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。

图2a～图2c展示了本发明的三维成像原理。如图2a～图2c所示，在成像的同时，样品与成像系统之间保持持续的匀速运动，运动方向与成像方向既不平行也不重合，图2a展示了运动方向与成像方向成45°夹角的例子；如图2b和图2c所示，本发明持续不间断的对大尺度样品的新位置成像，最终完成样品的三维成像。

下面参照附图来描述本发明的具体实施例。

作为本发明的一个应用实施例，图3展示了一台三维成像显微镜，针对300微米厚的样品，分辨率要求为1微米。成像所依赖的衬度以荧光为例。作为例子，荧光衬度由488微米激光激发gfp等荧光蛋白提供。激发装置1和探测装置2可以采用对称的复用的结构，即两侧均包含激发、探测功能。如取消阴影区域部分器件，则左侧简化为单纯的激发装置，右侧为探测装置。激发装置1和探测装置2光路主轴垂直，并与水平面(桌面、地面)成45。角。样品台3平行于水平面，用于承载样品并移动样品至成像位置，在成像时样品连续的水平运动。激发装置1和探测装置2的最前端为物镜10(olympusumplfln20xw)，数值孔径为0.5，工作距离3.5毫米。488微米激光作为激发光4经过强度调节、束径调节的望远镜或光阑(未展示)入射扫描振镜5，用以在物镜10后产生在与探测方向垂直的平面内扫描的线形激发光。接力透镜6、7使扫描振镜5与物镜10后焦面共轭。反射镜8、9用于扭转扫描线，并节省空间；其中，在包含阴影区域器件的系统中，反射镜9需为长波通过的二色向镜(dichroicmirror)。激发装置1将激发光束聚集在样品内如11所示位置，以激发荧光。激发装置1的有效数值孔径为0.03-0.04，以保证聚集的激发光束腰半径在最细处附近约420微米的范围内变化不超过两倍。探测装置2对11所示位置成像，其核心元件为物镜12、镜筒透镜13(125毫米焦距)和相机14(hamamatsuflash4.0scmos相机)。相机像素数2048×2048，像素尺寸6.5×6.5微米，全幅帧率100hz即10毫秒每帧。振镜5以单向10毫秒的锯齿波同步扫描。样品台3移动速度为100微米/秒即1微米/帧。运动引起的模糊小于1/200，可以忽略。样品以折射率1.45为目标进行匹配，可选匹配溶液包括histodenz。所述系统完成1×1厘米样品的1微米分辨率的三维成像需约16分钟，小鼠全脑荧光成像约5-6小时，显著优于现有技术。图4a～图4c展示了所述系统采集的小鼠脑荧光成像实例，其中4a所示为一个数百微米厚脑片的成像结果三维重构的冠状切面图，图4b所示为脑片小范围内神经元胞体和树突的细微结构，图4c所示为某一成像面内捕获的神经元轴突等细胞精细结构。

在另一个实施例中，如图5所示，采用与图3类似的结构但应用脉冲光源以光片的方式照明。其中，脉冲光源4以工作频率为30-100hz的纳秒氮分子/染料激光为例，经过强度调节、束径调节的望远镜或光阑(未展示)形成矩形光束，入射柱面镜5。柱面镜焦距可选100毫米，柱面垂直于激发装置1和探测装置2光路主轴确定的平面。其余器件与图3所示系统相同。相机图像采集与脉冲光源同步进行。在工作频率为100hz的情况下，系统三维成像能力与图5所示系统相同。

在又一个实施例中，如图6所示，采用多光子扫描成像的结构。激发装置1和探测装置2复用前端部分器件。激发装置1(和探测装置2)光路主轴与桌面(地面)的垂直方向成45°角。样品台3平行于桌面，承载样品并移动样品至成像位置，在成像时样品连续的水平运动。激发装置1和探测装置2的最前端为物镜10(olympusumplfln20xw)，数值孔径为0.5，工作距离3.5毫米。可以产生多光子激发的脉冲激发光4，通常是飞秒或皮秒激光，经过强度调节、束径调节的望远镜或光阑(未展示)入射两维扫描机构5，用以在物镜10后产生在与探测方向垂直的平面内扫描的点状激发。接力透镜6、7使振镜5与物镜10后焦面共轭。反射镜8、9用于扭转扫描线，并节省空间；其中，反射镜9为长波通过的二色向镜(dichroicmirror)。激发装置1的有效数值孔径为0.5。激发装置1在样品内如11所示位置产生激发。探测装置2对11所示位置成像，其核心元件与图5所示系统类似。该系统可以应用于信噪比要求高于速度的情形。

在又一个实施例中，在与图3或图6所示系统类似的装置中，可以在激发光4进入扫描机构5之前插入一个一个光束分割机构，用于将一个激发光束分割成多个激发光束，同时激发成像位置11范围内不同子区域，从而加快总的扫描速度。

在又一个实施例中，与图6所示系统类似，如显微成像领域内的专家所熟知，其探测装置可以采用其它类型高速探测器，如光电二极管(pd)包括雪崩光电二极管(apd)、光电倍增管等。

在又一个实施例中，与图6所示系统类似，如显微成像领域内的专家所熟知，激发装置1和探测装置2复用的前端部分器件可以包括从物镜起上溯至扫描机构，而后在分离的探测部分中与样品共轭的位置加装共焦小孔，从而构成共聚焦扫描成像的结构。

在另外的一个实施例中，与前述各系统类似，如显微成像领域内的专家所熟知，激发装置使用的激发光源可以一个或数个发光二极管、连续激光器、脉冲激光器的组合；成像所依赖的衬度可为荧光、弹性散射光、拉曼散射、shg、thg、受激拉曼散射等信号的一种或组合。

以上所述实施例中，只举例了探测方向均与相对运动方向成45°夹角的情形。在其它应用中，所述夹角可以根据要求灵活选择，主要是与所选择的物镜接触角相适应。例如，有更高分辨率要求的系统可以选择更大数值孔径的物镜，与之适应，所述夹角可以选择55°-65°。同样，相对运动的形式也不限定为直线。例如，圆周运动的可以作为另一种优选的形式。

由于成像时存在运动，采集的图像会有运动引起的模糊。由于这里的运动模式简单且固定，作为一种解决方案，本发明可采用常规的去除运动模糊的算法来有效的改善采集图像的质量。图7a为静止时拍摄的纳米荧光珠；图7b为以1毫米每秒的速度运动时进行10毫秒曝光的情形，从图中可看出有明显但一致的运动模糊；以去卷积处理可以有效恢复图像细节，结果显示在图7c。作为另一类解决方案，也可以采取限制激发时间的方法抑制运动模糊，其要点是保证样品中每一点在激发时间内的运动相对分辨率的要求可以忽略，简单的说，激发时间乘以运动速度显著小于最小分辨的尺度即可。如果分辨要求为1微米，运动速度为1毫米每秒，则要求激发时间小于1毫秒。脉宽适当的脉冲光源可以直接满足这一要求。连续光源也可以通过适当的开关调制用来照明，但更高效的，连续光源也可以通过扫描方式实现对点的短时间激发。如图8所示为例，显微镜视野，以成像相机为参考，宽度为2000像素。相应的，线形的激发光宽度约为10像素。当激发光在0.01秒内扫过整个视野时，每一像素实际被激发的时间仅约为0.01秒除以2000乘以10即50微秒。

另一方面，如果样品所在空间，包括激发光离开激发装置进入样品和信号光离开样品进入探测装置所经过的途径存在折射率的不同，较厚样品可能失去透明性，同时成像可能会存在较大的像差。为获得好的信噪比和分辨率，本发明建议在所述途径中进行透明化/折射率均一化处理。图9展示了处理前后的效果对比。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。