一种小型化的多角度三维超分辨光片荧光显微镜的制作方法

本发明属于显微成像领域，更具体地，涉及一种小型化的多角度三维超分辨光片荧光显微镜。

背景技术

光片荧光显微镜是本世纪兴起的一种新型显微成像技术。与传统的落射荧光显微镜不同，光片荧光显微镜的照明和采集是相互独立的，即照明光源和探测采集相互垂直。利用一种片状的光源从侧面去激发样品的荧光，利用宽场采集照明层的激发的荧光图像，通过扫描获取二维图像序列来重构三维。相比普通的宽场荧光显微镜和激光扫描共聚焦显微镜，光片显微镜具有较低的光毒性和光漂白性，较高的轴向分辨率，较快的成像速度。光片荧光显微镜的这些特点使得对生物组织/生物体的三维、动态观察成为可能，已在生物医学成像领域得到广泛的关注。

随着光片技术的研究，多种光片技术不断被开发出来，如平面选择照明光片(selectiveplaneilluminationmicroscopy，spim)，数字扫描光片(digitalscanninglight-sheetmicroscopy，dslm)，贝塞尔光片(bessellight-sheetmicroscopy)等不同类型的光片技术。后两种技术由于涉及到光束的扫描及与相机快门的同步，在系统实施上稍微复杂一些。由于spim是基于高斯光束，会涉及到高斯光束束腰与瑞丽距离的矛盾，即轴向分辨率与成像视场(fieldofview，fov)的矛盾。光片越薄，轴向分辨率越高，但可用的视野(瑞利范围)就越小，难以观测较大的生物样品。并且，即使在瑞丽范围内，其轴向分辨通常亦不如横向分辨率。mspim(多视角光片荧光显微镜)通过将多个视角拍摄的光片三维图像融合，可获得与横向相当的轴向分辨率。但即便如此，横向(轴向)分辨率与视野的矛盾依然存在。对于发育生物学，神经生物学，病理学等领域里需要频繁观测的胚胎、组织、器官等数毫米介关尺度的大样本，其空间分辨率仍然难以满足要求。

同时，现有的商业化光片荧光显微镜，价格昂贵，动辄数百万元，而且操作繁琐，体积庞大。

技术实现要素：

针对现有技术的缺陷，本发明的目的在于提供一种小型化的多角度三维超分辨光片荧光显微镜，旨在解决现有技术中大视野和高分辨的矛盾，横向分辨率和轴向分辨率的矛盾，本发明能进一步提高分辨率且小巧，易于组装，成本低。

本发明提供了一种小型化的多角度三维超分辨光片荧光显微镜，包括：光源模块、光片生成模块、样品控制模块和图像采集模块；光源模块用于形成一束准直的椭圆光；光片生成模块用于根据所述准直的椭圆光产生两束光片并对两束对射光片进行调整使其在三维空间对齐；；样品控制模块用于当所述光片照射在样品上时控制样品移动以被光片扫描；图像采集模块用于将激发样品的荧光同步采集后形成图像序列。

光片生成模块可以省去光学接力透镜组，使用少量光学元件和短光程即实现第一、第二光片的精确对齐。

其中，光源模块包括：激光器、光纤准直器，扩束整形模块和可调狭缝；光纤准直器、可调狭缝和扩束整形模块依次设置在激光器的出射光的光轴上，激光器的出射光经光纤准直器准直后再经可调狭缝调整，扩束整形模块对经可调狭缝调整后椭圆光束的短轴高度进行调节，以实现光片厚度的动态调整。

其中，扩束整形模块包括：依次设置在光轴上的两枚柱面镜，两枚柱面镜呈平行放置，以实现对光束进行某一个维度的整形成椭圆光束。

其中，光片生成模块包括：分光棱镜、第一反射镜、第一柱面镜、第二反射镜、第三反射镜和第二柱面镜；准直的椭圆光束由分光棱镜等分成相互垂直的第一束光和第二束光，第一束光经第一反射镜反射后再经第一柱面镜聚焦后在其焦点处形成用于照射在样品一侧的第一光片，第二束光依次经过第二反射镜和第三反射镜反射后再经第二柱面镜聚焦后形成用于照射在样品另一侧的第二光片。

其中，第一反射镜与所述第一柱面镜紧贴放置；所述第二反射镜放置在所述第二柱面镜焦点处。

其中，样品控制模块包括：样品夹持器、倾斜式扫描控制台和驱动器；样品通过样品夹持器固定在倾斜式扫描控制台上，通过驱动器控制样品移动以被光片扫描。

其中，倾斜式扫描控制台包括：倾斜块，三维位移台，电动扫描轴和竖向补偿块；倾斜块的作用是使扫描轴偏离z轴(与xz和yz面形成一定角度)，从而实现斜轴扫描。通过斜轴过采样扫描的方法，在三维空间产生高于系统分辨率的亚体像素微位移，可用于体素超分辨。竖向补偿块是使样品沿竖直方向，避免扫描时样品碰到样品池。

倾斜块为一个带有倾斜角的零件，加工时使参考面先沿x方向倾斜一定的倾斜角，再沿y方向倾斜一定的倾斜角，用于使z轴扫描方向与xz面和yz面成角度，实现扫描时在三个维度产生小于像素尺寸的位移分量。

作为本发明的一个实施例，倾斜角也可以通过俯仰台和旋转台组合的方式。

其中，竖向补偿块可以为带有倾角的零件，用于使得样品在扫描时沿竖直方向；且竖向补偿块的倾斜角和所述倾斜块的倾斜角相同。其倾斜角优选5°-20°。

本发明提供的小型化多视角超分辨光片荧光显微成像装置，在紧凑的系统上对较大样本实现了各向同性的高分辨率三维成像。已达到光学元件间的距离尽可能短，元件尽可能少，结构更为紧凑；相较于与本系统原理类似的mspim需要27个光学元件实现，本装置仅需14个光学元件便能完成，成本更低，结构也更为紧凑。相较于mspim，本发明装置仅利用一枚反射镜即可实现mspim中1104部分的功能，实现单侧的对齐与调节；另一侧仅用一枚反射镜即可实现mspim中1106部分的功能，实现另一侧光片在x、z方向的调节，与第一光片的对齐。上述两处改进省去了mspim中复杂的relay部分，但是可以实现相同的功能，本发明装置能极大地缩减装置的尺寸。mspim中1102振镜部分对本装置作用不大，故在本发明中做了省略优化，同时减小了装置尺寸和降低成本。另外，本装置中所用到的柱面镜均为消色差透镜，相较于mspim使用柱面镜和物镜组合的形式，即节约了成本，又能减小装置尺寸；同时这种消色差透镜的使用可以兼容多通道的成像。相比而言，本装置在降低成本，优化设计的基础上，整体性能没有显著性妥协。

本装置扩束整形模块通过两面柱透镜对光束进行扩束，选用焦距尽可能短的柱透镜以缩短元件间距离。仅通过调节一侧光片在z轴的位置来使两侧光片重合，为使光路尽可能紧凑，选择通过将反射镜放置在柱透镜焦距处来实现f-θ调节，而另一侧反射镜与柱面镜可以紧贴放置。通过对光路的改进、器件的选型使装置更为紧凑。最终这种小型化装置在一块仅30*60厘米的光学平台上实现了多角度三维超分辨光片显微成像。

本发明采用斜轴过采样扫描方法，在三维空间产生高于系统分辨率的亚体像素微位移，可用于体素超分辨。这种超分辨方法兼顾了普通光片照明显微镜高分辨率和大视场的矛盾，相比于传统通过拼接方法同时实现大视场与高分辨具有低漂白性、高通量的优势。同时本发明结合了多视角融合方法，实现高散射性的大组织各向同性高分辨成像。

本发明具有较高的性价比，采用了较少的元件，和优化系统设计，其硬件装置相比大型的贝塞尔光片，商业化的光片显微镜等要精简小巧，操作简单，具有很大的实用价值。

附图说明

图1是现有技术(mspim)的原理图；

图2是本发明提供的小型化的多角度三维超分辨光片荧光显微镜的原理图；

图3是本发明实施例提供的小型化的多角度三维超分辨光片荧光显微镜的结构示意图；

图4是本发明实施例提供的小型化的多角度三维超分辨光片荧光显微镜中改进的样品扫描控制台的结构示意图；

图5是本发明实施细节及流程示意图；

图6是采用本发明实施例提供的小型化的多角度三维超分辨光片荧光显微镜对fam/hex染色混合标记液滴进行多通道成像；

图7是对混合标记液滴进行多通道成像后的处理计数；

图8是用本装置对转基因绿色荧光蛋白标记鼠脑神经的成像结果以及与传统方法的比较。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的小型化的多角度三维超分辨光片荧光显微镜可以用于生物体/组织等样品的三维成像。本发明可以解决大视野和高分辨的矛盾，横向分辨率和轴向分辨率的矛盾，在现有技术上能进一步提高分辨率。同时，本装置小巧，易于组装，成本低。

本发明提供了一种小型化的多视角超分辨光片荧光显微成像装置，一方面，通过对光学装置进行优化设计，减少装置尺寸；另一方面，通过算法提升图像分辨率，实现大视野下各向同性的高分辨成像。本装置可以兼容多种大体积的生物样品，如活体斑马鱼胚胎、果蝇、线虫以及离体透明化鼠脑、心脏、肾等组织，同时也适用于三维细胞/组织培养检测。

如图2所示，本发明提供了一种多视角超分辨光片显微成像装置，包括：光源模块、光片生成模块、样品控制模块和图像采集模块；光源模块用于形成一束准直的椭圆光；光片生成模块用于根据所述准直的椭圆光生产光片；样品控制模块用于当所述光片照射在样品上时控制样品移动以被光片扫描；图像采集模块用于将激发样品的荧光同步采集后形成图像序列。

其中，光源模块包括：激光器10、光纤准直器11，扩束整形模块13和可调狭缝12，其中光纤准直器11、可调狭缝12和扩束整形模块13依次设置在激光器10的出射光的光轴上，激光器10的出射光经光纤准直器11准直后经过可调狭缝12的调整后出射，再由扩束整形模块13进一步对椭圆光束的短轴高度进行调节，以实现光片厚度的动态调整。

在本发明实施例中，扩束整形模块包括：依次设置在光轴上的两枚柱面镜，两枚柱面镜呈平行放置，以实现对光束进行某一个维度的整形形成椭圆光，提高激光的能量利用率。可调狭缝可进一步对光束大小进行调节。

为使光路尽可能紧凑，选用大小能通过光束且能购买到的最小焦距的柱透镜以缩短元件间距离。以本发明的一个实施例为例，光纤准直器的准直透镜焦距为15mm，扩束整形模块两枚柱面镜焦距分别为9.7mm和25.4mm。值得注意的是，本装置所使用的透镜包括但不限于上述焦距。

光片生成模块包括：分光棱镜14、第一反射镜211、第一柱面镜212、第二反射镜221、第三反射镜222和第二柱面镜223，准直的椭圆光束由分光棱镜14等分成相互垂直的第一束光和第二束光，第一束光经过第一反射镜211反射后再经过第一柱面镜212聚焦后在其焦点处形成用于照射在样品一侧的第一光片，第二束光依次经过第二反射镜221和第三反射镜222反射后再经过第二柱面镜223聚焦后形成用于照射在样品另一侧的第二光片，第一光片和第二光片从样品两侧形成对射，激发样品荧光。样品通过样品控制模块进行扫描，实现三维成像。

其中，为使光路尽可能紧凑，第一反射镜与第一柱面镜可以紧贴放置；第二反射镜放置在第二柱面镜焦点处来实现f-θ式的角动-平动转换调节，以实现两束对射光片的微调、对齐。

样品控制模块包括：样品夹持器、倾斜式扫描控制台和驱动器；样品通过样品夹持器固定在倾斜式扫描控制台上，通过驱动器控制样品移动以被光片扫描。

在本发明实施例中，不同于传统意义上的z轴扫描，本装置通过采用二维俯仰台，旋转台和三维位移台结合方式，调整扫描角度，使得扫描方式为非轴向扫描。可选地，可以使用特定角度的零件替代俯仰台及旋转台。同时固定电机的角铁和上述位移台之间可添加一个补偿块，以保证样品沿竖直(y)方向放置。这种斜轴扫描可以在x，y，z三个方向产生扫描分量。

其中，斜轴扫描方式可以采用过采样扫描，通过合理设计扫描角度和扫描步长，这种斜轴扫描可以在x，y，z三个方向都产生亚体像素的微小位移。这种微位移包含有超越系统空间分辨率的高频信息，通过体素超分辨率算法(专利号cn104111242)可以恢复出超越原始系统分辨率的分辨的信息。

对于多角度旋转选用高精度旋转电机，可控制旋转角度。样品通过联轴器固定在电机末端。优选地，视角选取数为四个或八个。

图像采集模块将激发样品的荧光同步采集记录在相机上，形成图像序列。图像采集模块包括：依次设置在所述样品荧光光路上的四倍采集物镜41、管透镜42、滤光片43和相机44。物镜探测到的荧光信号经管透镜聚焦和滤光片滤波后记录在相机的传感器上。

本发明中的采样方式也不同，采用过采样扫描，后期通过算法恢复出过采样中包含的高分辨信息。每次扫描完成后，将样品旋转一定的角度(例如：若想进行8个视角成像，则每次旋转360度/8＝45度)，再次扫描，多次扫描得到多个视角的三维图像序列。同时本发明对采集到的多视角图像堆栈进行每个视角的超分辨处理，再基于超分辨的多个视角的图像堆栈进行配准融合，得到大视野各向同性的高分辨三维图像。

本装置适用于大视场成像，如2x，4x。可选地，也适用于高倍镜，如10x，20x。可选地，对于样品采集端，本装置提供了一种对大样品的探测采集方案，利用4x的高通光孔径和短焦距的管透镜如100mm搭配使用，相当于二倍的放大倍率，获得大视场的同时保证了足够大的通光孔径。

本发明对采集到的多视角图像堆栈进行每个视角的超分辨处理，再基于超分辨的多个视角的图像堆栈进行配准融合，得到大视野各向同性的超分辨三维图像。

对于采集到的每个视角的图像三维超分辨处理可采用cn104111242专利方法进行处理。然后对超分辨之后的多个视角进行配准融合和去卷积处理。数据处理部分可采用cpu计算或gpu计算，优选采用gpu加速的运算处理。

本发明相较于现有技术mspim采用27个元件的复杂光路结构，可以在不影响装置性能的前提下，精简元器件数量，和使用短焦距的透镜，既降低了成本，又使得装置更为轻巧。

同时，相较于现有技术mspim，本发明装置仅利用一枚反射镜211即可实现mspim中1104部分的功能，实现单侧的对齐与调节；另一侧仅用一枚反射镜221即可实现mspim中1106部分的功能，实现另一侧光片在x、z方向的调节，与第一光片的对齐。上述两处改进省去了mspim中复杂的relay部分，但是可以实现相似的功能，极大地缩减了装置的尺寸。mspim中1102振镜部分对本装置作用不大，故在本发明中做了省略优化，同时减小了装置尺寸和降低成本。另外，本装置中所用到的柱面镜212和223均为消色差透镜，相较于mspim使用柱面镜和物镜组合的形式，即节约了成本，又能减小装置尺寸；同时这种消色差透镜的使用可以兼容多通道成像。相比而言，本装置在降低成本，优化设计的基础上，整体性能没有显著性妥协。

普通的光片显微镜普遍存在大市场和高分辨的矛盾，以及轴向分辨不如横向分辨率的问题，本发明结合了超分辨和多视角融合，兼顾了光片低光漂白、高通量的特性，解决了视场和分辨率的矛盾，适用于多种样品，特别是普通光片显微镜难以拍全拍透的高散射样品。

本装置采用了一种紧凑型的结构设计，优化了光路，在采用较少的光学元件的基础上，既不影响装置的性能，同时也能降低装置成本，极大地减小装置尺寸。

本发明提供以下具体实施例：

实施例1：

本实施例中提供的小型化多角度三维超分辨光片荧光显微镜通过对光路的改进、器件的选型使装置更为紧凑。这种小型化装置在一块仅30*60cm的光学平台上实现了多角度三维超分辨光片显微成像。

小型化多角度三维超分辨光片显微镜装置总体结构如图3所示。11是光纤准直器，焦距为15mm；12是可调调狭缝光阑，有效调节范围为0-8mm；13是扩束整形模块，两枚柱面镜焦距分别为9.7mm和25.4mm；14是分光棱镜，分光比为50/50；211是第一反射镜，212是柱面镜，焦距为75mm；221第二反射镜和222是第三反射镜，223是柱面镜，焦距为75mm；31是样品扫描位移台，32是扫描控制器；41是四倍采集物镜，42是管透镜，焦距为100mm，43是滤光片，44是相机。

本实施例中采用笼式结构，已达到光学元件间的距离尽可能短，结构更为紧凑；相较于与本系统原理类似的mspim需要27个光学元件实现，本装置仅需14个光学元件便能完成，成本更低，结构也更为紧凑。相较于mspim，本装置尽可能地将两侧光路均需要的元件(如用来调节光片厚度的狭缝)放置在未分束前的主光路中，以减少元件数量。扩束部分通过两面柱透镜对光束进行扩束，选用焦距尽可能短的柱透镜以缩短元件间距离。照明单元部分本实施例在较mspim中1104和1106部分减少了两组relay透镜、两枚物镜及一面反射镜，也就是七枚透镜的情况下实现了与mspim同样的双侧光片照明功能以及调节双侧光片对齐的功能。本实施例中仅通过调节一侧光片在z轴的位置来使两侧光片重合，为使光路尽可能紧凑，选择通过将反射镜221放置在柱透镜223焦距处来实现f-θ调节，相比于mspim在两侧均设置反射镜调节光片z轴位置的方式，省去了一面反射镜，且一侧光路的反射镜无需放置在柱透镜焦距位置，减小了装置尺寸。本实施例中的探测光路部分为一个无限远校正系统，在有效矫正像差的同时，通过采用焦距尽可能短的套管透镜42以及中高倍率的物镜41来缩减光路的尺寸。另外，mspim中1102振镜部分对本装置作用不大，故在本发明中做了省略优化，同时减小了装置尺寸和降低成本。

该装置样品扫描采用非轴向扫描方式，扫描轴与yz面，xz面成一定角度。这个角度可以通过旋转台和俯仰台组合形式产生，也可以用定制化零件产生。本实施例中，采用定制化零件产生特定角度，如图4，样品扫描装置包括：倾斜块311，三维位移台312，电动扫描轴313和竖向补偿块314；其中311和314为定制化零件，311加工时使参考面先沿x方面倾斜一定角度，再沿y方面倾斜一定角度，其作用是使扫描方向(原始的z轴)与xz面和yz面形成特定的角度，从而在扫描时在三个维度产生位移分量。314带有倾角的零件，且其倾斜角和上述倾斜块一致。本实施例中311可以使原来的z扫描轴沿xz面和yz面各偏离10度(图3左下角坐标系中s方向)，314为竖向补偿块，可以使样品在竖直方向放置。斜轴过采样扫描方式使得相邻两帧图像之间在x，y，z三个方向都能产生亚体像素的微位移，这种微位移为后面通过算法恢复高分辨信息提供了高频分量。

多角度三维超分辨光片荧光显微镜流程如图5。本发明提出的多角度三维超分辨光片显微镜包括硬件和软件两部分，硬件部分通过斜轴扫描采集多个视角过采样的图像，在三维空间产生高于系统分辨率的亚体像素的微小位移，这种高频信息可用于体素超分辨；软件部分，分别对每个视角的图像进行超分辨，然后将高分辨图像配准融合，得到各向同性的高分辨图像。其中超分辨采用cn104111242专利算法。从示意图可以看出，经过单视角超分辨之后，图像分辨率有显著提升，但深层信息还是不完整；再通过多视角融合，可以得到各向同性的高分辨图像。

实施例2：

本实施例主要是用该装置对微乳液滴进行成像及检测。通常微乳液滴大小介于几十到几百微米之间，对空间分辨率要求不是很高，故无需进行超分辨；由于液滴的散射，单次照明难以扫透整个样品(放置液滴的离心管最大直径约为3mm)，因此需要多角度的融合。本装置可以实现对大量微乳液滴的快速高通量成像检测。

图6是利用该装置对fam/hex染色混合标记的液滴进行多通道三维成像的结果。fam为蓝光激发，hex为绿光激发。采用的激发波长分别为488nm和532nm，成像的曝光时间设为100ms，扫描步长设为10μm，两个通道各拍摄了三百张图像，整个扫描时间约为60s。对两组图像进行双通道融合，结果如图6，绿色为fam信号，红色为hex信号。适当增强激发光强或提高染料浓度，可以在较短曝光时间下获得高对比度图像，可数十倍缩短成像检测时间。

上述采集到的双通道三维图像融合后，对每个通道单独计数，计数结果如图7。结果表明该样品中含有fam染色标记的液滴2390个，hex染色标记的液滴2434个。

本实施例主要展示本装置用于液滴高通量成像检测。对于液滴这种透明度不高(高散射/吸收)的大体积(离心管约3mm)样品，常见的spim成像方式由于光散射在样品深层图像质量较差，而本装置双路照明以及多视角结合方式，从各个不同方向进行照明以及探测，将深层转化为浅层，显著提高图像质量，为后续的定量分析奠定了基础。

实施例3：

本实施例是对绿色荧光蛋白标记的转基因鼠脑神经的成像。thy-1基因型的绿色荧光蛋白在鼠脑神经元以及神经纤维上表达。由于鼠脑组织的不透明性，使用光学显微镜难以观察，因此需要先经过透明化处理，如图8a，b。即使经过透明化处理，由于组织的散射和吸收，深层图像降质仍然很严重。图8c中展示普通常规光片显微镜的成像结果，左边展示的是原始的xy二维图像，右边展示的是xz重构面。可以看到，经过透明化后，即使用先进的光片显微镜成像，其深层组织带来的降质影响还是很明显的，而且由于轴向分辨率比横向分辨率大，导致轴向有拉长效果，体现xz面上。图8d和8e是没有经过超分辨处理和经过超分辨处理的多视角融合图像。尽管图8d已经实现各向同性的分辨率，但图8e的分辨率进一步提升。具体体现在，图8e对应的xy面上神经纤维更细，一些细小的纤维末梢也能分辨；xz重构面上，图8e的效果是最好的，图8c神经纤维有拉长，而且胞体附近的纤维不能分辨，图8d虽然已恢复各向同性，但xy，xz面上细节度不够。结果中，图8e的分辨率与对比度均获得了显著的提升，在xy面上较原始图像(图8c)分辨率提升3-4倍，轴向xz面)提升15-20倍，可以清晰分辨细胞的结构。利用我们的多视角超分辨光片显微成像系统，可以实现了对于大组织多细胞结构的真正意义上的高分辨的各向同性三维成像和完美重构。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。