多焦结构化照明显微系统和方法

多焦结构化照明显微系统和方法
【专利摘要】本发明公开了用于生成样本的多焦图案的多焦选择性照明显微(SIM)系统。该多焦SIM系统对完全扫描样本的一系列多焦图案中的每个多焦图案执行聚焦、缩放及求和操作以产生高分辨率合成图像。
【专利说明】多焦结构化照明显微系统和方法
[0001]相关申请的交叉引用
[0002]这是一件PCT专利申请，要求提交于2012年2月23日的美国临时专利申请N0.61/602，139的优先权，其整体通过引用并入此处。

【技术领域】
[0003]本申请涉及多焦结构化照明显微，尤其涉及多焦结构化照明显微系统以及用于产生由样本的多焦图案引起的多个多焦荧光发射的方法。

【背景技术】
[0004]经典的荧光显微在分辨率方面受到光的波长的限制，这称为“衍射极限”，当样本发射由显微镜检测的焚光时，在典型的激发和发射波长下的横向分辨率限制为大约200nm，轴向分辨率限制为大约500nm。共焦显微是一种光学成像技术，其用以通过使用点照明和空间针孔布置从厚于焦平面的标本消除离焦发射光，从而将光学分辨率提高超过衍射极限，因而通过要求紧密关闭针孔的方法以衍射极限1.41倍的分辨率来传输图像。不幸地是，关闭针孔会将从样本发射的光的信号水平降低到一定程度，导致该特定的超分辨率方法不实用。此外，共焦显微镜必须使来自显微镜的照明光束的激发与针孔/检测器完美地对准，因为未对准的针孔会引起正在检测的光信号降低和变弱，以及引起样本本身的轴向光学断层降低。这样，共焦显微镜的未对准会引起光信号的降低。
[0005]已经发现了用于共焦显微的分辨率增强的方法，该方法使用检测器阵列(诸如照相机图像中的像素)，其中阵列中的每个检测器产生独立的共焦图像。如果检测器阵列充分小，则每个形成的共焦图像能够等同于由具有紧闭针孔的共焦显微镜形成的类似的共焦图像，使得当共焦图像完全对准时实现了衍射极限显微镜的1.41倍的分辨率。此外，反卷积提供了图像分辨率的进一步的提高。但是，该检测器阵列布置会受到限制，因为在样本的整个二维平面中仅扫描单个激发点，这会限制能够扫描样本的速度以及对样本的荧光发射的后续检测。
[0006]另一类型显微称为结构化照明显微(SM)，其以空间调制激发强度来照明样本，空间调制激发强度相对于样本平移和旋转于不同位置，在每次平移和旋转时获取宽视野图像。适当地处理原始图像形成了最终图像，最终图像具有的横向分辨率是常规宽视野显微的横向分辨率的两倍。虽然这种SIM系统生成了具有常规显微镜的2倍空间分辨率的图像，但是当产生最终图像时却牺牲了时间分辨率，因为需要时间来采集多个原始图像中的每个。SIM还可以用来抑制离焦模糊，公知为“光学断层”。但是，这种光学断层是以计算方式来执行的，并且会受到散粒(泊松)噪声。因而当背景荧光会引起该散粒噪声贡献超过焦点内信号时，SIM不适用于厚的或者高染色的样本。
[0007]这样，本领域中需要结构化照明显微系统，其产生用于每个高分辨率图像的样本的多焦激发图案，而不会牺牲扫描速度，并且对可能会干扰SIM图像的散粒噪声有抵抗力。


【发明内容】

[0008]在实施例中，显微系统可以包括:光源，用于发送单个光束；以及分束器，用于将单个光束分成形成多焦图案的多个光束。扫描器将形成多焦图案的多个光束扫描到样本上，使得样本生成由每个多焦图案引发的多个荧光发射。接着，聚焦部件限定了孔径，所述孔径构造为物理地阻挡由每个多焦图案引发的多个荧光发射的离焦荧光发射，以及允许焦点内荧光发射通过所述孔径。此外，缩放部件缩小由每个多焦图案引发的多个焦点内荧光发射，使得所述多个焦点内荧光发射中的每个被缩小预定因子，以产生由每个多焦图案引发的多个缩小的焦点内荧光发射。求和部件对所述多个缩小的焦点内荧光发射中的每个求和，以产生多个已求和的、缩小的焦点内荧光发射，所述多个已求和的、缩小的焦点内荧光发射形成所述多个已求和的、缩小的焦点内荧光发射的合成图像。
[0009]在另一实施例中，显微系统可以包括:光源，用于发送单个光束；分束器，用于将单个光束分成形成多个多焦图案的多个光束，其中，多个多焦图案中的每个限定多个焦点；扫描器，用于将形成多焦图案中的每个的多个光束扫描在样本上，使得样本生成由多焦图案中的每个所引发的多个荧光发射，其中，多个多焦图案中的每个限定多个荧光焦点；检测器，用于收集由多焦图案中的每个所引发的所述多个荧光发射；以及处理系统，用于处理从所述检测器收集的多焦荧光发射，所述处理系统包括处理器，所述处理器与数据库操作通信，所述数据库用于存储多个已收集的多焦荧光发射，其中，所述处理器移除由多个多焦图案中的每个所引发的离焦荧光发射，从而仅留下由多个多焦图案中的每个所引发的焦点内荧光发射，其中，所述处理器接着在局域收缩操作中对由多个多焦图案中的每个所引发的焦点内荧光发射进行缩放，在局域收缩操作中，当所述多个荧光发射收缩以产生缩小的焦点内荧光发射时，由多焦图案中的每个所引发的所述多个荧光发射中的每个与由多焦图案引发的其他多个荧光发射保持相同比例距离；其中，所述处理器对多个多焦焦点内荧光发射求和，以产生合成图像。
[0010]在又一实施例，用于多焦结构化照明显微的方法可以包括:
[0011]生成单个光束；
[0012]将单个光束分成多个光束，多个光束中每个的焦点形成多个多焦图案；
[0013]用形成多个多焦图案中的每个的所述多个光束来照明样本，其中，受照样本产生由多个多焦图案中的每个所引发的多个荧光发射；
[0014]执行针孔操作，在所述针孔操作期间，阻挡所述多个荧光发射之中的离焦荧光发射，并且仅允许所述多个荧光发射之中的焦点内荧光发射通过；
[0015]以预定因子缩放由多个多焦图案引发的多个焦点内荧光发射的每个焦点，以产生由多个多焦图案引发的多个缩小的焦点内荧光发射；以及
[0016]对所述多个缩小的焦点内荧光发射中的每个求和，以形成合成图像。
[0017]在以下说明中将指出额外的目的、优势和新颖特征，在查阅附图和其后的详细说明后本领域的技术人员将清楚这些内容。

【专利附图】

【附图说明】
[0018]图1是图示出用于在多焦结构化照明显微(SIM)系统中生成多焦图案的一个方法的简化框图；
[0019]图2是图示出用于在多焦SIM系统的另一实施例中生成多焦图案的另一方法的简化框图；
[0020]图3是示出用于图1的多焦SIM系统的一个实施例的各种部件的简化图；
[0021]图4是示出用于图2的多焦SIM系统的一个实施例的各种部件的简化图；
[0022]图5是示出具有多个焦点的多焦图案的简化图；以及
[0023]图6是示出缩放操作的简化图，缩放操作对由样本所发射的多焦图案引起的焦点内荧光发射进行缩放；
[0024]图7是图示出用图4的多焦SIM系统中的处理系统进行缩放及求和操作的方法的流程图；
[0025]图8是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于获得网格向量的一个方法的流程图；
[0026]图9是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于获得偏移向量的一个方法的流程图；
[0027]图10是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于获得漂移向量的一个方法的流程图；
[0028]图11是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于针孔掩膜的一个方法的流程图；
[0029]图12是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于缩放和局域收缩的一个方法的流程图；
[0030]图13是图示出当执行处理系统的离焦荧光抑制、缩放及求和操作时用于求和的一个方法的流程图；
[0031]图14是示出在测试多焦SIM系统的一个实施例期间所使用的照明系统的简化图；
[0032]图15图示了嵌入荧光封片剂中的样本的各种图像；
[0033]图16图示了嵌入荧光封片剂中的双标记三维样本的各种图像；以及
[0034]图17图示了在针孔聚焦、缩放和三维反卷积之后使用多焦照明系统的样本的各种图像。
[0035]在各附图中，对应的附图标记指代对应的元件。附图中使用的标题不应解释为限制权利要求的范围。

【具体实施方式】
[0036]在现代显微中，结构化照明显微(SM)可以用于通过使用空间图案光来激发样本荧光以检查单个细胞，样本荧光稍后被检测，一个或多个图像被处理以产生分辨率为常规宽视野显微图像的2倍的超分辨率图像。但是，SIM显微镜为了更高的分辨率而牺牲了速度(为每个超分辨率图像获取多个原始图像)。此外，SIM系统中的光学断层是以计算方式执行的，因而易于在荧光背景中固有地存在散粒噪声。这限制了能够检查的样本的厚度，从而当检测更厚的样本时需要使用其他显微技术。例如，共焦显微系统使用针孔布置来物理地抑制离焦光，该针孔布置允许样本所发射的发射光中只有来自特定焦点的光被该系统检测到，从而比起SM显微镜可获得的图像来说产生相对更厚样本的高对比度的光学断层图像。相对于常规宽视野显微，共焦显微镜还能够提供增强的分辨率。但是，共焦显微镜的该增强的图像分辨率是通过缩小针孔布置实现的，这会导致正在检测的来自样本的荧光发射信号中的对应的禁止性损失(prohibitive loss)。改进的共焦显微镜已经示出为将图像分辨率提高到SIM显微镜的分辨率水平，而不会牺牲发射信号强度；但是，该显微镜实现的慢扫描速度使其对于研宄目的来说是不实用的。
[0037]这样，此处提出的多焦SIM系统的实施例包括了特定的部件、属性和特性，它们解决了关于实现高图像分辨率而不牺牲常规显微成像系统所需扫描速度和信号强度的问题，比当前商用的SIM系统在厚样本方面提供了更好的性能。此处描述的多焦SIM系统包括特定的部件，它们生成用于样本所获取的每个图像的多焦激发图案，从而在高扫描率下产生高分辨率图像，相对于常规共焦显微和SIM系统不会有显著的信号损失。以下将更详细地讨论多焦SIM系统和方法的进一步细节。
[0038]参考附图，图示了多焦SM系统的各种实施例，它们在图1至图4中大致标识为100和200。如图1图示的，示出了多焦SM系统的一个总实施例，标记为100。多焦SM系统100执行照明图案生成操作102，照明图案生成操作102将单个光束分成多个光束，用于生成一个或多个多焦图案，每个多焦图案限定用于多个光束中每个光束的焦点布置。例如，多焦图案170的一个例子的简化图不出于图5。在一个实施例中，多焦图案170可以包括布置在由多个光束限定的特定多焦图案170中的多个焦点172，每个多焦图案170限定了用于多个光束的不同的焦点布置，使得对于给定密度的焦点172，多焦图案170将任何两个最近焦点172之间的距离最大化，从而最小化串扰。如此处使用的，术语串扰指的是邻近光束从其他焦点引起激发和荧光出现的能力，好像焦点源自讨论中的焦点。在扫描操作104中，每个多焦照明图案中的多个光束被光栅化(raster)于正在被照明的样本106上，使得样本106发射多个焚光发射。在去扫描(de-scan)操作108中，由样本106发射的焚光发射被光栅化，去扫描操作重新引导多个荧光发射以在聚焦操作110中移除离焦荧光发射。在聚焦操作110中，阻挡离焦荧光发射，并且仅允许焦点内荧光发射通过以用于处理。
[0039]然后使用缩放操作112对由每个多焦图案引起的焦点内荧光发射进行缩放，缩放操作112以预定因子局域地收缩每个荧光发射。在图6图示的缩放操作112的一个实施例中，发生了在单个多焦图案170中引起的荧光焦点172的局域收缩。例如，在多焦图案中170中，荧光焦点172A和172B分别局域收缩成缩小后的荧光焦点172A’和172B’，使得不管施加至多焦图案170的荧光焦点172的缩放程度如何，荧光焦点172A和172B的几何中心175之间的距离300与荧光焦点172A和172B的距离302保持相同。换句话说，缩放操作112对荧光焦点172进行局域收缩，同时保持每个荧光焦点之间的相对距离是相同的。在缩放操作112之后，用于每个多焦照明图案的缩小的焦点内荧光发射接着在重新扫描操作114中被光栅化，这允许在收集及求和操作116中，由每个多焦图案引起的收缩的焦点内荧光发射将被检测器收集并且被求和以产生合成的高分辨率图像。
[0040]在一些实施例中，在收集及求和操作116之后，合成图像可以经历反卷积操作118，反卷积操作118执行一定水平的去模糊，其进一步增强合成图像的分辨率。反卷积操作118可以是任何常规的反卷积操作118，诸如商用P1tyr Wendykier的并行迭代反卷积插件。
[0041]参考图2，图示了根据多焦SIM系统另一实施例的用于生成多焦图案的另一方法，多焦SM系统标识为200。多焦SM系统200执行照明图案生成操作202，在照明图案生成操作202中，将单个光束分成多个光束，用于生成多个光束的一个或多个多焦图案。在扫描操作204中，用于每个多焦图案的多个光束被光栅化于样本206上。响应于收集操作208中所检测到的多焦图案，样本206产生荧光发射。在收集操作208中，检测器收集焦点内荧光发射，并且将收集的数据传递到处理系统，处理系统执行处理操作210。处理操作210移除每个多焦图案中的离焦荧光发射，对剩余的焦点内荧光发射缩放，然后对缩小的焦点内荧光发射求和以生成由多焦图案所创建的多个荧光发射所组成的合成图像。在一些实施例中，收集的数据然后可以经历类似于反卷积操作120的反卷积操作212，反卷积操作212执行合成图像的去模糊，以进一步增强图像分辨率。
[0042]参考图3，多焦SM系统100的一个实施例可以包括照明源120，例如激光器，其用于生成单个光束122，单个光束122被传播通过分束器124 (诸如微透镜阵列)。分束器124将单个光束122分成多个光束126，多个光束中126中的每个具有不同的焦点，这些焦点共同形成多焦图案128。在一些实施例中，第一透镜130通过分色镜132在方向A上对每个多焦图案128进行成像并且成像到扫描装置134(诸如检流计)上以执行扫描操作104。
[0043]在扫描操作104期间，扫描装置134将多个光束126的每个多焦图案128光栅化于样本144上，这是通过布置第二透镜136、管透镜138以及物镜140来到达样本144上。
[0044]响应于样本144被多个光束126的多焦图案128照明，样本144发射由光束126组成的多焦图案128所引起的荧光发射142。由受照样本144发射的用于每个多焦图案128的多个荧光发射142然后被物镜140捕获，并且通过管透镜138和第二透镜136到达扫描装置134上，扫描装置134通过在与方向A相反的方向B上将荧光发射142从第二透镜136光栅化到分色镜132上来去扫描多个荧光发射142中的每个，在方向A，多个光束126直接通过分色镜132。在方向B，多个荧光发射142被分色镜132重新引导以通过第三透镜146，在第三透镜146中，多个荧光发射142接着被聚焦到针孔阵列148上以执行针孔操作110。
[0045]在针孔操作110期间，针孔阵列148物理地阻挡并且抑制离焦荧光发射142，并且仅允许焦点内荧光发射142A通过针孔阵列148。在一个实施例中，针孔阵列148可以包括多个孔径，孔径构造为仅允许焦点内荧光发射142A通过针孔阵列148，而阻挡不通过孔径之一的任何荧光发射142。
[0046]在通过针孔阵列148之后，使用以上讨论的缩放操作112对多个焦点内荧光发射142A进行缩放，缩放操作112使用与第二微透镜阵列152串联布置的第一微透镜阵列150以预定因子(例如，因子为2)对用于相应多焦图案128的每个焦点进行局域收缩。在一个实施例中，第一微透镜阵列150校准焦点内荧光发射142A的多焦图案128，而第二微透镜阵列152接收已校准的焦点内荧光发射142A，并且对用于已校准的焦点内荧光发射142A的焦距进行修正，使得每个焦点被缩小了预定因子，以实现多焦图案128的局域收缩。在一些实施例中，由每个多焦图案128引起的缩小后的焦点内荧光发射142B接着被第一镜154重新引导以通过第四透镜158，第四透镜158用于将缩小后的焦点内荧光发射142B聚焦至第二镜156上。第二镜156重新引导缩小后的焦点内荧光发射142B通过发射滤波器160，发射滤波器160仅允许具有特定波长(例如515nm)的缩小后的焦点内荧光发射142B通过发射光滤器160。一旦缩小后的焦点内荧光发射142B被过滤，扫描装置134通过第五透镜162将荧光发射142B光栅化至检测器164上，使得用于每个多焦图案128的缩小后的焦点内荧光发射142B被收集，并使得焦点内荧光发射142B被检测器164求和，以产生合成图像143。重复进行收集由多焦图案128引起的荧光发射142B的过程，直到已经示出整个视场并且所有产生的荧光发射142B都被检测器164收集。
[0047]在一些实施例中，检测器164可以是照相机，当缩小后的焦点内荧光发射142B被光栅化于检测器164上用于收集时，其遮光器打开以进行曝光，直到已经示出整个视场并且接收到了所有收集的数据。
[0048]在一些实施例中，将合成图像143传递至处理系统166，处理系统166执行反卷积操作118，反卷积操作118执行去模糊功能，以增强每个合成图像143的分辨率。
[0049]参考图4，用于生成多焦图案223的多焦SM系统200的一个实施例可以包括照明源201，照明源201生成单个光束203，单个光束203被传输通过扩束器205，扩束器205产生扩展的单个光束203，扩展的单个光束203被光束偏转镜207反射，光束偏转镜207用于执行扫描操作204，扫描操作204将扩展光束203扫描到分束器209上，分束器209例如是商用的数字微镜设备(DMD)或者扫场共焦单元。在一些实施例中，DMD生成并且切换多焦图案223，每个焦点是多焦图案223上的照明点。每个照明点由位于ON位置的单个DMD镜像素创建，使得扩展光束203的一部分被单个DMD镜像素反射。分束器209执行照明图案生成操作202，照明图案生成操作202将正被扫描的扩展光束203分成多个扩展光束203A，这些扩展光束203A共同形成一系列多焦图案223。用于每个多焦图案223的多个扩展光束203A通过第一管透镜211，以沿着方向A直接通过分色镜213。
[0050]在直接通过分色镜213之后，扩展光束203A被物镜215聚焦到样本平面上用于执行样本217的样本照明206，并且生成由样本217发射的多个荧光发射205。在收集操作208，荧光发射222被物镜215沿着与方向C相反的方向D聚焦回分色镜213上，使得用于每个多焦图案223的荧光发射222被重新引导并且通过第二管透镜219。第二管透镜219将荧光发射222聚焦至检测器221上，因而将每个多焦图案223收集成已收集数据227的形式，用于传递至处理系统225，处理系统225抑制离焦光并且执行缩放及求和操作210。收集由每个多焦图案引起的荧光发射222的过程重复进行，直到已经示出整个视场。在一些实施例中，处理系统225可以包括处理器230，处理器230与检测器221操作通信，用于通过执行指令来处理存储于数据库232 (诸如计算机可读介质)中的已收集数据227，如以下更详细讨论的。
[0051]在一个实施例中，处理系统225抑制离焦荧光发射222，并且使用用于处理已收集数据227的计算机化程序对用于每个多焦图案223的已收集数据227执行缩放及求和操作210。参考图7，流程图图示了使用处理系统225执行离焦荧光抑制、缩放及求和操作210的一个方法。在方块1000，处理系统225执行多焦照明图案223的自动网格检测。具体地，自动网格检测确定用于特定多焦图案223的每个照明焦点的位置，以执行各荧光焦点的针孔掩膜和局域收缩。例如，自动网格检测确定了五个向量，以完全规定图像采集序列中特定的多焦图案223中用于每个荧光发射222的所有焦点的位置。在一些实施例中，五个向量可以是网格向量、漂移向量以及偏移向量。两个网格向量规定了任何两个相邻照明点(例如，焦点)之间的二维位移。这样，由网格向量移动的任何网格点将落在另一网格点上。由于热漂移，每个照明点的准确位置会随时间而变化，因此，使用以下方法精确地提取用于已收集数据227的每个测量数据组的所有向量可提供最佳结果。
[0052]参考图8，示出了当处理系统225执行离焦抑制、缩放及求和操作210时，用于精确地提取用于已收集数据227的每个测量数据组的所有向量的方法。偏移向量规定了在处理系统225所处理的任何一个图像采集序列中，最靠近多焦图案中心的照明点的绝对位置。漂移向量规定了针对特定多焦图案223的每个照明点在连续图像之间移动的距离。因为多焦图案223被光栅化于二维平面中，所以“快”漂移向量应用于操作210的每个步骤，当“快”漂移向量已经完成了对一排的照明时应用“慢”漂移向量。如此处使用的，术语“快”漂移向量规定了在单排中的这些网格点，术语“慢”漂移向量规定了相继的排。在方块2000，代表了从特定多焦图案223所捕获的荧光142B的每个原始图像乘以Hann窗(这防止傅里叶域的振铃)并且进行傅里叶变换。在方块2002，对产生的傅里叶幅度求平均以获得傅里叶空间中波峰位置的高信噪测量。在方块2004，用带通滤波器过滤平均化产生的傅里叶幅度。在方块2006，完成对傅里叶域中的尖波或波峰的检索。因为用于已求和的傅里叶幅度的原始图像被期望是波峰的周期网格，所以通过确定局部傅里叶极大值来制定每个周期网格的尺寸，这些傅里叶极大值是网格元件或者噪声。在方块2008，通过多次以计算的方式检索期望频率处以及期望频率附近的波峰强度来确定用于三个最低空间频率波峰的谐波。在方块2010，给定具有谐波的三个最低空间频率波峰的位置，对位于它们的向量和及向量差处的波峰执行检索，这些向量构成了网格向量。在本方法中，周期网格中的波峰预测了相同网格中的其他波峰的位置，每个网格点位于傅里叶网格向量的整数的向量和处。在方块2012，处理系统225求解产生的系统的线性平方方程式以获得三个网格向量。由于噪声或者像素化，傅里叶域中的任何单个波峰将具有一些位置误差。利用最小二乘法，每个波峰所提供的信息产生了晶格尺寸的更精确测量值。在方块2014，处理系统225对网格向量求和以确定误差向量，然后从每个傅里叶网格向量减去三分之一的误差向量。在方块2016，选择两个傅里叶网格向量中的任何两个，并对其进行变换以获得真实空间的网格向量。已经发现，获得用于多焦照明图案的两个网格向量使得测量偏移向量和漂移向量本质上更加容易O
[0053]参考图9，示出了当处理系统225执行离焦模糊抑制、缩放及求和操作210时用于确定偏移向量的方法。在方块3000，对第一原始图像进行中值滤波。在方块3002，用零偏移向量构建离开所测量的网格向量的点的网格。在方块3004，使用用于亚像素居中的插值方法从中值滤波后的原始图像提取居中于每个网格点的一组更小的图像。在方块3006，对更小的图像求平均以形成“网格平均”图像。在方块3008，确定网格平均图像中的最亮像素。在方块3010，使用插值技术估计晶格平均图像中每个强度波峰的亚像素位置。
[0054]参考图10，示出了当处理系统225执行离焦模糊抑制、缩放及求和操作210时用于确定漂移向量的方法。在方块4000，从测量的傅里叶网格向量构建一组期望的傅里叶波峰位置。在方块4002，对于用于变换的已收集数据227的每个图像号，提取出提取相。在方块4004，处理系统525对每个系列的多焦图案223进行相位展开以移除2 π跳动。应该注意的是，每个原始图像的傅里叶变换的幅度独立于原始图像的漂移。关于漂移的信息被编码于傅里叶变换的相位中。在方块4006，处理系统525将二维序列中的每个相位序列重新定形为与扫描图案(例如，16像素Χ14像素)具有相同尺寸的二维阵列。在重新定形每个相位序列之后，在方块4008，一条线拟合每个相位序列沿“快”和“慢”方向的平均斜度。在所检测的每个连续原始图像中，照明漂移了 Xtt。在每行的端部，照明还漂移了 X1s。如果原始图像漂移了 X，那么傅里叶空间中位于k处的波峰的相位漂移了 k*X。在方块4010，处理系统525求解产生的系统用于Xtt和X1s的方程式。在方块4012，构建用于一系列多焦图案223的第一帧和最后帧的偏移向量。使用与计算第一帧的偏移向量相同的处理来计算用于最后帧的偏移向量，这提供了可极大增加估计精度的强约束。在方块4014，基于用于Xtt*X1s的当前估计来构建预测的偏移向量。一旦构建出预测的偏移向量，将两个向量之间的差确定为误差向量，误差向量除以扫描中的原始图像的数量，并将结果从X1s中减去。
[0055]参考图11，示出了当处理系统225执行离焦模糊、缩放及求和操作210时用于抑制离焦模糊的针孔掩膜方法。在方块5000，构建基于以上所确定向量的一组期望的照明位置，以用于在收集操作208期间收集的每个原始图像。在方块5002，使用插值技术提取居中于每个照明位置的更小的子图像，然后在方块5004，通过处理系统525将每个居中的子图像乘以二维高斯掩膜。这些处理步骤模拟了物理针孔的效果。在方块5006，可以可选地从乘以了校正因子的每个子图像和居中子图像去除背景，校正因子由标定数据给定。在方块5008，通过处理系统525可以可选地对各个热像素进行中值滤波。
[0056]参考图12，示出了当处理系统525执行抑制离焦模糊、缩放及求和操作210时用于缩放及执行局域收缩的方法。在方块6000，对每个掩膜子图像重新采样，从而以大约2这个因子缩窄掩膜子图像。在方块6002，将每个缩小的掩膜图像添加至已处理的原始图像。
[0057]参考图13，示出了当处理系统525执行离焦模糊抑制、缩放及求和操作210时用于求和的方法。在方块7000，对已处理的原始图像求和以形成合成图像。在方块7002，可以可选地对原始图像求和以产生计算的“宽视野”图像。
[0058]通过离焦模糊抑制、缩放及求和操作210所产生的最终的合成图像已经示出为，比由常规宽视野显微所产生的典型宽视野图像具有V 2倍的更好分辨率。抑制离焦模糊、缩放及求和操作210还极大地改善了光学断层，这类似于常规的转盘或者扫场共焦显微镜。
[0059]测丨试
[0060]为了研宄多焦SIM系统200对于生物学成像的潜力，对嵌入荧光封片剂中的人骨肉瘤(U20S)细胞中的抗体标记的微管进行成像。以下是对照明系统(图14)、显微镜系统、样本制备和所捕获图像的数据处理的说明。使用多焦图案与反卷积的结合允许我们研宄各种样本，成像率为1Hz，分辨率下降为横向是145nm以及轴向是400nm。相比于常规的结构化照明显微系统，多焦SM系统200提供的三维图像样本比常规的结构化照明显微系统厚5-8倍。在当前研宄中，微管成像于活的转基因斑马鱼胚胎中，深度为从盖片表面厚45 μπι以上。此外，获得了活的线虫胚胎中的GFP标记的组蛋白的四维SM数据组。
[0061]为了测试，近似于等边三角形的周期网格用于我们的照明点位置，因为对于给定密度的点，该特定图案将任何两个最近相邻点之间的距离最大化，从而最小化串扰。多焦照明图案一次被平移一个数字微镜设备(DMD)像素，这对应于样本平面中的步长120nm。考虑到可见的条纹伪影，较大步长不会均匀地照明样本，而较小步长增加了采集时间和剂量而不会增加图像质量。
[0062]将多焦图案成像至样本上，样本安装在商用倒置显微镜上，使用科学级互补金属氧化物半导体照相机(sCMOS)来对于每个多焦图案位置记录一个原始图像。通过改变照明点之间的间距，采集速度可以换取断层质量。发现的是，宽间隔的焦点具有较少串扰，但是需要额外的多焦照明图案来均匀地照明样本。相反，浓密的焦点具有更多串扰，但是需要对应更少的多焦图案来均匀地照明样本。已经发现的是，扫描点之间16像素水平间隔和14像素竖直间隔的多焦图案提供了所研宄的生物学样本中良好的结果。对于480像素X480像素视场以222Hz进行的224次原始曝光对应于大约IHz超分辨率图像采集率。
[0063]为了研宄多焦SIM系统200对于生物学成像的潜力，我们对嵌入荧光封片剂中的人骨肉瘤(U20S)细胞中的抗体标记的微管进行成像，如图15示出的图像中所示的。相比于宽视野图像，由SM系统200产生的多焦照明的、针孔的、已求和的，以及缩小的图像改善了图像分辨率，包括图像对比度。此外，并行迭代反卷积进一步改善了所产生的合成图像，合成图像显露了先前因衍射而模糊的特征。在多焦SIM系统200图像中微管显现出的半高全宽(FWHM)强度是145nm，相比于宽视野成像提高了两倍。对IlOnm的亚衍射珠的类似实验证实了该结果(多焦SM系统200FWHM 146+/_15nm对比宽视野FWHM 284+/_32nm，N = 80珠)。用于48μηι χ49 μ m场的总采集时间是大约ls，假定每个显微系统都是相同的222Hz原始帧率，相比常规图像扫描显微(ISM)系统，这提高了 6500倍。
[0064]还研宄了多焦SM系统200对于双标记的三维样本的适用性，如图16所示的样本中示出的。使用嵌入荧光封片剂中的固定细胞的Z堆叠图像。用Alexa Fluor 488免疫标记的微管和用Mitotracker Red染色的线粒体获得的体积是3.7 μπι厚度，各切片隔开lOOnm。相比于以相同总照明剂量获得的宽视野图像，三维多焦SIM系统200图像提供了图像对比度的显著增加，这是由于将物理地移除离焦光(经由数字针孔)及计算地移除离焦光(经由三维反卷积)相结合。
[0065]多焦SM系统200所产生的最终合成图像相比宽视野成像，分辨率提高了约两倍；更好地解析了微管和“虫状”线粒体。例如，实现了更好地解决各线粒体端部的亚衍射缺失，包括微管对隔开大于200nm。意想不到的是，相比宽视野图像，多焦SM系统200还将轴向分辨率提高了约两倍，因为微管具有的显现出的轴向FWHM大约为400nm。该结果在10nm亚衍射珠(多焦SM系统FWHM 402+/-49nm ;宽视野826+/_83nm，N = 80珠)上得到了证实。
[0066]多焦SIM系统200还应用于更厚的活样本的三维成像，其中针孔操作物理地抑制离焦光，否则的话离焦光会包裹焦点内光信号。为了演示该能力，对活的不可动的斑马鱼胚胎进行成像，斑马鱼胚胎呈现了标记微管的GFP转基因。
[0067]使用根据多焦SM系统200的多焦照明，以IHz的二维成像率采集241个切片，它们隔开0.2μηι。在针孔聚焦、缩放和三维反卷积之后，实现了 48.2 μπι厚度的体积，如图17图示的样本的图像示出的。在堆叠中清楚地可见结构特征，诸如两个相邻体节之间的边界，微管沿着体节边界的对准，以及对应于发展的肌肉细胞的细胞核的无微管区域。对该堆叠内随后更深细胞核的ζ位置的估计表明了，成像体积包含6至7个细胞层。
[0068]在一个测试中，多焦SIM系统200的成像率捕获表皮中的分裂细胞，图像中不会有显著的运动模糊。在整个体积中，实现了多焦SIM系统200的分辨率增强，因为细胞分裂的部位处的微管对之间的间隔被解析成大于200nm，并且表皮中的微管具有的FWHM为横向175+/-33nm(N = 30)以及轴向为 496+/_65nm(N = 21)。
[0069]照明系统
[0070]在照明系统中，所有光学件安装在光学台(动态系统，振动面模型#5704-3660-23SPL)上以最小化机械振动。为了激发荧光，使用两个激光器:150mW、561nm的激光器(561，相干，蓝宝石561-150CW CDRH)以及200mW、488nm的激光器(488，相干，蓝宝石488-200⑶RH)。使用放置在每个激光器之后的机械遮光器(Thorlabs，SH05及SC10)来控制照明。光束被分色镜(DC，Chroma, 525dcxru)结合并且被扩束器扩展6.7倍，扩束器由两个消色差透镜(Edmund，f = 30mm，NT49-352-1NK ；以及 Thorlabs，f = 200mm，AC254-200-A-ML0)构成。将扩展光束以24度偏位的方式引导至数字微镜设备(DMD，数字光革新公司，D4100DLP0.55” XGA)，使得在ON位置，微镜将输出光束倾斜成与DMD面正交。产生的照明图案的中心阶被缩束器(Thorlabs，f = 75mm，AC254-075-A-ML及f = 50mm，AC254-050-A-ML0)缩小了 1.5倍，对准成4f构造，使得DMD面被重新成像于显微镜(奥林巴斯，IX-81)内部的180mm管透镜的背焦面处。这些元件示出于图14。在进入显微镜的左侧端口之后，光束顺序通过⑴管透镜；(ii)分色镜(Chroma, zt405/488/561) ；(iii)60x物镜(奥林巴斯，PlanApo，NA 1.45TIRF，用于单个细胞；或者UPLSAP0 60XS，NA 1.3，用于斑马鱼和虫胚胎)，DMD和受照样本之间总缩小率为90x。样本处的照明覆盖了直径约50 μ m的圆形区域。
[0071]显微镜系统
[0072]对奥林巴斯1X81倒置显微镜执行结构化照明显微(SM)成像，奥林巴斯1X81倒置显微镜装备有左侧和右侧端口，并且具有自动XY级以及额外的Z压电级(200 μπι范围，应用科学仪器公司，ΡΖ-2000)。由DMD创建的图案激发(例如多焦照明图案)经由左侧端口引入显微镜。由受照样本发射的焚光被物镜收集，被分色镜(Chroma，zt405/488/561)反射，通过显微镜内部的180nm管透镜，被适当过滤以抑制泵浦光(Semrock，LP02-488RE-25及NF03-561E-25)，并且被安装在右侧端口上的科学级互补金属氧化物半导体(sCMOS)照相机(Cooke，pc0.edge)检测。沿着光轴正确对准sCMOS对于实现近衍射极限性能是很关键的。为了帮助正确定位照相机，60x物镜典型地用于成像，具有1x空气物镜(奥林巴斯，CPlanFl 1x, 0.3NA)，该光学件对轴向对准的误差更敏感。固定照明图案(类似于SM中使用的一种)用于荧光色淀样本上，并且沿着光轴平移照相机，直到每个照明点的外观尺寸最小化。
[0073]样本制备
[0074]在标准生长培养基【DMEM-HG(Invitrogen, 11960)，丙酮酸钠(Invitrogen, 11360), GlutaMAX(Invitrogen, 35050)和 10 % 热灭活胎牛血清(Invitrogen, 11082)】中，于乙醇消毒的干净#1.525毫米直径盖片(华纳仪器，64-0715)上培养U20S细胞。为了对微管的样本进行染色，将细胞在Cytosketetal缓冲液(CB，1mMMOPS, 138mM KCl，2mM MgCl2, 2mM EGTA，0.01 % NaN3,160mM 蔗糖，ρΗ6.I)中固定于 0.5%戊二醛、0.37%甲醛和0.3% Triton X-100的混合物中。在固定之后，将细胞在CB中洗脱，用10nm甘氨酸淬火，在CB中洗脱并且在抗体稀释缓冲液(AbDil，150mM NaCl，20nM Tris，0.1% Triton Χ_100，0.1% NaN3, 2%牛血清白蛋白，ρΗ7.4)中观察。在室温下将原发性单克隆抗体(Invitrogen，32-2500)与在AbDil中稀释到2 μ g/mL的细胞培养一小时。在原发性抗体培养之后，将细胞在磷缓冲盐水中洗脱，然后将细胞与第二Alexa Fluor 488标记抗体(Invitrogen, A-11001)在AbDil中以1:200稀释度培养I小时。
[0075]在固定之前，根据制造商的指示，将用于双色实验的样本初步染以MitotrackerRed(Invitrogen,M7512)o在线粒体标记之后，使用上述的程序对微管染色。将所有样品置于标准的25毫米X 75毫米载玻片(SPI supplieds，#01251-AB)的荧光封片剂G(电子显微溶液，17984-25)中，并且用指甲油密封。
[0076]a)亚衍射珠
[0077]黄-绿或红色焚光珠(Invitrogen，F8803，IlOnm直径；Invitrogen F8801，10nm直径)用于所有点扩散函数(PSF)测量。珠被以1:1300浆料浓度(蒸馏水中1:200，乙醇中1:13)稀释并且扩散在干净的玻璃盖片上。在用空气干燥5分钟以使乙醇蒸发之后，将盖片在蒸馏水中清洗两次以除去未附接的珠。在再次用空气干燥之后，将珠安装在载玻片上的荧光封片剂或者硅油中，并且用指甲油密封。
[0078]b)斑马鱼样本
[0079]承载斑马鱼dclk2_GFP转基因的Tg(XlEefIal:dclk2_GFP) ?()°°8胚胎用在图16所示的厚MSM实验中。为了构建，将包含该转基因的该线状质体连同Tol2mRNA注射到单细胞的斑马鱼胚胎中。将荧光胚胎培养到成年并且进行杂交以通过筛选用于GFP表达的后代来选择生殖系传递。
[0080]通过自然产卵收集Tg (XlEdflal idcll^-GFPr.8胚胎并将其维持在28摄氏度。在由多焦SM系统200成像之前，24小时的胚胎用三卡因(Sigma，E105210，在胚胎介质中的最终浓度为600 μ m(每升重蒸水中60mg速溶海盐(Petsmart))麻醉。麻醉后的胚胎置于圆形盖片上，固定于1%低熔点琼脂糖(Cambrex，50080)中，放置在圆形盖片保持件(ASI，1-3033-25D)中，覆盖以胚胎介质，并且在室温下成像。
[0081]数据处理
[0082]在使用上述照明和显微镜系统采集原始图像之后，使用具有以Python程序语言写成的软件的处理系统225将样本的每组已收集的原始图像处理成超分辨率图像。处理系统225采用的处理步骤是:⑴自动网格检测，以精确确定照明点的相应位置；(ii)对每个检测的照明点周围进行数字针孔掩膜以抑制离焦光，并且使用标定数据进行光学平场处理；(iii)局域收缩(例如，缩放)并且重新采样每个照明点周围的区域以将分辨率提高V 2倍；(iv)对处理后的原始图像求和以产生超分辨率合成图像；以及(V)使用常规反卷积技术恢复全2x分辨率增强。以上更详细地讨论了关于多焦SIM系统200的处理系统225所实施的聚焦、缩放及求和操作210的这些处理步骤。
[0083]从以上应该理解的是，尽管已经图示和描述了特定实施例，但是本领域技术人员明白的是，能够对其进行各种修改，这并不超出本发明的精神和范围。这种改变和修改在附随权利要求限定的本发明的范围和教导内。
【权利要求】
1.一种显微系统，包括: 光源，用于发送单个光束； 分束器，用于将所述单个光束分成形成多焦图案的多个光束； 扫描器，用于将形成所述多焦图案的所述多个光束扫描到样本上，使得所述样本通过每个多焦图案生成多个荧光发射； 限定了孔径的聚焦部件，所述孔径构造为阻挡针对每个多焦图案的所述多个荧光发射的离焦荧光发射，以及允许焦点内荧光发射通过所述孔径；缩放部件，用于缩小针对每个多焦图案的多个焦点内荧光发射，使得所述多个焦点内荧光发射中的每个被缩小，以产生针对每个多焦图案的多个缩小的焦点内荧光发射；以及求和部件，用于对所述多个缩小的焦点内荧光发射中的每个求和，以产生多个已求和的、缩小的焦点内荧光发射，所述多个已求和的、缩小的焦点内荧光发射形成所述多个已求和的、缩小的焦点内荧光发射的合成图像。
2.根据权利要求1所述的显微系统，其中，所述分束器是微透镜阵列。
3.根据权利要求1所述的显微系统，其中，所述聚焦部件是针孔阵列。
4.根据权利要求1所述的显微系统，其中，所述缩放部件是多个微透镜阵列。
5.根据权利要求1所述的显微系统，其中，每个多焦图案限定用于所述多个焦点内荧光发射中每个的多个相应焦点，其中，所述缩放部件以局域收缩方式缩放所述多个焦点，在局域收缩中，当所述多个荧光发射收缩了预定因子时，所述多焦图案中的多个焦点中的每个与所述多焦图案的其他多个焦点保持相同比例的距离。
6.根据权利要求1所述的显微系统，进一步包括: 处理子系统，用于对所述合成图像去卷积。
7.根据权利要求1所述的显微系统，其中，所述扫描器将由所述样本发射的所述多个荧光发射去扫描至所述聚焦部件。
8.根据权利要求1所述的显微系统，进一步包括: 分色镜，用于允许所述多个光束在一个方向上通过，并且在相反方向上重新引导所述多个荧光发射。
9.根据权利要求1所述的显微系统，进一步包括: 第一透镜，用于将所述多个光束成像通过管透镜以及物镜，以照明所述样本。
10.根据权利要求1所述的显微系统，其中，所述多个光束具有的波长在350nm至1200nm 之间。
11.根据权利要求1所述的显微系统，其中，所述多个荧光发射具有的波长在350nm至1200nm 之间。
12.根据权利要求11所述的显微系统，进一步包括: 发射滤波器，用于允许大约350nm至1200nm的缩小的、焦点内荧光发射通过以到达检测器。
13.根据权利要求1所述的显微系统，进一步包括: 检测器，用于检测多个缩小的焦点内荧光发射。
14.根据权利要求12所述的显微系统，其中，所述扫描器将所述缩小的焦点内荧光发射重新扫描至所述检测器。
15.—种显微系统，包括: 光源，用于发送单个光束； 分束器，用于将所述单个光束分成形成多个多焦图案的多个光束，其中，多焦图案中的每个限定多个焦点； 扫描器，用于将形成多焦图案中的每个的多个光束扫描到样本上，使得所述样本生成多焦图案中的每个中的多个多焦荧光发射，多焦图案中的每个限定多个荧光焦点； 检测器，用于收集由多焦图案中的每个所引发的所述多个多焦荧光发射；以及处理系统，用于处理所述检测器收集的、由多焦图案中的每个所引发的所述多个多焦荧光发射，所述处理系统包括: 处理器，与数据库操作通信，所述数据库用于存储由多焦图案引发的多个收集的多焦荧光发射，其中，所述处理器对于多个荧光发射中的每个移除离焦荧光发射，从而仅留下由多个多焦图案中的每个引发的焦点内荧光发射，其中，所述处理器接着在局域收缩操作中对由多个多焦图案中的每个引发的焦点内荧光发射进行缩放，在局域收缩操作中，当多个荧光焦点收缩以产生缩小的焦点内荧光发射时，由多焦图案中的每个所引发的多个荧光焦点中的每个与由多焦图案引发的其他多个荧光焦点保持相同距离；其中，所述处理器对每个缩小的焦点内荧光发射求和，以产生合成图像。
16.根据权利要求15所述的显微系统，进一步包括，所述处理器执行反卷积操作，用于处理具有缩小的焦点内荧光发射的多个多焦图案。
17.根据权利要求15所述的显微系统，其中，所述分束器是数字微镜设备或者扫场共焦单元或者转盘或者尼普科夫共焦扫描头。
18.根据权利要求15所述的显微系统，其中，所述处理系统执行多个多焦图案中的每个的自动网格检测，以确定一个或多个照明点的位置。
19.根据权利要求18所述的显微系统，其中，所述自动网格检测确定多个向量，以定位所述一个或多个照明点中每个的位置。
20.根据权利要求19所述的显微系统，其中，所述多个向量包括网格向量、漂移向量和/或偏移向量。
21.根据权利要求20所述的显微系统，其中，所述网格向量中的两个规定了任何两个相邻照明点之间的二维位移。
22.一种用于多焦结构化照明显微的方法，包括: 生成单个光束； 将所述单个光束分成多个光束，多个光束中的每个的焦点形成多个多焦照明图案， 用形成所述多个多焦照明图案中每个的所述多个光束来照明样本，其中，受照样本产生多个多焦图案中的多个荧光发射； 执行针孔操作，在所述针孔操作期间，阻挡所述多个荧光发射之中的离焦荧光发射，并且仅允许所述多个荧光发射之中的焦点内荧光发射通过； 以预定因子缩放由多个多焦图案引发的多个焦点内荧光发射的每个焦点，以产生由多个多焦图案引发的多个缩小的焦点内荧光发射；以及 对所述多个缩小的焦点内荧光发射中的每个求和，以产生形成合成图像的多个已求和的、缩小的焦点内荧光发射。
23.根据权利要求22所述的方法，其中，由多个多焦图案引发的多个缩小的焦点内荧光发射中的每个经历局域收缩，在局域收缩中，多焦图案中的每个焦点之间的相对距离保持相同比例。
24.根据权利要求22所述的方法，进一步包括: 将多个多焦图案中的所述多个光束扫描到所述样本上。
25.根据权利要求24所述的方法，其中，将多个多焦图案扫描到所述样本上是由检流计执行的。
26.根据权利要求22所述的方法，进一步包括: 对由已求和的、缩小的焦点内荧光发射所组成的合成图像执行反卷积操作。
27.一种用于多焦结构化照明显微的方法，包括: 生成单个光束； 将所述单个光束分成多个光束，多个光束中每个的焦点形成多个多焦图案， 用形成所述多个多焦图案中的每个的所述多个光束来照明样本，其中，受照样本产生由所述多个多焦图案中的每个引发的多个荧光发射； 执行针孔操作，在所述针孔操作期间，阻挡所述多个荧光发射之中的离焦荧光发射，并且仅允许所述多个荧光发射之中的焦点内荧光发射通过； 以预定因子缩放由多个多焦图案引发的多个焦点内荧光发射的每个焦点，以产生由多个多焦图案引发的多个缩小的焦点内荧光发射；以及 对所述多个缩小的焦点内荧光发射中的每个求和，以形成合成图像。
28.根据权利要求27所述的方法，进一步包括: 对由已求和的、缩小的焦点内荧光发射引发的合成图像执行反卷积操作。
【文档编号】G02B21/00GK104471462SQ201380010933
【公开日】2015年3月25日 申请日期:2013年2月22日 优先权日:2012年2月23日
【发明者】H·什罗夫, A·约克 申请人:美国卫生与公共服务秘书部