基于时间复用和单光子探测器阵列的多物质超分辨率同时成像

本发明总体上涉及多物质(multi-species)荧光显微技术。

背景技术：

1、具有荧光的激光扫描共聚焦显微镜(clsm)是一种广泛用于细胞和分子生物学的成像工具。该技术提供了三维成像、深度成像、活细胞成像和定量成像的可能性，所有这些都与荧光显微镜的当前发展相结合。目前，各种各样的荧光染料(例如，合成染料分子、荧光蛋白和无机纳米粒子)可以通过多种偶联策略以高特异性结合到生物靶上，潜在地提供了所观察样本的完整图像。所谓的多物质(或多标记)荧光成像允许检测多个目标，使得能够观察具有特定分子对比度的不同细胞结构之间的相互作用和相对空间组织。此外，最近推出的快速探测器阵列(在mhz范围内)使图像扫描显微镜(image scanning microscopy，ism)的透明和多功能实施方式成为可能，这使clsm成为超分辨率技术之一。在这种ism实施方式中(例如，在wo2019/145889a1中描述的)，探测器阵列(其在样本平面中的投射尺寸是1-1.5艾里单位(au))代替了通常在clsm使用的针孔和单元件探测器，以提供荧光体积的图像。由探测器阵列提供的这种额外的空间信息可以用于重建超分辨率图像，该图像具有两倍于传统显微镜的分辨率和更高的信噪比(snr)。探测器阵列的每个元件都充当一个物理针孔，产生一系列超分辨率但低信噪比的图像。由于大部分荧光信号是从探测器元件并行获取的，因此可以通过将由像素重新分配或多图像去卷积将所收集的所有图像进行组合来获得高snr图像。

2、在传统的clsm中，基于每个探针的光物理性质，通过分离不同的探针(或者更确切地说，不同的荧光信号)来实施同时多物质种类成像。特别是，通常使用三种不同的属性：激发光谱、发射光谱和平均荧光寿命(图1)。任何只依赖其中一个属性的策略都有优点和局限性。出于这个原因，组合方案是首选。然而，最终的实施方案总是在系统复杂性、可分离物质种类的数量、执行同时成像的能力和成本之间进行权衡。基于探测器阵列的ism实施方式(以下简称为ism)，迄今为止所展示的多物质策略仅探测激发光谱和发射光谱，并且包括基本clsm方法的效法。实际上，更复杂的多物质clsm方法的实施方式需要昂贵且可扩展性差的架构——就可分离物质的数量而言——或者甚至可能无法实施。

3、多物质clsm

4、最广泛使用的同时多物质clsm成像方法是通过探测不同探针的发射光谱特征来分离不同探针的信号。所有探针同时被一束或多束单色激光束(λexc)激发。然后将荧光信号从激发光中被分离出来，并通过滤光器、分色镜和/或可调声光滤光器的组合被划分成一系列光谱窗口λdet(其中λdet表示光谱带的中心值)，每个探针一个该光谱窗口。最后，每个光谱带的探测器，即探针，记录荧光信号。该多探测器光谱的实施方式有两个主要限制：所需的探测器数量随着探针数量的增加而增加，以及不同探针的发射光谱之间的串扰降低了图像质量。

5、第二个问题可以通过在实施例中破坏激发的同时性以添加关于探针激发光谱的信息来部分解决。在这种情况下，激发激光束被依次激活/调制，并记录一系列图像：为每对值记录一个图像，这对值与探测器波段和激发光束波长相关(λexc，λdet)。为每个探针选择由最相应的激发和发射波长形成的图像。然后，可以使用线性解混算法来消除剩余的串扰。由于激光激发光束的依次激活，采用快速调制以有效地获得同时成像是至关重要的。例如，逐帧或逐行调制可能太慢而不能执行动态结构的成像。因为快速生物过程以亚毫秒时间尺度发生(蛋白质形状的变化以小得多的尺度发生，低至微秒，但是成像不能在每种情况下都能观察这些过程)，而像素的通常停留时间在几十微秒或更短的范围内，所以在逐个像素的基础上调制激光束确保了同时多物质成像。

6、最近已经提出用比像素的停留时间给出的频率更高的频率来调制激发光束(us9231575b2)。该多物质clsm实施方式在频域中复用多个激励波束。因此，解调是通过频域中的滤波来实现的。此外，该实施方式使用单个探测器，而不考虑要多个分离的探针，因此大大降低了实施成本。相比之下，使用单个探测器排除了对探针的激发和发射光谱进行探测的需要。

7、使用单个探测器但探测发射光谱的多物质clsm可以使用线性探测器阵列来实施(us20190361213a1)。在该专利文献中，由一个或多个激发光束诱发的荧光信号使用棱镜(或光栅)在空间进行光谱分解，每个波长映射到线性探测器的特定位置/元件。三维(x，y，λ)图像，即所谓的发射光谱图像，通过(盲)光谱解混算法进行处理，以形成最终的多物质图像，该图像可能没有由于信号的串扰而导致的伪影。在这类clsm实施方式中，通常称为超光谱实施方式，也可以通过如上所描述的调制激发光束来探测激发光谱。超光谱clsm实施方式也可以通过依次记录发射光谱来实现；即荧光信号在空间中进行光谱分散，可调节的双缝选择性地仅过滤部分光谱，并且单元件传感器记录所选择的信号。然而，光谱的依次记录阻碍了(根据定义)同时多物质成像。

8、上述所有多物质clsm实施方式使用发射特征和/或激发特征来分离不同的探针。要探测的另一个探针特征是平均荧光寿命，更一般地说，是时间衰减分布。类似于激发和发射光谱，探针可以由时间光谱f(t)来表征，该时间光谱描述了在激发事件之后的给定时刻t，被激发的分子/探针将发射自发光子(荧光光子)的概率。分子处于激发态的平均时间称为平均荧光寿命τ。在纯有机荧光团的情况下，该分布可以用单指数ft∝exp(-t/τfl)来描述，但是在许多实际情况下需要更复杂的模型。在clsm中，荧光探针的平均寿命衰变分布是通过实施时间相关单光子计数(tcspc)实验来获得的：一束脉冲激光束(通常脉冲长度为几十皮秒)在特定时间(t＝0)激发探针；具有低定时抖动(从几十皮秒到几百皮秒)的单光子探测器记录由探针发射的荧光光子；时间数字转换器(tdc)或高频数字化仪测量激发和记录事件之间的时间差。通过重复实验测量光子到达时间的直方图(通常，脉冲激光具有几十mhz数量级的重复率)。在基于tcspc的clsm中，可以通过记录每个像素的光子到达直方图并使用基于拟合、去卷积、相量分解或线性解混的不同计算算法分解该直方图(根据不同探针的衰变分布)来实施多物质成像。该实施方式的一个令人感兴趣的特性是分离具有非常相似的激发和发射光谱的物质的可能性，因此使用单个激发光束和单个检测带，即单个探测器，这不仅在复杂性方面带来好处，而且允许避免由于色差导致的成像伪像。相同的基于tcspc的clsm系统可用于以逐脉冲模式实施上述激发激光调制，从而能够探测用于多物质成像的激发光谱特征。来自一系列单色激光器的脉冲经历交错(以比平均荧光寿命更长的延迟)，并且光子到达时间的直方图被用于实施时间门控检测并且分离与每个探针相关联的信号。该脉冲交错方法也可以与发射光谱分离方法结合，以增加待分离的探针数量，但是需要更多的探测器。

9、多物质ism

10、基于快速探测器阵列的ism实施方式的最显著的优点之一是其与荧光clsm中实施的许多标记方法、技术和协议的兼容性，包括上述的多种多物质成像技术。

11、ism与光谱多探测器方法、调制多激发方法及其组合完全兼容。因此，本领域技术人员可以容易地将这种同时多物质方法结合到ism中。然而，迄今为止，仅演示了缓慢的逐帧调制多激励ism实施方式。在这种情况下，不同的激发波长和光谱窗口通过使用单个探测器阵列的电动滤光器透镜交替；然而，真正的同时成像，如在clsm展示的，被排除在外。

12、相反，超光谱方法与ism并不完全兼容。超光谱方法的基本原理是在空间中解码光谱信息，即在空间上分解发射光谱。这种空间分解会干扰ism，因为在ism中，空间信息信道已经用于传输检测体积的图像。因为空间和光谱信息被融合在相同的信道和范围中，所以它们的分解是不容易解决的。为了完整性，一个超光谱ism实施方式已被提出并用于重建两个物质的ism图像。然而，由于与上述相同的原因，这种实施方式在空间分辨率和物质分离方面都遭受严重的伪影。

13、最近引入的单光子探测器阵列(例如单光子雪崩二极管阵列探测器(spad))也使基于平均荧光寿命特征的多物质成像方法的实施方式成为可能。实际上，基于spad阵列的ism实施tcspc测量的性能已经得到充分证明。然而，在这种情况下，没有基于平均荧光寿命的多物质ism的演示被报道过。

14、由于引入了异步spad阵列探测器，在clsm展示的许多同时多物质成像方法原则上可以延伸到ism，但在超光谱方法方面有一些实质性的限制。然而，与clsm类似，没有一种方法能够同时探测激发光谱、发射光谱和平均荧光寿命特征。当在实施方式中仅使用单个探测器时，约束条件变得更加重要。

技术实现思路

1、本发明的一个目的是提出一种用于多物质ism成像的新架构，其提供同时成像、在物质数量方面的高可扩展性以及低成本。本发明的另一个目的是提出一种新架构，它也为clsm提供类似的好处，更笼统地说，为任何基于激光扫描显微镜(lsm)的荧光技术，例如受激发射损耗显微镜(sted)，双光子激发显微镜(tpe)，和荧光波动光谱镜(ffs)，提供类似的好处。

2、鉴于这些目的，本发明的主题是一种激光扫描显微镜，其被配置成用包括不同光谱分量(下文中称为激发光谱分量)的多个脉冲激发光束照射样本，该样本包含多种荧光物质，其中该显微镜包括：

3、单光子探测器阵列，配置成探测从该样本发射的荧光信号，该荧光信号包括不同的光谱分量，下文中称为发射光谱分量，

4、激发光谱编码器，配置成对每个激发光谱分量施加各自的时间延迟，使得每个激发光谱分量相对于其他激发光谱分量在不同的时间照射该样本，

5、发射光谱编码器，配置成对每个发射光谱分量施加各自的时间延迟，使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达该单光子探测器阵列，

6、数据采集系统，配置成采集由该单光子探测器阵列提供的测量信号，并提供该样本的时间分辨图像，以及

7、多物质解码器，配置成基于该样本的时间分辨图像，解码每个该荧光物质的激发光谱、发射光谱和荧光衰减曲线。

8、本发明的另一个主题是一种激光扫描显微镜方法，包括：

9、用包括不同光谱分量(下文中称为激发光谱分量)的多个脉冲激发光束照射样本，该样本包含多种荧光物质，其中照射该样本包括：

10、对每个激发光谱分量施加各自的时间延迟，使得每个激发光谱分量在相对于其他激发光谱分量不同的时间照射该样本，

11、用单光子探测器阵列检测由样本中的荧光物质发射的荧光信号，该荧光信号包括不同的光谱分量，下文称为发射光谱分量，其中检测荧光信号包括：

12、对每个发射光谱分量施加各自的时间延迟，使得每个发射光谱分量相对于其他发射光谱分量在不同的时间到达该单光子探测器阵列，

13、获取由该单光子探测器阵列提供的测量信号，并提供该样本的时间分辨图像，以及

14、基于该样本的时间分辨图像，解码每个该荧光物质的激发光谱、发射光谱和荧光衰减曲线。

15、由于单光子探测器的低光子定时抖动(当探测器阵列中的元件接收到光子时，它激活精度高达200ps的信号)、减少的等待时间(高达50mhz，即在光子被收集后，元件保持20ns的盲态)和异步读出(即每个探测器阵列元件完全独立于其他元件)，该单光子探测器允许访问大范围的时间尺度(唯一的下限是亚纳秒尺度)。

16、虽然平均荧光寿命信息处于亚纳秒/纳秒时间尺度，但是最快的生物过程和激光扫描过程发生在微秒范围内。因此，即使探测器仅覆盖低至微秒的时间尺度，同时多物质lsm也是可行的，但是基于探针平均荧光寿命的多物质ism的实施方式将需要纳秒时间尺度。简而言之，从几十纳秒到微秒的时间尺度很少被使用，但可以被采用来传输附加信息(在实践中，在lsm中并被用于提高snr)。

17、因此，本发明的思想是使用这个可用的波段将有用的信息传递给同时多物质ism中的不同探针。这里，特别地，可用波段用于对探针的激发和发射光谱特征进行编码。这一想法转化为基于tcspc的ism测量，其中光子到达时间直方图用于对以下内容进行编码：(i)探针的平均荧光寿命特征，如在一般的tcspc实验中；(ii)通过对不同的激发光束进行相位复用，获得探针的激发光谱特征；和(iii)探针的发射光谱特征，其通过在时间上分离荧光信号的不同光谱分量获得。

18、注意，超光谱方法在空间而不是时间上分离荧光信号的光谱分量。一旦记录了光子到达时间直方图，就可以使用诸如(盲)线性解混、基于相量的解混、拟合、去卷积或机器学习等成熟的计算方法来解码探针特征，以获得多物质ism图像。因为所有的编码操作都是使用时间通道来执行的，所以所提出的方法可以使用单个探测器。此外，因为编码使用亚微秒时间尺度，所以确保了同时多物质方法。注意，相同的策略可以应用于具有典型的单元件、单光子探测器的clsm，但是在这种情况下不能获得超分辨率图像。

19、与现有的多物质成像方法相比，所提出的解决方案提供的主要优点是：

20、与标准clsm兼容，无需大量设置更改。相对于标准clsm架构，单光子探测器阵列和数据采集系统是唯一需要改变或升级的；

21、与ism方法的兼容性。该解决方案在保持由ism提供的更高空间分辨率的同时支持多物质成像；

22、该解决方案允许对三种主要探针特征(激发光谱、发射光谱、荧光寿命)单独和组合(颜色-时间特征)进行全面探测，以便以可扩展和简单的方式实现多物质成像；

23、与已知的光谱分解、去卷积、相量、拟合和机器学习算法兼容。