用于生成数字荧光图像的方法与流程

本发明涉及一种用来由配设有荧光染料的样本生成数字荧光图像(电子图像文件)的方法。

背景技术：

荧光显微术是一种用于对蛋白质定位并且绘制组织样本和细胞(下文为样本)内的蛋白质分布的极为有效的光学显微术方法。为此有针对性地将荧光染料输送给有待用显微镜检验的样本，荧光染料与蛋白质对接。通过以依赖于所使用的染料的确定的波长(激发波长)的光(激发光)进行照射来激发这种染料，并且将染料分子(荧光团)的电子提升到更高的能量水平。在短暂的停留时间之后，被激发的电子分别在发射有比激发波长更长的特定波长(发射波长)的光(发射光)的情况下再次达到其最初的水平。单个电子在此发出光量子或光子。这种特性用于使蛋白质或其它物质变得可见。

除了被用于可视地观察样本，荧光显微镜被划分成传统的宽场显微镜和激光扫描显微镜，宽场显微镜带有相机，该相机包括多个以矩阵布置的探测器，激光扫描显微镜仅具有单独的探测器。两种类型的显微镜目前都常见，其中，激光扫描显微镜相比传统的宽场荧光显微镜具有许多优势。

激光扫描显微镜通常是共焦的显微镜，这就是说，激发光的处在物平面中的焦点被成像到共轭的平面中，亦即像平面中，通常带有前置的孔眼光阑的单独的探测器定位在那里。因此仅微小的物场截面的，亦即微小的像素的发射光被导引到探测器上。这相比传统的宽场荧光显微镜具有重要的优势，即，仅探测发射光的来自焦点平面的光量子并且有助于信号形成。以这种方式可以一层一层地用显微镜检测样本并且将由每个用显微镜检测到的层的信号产生的荧光图像聚成三维的图像。

通过如下方式获得每一层的荧光图像，即，通过通常由两个振镜构成的激光扫描系统以一个扫描频率扫描物场，从该扫描频率得出了针对每个像素的像素停留时间。在像素停留时间期间被探测器接收到的发射光通过这个探测器转换成模拟的电探测器信号，模拟的电探测器信号通过获知激光扫描系统的各自的位置而分别配属于一个像素。模拟的探测器信号首先以预定的节拍频率被数字化。为此，在激光扫描显微术领域内原则上公知两种类型的数字化。

第一种类型的数字化是对模拟的探测器信号进行积分。当信号探测的持续时间(探测时间)处于和像素停留时间相同的数量级时，也就是说探测时间仅比像素停留时间稍短时，就使用第一种类型的数字化。由在此通过模拟信号形成的积分值和探测时间可以利用对探测器进行一次读取推导出每个像素的平均值(平均值振幅)，该平均值是配属于该像素的总振幅。

在过去，基于荧光染料的仅很小的辐射强度，尤其使用积分这种方法，因为可以形成较高的总振幅。

第二种类型的数字化是对模拟的探测器信号进行快速的扫描(取样)。当探测时间明显较短，特别是比像素停留时间短了若干数量级时，优选使用第二种类型的数字化。然后在像素停留时间内在多个测量时间点上(信号探测的持续时间被简化地视作时间点，或者测量时间点是读取探测器的时间点)分别产生振幅，并且由振幅序列形成了平均值(平均值振幅)，该平均值作为总振幅分别配属于像素。

这种快速的扫描当前在激光扫描显微术中是常见的，因为在使用现代模数转换器时该方法的优点占优势。

典型地转换具有恒定的采样率的探测器信号，该恒定的采样率明显比最短的可能的像素停留时间高了优选至少一个数量级，尤其两个数量级。每个像素的测量时间点的数量然后由像素停留时间得出。这又通过扫描设定(帧率、像素数、扫描尺寸)来确定。像素停留时间的提高然后导致了每个像素的测量时间点的数量的提高。

为了改善信噪比，通常提高像素停留时间。缺陷在于，用于获得呈网格图形的形式的由所有像素的总振幅形成的荧光图像的总时间因此提高且帧率减小。信噪比由一方面由发射光导致且另一方面由噪音导致的份额占总振幅的比例确定。

技术实现要素：

本发明所要解决的技术问题是：提出一种方法，其在保持帧率的情况下提供了具有改良的信噪比的数字荧光图像。

这个技术问题通过一种用于建立数字荧光图像的方法来解决，在该方法中，配设有荧光染料的样品被布置在激光扫描显微镜的物平面中并且在时间上依次以逐个像素的方式(pixelweise)在像素停留时间期间用激发光加载，因此针对每个像素产生发射光。每个像素的发射光由探测器探测并且被转换成分别配属于测量时间点的振幅序列。由振幅分别形成针对每个像素的总振幅。所有像素的总振幅被组合成荧光图像。对本发明而言重要的是，分别配属于像素的总振幅由一个或多个相关振幅求出并且因此噪声几乎不算入总振幅，因而产生了具有更高的信噪比的荧光图像。

为此，将在较晚的测量时间点上开始的振幅的序列与在较早的测量时间点上开始的振幅的同样序列进行至少一次相关。在此，较晚的测量时间点和较早的测量时间点彼此具有时间偏差。这就是说，取代有时间偏差的仅一次自相关，可以使振幅序列进行多次自相关，其中，针对每一次自相关使用另一个时间偏差。针对每个时间偏差就形成了针对各个时间偏差特定的相关振幅且总振幅由所形成的相关振幅求出。能相关的振幅对的数量对应每一像素停留时间的所有测量时间点的数量减去时间偏差。

优选用下列公式计算相关振幅：

kτ＝((i(tn)-i平均)×(i(tm)-i平均))平均

在此，i(tn)是较早的测量时间点tn的振幅，i(tm)是较晚的测量时间点tm的振幅，m＝n+τ，并且i平均是平均振幅，它作为所有振幅的平均值计算。

有利的是，将相关振幅kτ通过与平均值振幅的平方i平均²相除来进行标准化。

当计算出针对不同的时间偏差τ的相关振幅kτ并且确定具有相对最大的相关振幅kτ的时间偏差τ，并且将其用作总振幅时，可以改善荧光图像的质量。

配属于相对最大的相关振幅kτ的时间偏差τ可以有利地以配属于荧光染料的方式储存在数据库中。

作为备选，计算出针对不同时间偏差τ的相关振幅kτ并且确定相关振幅kτ的平均值，并且将该平均值用作总振幅。

也可以计算处针对不同时间偏差τ的相关振幅kτ并且确定相关振幅kτ的和，并且将该和用作总振幅。

测量时间点的数量有利地大于400，并且时间偏差τ位于50与150之间，因而至少250个振幅对被相关。

按本发明的方法利用的是，荧光染料在发出发射光时由至少一个相关的过程决定，这就是说，表示发射光在像素停留时间的持续时间内的强度的荧光信号由至少一个函数所决定。

在此，公知作为相关的过程的例如有光闪烁和光漂白。

人们将光闪烁理解与黑暗状态交替地在确定的时段发射光子。发荧光的材料荧光物质的通过激发光射出的电子，被提升到较高的能量水平并且在返回到能量较低的水平时发射光子。但这一点不是连续地发生，而是在此期间存在若干阶段，亦即所谓的黑暗状态，在黑暗状态中不发射任何光子。这种黑暗状态可以例如涉及所谓的三重状态或另一种状态，从该状态出来不能发生荧光发射。如果在观察荧光团时力求使探测时间这样小，从而在探测时间内仅一个光子撞击到接收器上，那么这导致了对此而言典型的给光-撤光现象(an-aus-erscheinung)。这种现象的时标和它的准确起因是多种多样的并且也不是非常详尽公知的。当假设荧光团表现为静止，也就是说，它们在一个像素内的数量至少在像素停留时间内保持不变时，那么可以在较小的停留时间下基于闪烁而探测循环的强度波动。

光漂白理解为是荧光团不可逆地过渡到不发荧光的状态。对此，时标和起因也是多种多样的且无法极为详尽公知。公知的是光漂白与激发光的强度的相关性。尤其在共焦的激光扫描显微镜中，激发光典型地强烈聚焦到样本内，光漂白是极为快速地推进的过程。通常在荧光显微术中的光漂白是不期望的事件，因为它随着观察持续时间的增加而导致荧光信号减少。

也公知的是，针对不同的荧光物质和在不同的环境条件下(温度、ph值、氧浓度)，两种现象(光漂白和光闪烁)以不同的表现出现。

无论是光闪烁还是光漂白都导致了总信号变差，因为由光子的和形成的发射光被更少地探测到并且因此信噪比变差。

为了实施按本发明的方法，不需要获知这些已经提到的或必要时也发生的其它的相关的过程的时标和流程，而是仅需知晓它们发生了并且被用于信号处理的事实。

通过如下方式将相关过程用于信号处理，即，分别针对一个像素的总振幅不是按现有技术例如通过求振幅序列的平均值形成，而是通过振幅序列的自相关形成。

自相关原则上由信号处理公知并且说明了信号(函数)或振幅序列与其本身在较早的时间点的相关。

自相关方法的使用也由荧光相关光谱学公知，在荧光相关光谱学中，由发射光的强度的变化作为与时间关联的函数而获得了若干信息。相关函数通过与自身相关的函数的时间推移形成。由所形成的相关函数可以推导出例如弥漫时间，弥漫时间对应这样的时间，在该时间内，相关振幅在相关的函数之间的仅最小的时间错开的情况下从最大值下降到确定的值，例如最大值的一半。

附图说明

接下来借助实施例和附图详细阐释按本发明的方法。在附图中：

图1示出了荧光的辐射强度(振幅)i(t)与关于像素停留时间t的时间t的相关性的示意图；

图2a示出了可视化的数字荧光图像，在该荧光图像中，确定图像像素的灰度值的总振幅通过按现有技术的求平均值求出(不同的灰度值在此通过不同的阴影部分示出)；

图2b示出了可视化的数字荧光图像，在该数字荧光图像中，确定了图像像素的灰度值的总振幅通过按现有技术的求平均值求出(不同的灰度值在此通过不同的灰度值阶示出)；

图3a示出了可视化的数字荧光图像，在该数字荧光图像中，确定图像像素的灰度值的总振幅根据本发明通过自相关求出(不同的灰度值在此通过不同的阴影部分示出)；以及

图3b示出了可视化的数字荧光图像，在该数字荧光图像中，确定了图像像素的灰度值的总振幅根据本发明通过自相关求出(不同的灰度值在此通过不同的灰度值阶示出)。

具体实施方式

按本发明的方法直至获得像素停留时间内配属于单个测量时间点的振幅，都与在现有技术中说明的具有通过快速的扫描(采样)对模拟的探测器信号进行数字化的方法相同。

重要的是，模拟的探测器信号通过多次扫描(读取探测器)被数字化成大量的振幅的序列。这在实践中仅能用单探测器并且因此用激光扫描显微镜实现，激光扫描显微镜典型地可以设计成单点布置，但也可以设计成多点布置，在多点布置例如同时在样本上方扫描四条分离的射束，因而荧光辐射被四个所配属的单独探测器探测到。取代以逐个像素的方式用激发光加载，物场原则上也可以同时被照亮并且在此期间可以多次读取相机的探测器装置。但实际上，用典型的相机无法达到检测光闪烁所需的在μs范围内的短暂的探测时间。此外，将分别照射到像素上的辐射强度并且可能的测量时间点的数量为此过小，以至于无法为自相关获取足够多且足够高的振幅。

为了生成荧光图像，来自激发光源的激发光借助扫描系统相继分别在像素停留时间t期间在如下物平面中被聚焦到单独的物场截面(像素)中，该物平面处在用荧光染料标记的样本内或样本上。在此，在分别相关的像素中的荧光团被激发而发出发射光。通过探测器检测到在像素停留时间t期间来自一个像素的发射光的强度，该强度由所发出的光子的数量确定。

在图1中示出了荧光的辐射强度i(t)的模拟信号与关于像素停留时间t的时间t的相关性。这取决于光漂白导致的、与下降的指数函数类似的函数以及由光闪烁导致的、在较短的时标上波动的函数。

在模数转换过程中，在多个彼此间的间隔由探测时间确定的测量时间点上读取探测器，且针对每个测量时间点形成振幅。因此发射光的强度的模拟信号在像素停留时间t期间被转换成了具有如下振幅的序列的数字信号，该振幅与分别在探测时间期间探测到且配属于测量时间点的强度成比例。与像素停留时间t相比，探测时间越短，那么扫描频率并且因此模拟的函数的分辨率就越高。

配属于测量时间点的强度通过由撞击的光子和在配属于各测量时间点的探测时间内的常见的噪声影响构成的和形成。

因此在像素停留时间t之后，针对一个像素存在多个振幅，这些振幅通过将它们分别配属给一个测量时间点而形成了一个序列。与总振幅由所有振幅的平均值作为平均值振幅形成的现有技术不同的是，按照按本发明的方法，通过振幅序列与其错开了时间偏差τ的本身的自相关形成相关振幅kτ。时间偏差τ应当在此无维度地理解为是有待与自身相关的振幅序列之间的测量点的数量。这就是说，如果要将在第一个测量时间点t1开始并且在第二十个测量时间点t20开始的振幅序列相关，那么时间偏差τ等于19。时间偏差τ的实际的持续时间由探测时间和时间偏差τ得出。

将分别形成振幅对的带有固定的时间偏差τ的较早的测量时间点tn和较晚的测量时间点tm(因而m＝n+τ)的振幅彼此连续地相关。为清楚起见，振幅也在光学信号转换成电信号之后用i(t)标注。分别针对时间偏差τ(时间滞后)的相关振幅kτ由较早的振幅i(tn)和较晚的振幅i(tm)(它们的测量时间点彼此间具有时间偏差τ)的相关并且振幅i平均的平均值按照下列公式得出：

kτ＝((i(tn)-i平均)×(i(tm)-i平均))平均

有利的是，相关振幅kτ可以进行标准化，例如用振幅的平均值(平均振幅)的平方，因此得出了下列公式：

kτ＝((i(tn)-i平均)×(i(tm)-i平均))平均/i平均²

或者用振幅的平方的最大值，因此得出下列公式：

kτ＝((i(tn)-i平均)×(i(tm)-i平均))平均/i最大²

在每个较晚的测量时间点tm上，形成了由在所从属的较早的测量时间点tn上的振幅i(tn)和所有振幅的平均值i平均之间的差并且在各较晚的测量时间点tn+τ上的振幅i(tn+τ)和所有振幅的平均值i平均之间的差的乘积。产生了配属于较晚的测量时间点tm的一系列乘积值，它们的平均值是相关振幅kτ。这样获得的相关振幅kτ没有噪声，因为这不经受任何相关。

例如在1帧/秒的256×256像素扫描时，在像素停留时间t＝15μs和扫描频率为40mhz时产生了610个测量时间点。因此提供了所谓较早的测量时间点tn的610个振幅i(tn)，其中，1≤n≤610。

为了便于确定相关振幅kτ，提供所谓的较晚的测量时间点tm的大量的振幅i(tn+τ)用于自相关，时间偏差τ的持续时间优选应当小于像素停留时间t的一半，但也大于像素停留时间t的五分之一。因此在当前的例子中，时间偏差τ可以有利地对应在第1个测量时间点t1与第120个测量时间点t120之间的测量时间点的数量，因此时间偏差τ等于119。在这个情况下410个振幅对被相关。

但时间偏差τ原则上也可以极小，参照所述实施例直至约10，或者也可以极大，直至约550。

数字荧光图像通常作为网格图形示出和储存，这就是说，配属于像素的振幅被储存在与物平面中的像素的布置相关的网格中。

对建立应当为配设有不同的荧光物质的样本所建立的荧光图像而言合理的是，通过试验分别求出最佳的时间偏差τ，对该时间偏差而言所得到的相关振幅kτ尽可能大，并且将针对最优的时间偏差τ的持续时间储存在数据库中。

为此可以在单个像素上，特别是在如下物平面的区域中自动化地进行短暂的局部测量，在该物平面的区域中预期有高荧光信号，并且如上面说明的那样为不同的时间偏差τ估算在此获取的振幅。这种局部的测量可以自动随机或等距地分布在物区域中。但局部的测量的地点也可以由用户预定，以便分析尤为重要的样本区域。

也可以由数据库求出针对最佳的时间偏差τ的持续时间。对于多种典型的染料来说，表征性的光闪烁时间已由文献公知并且是时间偏差τ的最佳的持续时间。这些文献值可以以配属于荧光物质的方式储存在数据库中，以便在获知探测时间的情况下能够推导出至少一个开始时间偏差，用以用显微镜检测具有相同的荧光物质的较晚的样品。

作为现有技术的求平均值通常在fpga(现场可编程逻辑门阵列)上进行。同样可以在fpga上执行形成自相关振幅。

由通过在像素停留时间t期间分别配属于测量时间点的振幅i形成的相同的数字探测器信号也可以并行或依次通过形成平均值和自相关求出总振幅并且将其作为荧光图像示出。

如所阐释的那样，可以为不同的时间偏差τ求出针对像素的相关振幅kτ并且使用其中一个相关振幅用于显示荧光图像。也可以为了显示荧光图像而针对每个像素将多个为不同的时间偏差τ计算的相关振幅kτ加和和/或取平均值。因此，尤其在时间偏差τ的最佳持续时间是先验未知的情况下进一步改善信噪比。

在图2a和图2b中分别示出了荧光图像，例如其按照现有技术通过每个像素的平均值振幅的配属而呈现。图示的区别在于，不同大小的平均值振幅一方面通过不同的阴影部分示出并且另一方面通过不同的灰度值示出。

在图3a和图3b中分别示出了荧光图像，例如其按照本发明通过针对每个像素的相关振幅kτ的配属呈现出。图示的区别在于，不同大小的平均值振幅一方面通过不同的阴影部分示出并且另一方面通过不同的灰度值示出。

在图3a和图3b中可以看到所谓的聚类形成(clusterbildung)，聚类形成表明了荧光物质在物平面中的局部集中。这种聚类形成在图2a和图2b中由于荧光信号和噪声的重叠而无法看到。

权利要求书(按照条约第19条的修改)

1.用于生成数字荧光图像的方法，其中，将配设有荧光物质的样本布置在激光扫描显微镜的物平面中，并且在时间上依次以逐个像素的方式在像素停留时间(t)期间用激发光加载所述样本，由此针对每个像素产生发射光，通过探测器探测所述发射光并且将所述发射光转换成分别配属于测量时间点的振幅(i)的序列，由这些分别配属于测量时间点的振幅形成总振幅，并且将所有像素的总振幅组合成荧光图像，其特征在于，

针对每个像素(由前序部分得出)将在较晚的测量时间点(tm)开始的振幅(i)的序列与在相对于所述较晚的测量时间点(tm)具有时间偏差(τ)的较早的测量时间点(tn)开始的振幅(i)的同样序列进行至少一次自相关，分别形成针对时间偏差(τ)特定的至少一个(第12页第4段)相关振幅(kτ)并且由所形成的所述至少一个相关振幅(kτ)求出总振幅。

2.按照权利要求1所述的方法，其特征在于，利用公式kτ＝((i(tn)-i平均)×(i(tm)-i平均))平均计算出相关振幅(kτ)，其中，i(tn)是较早的测量时间点(tn)的振幅(i)，i(tm)是较晚的测量时间点(tm)的振幅(i)，m＝n+τ，并且i平均是振幅(i)的平均值。

3.按照权利要求2所述的方法，其特征在于，将相关振幅(kτ)通过与振幅(i)的平均值的平方相除来进行标准化。

4.按照前述权利要求中任一项所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(kτ)并且确定具有相对最大的相关振幅(kτ)的那个时间偏差(τ)，并且将其用作总振幅。

5.按照权利要求4所述的方法，其特征在于，将具有相对最大的总振幅的时间偏差(τ)配属于荧光染料并且储存在数据库中。

6.按照前述权利要求中任一项所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(kτ)并且确定这些相关振幅(kτ)的平均值，并且将该平均值用作总振幅。

7.按照前述权利要求中任一项所述的方法，其特征在于，计算出针对不同的时间偏差(τ)的相关振幅(kτ)并且确定这些相关振幅(kτ)的和，并且将该和用作总振幅。

8.按照前述权利要求中任一项所述的方法，其特征在于，测量时间点的数量大于400，并且时间偏差(τ)位于50与150之间。

说明或声明(按照条约第19条的修改)

具体修改说明如下：

用修改后的权利要求书中译文第1-8项替换原始公开的权利要求书中译文第1-8项。

具体修改请详见修改对照页。

中原信达知识产权代理有限责任公司

chinasindaintellectualpropertyltd.