1.本公开涉及一种根据权利要求1所述的使用光学显微镜记录图像的方法以及根据权利要求19所述的光学显微镜。
背景技术：2.荧光标记的使用正在增加，特别是对于生物样本。较高的照明强度将有助于提供高速的图像数据记录。然而，由于样本可能会被光照损坏，因此照明强度不应太高。
3.除此之外，由于这些原因，采用了特别敏感的传感器元件。具有多碱性阴极的光电倍增管(pmt)经常让位于具有gaasp阴极的pmt，这有助于在可见光谱范围内实现更高的量子效率。然而，此处采用的放大过程的乘法性质将噪声(所谓的放大噪声或过量噪声)引入到测量信号中。因此，净灵敏度低于指定的量子效率。
4.为了消除倍增噪声，可以将放大倍数增加到可以计算由单个光子触发的单个脉冲的程度。例如，为此目的使用了能够进行时间相关单光子计数(tcspc)的电子设备。测量的信号是纯数字的，测量的强度值可以对应于撞击在光电阴极上的光子数量，被量子效率降低。然而，电子设备具有例如几十纳秒的停滞时间，在此期间不可能记录入射光子。
5.由于停滞时间，在传感器的照明密度过高的情况下，信号可能会失真。特别是，传感器元件上的高照明强度会导致测量值过低(所谓的堆积效应)。因此，尽管使用光子计数的测量可能非常敏感，但要在图像数据中达到一定的信噪比(snr)需要相对较长的时间。这个问题可以通过并行光子计数来缓解，其中信号的检测psf(点扩展函数)分布在多个光子计数传感器元件的阵列上，即排列上。由此，光子以分布式方式统计地撞击大量传感器元件。这增加了当光子撞击时大多数传感器元件处于活动状态并且只有少数传感器元件处于在记录前一个光子被后的停滞时间的概率。
6.用光学显微镜记录图像的通用方法至少包括以下步骤：将照明光引导至样本；以及将来自样本的检测光引导至多个光子计数传感器元件，每个光子计数传感器元件依次记录多个光子计数。
7.因此，通用光学显微镜包括用于向样本发射照明光的光源以及用于记录来自样本的检测光的多个光子计数传感器元件。光子计数传感器元件分别被配置为依次记录多个光子计数。
8.即使在原则上可以为不同的传感器元件单独设置灵敏度时，传感器元件的过载在这方面仍然存在问题，例如在us9,997,551b2中所描述的。特别是当用户增加照明功率以实现最佳图像质量时，传感器元件阵列也会出现图像信息失真的不利饱和。在低照明强度下，虽然增加每个样本点的曝光时间可以提高图像质量，但它也会导致更长的测量时间，并且随着时间的推移观察过程是不可取的。
技术实现要素：9.可以认为本发明的一个目的是提供一种光学显微镜和一种利用光学显微镜通过
光子计数传感器元件记录图像的方法，其中检测图像记录中的误差并且，如果合适的话进行补偿。
10.该目的通过具有权利要求1的特征的方法以及通过具有权利要求19的特征的光学显微镜来实现。
11.根据本发明的光学显微镜和根据本发明的方法的有利变体是从属权利要求的目的并且也在以下描述中说明。
12.在上述类型的方法中，根据本发明，至少执行以下步骤：
[0013]-形成待分析的多个光子计数分布以及从光子计数中形成至少一个参考光子计数分布；
[0014]-计算待分析的每个光子计数分布与参考光子计数分布之间的相似度；以及
[0015]-根据计算出的待分析的相应光子计数分布的相似性，将传感器元件识别为过载。
[0016]
根据本发明的上述类型的光学显微镜包括控制单元，其被配置为：
[0017]-形成待分析的多个光子计数分布以及从光子计数中形成至少一个参考光子计数分布；
[0018]-计算待分析的每个光子计数分布与参考光子计数分布之间的相似性；以及
[0019]-根据计算出的相应待分析的光子计数分布的相似性，将传感器元件识别为过载。
[0020]
本发明的不同实施例利用多个传感器元件测量非常相似的图像内容但接收不同量级的光强度的事实。一个易于理解的示例是所谓的airyscan(也称为图像扫描显微镜)，其中一个样本点被照亮，并且该样本点被成像到多个传感器元件的阵列上。检测psf在多个传感器元件上延伸，使得它们的测量值基本上来自相同的样本点。然而，检测psf在传感器元件上不具有恒定值，而是可以，例如，在传感器元件的横向上呈现高斯曲线的形式。因此，中心传感器元件接收比外部传感器元件更多的光并且测量比外部传感器元件更高的光子计数。现在可以用一束照明光扫描样本，同时传感器元件测量每个照明样本点的光子计数。可以将传感器元件的光子计数聚合成光子计数分布，从而例如针对每个传感器元件形成光子计数分布。光子计数分布基本上来自相同的图像内容，但在光子计数的量级/数量方面有所不同，主要是由于检测psf的形式。特别是在光子计数分布的光子计数的不同量级补偿/标准化的重新缩放之后，光子计数分布因此应当基本上彼此对应。如果传感器元件在测量过程中被过载(饱和)，则其最高光子计数过低。因此，可以在光子计数分布的比较中检测传感器元件是否在光子计数的记录期间被过载，并因此对应于失真的图像信息。如果传感器元件被识别为过载，则可以可选地以自动化方式实施合适的措施，例如过载光子计数的数学校正或具有适当修改的显微镜设置的新图像记录，如稍后更详细描述的。
[0021]
光子计数分布的形成
[0022]
为了比较光子计数分布，至少一个光子计数分布被用作参考光子计数分布。对于参考光子计数分布，已知或假设在记录光子计数期间未发生饱和，稍后将更详细地解释。剩余的光子计数分布称为待分析的光子计数分布。
[0023]
光子计数分布可以由恰好一个的光子计数或由多个传感器元件的光子计数形成。因此，光子计数分布的数量，即待分析的光子计数分布和参考光子计数分布的数量可以小于、等于或原则上也大于传感器元件的数量。特别地，可以形成传感器元件组(“分箱”)，其中一组传感器元件的光子计数被聚合并且一起形成光子计数分布。至少一个参考光子计数
分布也可以这样形成；或者，可以通过聚合多个光子计数分布来计算参考光子计数分布。
[0024]
确定参考光子计数分布
[0025]
参考光子计数分布应由一个或多个在进行测量期间未饱和/过载的传感器元件的光子计数形成。这种选择可以以多种方式发生。
[0026]
例如，可以选择至少一个光子计数分布用作参考光子计数分布，其中该选择根据相应光子计数分布的光子计数量级发生。通过考虑光子计数的量级，可以确保参考光子计数分布由一个或多个未被过载的传感器元件的光子计数形成。除了使用选定的光子计数分布作为参考光子计数分布之外，还可以通过聚合(例如，通过求和、平均或标准化以及随后的求和或平均)从选定的光子计数分布中计算单个参考光子计数分布。
[0027]
将传感器元件的光子计数用于参考光子计数分布的先决条件可以是由该传感器元件测量的光子计数的最高值低于预定上限。先决条件也可以改变，使得由该光子计数分布的最高光子计数形成的平均值(例如，光子计数的最高百分比的平均值)必须低于预定上限。上限可以根据传感器元件的最大计数率来建立，且特别地可以在最大计数率乘以曝光时间的1％和30％之间。本文中的曝光时间表示记录光子计数的测量时间。通过这样的上限确保参考光子计数分布的光子计数不会在饱和时被记录。最大计数率可以指示当传感器元件处于饱和状态时可以达到的最大计数率。或者，最大计数率也可以表示为传感器元件的停滞时间的倒数，例如大致为0.1/停滞时间。传感器元件的停滞时间通常是已知的，其值介于10到100纳秒之间。对于停滞时间为50纳秒的传感器元件，计数率的上限因此可以确定为2mhz。
[0028]
还可以根据传感器元件的光子计数确定信号量级测量值；例如，光子计数的平均值或光子计数的最高值可以用作信号量级测量。现在，将传感器元件的光子计数用于参考光子计数分布的先决条件在于，相应的信号量级测量值超过预定最小值和/或低于上述上限。通过超过最小值，确保了足够量级的信号值用于参考光子计数分布。
[0029]
或者，可以通过计算光子计数分布之间的相关性来选择多个光子计数分布中的一个作为参考光子计数分布。尤其可以选择与特定数量的其他光子计数分布表现出预定高相关性的光子计数分布作为参考光子计数分布，其中所述数量理想地尽可能大。这是基于这样的想法，即通常只有位于光点中心的少数传感器元件过饱和，而大多数传感器元件在其线性范围内工作。如果光子计数分布与大量其他光子计数分布表现出高度相关性，则相应的传感器元件可能在其线性(非饱和)范围内运行。此外，光子计数分布的形状根据饱和度而变化，因此，即使在大量传感器元件被过载的情况下，它们的光子计数分布也不总是表现出彼此之间的高相关性。可选地，用作参考光子计数分布的另一潜在先决条件提供光子计数分布的信号量级测量值具有足够的量级。例如，对于参考光子计数分布，可以从相互之间具有高相关性的光子计数分布中选择其信号量级测量值(在前面更详细地定义)最大或者至少不位于信号量级测量值的下半部分的光子计数分布。这防止了选择作为参考光子计数分布的光子计数分布，其光子计数具有不利的低snr。
[0030]
可附加地或可替代地，选择至少一个光子计数分布作为参考光子计数分布也可以根据相应传感器元件或多个传感器元件的位置。例如，光子计数分布可以由布置在外部区域中的一个或多个传感器元件的光子计数形成，并且用作参考光子计数分布。例如，所有传感器元件的最外面的30％可以被认为是外部区域。根据测量方法，可以采用分箱，其中光子
计数分布分别由例如布置成环形的传感器元件的光子计数形成。然后可以将传感器元件的外部(或最外部)环形的光子计数分布用作参考光子计数分布。选择至少一种光子计数分布用作参考光子计数分布也可以作为相应传感器元件或元件相对于入射光强度分布的焦点的位置的函数发生。尤其可以选择一个或多个传感器元件，其位置与光强度分布的焦点相距一定距离，以便使所选传感器元件过饱和的风险最小化。
[0031]
重新缩放和相似性确定
[0032]
可选地，可以计算待分析的每个光子计数分布和参考光子计数分布之间的重新缩放。然后计算待分析的每个光子计数分布与参考光子计数分布之间的相似性，同时考虑相关的重新缩放。
[0033]
计算重新缩放的目的是便于更好地比较不同信号量级的光子计数分布。重新缩放可以理解为对光子计数分布中出现的光子计数范围和/或光子计数量级的修改。重新缩放也可以称为分布的光子计数的大小调整或缩放。当图像内容相似时，除了它们的缩放，光子计数分布应该相似，即它们的曲线形状应该相似。如果不是这种情况，原因可能在于传感器元件的饱和。出于重新缩放的目的，可以重新缩放待分析的光子计数分布和/或参考光子计数分布。可以确定待分析的光子计数分布和参考光子计数分布的尺寸度量，并且作为尺寸度量的函数，然后可以拉伸或压缩任一光子计数分布，使得尺寸度量随后彼此对应。
[0034]
重新缩放也可以被认为是待分析的光子计数分布到参考光子计数分布的(线性)映射(反之亦然)。为了重新缩放的目的，因此可以确定映射函数的一个或多个参数，该映射函数应用于待分析的光子计数分布或参考光子计数分布。
[0035]
重新缩放可以包括，例如，使拟合函数适配参考光子计数分布，并且使拟合函数适配每个待分析的光子计数分布。因此，为每个光子计数分布确定了一个或多个拟合参数，这些参数描述了所述光子计数分布的曲线。现在可以对任一待分析的光子计数分布或参考光子计数分布进行拉伸或压缩，其中拉伸/压缩取决于确定的拟合参数。特别地，可以执行拉伸/压缩，使得适配于被拉伸/压缩的光子计数分布的拟合函数将产生等于要与之比较的光子计数分布的拟合参数的拟合参数。
[0036]
拟合函数可以描述，例如，指数衰减；特别地，拟合函数f(x)可以定义为f(x)＝f0
＊
exp(-x/c)，或至少包括表达式f(x)＝f0
＊
exp(-x/c)以乘法、加法或其他的方式相关联至进一步表达式，其中：x：光子计数分布的光子计数；f：光子计数的频率；exp：指数函数；f0和c：拟合参数。也可以使用其他拟合函数，其中如果拟合函数仅包含两个拟合参数或至多三个拟合参数会是有利的。
[0037]
可以规定，拟合函数仅适配于光子计数分布的较高光子计数段，例如仅适用于包含较大光子计数的那一半，而忽略包含较小光子计数的那一半。这样做的优点是，在适配和随后的重新缩放之后，参考光子计数分布的最高光子计数的频率和待分析的光子计数分布的频率可以特别好地相互比较。最高光子计数x的频率差异是待分析的光子计数分布饱和的一个特别清楚的指示。
[0038]
在上述指数函数形式的拟合函数示例的情况下，f0和c的确定值通常在参考光子计数分布和待分析的光子计数分布之间不同。根据两个确定的c(以及可选地f0)值之间的差值确定一个因子，灰度值轴(光子计数轴)通过该差值被拉伸或压缩。发生拉伸或压缩，以便随后的拟合将为要比较的两个光子计数分布产生相等的c和f0值。
[0039]
相似性的计算可以至少包括计算任一待分析的光子计数分布hn和参考光子计数分布hr之间的相关系数r(或依赖于其的变量)，特别是在它们之间具有已执行的重新缩放之后，例如：
[0040]
r＝covar(hn,hr,)/(stdev(hn)
＊
stdev(hr))
[0041]
其中covar(hn,hr)是hn和hr之间的协方差；stdev(hn)和stdev(hr)分别是hn和hr的标准差。
[0042]
在计算出的相关系数r低于确定的最小值的情况下，相应的待分析的光子计数分布被识别为过载，即识别传感器元件或从其光子计数形成待分析的光子计数分布的传感器元件为超载。例如，可以规定，如果相应的相关系数r或其绝对值大于极限值，该极限值特别是在0.80和0.98之间、特别是在0.92和0.97之间，则确认两个光子计数分布的相似性。
[0043]
也可以在联合计算中执行重新缩放和相似性确定。
[0044]
在进一步的实施例中，首先确定最大光子计数的频率值相对适配于所述光子计数分布的拟合函数的偏差度量。然后可以应用重新缩放，以便可以将待分析的光子计数分布的偏差度量和参考光子计数分布的偏差度量相互比较，以便执行相似性确定。特别是通过这样的计算，用于重新缩放和用于确定相似性的计算可以切换或以不同的顺序发生。
[0045]
根据相似性确定的类型，不必进行单独的重新缩放。对于以下示例的情况尤其如此，该示例通过参考光子计数分布和待分析的光子计数分布之间的修正互相关的计算来进行相似性确定。互相关系数corr{k}可以通过以下方式计算：
[0046]
corr{k}：＝sum[hn(x)
·
hr(x，k)]/[sum hn(x)2·
sum hr(x，k)2]
1/2
[0047]
其中总和跨越光子计数x，光子计数分布hn(x)和hr(x)表示不同光子计数x的频率。在计算互相关的标准方法中，k表示偏移，形式为hr(x+k)。相反，在本公开中，参数k可以描述光子计数x的压缩或拉伸。特别地，光子计数分布hn(x)和hr(x)中的至少一个的光子计数x可以根据参数k被拉伸/压缩，其中可选地，光子计数x的频率的附加的拉伸/压缩也可以发生。拉伸/压缩可以用各种数学表达式来描述；例如，k可以是一个因子(光子计数x乘以该因子)，其中k＝k(x)也可以与x相关。还可以使用涉及x值的移位和乘法的更复杂的表达式来描述计算互相关系数corr{k}中的压缩/拉伸。
[0048]
图像记录模式
[0049]
根据本发明的用于识别过载传感器元件的措施适用于不同的图像采集模式，特别是适用于不同的样本扫描方法和宽场成像。
[0050]
在一些实施例中，用照明光扫描样本，同时光子计数传感器元件依次记录光子计数。在样本上产生至少一个照明点(照明点)，照明点依次扫描待分析的样本区域。在通常称为airyscanning的图像扫描显微镜中，相邻传感器元件之间的距离(测量从一个传感器元件的中心到相邻传感器元件的中心)小于1艾里(1au，艾里单位)。1艾里是图像平面中衍射盘的大小，样本平面的一个点在该衍射盘上成像。传感器元件在此布置在图像平面中。艾里的大小由检测psf确定，例如它可以具有高斯函数的形状或众所周知的衍射盘的函数形状。因此，根据检测psf将被照明的样本点成像到多个光子计数传感器元件上，其中中心传感器元件接收比外部传感器元件更多的光。因此，例如，可以从一个或多个外部传感器元件的光子计数形成没有过载的参考光子计数分布。然后可以通过比较光子计数分布来检测图像中心的饱和传感器元件。
[0051]
类似的图像记录模式是共焦(激光)扫描显微镜。在这种情况下，聚合多个或所有传感器元件同时测量的光子计数，以便生成从当前被照明的样本点导出的样本点信号。
[0052]
或者，可以通过将照明光引导到样本上来提供宽场照明。与上述airyscan的情况一样，传感器元件可以靠得很近，以至于一个样本点被成像到多个传感器元件上。特别地，传感器元件可以彼此如此接近，以致它们产生的分辨率至少与对应于奈奎斯特标准的分辨率一样高，尤其是至少两倍高。因此，由于相邻的传感器元件测量的图像内容非常相似，且差异主要是由于过饱和造成的，因此在宽场照明下光子计数分布也可以比较。在这方面，可以规定，代替使用单个参考光子计数分布，单独的参考光子计数分布被分别用于应该接收相似图像信息的一组多个相邻传感器元件。
[0053]
如果通过将照明光引导到样本上来提供宽视场照明，那么除了上述特征或可替代的特征之外，也可以进行时间序列测量。在时间序列测量中，可以依次实施不同的照明设置和/或检测设置，或者可以依次实施相同的照明设置和检测设置，同时照亮相同的样本区域，并连续记录用于一个或多个光子计数分布的光子计数。光子计数分布可以分别由相邻传感器元件的光子计数和/或由同一传感器元件连续记录的光子计数形成。照明设置和/或检测设置可以不同，例如，在到达样本的照明光强度或功率方面、在影响传感器元件上的入射光功率的过滤器设置方面、和/或在传感器元件灵敏度设置方面(从而修改入射光子被记录的概率)。因此，时间序列测量中的传感器元件记录不同量级的光子计数，这些光子计数源自相同的样本点，但由于不同的照明设置和/或检测设置而不同。
[0054]
识别过载传感器元件时的后续动作
[0055]
如果一个或多个传感器元件被识别为过载，则有可能向用户发出相应的输出，例如指示照明光功率太高。附加地或替代地，也可以以自动化方式执行进一步的动作。
[0056]
当在下文中描述当传感器元件被识别为过载时执行动作时，这旨在包括仅当传感器元件的预定最小数量或相应的光子计数分布被识别为过载时才执行动作的变体。
[0057]
特别地，可以从传感器元件记录的光子计数，即从至少一部分记录的光子计数计算结果图像。被识别为过载的传感器元件的光子计数可以不包括在此处，或者在将它们包括在结果图像的计算中之前先进行数学校正。为了避免图像灰度值的失真，可以规定由识别为过载的传感器元件记录的所有光子计数被拒绝并且不包括在结果图像的计算中。数学校正的情况要么与已被识别为过载的传感器元件的所有光子计数有关，要么仅与这些光子计数中高于极限值的一部分有关(因为已被识别为过载的传感器元件的较低光子计数可能不受饱和影响)。对于数学校正，例如，可以将过载传感器元件的光子计数替换为相邻(未过载)传感器元件的外推光子计数。外推可以在考虑检测psf的同时发生，特别是作为各个光子计数分布的平均光子计数的函数。在光子计数来自相邻传感器元件的光子计数的情况下，也可以说是插值而不是外推。
[0058]
或者，在传感器元件被识别为过载的情况下，也可以使用修改后的显微镜设置重复样本分析(/图像记录)。在这方面，可以规定，根据被识别为过载的传感器元件的数量，要么进行数学校正，要么在没有数学校正的情况下以修改的显微镜设置重复样本分析。在这种情况下，修改显微镜设置以降低每个传感器元件的入射光功率。例如，可以降低照明光源的光强度和/或可以调整检测光路中的变焦光学元件，以便当检测光照射传感器元件时放大检测光的横截面。
[0059]
控制单元可以基于修改的显微镜设置并且可选地基于预定的目标图像质量来计算，在重复样本分析期间要延长多少曝光时间。在一次扫描中，曝光时间可以是像素停留时间，在此期间基本上相同的样本点被照明。尽管照射在传感器元件上的光功率降低，但仍可实现足够的图像质量。
[0060]
如果在重复的样本分析中传感器元件仍然被识别为过载，则可以重复上述降低入射光功率和可选地增加曝光时间的过程，直到没有传感器元件或不超过预定的最大数量的传感器元件被识别为过载。
[0061]
上述扫描方法也可以用多点照明来实现。在这种情况下，照明光以多个照明点的形式在样本上扫描。可选地，照明点可以依次扫描样本的相同区域。分别检测来自不同照明点的检测光，例如通过多个所描述的传感器元件阵列。这些阵列也可以是单个较大传感器元件阵列的相邻部分。前述光子计数分布源自第一照明点。如果如上所述建立了过载(即，对于第一个照明点)，则可以提供为其余照明点修改显微镜设置，使得属于所述照明点的每个传感器元件的入射光功率降低。由此可以防止对其他的照明点的过载。优选地，当使用第一照明点扫描样本仍在进行中时，发生过载的识别。
[0062]
在一些实施例中，在没有传感器元件或不超过预定最大数量的传感器元件被识别为过载的情况下，进行检查以确定根据光子计数计算的图像质量是否达到预定目标图像质量。图像质量可以直接从光子计数或从光子计数形成的结果图像计算。例如，可以计算信噪比(snr)作为图像质量，并且预定目标图像质量是目标snr。如果未达到预定的目标图像质量，则使用修改后的显微镜设置记录新图像。修改后的显微镜设置导致每个传感器元件的检测光强度更高或曝光时间更长，特别是在扫描样本的情况下像素停留时间更长。例如，可以增加照明光源的功率、相应地调整光路中的滤波器或通过变焦光学元件修改检测psf的大小。可以通过在样本上更缓慢地移动照明光来增加像素停留时间。在同样的效果下，同样的样本区域也可以用照明光连续多次扫描。对于在新图像记录中测量的光子计数，再次通过光子计数分布确定传感器元件是否被过载以及是否达到目标图像质量。如果仍未达到目标图像质量，则再次如上所述修改显微镜设置。
[0063]
除了期望的目标图像质量之外，还旨在实现尽可能快的测量。为此，可以规定，新的图像记录首先发生在照明光强度增加而不是像素停留时间增加的情况下。只有新图像记录期间传感器元件被识别为过载的情况下，才会发生进一步的图像记录，其中照明光强度再次降低，而像素停留时间反而延长。如果没有达到目标图像质量，则发生进一步的新图像记录，其像素停留时间进一步增加并且照明光强度不再进一步增加。
[0064]
光子计数传感器元件可以例如由pmt(光电倍增管)或多阳极pmt形成。或者，光子计数传感器元件可以是spad(单光子雪崩二极管)元件。也可以提供纤维束，在该纤维束上对样本平面进行成像并且将检测光中继到光子计数传感器元件。spad元件可以包括具有无自由电荷载流子的耗尽区的半导体化合物。将高于击穿电压的电压施加到化合物上。如果一个光子被吸收，它会在耗尽区产生一个自由电荷，因此会触发电荷雪崩，电荷雪崩会在二极管上扩散并被记录为一个光子计数。因此，光子计数传感器元件输出与记录的光子数相对应的离散光子计数。多个传感器元件可以以spad阵列的形式一起形成，其可以例如使用cmos技术或以cmos兼容工艺制造为光子计数阵列。本公开中引用的传感器元件可以由一个或多个这样的阵列形成。
[0065]
只要传感器元件没有饱和，记录的光子数(光子计数)就与入射光子数成正比。因此，光子传输曲线具有线性进展。然而，在大量入射光子的情况下，一些光子在前一个光子记录后处于停滞时间时到达传感器元件。因此入射光子没有被记录，使得光子传输曲线随着入射光子数量的增加而变平。因此，饱和度可以定义为被记录的光子数与线性光子传递曲线的偏差最小值；在最小值为10％的情况下，与基于当前入射光子率的线性光子传输曲线预测的计数偏差10％或更多的光子计数或计数率因此被指定为饱和状态。
[0066]
通过主动淬灭，即主动恢复spad元件上的工作电压，光子传输曲线逐渐变平。另一方面，通过被动猝灭，停滞期间的入射光子会导致恢复工作电压所需的时间增加。由于停滞时间增加，在饱和情况下，记录的光子数量实际上随着入射光子数量的增加而减少。
[0067]
所引用的传感器元件可以是普通传感器的像素。该传感器还可以包括其他的传感器元件，其测量值不必按照针对其余传感器元件所描述的那样进行处理。所引用的传感器元件也可以属于多个传感器。特别是在多点照明的情况下，例如，可以提供多个传感器，它们分别包括传感器元件，其测量值以所述方式被评估。
[0068]
原则上，控制单元可以是任何计算设备，其可以分布在本地，或者由单元或模块形成。例如，控制单元可以由计算机、处理器、fpga(现场可编程门阵列)或一些其他可编程模块形成，或者可以包括一个或多个所引用的组件。特别地，一个或多个fpga或其他可编程模块可以连接到传感器或直接内置到包括传感器元件的传感器中。
[0069]
本发明的光学显微镜的实施例可以被配置为执行所描述的方法变体。计算和控制操作，例如与光子计数分布相关的步骤和由此产生的显微镜设置控制，可以通过光学显微镜的控制单元来执行。特别地，控制单元可以包括fpga或一些其他可编程模块，在其上实施所描述的方法或该方法的步骤。因此，可以发生完全自动化的过程，或者，至少与传感器元件的控制和光子计数的处理有关的方法步骤以自动化的方式执行，特别是独立方法权利要求的特征部分的特征。相反，根据本发明的光学显微镜的所述实施例的预期用途也产生根据本发明的方法的变体。在数值上下文中使用的具有“基本上”或“大约”的数值和公式可以理解为包括高达10％的精确关系或数值和/或偏差。
附图说明
[0070]
在下文中参照附图对本发明的其他优点和特征进行描述：
[0071]
图1是本公开的光学显微镜的示例实施例的示意图；
[0072]
图2是图1的传感器的示意图；
[0073]
图3、5、7示出了图1的光学显微镜的传感器元件的光子数分布的直方图；
[0074]
图4、6、8示出了从图3、5、7的直方图的光子计数分布计算的直方图；
[0075]
图9是根据本公开的方法的一个示例实施例的流程图。
具体实施方式
[0076]
通常，相同的部件和以相同方式起作用的部件在图中用相同的附图标记表示。
[0077]
图1示出了光学显微镜100的示例性实施例。光学显微镜100包括光源10，例如一个或多个激光器，其发射照明光12，其通过扫描器25，可选的光学元件23、24物镜30引导到样本平面，待分析样本35可放置在样本平面上。借助扫描器25的扫描运动，照明光12沿不同的
光路12a、12b依次被引导以扫描样本35。检测光15，例如荧光，从样本35发出并被引导通过物镜30、光学元件24、23和扫描器25。光学显微镜100还包括分束器22，例如，其根据波长反射照明光12并透射检测光15，或反之亦然。在分束器22之后，检测光15经由其他可选的光学元件27、28、29到达传感器60。示意性示出的控制单元70控制光源10、扫描器25和传感器60。
[0078]
图2示出了传感器60的放大图，其包括多个光子计数传感器元件61，这里以spad元件为例。根据检测psf，从根据当前扫描器位置照射的样本点发出的检测光成像到检测平面/图像平面中作为检测光点16。在图2的示例中，检测光点16在所有传感器元件61上延伸。原则上，每个传感器元件61可以在扫描过程期间依次记录源自不同照明样本点的多个光子计数。或者，可以将多个传感器元件61组合成组65a、65b、65c、65d(“分箱”)，其中聚合同一组的传感器元件的光子计数。
[0079]
由于检测psf或检测光点16在多个传感器元件61上延伸，所以传感器元件测量非常相似的图像信息片段，这些图像信息片段相对于彼此仅略微偏移。然而，传感器元件61的光子计数由于检测psf的形式而非常不同。例如，检测psf可以具有高斯曲线的形状，其中中心传感器元件61(例如，组65c和65d的传感器元件)接收比外部传感器元件61(例如，组65a的传感器元件)更多的检测光。
[0080]
如果光子计数传感器元件61记录了入射光子，则随之而来出现短的停滞时间，在此期间该传感器元件61不能测量进一步的入射光子。因此，在高检测光强度的情况下，存在传感器元件61饱和/过载的风险。然后，测量的光子计数于是不再与入射光子的数量成比例。如果根据光子计数计算样本图像(＝结果图像)/样本图像，则单个传感器元件的饱和会因此导致错误的图像信息。
[0081]
通过本发明检测这种饱和。为此目的，利用多个传感器元件61测量基本上相同的图像内容，但是基本上由于检测psf的形式而受到不同水平的检测光强度的照射。如果多个传感器元件61的计数率的比较产生相当大的差异，则这可以指示饱和。参考图3至图8描述了根据本发明的用于识别饱和传感器元件的过程。
[0082]
图3示出了光子计数分布81的直方图，其指示传感器元件61或传感器元件组65a的灰度值或光子计数x的频率。为了更好的概览，仅示出了光子计数分布81的包含较大光子计数的一半。在样本扫描期间，可以为不同的样本点记录光子计数。横坐标给出光子计数x，且纵坐标表示测量的各个光子计数的频率。
[0083]
图3还示出了参考光子计数分布80的另一直方图(参考直方图)，其指示在样本扫描期间由不同传感器元件61或另一组传感器元件65b记录的光子计数的频率。光子计数分布被用作参考光子计数分布80，对于参考光子计数分布80，可以确定在测量期间没有发生饱和或者至少很少发生饱和，如在其他地方更详细地解释。
[0084]
为了便于比较两个光子计数分布80和81的形状，首先执行待分析的光子计数分布81的重新缩放。为此，拟合函数91适用于光子计数分布81并且拟合函数90适用于参考光子计数分布80。拟合函数91、90是相同的，在所示示例中f(x)＝f0
＊
exp(-x/c)，其中x表示光子计数。在图3的指数轴表示中，f(x)对应于斜率为-1/c且纵坐标轴截距为f0的直线。通过函数的适配，为光子计数分布80和参考光子计数分布81确定拟合参数f0和c的值。根据确定的拟合参数值，计算光子计数分布80应该如何变形，以便对函数进行新的适配，以产生与参考光子计数分布81中大致相同的拟合参数值。这种调整的结果如图4所示。
[0085]
图4再次显示了具有对应图3的拟合函数90的参考光子计数分布80的参考直方图。如上所述，图3的待分析的光子计数分布81已经被调整，并且其调整后的待分析的光子计数分布81b的直方图在图4中示出。拟合函数90基本上与拟合函数91b相同，拟合函数91b可以潜在地在对光子计数分布81b的适配中确定(拟合函数91b的计算不是必需的，并且此处仅出于说明目的提及)。显然，除了统计波动之外，两个光子计数分布80和81b基本上对应。因此，在光子计数分布81的光子计数记录期间，由于传感器元件的饱和导致的显著影响没有出现。
[0086]
图5中示出了另一个示例，其再次示出了参考光子计数分布80的参考直方图，其中拟合函数90适配于该直方图。还示出了待分析的光子计数分布82的其他直方图，其由不同传感器元件61或不同组65c的光子计数形成。拟合函数92适配于光子计数分布82，并且随后如上所述调整光子计数分布82。结果如图6所示。
[0087]
在图6中，参考光子计数分布80的参考直方图与调整后的待分析的光子计数分布82b的直方图之间的偏差是明显的，特别是在高于大约150的值的最高光子计数处。这种差异是主要是由于在记录光子计数分布82的光子计数期间传感器元件的饱和。因此，参考光子计数分布80与光子计数分布82b的比较可以揭示这种饱和。
[0088]
可以定量地进行比较，例如，通过计算相关系数r，其可以定义为：
[0089]
r＝covar(hn,hr,)/(stdev(hn)
＊
stdev(hr))
[0090]
其中hn表示重新缩放后待分析的光子计数分布82b，hr表示参考光子计数分布80。在完全对应的情况下，r＝1。因此可以建立一个极限rg，例如，0.95或一般来说介于0.92和0.97之间的值。如果r＜rg，则光子计数分布82被识别为饱和/过载。
[0091]
参考图7和图8说明了传感器元件的特别明显的过载。图7再次显示了参考光子计数分布80的参考直方图具有适配的拟合函数90，以及另外的待分析的光子计数分布83的直方图具有适配的拟合函数93。为了更好的概览，仅示出光子计数分布83的包含较大光子计数的部分，其中拟合函数93可以适配于所有光子计数，仅对光子计数的图示部分或包含光子计数分布83的大于图示部分的光子技术部分。然后执行光子计数分布83的重新缩放。结果如图8所示。虽然参考光子计数分布80的拟合函数90对应于重新缩放的光子计数分布83b的拟合函数93b，但是参考光子计数分布80和重新缩放后的光子计数分布83b之间的差异很明显，特别是在光子计数高于大约100时。在这种情况下，相关系数r的计算产生一个明显低于极限rg的值，由此假定相应传感器元件或相应传感器元件的饱和。
[0092]
下面参照图9说明该过程的顺序以及在饱和情况下的潜在动作。图9示出了根据本发明的方法的示例实施例的流程图。
[0093]
在步骤s1中，光学显微镜的控制单元基于用户规范设置显微镜设置。用户规范包括，例如，目标选择、照明光和/或检测光的至少一个光谱带、目标图像质量，例如目标snr或目标sbr(sbr：信号背景比)的值，和/或与分辨率和扫描相关的参数，以及要激发的荧光染料的指示。由控制单元设置的显微镜设置可以包括，例如，照明光功率和/或在样本扫描的情况下像素停留时间。根据有关物镜和染料的信息，控制单元确定传感器上检测光点的大小，并可以通过系统变焦调整传感器上的光点尺寸。
[0094]
控制单元已知每个传感器元件的最大计数率。控制单元可以根据传感器上计算的光点尺寸计算被照明的传感器元件的数量。由此控制单元可以确定预期的平均计数率fphotons
，利用它可以根据目标snr建立待设置的像素停留时间τ
pixel
，特别地如t
pixel
＝snr2/f
photons
。
[0095]
在步骤s2中，使用这些显微镜设置记录样本图像。例如，用照明光扫描样本，且光子计数传感器元件各自记录多个光子计数。因此，由每个传感器元件输出属于连续扫描的样本点的多个光子计数。
[0096]
随后，在步骤s3中，将一个传感器元件或一组传感器元件的多个光子计数分别聚合为光子计数分布的形式，也可以称为直方图数据。本发明不要求以直方图形式对光子计数分布进行图形表示。相反，光子计数分布可以，例如，以表格的形式出现。图3至图8中直方图形式的图形表示是可选的，主要是为了说明的目的。
[0097]
光子计数分布的形成还包括至少一个参考光子计数分布的形成。例如，参考光子计数分布的建立可以根据光子计数分布的光子计数量级，使得参考光子计数分布不包含任何可能存在饱和的过高光子计数，但也非完全地包括根据低记录检测光功率测量精度或snr较低的低光子计数。还可能以相对低的照明光强度发生第一次图像记录，以便在以更高的照明光强度发生进一步的图像记录之前确定参考光子计数分布，其中光子计数用于形成在所述进一步的图像记录期间记录待分析的光子计数分布。因此，可以同时或依次地记录参考光子计数分布和待分析的光子计数分布。
[0098]
在步骤s4中，然后执行光子计数分布的重新缩放和相似性评估，也如图1和图5所描述的。如果结果是对于至少一个光子计数分布(或更一般地对于至少预定数量的光子计数分布)建立了不充分的相似性，则所述传感器元件被识别为过载。原则上，该方法可以以向用户输出具有此效果的信息结束。
[0099]
然而，在所示示例中，在光子计数分布的相似性不足的情况下，随后进行步s5，其中修改显微镜设置以避免诸如在先前测量中发生的过载。显微镜设置是照明设置和/或检测设置并且被修改以使得更少的照明光照射样本和/或每个传感器元件的入射光子数量减少。例如，可以通过相应地控制光源或滤波器来降低照射样本的照明光功率。也可以降低至少一个被识别为过载的传感器元件的灵敏度。或者，传感器上的检测光点的尺寸可以用变焦光学元件放大，以便检测光分布在更多的传感器元件上。这之后再次执行步骤s2至s4，即发生新的图像记录，并且在s4中再次检查重新缩放的光子计数分布是否类似于参考光子计数分布。
[0100]
如果是这种情况，则进行步骤s7。在该步骤中，检查光子计数或由光子计数形成的结果图像是否达到预定目标图像质量。目标图像质量可以是，例如，预定的snr值。可以根据光子计数频率或原则上以已知方式从结果图像计算snr值。
[0101]
如果没有达到目标图像质量，则方法继续到步骤s8。通过修改显微镜设置，新记录的图像应具有更高的图像质量。例如，增加照明光功率或像素停留时间。这之后再次执行步骤s2到s7。
[0102]
如果在步骤s7中确定已经达到目标图像质量，则在步骤s9中输出由最后记录的光子计数形成的结果图像。该方法至此完成。
[0103]
在可选配置中，如果在该点之前的过程中没有执行具有降低照明光功率的步骤s5，则在步骤s8中增加照明功率-否则，当接下来执行步骤s4时，相似性可能会被否定。如果到该点为止的处理中的步骤s5中照明光功率已经降低，则在s8中增加像素停留时间。
[0104]
在进一步的可选配置中，当在步骤s4中建立的相似性不足时，步骤s5不一定发生。相反，基于判定标准执行要么步骤s5要么步骤s6。用于执行步骤s5的判定标准可以是，例如，对于s4中的某个最小数量的光子计数分布，相似性被否定。然而，如果对于比预定最小数量更少的光子计数分布，相似性被否定，则随后进行步骤s6。另一个判定标准可以是，在s4中否定相似性的情况下，当已经达到循环s2-s3-s4-s5重复次数达到特定次数时，s6代替s5作为下一步。
[0105]
在可选步骤s6中，在s4中相似性被否定的光子计数分布被丢弃、替换或校正。例如，它们可以由相邻传感器元件的外推光子计数代替。这之后是步骤s7。
[0106]
已经说明性地描述了用于通过样本的扫描来记录图像的方法步骤。在使用宽场照明进行图像记录的情况下，方法步骤也可以在不扫描的情况下发生。在宽视场照明的情况下，可以省略图1中的扫描器25。在图1中，可以添加光学元件，且原则上也可以省略图示的光学元件。此外，所示的去扫描布置仅是示例。照明光和检测光不必通过相同的物镜30引导，在这种情况下可以省略分束器22。用于照明光12和检测光15的共享扫描器也可以由用于照明光12的扫描器和单独的用于检测光的扫描器代替。
[0107]
可以添加针孔进行共焦测量。然而，这不是必须的，因为传感器元件也可以充当数字针孔，或者可选地，布置在传感器元件前面的光纤也可以充当针孔。
[0108]
可以以所描述的方式有效地识别过载的传感器元件。可以执行适当的措施以便自动执行新的图像记录，其中避免过载并且同时实现足够高的图像质量。
[0109]
参考符号列表
[0110]
10光源
[0111]
12照明光
[0112]
12a,12b对应于扫描器25的当前设置的光路
[0113]
15检测光
[0114]
16传感器60上的检测光点
[0115]
22分束器
[0116]
23,24,27,28,29光学元件
[0117]
25扫描器
[0118]
30物镜
[0119]
35样本
[0120]
60传感器，包括光子计数传感器元件61
[0121]
61光子计数传感器元件
[0122]
65a-65d聚合传感器元件61的组
[0123]
70控制单元
[0124]
80参考光子计数分布
[0125]
81-83待分析的光子计数分布
[0126]
81b-83b重新缩放后的待分析的光子计数分布
[0127]
90,91-93,91b-93b适配光子计数分布的拟合函数
[0128]
100光学显微镜
[0129]
s1
–
s9方法步骤
[0130]
x光子计数传感器元件的光子计数