用于生成生物样本的具有增强景深的合成2D图像的系统的制作方法

本发明涉及一种用于生成生物样本的具有增强景深的合成2D图像的系统、涉及一种用于生成生物样本的具有增强景深的合成2D图像的方法、以及涉及一种计算机程序单元和一种计算机可读介质。

背景技术：

在常规癌症诊断中，由病理学医师在视觉上分析组织样本的(组织)病理学图像。病理学医师使用显微镜对组织进行检查。由于这些样本包含3D结构并且显微镜的景深是有限的，因此并非所有部分都将在焦点中。通过转动聚焦旋钮，病理学医师能够在z方向(即，深度方向)上通过组织。然而，使用数字显微镜，自动地扫描组织样本。在单个深度处扫描组织的情况下，并不是组织的所有部分都在焦点中。在多个深度处扫描玻片导致采集和存储大量数据。

US 2005/0089208 A1描述了一种用于获得显微镜玻片的图像的系统和方法。

技术实现要素：

具有用于生成要由病理学医师进行视觉分析的生物样本的图像的经改进的技术将是有利的。

利用独立权利要求的主题解决了本发明的目的，其中，在从属权利要求中并入了另外的实施例。应当注意，本发明的下文所描述的各方面也适用于一种用于生成生物样本的具有增强景深的合成2D图像的系统、一种用于生成生物样本的具有增强景深的合成2D图像的方法、以及一种计算机程序单元和一种计算机可读介质。

根据第一方面，提供了一种用于生成生物样本的具有增强景深的合成2D图像的系统，所述系统包括：

-显微镜-扫描器；以及

-处理单元。

所述显微镜扫描器被配置为采集所述生物样本的第一横向位置处的第一图像数据以及所述生物样本的第二横向位置处的第二图像数据。所述显微镜扫描器还被配置为采集所述第一横向位置处的第三图像数据以及所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的深度不同的深度处采集的，并且所述第四图像是在与针对所述第二图像数据的深度不同的深度处采集的。所述处理单元被配置为生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。所述处理单元还被配置为生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据，以生成针对所述第二横向位置的第二工作图像数据。所述处理单元被配置为在图像数据的采集期间组合所述第一工作图像数据与所述第二工作图像数据，以生成生物样本的具有增强景深的合成2D图像。

关于焦点堆叠的讨论能够在以下网页上找到：

https://en.wikipedia.org/wiki/Focus_stacking。

以这种方式，能够“即时”采集具有增强景深的2D图像。换言之，能够在流模式下采集具有增强景深的2D图像。不需要捕获和存储整个系列的完整图像文件并在采集所有图像文件之后进行后处理，而是在采集图像数据时生成增强图像。

换言之，在x和y方向上延伸的2D图像能够具有在不同x、y位置处聚焦的特征，在所述位置处，那些特征在深度z的范围内聚焦，该深度z大于在特定x、y位置处的显微镜扫描器的焦深。并且，这种具有增强景深的2D图像是即时生成的。

在范例中，所述显微镜-扫描器被配置为采集生物样本的第一区段的图像数据，以采集第一图像数据和第二图像数据，并且其中，所述显微镜扫描器被配置为采集生物样本的第二区段的图像数据，以采集第三图像数据和第四图像数据。

换言之，所述显微镜-扫描器能够向上(或向下)扫描所述样本，或者横向地扫描所述样本。以这种方式，通过采集样本的不同深度处的图像数据，能够“即时”采集具有增强景深的2D图像，其中，样本的横向部分是由探测器的相同部分或者由探测器的不同部分来成像的。

在范例中，所述显微镜-扫描器包括探测器，所述探测器被配置为采集所述生物样本的倾斜区段的图像数据。在范例中，所述生物样本是病理学玻片的部分。

以这种方式，通过采集倾斜区段的图像数据，水平或横向扫描也采集垂直(深度)方向上的数据。当第二区段在垂直于显微镜扫描器的光轴的方向上从第一区段水平或横向地位移时，能够提供横向扫描。例如，物镜在横向方向上被移动以使该区段横向地位移，和/或所述样本被相对于显微镜扫描器的成像和采集部分在横向方向上移动以使该区段横向地位移。换言之，所述显微镜利用正在同时采集不同深度和不同横向位置处的数据的传感器跨样本进行扫描。由于传感器采集倾斜区段，所以传感器现在能够在与先前采集相同的横向位置处、但是现在在不同深度处采集数据。以这种方式，能够比较在相同横向位置处但是在不同深度处的图像数据，以确定哪个图像数据包含处在最佳焦点中的特征(所述特征在样本中的某一深度处)。换言之，在细胞核是特征的情况下，那么细胞核的不同部分能够在不同深度处聚焦。然后，在该横向位置处具有最佳焦点的图像数据能够被用于填充具有增强景深的显影图像。在范例中，当横向地扫描传感器时，能够激活传感器的不同区域，使得所述传感器的一区域采集第一图像数据，并且所述传感器的不同区域采集第三图像数据。

在范例中，所述探测器是包括至少两个活跃区域的2D探测器。在范例中，每个活跃区域被配置为时间延迟积分(TDI)传感器。

通过提供TDI探测器，能够增大信噪比。

在范例中，所述显微镜扫描器被配置为：采集在所述生物样本的第一横向位置处并且在第一深度处的所述第一图像数据，并且同时采集在所述生物样本的第二横向位置处并且在第二深度处的所述第二图像，其中，所述第一深度与所述第二深度不同；并且其中，所述显微镜扫描器被配置为：采集在第一横向位置并且在第三深度处的第三图像数据，并且同时采集在第二横向位置并且在第四深度处的第四图像数据，其中，所述第三深度与所述第四深度不同。

换言之，所述显微镜扫描器同时采集在不同横向位置处并且在不同深度处的数据，然后，能够比较在相同横向位置处但是在不同深度处的数据，以确定在横向位置处的特征的最佳图像数据(即，最佳聚焦)，其要被用作用于生成具有增强景深的2D图像的工作图像。以这种方式，在横向方向上探测器相对于样本的单次扫描中，也在深度方向上采集图像数据，并且这能够被有效地用于确定具有增强景深的2D图像，而不必保存全部图像数据和后期过程。换言之，可以有效地进行利用具有增强景深的2D图像。

在范例中，所述显微镜扫描器在第一横向位置处并且在第二横向位置处都具有焦深，所述焦深都不大于在采集第一图像数据的深度与采集第二图像数据的深度之间的深度的距离。

以这种方式，能够最佳地跨样本的深度来有效地采集不同深度处的图像数据，所述样本的深度大于显微镜的固有焦深，但是能够处理特定横向位置处的图像数据以便提供在聚焦的那些横向位置处的图像数据，但是其深度范围大于相机的焦深。以这种方式，在不同深度处的不同特征都能够跨具有增强景深的2D图像而在焦点中，并且能够即时采集该增强的图像，而不必保存所采集的所有图像数据来确定最佳图像数据。

在范例中，所述样本处在相对于显微镜的光轴的第一位置处，以采集所述第一图像数据和所述第二图像数据，并且所述样本处在相对于所述光轴的第二位置处，以采集所述第三图像数据和所述第四图像数据。

在范例中，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为基于包括所述多种颜色中的一种或多种颜色的图像数据，通过焦点堆叠算法来处理图像数据。

在范例中，所述多种颜色能够是红色、绿色和蓝色。在范例中，所述处理单元被配置为处理与特定颜色相对应的图像数据—例如，与被用于对样本中的一个或多个特征进行染色的染料相关联的颜色。以这种方式，能够以增强的景深来采集特定特征。在另一范例中，能够融合不同的颜色通道，例如使用RGB2Y操作。以这种方式，能够增大信噪比。同样地，通过应用颜色分离步骤，能够利用不同并且最优化的2D平滑内核。

在第二方面中，提供了一种用于生成生物样本的具有增强景深的合成2D图像的方法，包括：

a)利用显微镜-扫描器采集所述生物样本的第一横向位置处的第一图像数据，并且利用显微镜-扫描器采集所述生物样本的第二横向位置处的第二图像数据；

b)利用所述显微镜-扫描器采集所述第一横向位置处的第三图像数据，并且利用所述显微镜扫描器采集所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的深度不同的深度处采集的，并且所述第四图像数据是在与针对所述第二图像数据的深度不同的深度处采集的；

e)生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据，并且

f)生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第二图像数据和所述第四图像数据；并且

l)在图像数据的采集期间组合所述第一工作图像数据与所述第二工作图像数据，以生成生物样本的具有增强景深的合成2D图像。

在范例中，步骤a)包括采集在所述生物样本的第一横向位置处并且在第一深度处的所述第一图像数据，并且同时采集在所述生物样本的第二横向位置处并且在第二深度处的所述第二图像，其中，所述第一深度与所述第二深度不同；并且其中，步骤b)包括采集在第一横向位置处并且在第三深度处的第三图像数据，并且同时采集在第二横向位置处并且在第四深度处的第四图像数据，其中，所述第三深度与所述第四深度不同。

在范例中，所述方法包括：

c)计算针对所述第一图像数据的第一能量数据，并且计算针对所述第三图像数据的第三能量数据；并且

d)计算针对所述第二图像数据的第二能量数据，并且计算针对所述第四图像数据的第四能量数据；并且

其中，步骤e)包括选择所述第一图像数据或所述第三图像数据作为第一工作图像，所述选择包括所述第一能量数据和所述第三能量数据的函数；并且

其中，步骤f)包括选择所述第二图像数据或所述第四图像数据作为第二工作图像，所述选择包括所述第二能量数据和所述第四能量数据的函数；并且

其中，图像数据中的频率信息表示能量数据。

以这种方式，能够有效地生成经增强的图像，使得在特定横向位置处，其具有在该位置处在最佳聚焦中的特征。换言之，跨所述图像，不管深度如何，根据针对图像数据的能量数据来选择最佳焦点中的特征，并且这能够在流模式下即时完成。

在范例中，所述方法包括：

g)如果所述第一图像数据被选择作为第一工作图像，则生成第一工作能量数据作为第一能量数据；或者如果所述第三图像数据被选择作为第一工作图像，则生成第一工作能量数据作为第三能量数据；并且

h)如果所述第二图像数据被选择作为第二工作图像，则生成第二工作能量数据作为第二能量数据；或者如果所述第四图像数据被选择作为第二工作图像，所述第二工作图像是第四图像数据，则生成第二工作能量数据作为第四能量数据。

以这种方式，仅需要保存已经生成的具有增强景深的2D图像(工作图像)，所述图像位于已经由探测器扫掠(或扫描)的区域后方，并且还需要保存与能够被更新的2D增强图像的像素相关联的工作能量数据文件。因此，数据的存储被最小化，并且能够基于现在采集的能量数据与所存储的能量数据的比较来进一步更新具有增强景深的2D图像，以更新增强的图像。

在范例中，所述方法还包括：

i)采集第一横向位置处的第五图像数据，并且采集第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对第一图像数据和第三图像数据的深度不同的深度处采集的，并且所述第六图像数据是在与针对第二图像数据和第四图像数据的深度不同的深度处采集的；并且

j)生成针对所述第一横向位置的新的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理第五图像数据和第一工作图像数据，其中，所述新的第一工作图像数据变为第一工作图像数据；并且

k)生成针对所述第二横向位置的新的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理第六图像数据和第二工作图像数据，其中，所述新的第二工作图像数据变为第二工作图像数据。

换言之，能够基于在横向位置处采集的新的图像数据来更新针对该横向位置的工作图像数据，以提供在该横向位置处的最佳图像，而不必保存所有先前的图像数据，并且这能够在采集数据时实现。一旦探测器已经完全扫掠特定的横向位置，那么图像数据将由在该横向位置处采集的最佳图像数据形成，并且这将即时确定而不必保存每个个体图像数据，仅需要保存针对该横向位置的工作图像数据。

根据另一方面，提供了一种控制如先前所描述的装置的计算机程序单元，其在计算机程序单元中由处理单元运行，适于执行如先前所描述的方法的步骤。

根据另一方面，提供了一种计算机可读介质，所述计算机可读介质存储有如先前所描述的计算机元件。

有利地，由任何以上方面和范例所提供的益处同样适用于所有其他方面和范例，并且反之亦然。

参考下文所描述的实施例，以上方面和范例将变得显而易见并得以阐述。

附图说明

下文将参考以下附图来描述示范性实施例：

图1示出了用于生成生物样本的具有增强景深的合成2D图像的系统的范例的示意性设置；

图2示出了用于生成生物样本的具有增强景深的合成2D图像的方法；

图3示出了组织样本中的焦点变化的范例图像；

图4示意性示出了在图3中所示的图像的内容；

图5示意性示出了焦点堆叠的范例，其中，超过一幅图像被组合成单幅图像；

图6示意性示出了组织玻片组件的截面的两幅视图；

图7示意性示出了显微镜扫描器的范例；

图8示意性示出了样本的截面，其中，在两个垂直位置处示出了2D探测器阵列的投影；

图9示意性示出了样本的截面，其中，在两个水平(横向)位置处示出了2D探测器阵列的投影；

图10示意性示出了组织玻片组件和2D探测器阵列的投影；

图11示意性示出了组织玻片组件的截面，其中，示出了2D探测器阵列的投影；

图12示意性示出了范例2D探测器阵列；

图13示意性示出了过采样的范例；

图14示意性示出了多个被成像的区域或层；

图15示意性示出了用于生成生物样本的具有增强景深的合成2D图像的系统的范例；

图16示出了用于焦点堆叠的示范性工作流；

图17在左侧示出的示范性图像不具有增强景深，而在右侧示出了具有增强景深的合成2D图像；

图18示意性示出了在图17中所示的图像的内容。

具体实施方式

图1示出了用于生成生物样本的具有增强景深的合成2D图像的系统10。系统10包括：显微镜-扫描器20和处理单元30。显微镜扫描器20被配置为采集生物样本的第一横向位置处的第一图像数据以及生物样本的第二横向位置处的第二图像数据。显微镜扫描器20还被配置为采集第一横向位置处的第三图像数据以及第二横向位置处的第四图像数据。所述第三图像数据是在与针对第一图像数据的深度不同的深度处采集的，并且所述第四图像数据是在与针对第二图像数据的深度不同的深度处采集的。处理单元30被配置为生成针对第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。处理单元30还被配置为生成针对第二横向位置的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第二图像数据和所述第四图像数据，以生成针对第二横向位置的第二工作图像数据。处理单元30被配置为在图像数据的采集期间组合所述第一工作图像数据与所述第二工作图像数据，以生成生物样本的具有增强景深的合成2D图像。

在范例中，所述显微镜扫描器在第一横向位置处具有焦深，所述焦深不大于在采集所述第一图像数据的深度与采集所述第三图像数据的深度之间的深度中的距离。

在范例中，从第一横向位置到第二横向位置的移动基本上平行于系统的扫描方向。

根据范例，所述显微镜扫描器被配置为采集生物样本的第一区段的图像数据，以采集第一图像数据和第二图像数据。所述显微镜扫描器还被配置为采集生物样本的第二区段的图像数据，以采集第三图像数据和第四图像数据。

在范例中，所述第二区段在平行于所述显微镜扫描器的光轴的方向上从第一区段垂直地位移。在范例中，物镜在垂直方向上被移动以使所述区段垂直地位移。在范例中，所述样本相对于所述显微镜扫描器的成像和采集部分在垂直方向上被移动，以使所述区段垂直地位移。

在范例中，所述第二区段在垂直于所述显微镜扫描器的光轴的方向上从第一区段水平地或横向地位移。在范例中，物镜在横向方向上被移动以使所述区段横向地位移。在范例中，所述样本相对于所述显微镜扫描器的成像和采集部分在横向方向上被移动，以使所述区段横向地位移。

根据范例，所述显微镜扫描器包括探测器40，探测器40被配置为采集生物样本的倾斜区段的图像数据。在范例中，所述样本是病理玻片。换言之，病理玻片正在被检查。

在范例中，使用从自动聚焦传感器导出的信息来激活传感器的区域，例如，如在WO 2011/161594 A1中所描述的。换言之，通过使传感器的适当区域能够被激活，能够以深度来跟踪特征，以便以适当良好的聚焦度来采集该特征，从而形成具有增强景深的图像的部分，因为该特征在样本内的深度改变。

在范例中，所述第二区段从第一区段被垂直和横向地位移。在范例中，物镜在垂直方向上被移动并且在横向方向上被移动以使该区段位移。在范例中，当物镜被横向地移动时，探测器也在横向方向上被移动，以确保投影的图像保持在成像系统的视场之内。在范例中，所述样本在垂直方向上被移动并且相对于所述显微镜扫描器的成像和采集部分在横向方向上被移动以使所述区段位移。在范例中，物镜在垂直方向上被移动，并且样本相对于所述显微镜扫描器的成像和采集部分在横向方向上被移动以使所述区段位移。在范例中，物镜在横向方向上被移动，并且所述样本相对于所述显微镜扫描器的成像和采集部分在垂直方向上被移动以使所述区段位移。在范例中，当物镜被横向地移动时，探测器也在横向方向上被移动，以确保投影的图像保持在成像系统的视场之内。在范例中，在采集具有增强焦深的图像之前，对样本进行成像以根据跨样本的不同横向(x，y)位置处的深度来估计一个或多个特征的位置。然后，当样本被扫描以生成具有增强聚焦的图像时，物镜能够在不同的横向位置处被垂直地移动和/或样本能够在垂直方向上被移动，使得传感器的相同区域能够被激活以跟随特征，因为其在样本内改变深度，以便以适当良好的聚焦度来采集该特征，从而形成具有增强景深的图像的部分，因为该特征在样本之内的深度改变。

在范例中，所述探测器被倾斜以提供倾斜区段。在范例中，所述探测器相对于所述显微镜扫描器的光轴被倾斜。换言之，在正常的“非倾斜”显微镜配置中，来自物体的辐射被成像到探测器上，使得辐射在基本上垂直于探测器表面的方向上与探测器相互作用。然而，在探测器被倾斜以提供倾斜区段的情况下，所述辐射在不垂直于探测器表面的方向上与探测器相互作用。

在范例中，所述倾斜区段是以光学方式获得的，例如通过使用棱镜。

在范例中，所述第一图像数据和所述第三图像数据由探测器的不同部分采集，并且其中，所述第二图像数据和所述第四图像数据由探测器的不同部分采集。

根据范例，探测器40是包括至少两个活跃区域的2D探测器。在范例中，每个活跃区域被配置为时间延迟积分(TDI)传感器。

在范例中，所述探测器具有至少四个活跃区域。换言之，当样本处的探测器的投影被横向地移动时，其也可以被垂直地移动，在这种情况下，两个活跃区域可以采集第一、第二、第三和第四图像数据。然而，当探测器的投影被横向地移动时，其可以保持在相同的垂直位置处，在这种情况下，四个活跃区域可以采集第一、第二、第三和第四图像数据。

在范例中，所述探测器被配置为提供至少两幅线图像，并且其中，所述第一图像数据由所述线图像中的第一线图像的子集形成，而所述第二图像数据由线图像中的第二线图像的子集形成。

在范例中，活跃区域被配置为采集样本之内的基本上相同深度处的一行图像数据。

换言之，2D探测器采集生物样本的截面，采集x、y坐标的范围内的图像。在多个x坐标处，探测器具有在y方向上延伸的多个线传感器。如果探测器正在采集倾斜截面，则这些线传感器中的每个线传感器也采集在不同z坐标(深度)处的数据，其中，每幅线图像能够采集在相同深度处的图像数据，例如，如果所述区段仅关于一个轴被倾斜时。如果利用沿着线传感器的长度的图像，那么将产生模糊的图像，因此，利用线图像的区段。然而，在范例中，沿着线传感器的图像数据被求和，随后利用带通滤波器对其进行滤波——详情参见US 4141032 A。

在范例中，利用沿着线区段的所有区段。以这种方式，在每个x、y位置处，能够选择在特定z位置(深度)处的最佳聚焦中的图像数据，以填充利用正在被生成的具有增强焦深的流式2D增强图像。

在范例中，所述探测器包括三个或更多个活跃区域，每个活跃区域被配置为采集样本中的不同深度处的图像数据，其中，一个活跃区域对样本的部分进行成像的深度与相邻活跃区域对样本的部分进行成像的深度不同，其中，该差异是至少等于显微镜的焦深的深度。换言之，当横向地扫描探测器时，所述活跃区域中的每个活跃区域扫出(sweep out)在其之内特征将聚焦的“层”，因为该层具有的深度等于显微镜的焦深，并且所述活跃区域采集该层的数据。例如，可以跨样本扫出8层，然后，8层在深度中延伸至少等于探测器焦深的8倍的距离。换言之，当探测器开始横向地扫描时，对于探测器也不垂直地扫描的简单情况(即，透镜或样本不在深度方向上移动)，那么将在特定x位置处初始由活跃区域1和2(其中，探测器的区段在图像采集之间横向地移动)在不同但相邻深度处采集的两幅图像与来自1或2形成工作图像的最佳图像进行比较。所述探测器的区段横向地移动，并且现在将由活跃区域3在位置x处并且在与针对图像2的相邻但不同的深度处采集的图像与工作图像进行比较，并且工作图像或者保持原样，或者在图像3处于工作图像的更好焦点处时变为图像3(因此，工作图像现在能够是图像1、2或3中的任一幅图像)。所述探测器的区段再次横向地移动，并且将活跃区域4在位置x处并且同样在不同相邻深度处采集的图像与工作图像进行比较。因此，在将由第八活跃区域采集的图像与工作图像进行比较之后，并且工作图像或者变为第八图像数据或者保持为工作图像，然后在位置x处，处于最佳焦点的图像1-8中的任一幅图像形成工作图像，其现在聚焦。在上文中，所述活跃区域可以分开超过显微镜的焦深，或者可以有多于8个活跃区域。以这种方式，能够在探测器的一次扫描中对特征进行成像，其中，样本中该特征的深度变化超过样本的焦深，并且其中，提供具有增强焦深的2D图像而没有保存“层”图像中的每幅“层”图像，而是仅保存工作图像并且将其与现在正在采集的图像数据进行比较，使得即时采集增强图像。在范例中，所述系统包括自动聚焦系统，由此，所述区段(探测器在样本处的投影)垂直地并且水平地移动，以便例如跟随自身在z方向上变化的样本—例如，组织样本可以保持在弯曲的显微镜玻片之内，使得玻片的中心部分与玻片的周边相比垂直地朝向探测器弯曲。

在范例中，所述显微镜扫描器被配置为使得倾斜区段被形成，使得该区段在横向方向上被倾斜，例如在扫描方向上。换言之，当探测器的每个线传感器形成一个区段时，所述探测器的每个线传感器处在不同的x位置处并且处在不同的深度z处，但是在基本上相同的y坐标的范围上延伸。换言之，每个线传感器基本上垂直于扫描的横向方向，并且以这种方式，在探测器的每次扫描中相对于样本可以扫出最大的体积。

根据范例，所述显微镜扫描器被配置为采集在生物样本的第一横向位置处并且在第一深度处的第一图像数据，并且同时采集在生物样本的第二横向位置处并且在第二深度处的第二图像数据，其中，所述第一深度与所述第二深度不同。所述显微镜扫描器还被配置为采集在所述第一横向位置处并且在第三深度处的第三图像数据，并且同时采集在第二横向位置处并且在第四深度处的第四图像数据，其中，所述第三深度与所述第四深度不同。

根据范例，所述显微镜扫描器在第一横向位置处并且在第二横向位置处都具有焦深，所述焦深都不大于在采集第一图像数据的深度与采集第二图像数据的深度之间的深度的距离。

根据范例，所述样本处在相对于显微镜的光轴的第一位置处以采集第一图像数据和第二图像数据；并且所述样本处在相对于光轴的第二位置处以采集第三图像数据和第四图像数据。

在范例中，所述样本被配置为相对于光轴在横向方向上被移动，其中，所述样本处在第一位置处以采集第一图像数据和第二图像数据，并且所述样本处在第二位置处以采集第三图像数据和第四图像数据。

根据范例，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为基于包括多种颜色中的一种或多种颜色的图像数据通过焦点堆叠算法来处理图像数据。

在范例中，所述多种颜色能够是红色、绿色和蓝色。在范例中，所述处理单元被配置为处理与特定颜色相对应的图像数据—例如，与被用于对样本中的一个或多个特征进行着色的染料相关联的颜色。以这种方式，能够以增强的景深来采集特定特征。在另一范例中，能够融合不同的颜色通道，例如使用RGB2Y操作。以这种方式，能够增大信噪比。同样地，通过应用颜色分离步骤，并且能够利用不同并且最优化的2D平滑内核。

在范例中，所述第一工作图像数据或者是第一图像数据或者是第三图像数据，并且其中，所述第二工作图像数据或者是第二图像数据或者是第四图像数据。

换言之，采集特定特征的最佳焦点位置，并且这被用于填充正在生成的流式增强图像。

在范例中，所述处理单元被配置为计算针对第一图像数据的第一能量数据，并且计算针对第三图像数据的第三能量数据，并且生成所述第一工作图像包括根据所述第一能量数据和所述第三能量数据来选择第一图像数据或第三图像数据，并且其中，所述处理单元被配置为计算针对第二图像数据的第二能量数据，并且计算针对第四图像数据的第四能量数据，并且生成所述第二工作图像包括根据所述第二能量数据和所述第四能量数据来选择第二图像数据或第四图像数据。应当再次提到的是，在此的“图像数据”不一定意指由探测器例如沿着线图像采集的所有图像数据。事实上，所述选择是基于像素的，意指例如一行扫描的子集能够形成第一图像数据。这样做的原因是线扫描的部分能够聚焦，并且这些部分应当与聚焦的工作图像的不同相关部分融合。

在范例中，高通滤波器被用于计算能量数据。在范例中，所述高通滤波器是拉普拉斯滤波器。在这个每个横向位置处，能够在具有增强景深的2D图像中选择并使用在特定深度处最佳聚焦的特征。

在范例中，在过滤之后应用平滑操作。以这种方式，能够减少噪音。

在范例中，并非应用拉普拉斯滤波器，而是将所采集的数据变换到小波域，其中，高频子带能够被用作能量的表示。这能够与iSyntax压缩进行组合(参见例如US 6711297 B1或US 6553141)。

在范例中，并非选择第一图像数据或第三图像数据，而是基于第一图像数据和第三图像数据的能量分布使用特定加权来组合第一图像数据和第三图像数据。

在范例中，所述处理单元被配置为：如果所述第一图像数据被选择作为第一工作图像，则生成第一工作能量数据作为第一能量数据；或者如果所述第三图像数据被选择作为第一工作图像，则生成第一工作能量数据作为第三能量数据，并且其中，所述处理单元被配置为：如果所述第二图像数据被选择作为第二工作图像，则生成第二工作能量数据作为第二能量数据；或者如果所述第四图像数据被选择作为第二工作图像，所述第二工作图像是第四图像数据，则生成第二工作能量数据作为第四能量数据。

在范例中，所述显微镜扫描器被配置为采集第一横向位置处的第五图像数据以及第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对第一和第三图像数据的深度不同的深度处采集的，并且所述第六图像数据是在与针对第二和第四图像数据的深度不同的深度处采集的；并且其中，所述处理单元被配置为生成针对第一横向位置的新的第一工作图像数据，所述生成包括：通过焦点堆叠算法来处理第五图像数据和第一工作图像数据，其中，所述新的第一工作图像数据变为第一工作图像数据；并且所述处理单元被配置为生成针对第二横向位置的新的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理第六图像数据和第二工作图像数据，其中，所述新的第二工作图像数据变为第二工作图像数据。

在范例中，所述处理单元被配置为计算针对第五图像数据的第五能量数据，并且计算针对第六图像数据的第六能量数据；并且其中，所述处理单元被配置为：如果所述第一工作图像被选择作为第五工作图像，则生成新的第一工作能量数据作为第五能量数据；或者如果所述第一工作图像被选择作为现有的第一工作图像，则生成新的第一工作能量数据作为现有的第一工作能量数据；并且其中，所述处理单元被配置为：如果所述第二工作图像被选择作为第六工作图像，则生成新的第二工作能量数据作为第六能量数据；或者如果所述第二工作图像被选择作为现有的第二工作图像，则生成新的第二工作能量数据作为现有的第二工作能量数据。

在范例中，确定特定横向位置处(即，在x坐标处)的能量的加和的度量。以这种方式，能够确定组织的厚度，因为这与每幅图像中的能量有关(例如，与每层中的能量有关)。

图2示出了用于在其基本步骤中生成生物样本的具有增强景深的合成2D图像的方法100。所述方法包括以下步骤：

在采集步骤110中，也被称为步骤a)，显微镜扫描器20被用于采集生物样本的第一横向位置处的第一图像数据，并且被用于采集生物样本的第二横向位置处的第二图像数据。

在采集步骤120中，也被称为步骤b)，所述显微镜扫描器被用于采集第一横向位置处的第三图像数据，并且被用于采集第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对第一图像数据的深度不同的深度处采集的，并且所述第四图像数据是在与针对第二图像数据的深度不同的深度处采集的。

在生成步骤130中，也被称为步骤e)，生成针对第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。

在生成步骤140中，也被称为步骤f)，生成针对第二横向位置的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第二图像数据和所述第四图像数据。

在组合步骤150中，也被称为步骤l)，在图像数据的采集期间组合所述第一工作图像数据与所述第二工作图像数据，以生成生物样本的具有增强景深的合成2D图像。

在范例中，所述显微镜扫描器被配置为采集生物样本的第一区段的图像数据，以采集第一图像数据和第二图像数据，并且其中，所述显微镜扫描器被配置为采集生物样本的第二区段的图像数据，以采集第三图像数据和第四图像数据。

在范例中，所述显微镜扫描器包括探测器，所述探测器被配置为采集生物样本的倾斜区段的图像数据。

在范例中，所述探测器是包括至少两个活跃区域的2D探测器。在范例中，每个活跃区域被配置为时间延迟积分(TDI)传感器。

根据范例，步骤a)包括采集在生物样本的第一横向位置处并且在第一深度处的第一图像数据，并且同时采集在生物样本的第二横向位置处并且在第二深度处的第二图像，其中，所述第一深度与所述第二深度不同；并且其中，步骤b)包括采集在第一横向位置处并且在第三深度处的第三图像数据，并且同时采集在第二横向位置处并且在第四深度处的第四图像数据，其中，所述第三深度与所述第四深度不同。

在范例中，所述样本处在相对于显微镜的光轴的第一位置处以采集第一图像数据和第二图像数据，并且所述样本处在相对于光轴的第二位置处以采集第三图像数据和第四图像数据。

在范例中，所述样本被配置为相对于所述光轴在横向方向上被移动，其中，所述样本处在第一位置处以采集第一图像数据和第二图像数据，并且所述样本处在第二位置处以采集第三图像数据和第四图像数据。

在范例中，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为基于包括多种颜色中的一种或多种颜色的图像数据通过焦点堆叠算法来处理图像数据。

在范例中，所述第一工作图像数据或者是第一图像数据或者是第三图像数据，并且其中，所述第二工作图像数据或者是第二图像数据或者是第四图像数据。

根据范例，所述方法包括：

在计算步骤160中，也被称为步骤c)，计算针对第一图像数据的第一能量数据，并且计算针对第三图像数据的第三能量数据。

在计算步骤170中，也被称为步骤d)，计算针对第二图像数据的第二能量数据，并且计算针对第四图像数据的第四能量数据；并且

其中，步骤e)包括选择第一图像数据或第三图像数据作为第一工作图像，所述选择包括第一能量数据和第三能量数据的函数；并且其中，步骤f)包括选择第二图像数据或第四图像数据作为第二工作图像，所述选择包括第二能量数据和第四能量数据的函数。回想一下，这种选择能够是局部(像素或数个像素)水平而不是整个像素线，换言之，在与像素线的部分相关的水平上。

根据范例，所述方法包括：

在生成步骤中，也被称为步骤g)，如果第一图像数据被选择作为第一工作图像，则生成180第一工作能量数据作为第一能量数据；或者如果第三图像数据被选择作为第一工作图像，则生成190第一工作能量数据作为第三能量数据；并且

在生成步骤中，也被称为步骤h)，如果第二图像数据被选择作为第二工作图像，则生成200第二工作能量数据作为第二能量数据；或者如果第四图像数据被选择作为第二工作图像，所述第二工作图像是第四图像数据，则生成210第二工作能量数据作为第四能量数据。

回想一下，所述探测器能够采集线图像数据，使得第一图像是该线图像数据等的子集，其中，选择能够在局部(像素)水平处进行，使得图像能够被组合以创建具有来自输入图像中的每幅输入图像的焦点中的特征的新的工作图像。

根据范例，所述方法还包括：

在采集中，也被称为步骤i)，采集220在第一横向位置处的第五图像数据，并且采集230在第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对第一图像数据和第三图像数据的深度不同的深度处采集的，并且所述第六图像数据是在与针对第二图像数据和第四图像数据的深度不同的深度处采集的。

在生成步骤240中，也被称为步骤j)，生成针对第一横向位置的新的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理第五图像数据和第一工作图像数据，其中，所述新的第一工作图像数据变为第一工作图像数据。

在生成步骤250中，也被称为步骤k)，生成针对第二横向位置的新的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理第六图像数据和第二工作图像数据，其中，所述新的第二工作图像数据变为第二工作图像数据。

现在将参考图3-18来更详细地描述用于生成生物样本的具有增强景深的合成2D图像的系统和方法。

图3和图4帮助示出了通过用于生成生物样本的具有增强景深的合成2D图像的系统和方法所解决的问题。在病理学中，使用显微镜来分析组织样本或涂片的图像。在组织病理学和/或细胞病理学中，病理学医师对组织进行研究以做出诊断。组织样本是被安放在两个玻片之间的薄片组织。该组织不是完全平坦的并且通常不与成像系统的焦平面完美对齐。除此之外，组织的细胞位于组织层中的不同高度处。因此，2D组织图像中的大部分细胞将失焦。这在图3和图4中被图示出，其示出了在20×放大下观察到的组织样本中的焦点变化。在这两幅图中的左手侧图像中，实线指示处在适当的焦点在若干个细胞核。在这两幅图中的右手侧图像中，左手侧图像的放大部分示出了在焦点中的细胞核以及在焦点外的细胞核。被用于采集该图像的显微镜被聚焦在焦点所在的细胞核所处的深度处。显微镜具有焦深，使得在该焦深内或多或少的特征聚焦。然而，右手侧缩放图像的顶部中的细胞核位于该焦深外部的深度处，并且因此失焦。

在实践中，病理学医师使用显微镜的微焦旋钮以在z方向上导航到右平面。目前，病理学医师越来越多地转向数字工作流。然后，利用数字扫描器采集图像数据并且将其存储在服务器上，并且病理学医师在屏幕上对图像进行分析。由于数字扫描器的光学件也具有有限的景深，因此需要对组织样本进行3D扫描。然而，这导致需要存储大量数据。

图5示意性示出了焦点堆叠技术的范例。正在使用显微镜采集苍蝇的图像，其深度大于显微镜的焦深。在不同焦点位置处采集多幅数字图像，使得苍蝇的不同部分在不同图像中聚焦。在一幅图像中，苍蝇的前部是聚焦的，而苍蝇的后部则是失焦的。在另一幅图像中，苍蝇的前部是失焦的，而苍蝇的后部则是聚焦的。换言之，采集图像的3D堆栈，其中，每幅图像是在特定焦深处的2D图像。在采集图像之后，能够对其进行比较以确定苍蝇的哪些部分在哪幅图像中聚焦。然后，根据来自不同图像的苍蝇的聚焦内部分来生成合成图像。然而，必须存储不同焦深处的所有图像，这需要非常大的图像缓存器，并且仅在已经采集了所有图像之后确定增强图像，并且每幅图像仅涉及一个深度。

用于生成生物样本的具有增强景深的合成2D图像的系统和方法通过提供流式焦点堆叠技术解决了上述问题，该技术能够被应用于在采集数据时将图像数据转换为具有增强景深的人造(合成)2D图像。这是“即时”完成的，不需要保存中间图像文件，从而无需非常大的图像缓存器。在范例中，同时从多个z位置(深度)采集图像数据。参考图6-18具体讨论用于生成生物样本的具有增强景深的合成2D图像的系统和方法。

图6示意性示出了组织玻片组件的截面的两个示图。组织玻片组件包括：显微镜玻片1，其具有1mm的典型厚度；盖玻片2，典型厚度为0.17mm；用于固定和密封组织层4的安装介质3。组织层4的厚度大约为10-20μm，其中安装介质3形成厚度能够为15-30μm的层。在将盖玻片附接到玻片之前，能够将安装介质以流体形式应用于具有组织层的玻片，随后，安装流体凝固并且因此机械地固定组织层并密封外部环境，以便提供抗劣化的稳定性。组织层的深度位置可以在安装介质层之内变化，并且组织玻片组件自身能够不是完全平坦的或者例如由于倾斜而未对准(如在图6的下部图像所示的)。此外，需要被成像的病理特征(例如，组织病理学和/或细胞病理学特征)自身能够在10-20μm厚的组织层内处在不同的深度处。

图7示意性示出了被用于生成如在图6中所示的这样的生物样本的具有增强景深的合成2-D图像的显微镜扫描器的范例。该显微镜扫描器被布置用于对如在图6所示的组织层(例如，生物样本)进行成像。组织玻片组件被放置在订单样本的保持表面中，这在图中未示出。沿着成像路径P并且从组织玻片组件开始，所述显微镜扫描器包括：显微镜物镜22，其通常由多个透镜22a、22b和22c构成；孔径21用于阻挡辐射。所述显微镜扫描器还包括管透镜23以及2-D探测器阵列40形式的传感器。所述探测器相对于显微镜物镜的光轴O倾斜，并且这形成了在物体(样本)中的探测器的倾斜投影(区段)。这样的倾斜区段也可以通过例如使用棱镜而不是使探测器倾斜到光轴而光学地形成。在另一范例中，对于显微镜物镜的光轴O平行于探测器表面的法线的情况，实现了被配置为采集生物样本的倾斜区段的图像数据的探测器。而是样本台自身相对于光轴O倾斜，并且样本平行于样本的倾斜角度扫描。所述显微镜扫描器包括控制模块25，控制模块25能够是处理器30的部分，控制所述扫描器的操作过程和扫描过程以对样本进行成像。穿过玻片1、盖玻片2、安装介质3和组织层4的光被物镜22捕获，并且由管透镜23成像到2-D探测器阵列40上。注意，相对于光轴“倾斜”意指来自样本的、撞击到探测器上的辐射不垂直地撞击(如所讨论的，这能够通过传感器自身的倾斜来实现，或者针对非倾斜传感器以光学方式实现)。

图8用于帮助解释用于生成生物样本的具有增强景深的合成图像的系统和方法的一个范例。图8示意性示出了跨组织玻片组件横向地延伸的特征，诸如组织层4的部分。所述组织层跨组织玻片组件在深度中变化的距离大于显微镜扫描器跨物体(样本)中的探测器的投影(区段5—被示为在不同时间采集的两个区段5a和5b)的位置处的焦点深度。在横向位置x1处，组织层4具有待成像的特征A，诸如已经利用染料着色的组织的特定部分，使得其特征在于发射绿光。在横向位置x2处，组织层4具有待成像的特征B，诸如已经利用染料着色的组织的特定部分，其特征在于发射绿光。换言之，特征A和特征B可以是相同类型的材料。然而，特征B可以是与位置x1处的不同类型的材料，其中，在位置x2处没有与位置x2处的相同的材料，而是例如特征B已经利用染料着色，其特征在于发射红光。然而，当观察整个组织样本时，病理学医师希望能够同时看到特征A和特征B跨组织玻片组件聚焦。能够如下地解释本系统和方法的范例。所述显微镜扫描器被配置为使得采集样本的区段5a的图像数据。换言之，所述显微镜扫描器的探测器的投影位于图8中所示的位置(a)处。所述显微镜扫描器具有焦深，使得在区段5a的任一侧的小距离内的特征聚焦。因此，在所采集的区段5a的第一图像中，组织层4在位置x1处失焦，失焦特征称为A'。然而，在所采集的区段5a的第一图像中，组织层4在位置x2处聚焦，其中，焦点特征被称为B。所采集的图像变为工作图像。然后移动显微镜物镜，使得需要数据的区段5已经被垂直地移动到样本中的位置5b。并非移动物镜，样本自身可以被向下地移动(平行于光轴O，如在图7中所示的)。在该第二图像中，在位置x1处，现在特征A处在焦点中，而特征B失焦B'。未示出的处理单元然后更新工作图像，使得位置x1处的图像数据从在第一图像中采集的图像数据改变为在第二图像中采集的图像数据(A'变为A)，而在位置x2处的图像数据不改变。这能够在沿着探测器的多个位置处进行，并且也可以在穿过样本的多个垂直位置进行。然后，所述工作图像在所有横向位置(x)处即时利用在该横向位置处的大部分聚焦的特征连续地更新。仅需要保存工作图像并且与刚刚已经采集的图像进行比较，并且不需要保存所有先前所采集的图像。以这种方式，所述工作图像包含的特征在聚焦中，但是也在大于显微镜的焦深的深度处。在已经垂直进展通过所述样本之后，整个样本自身能够被横向地平移，并且对于样本中尚未被成像的部分重复所述操作。因此，在扫描样本的同时创建具有增强焦深的即时图像，这使得能够节省大量数据。在图8中所示的范例中，探测器在样本(区段5)处的投影被示为垂直于光轴O，然而，显然，这种所描述的用于生成具有增强景深的图像的流技术能够在探测器在样本处的投射是区段5倾斜(即，不垂直于光轴O)时操作。

图9用于帮助解释用于生成生物样本的具有增强景深的合成图像的系统和方法的另一范例。图9示意性示出了特征，诸如组织层4的部分，如在图8中所示的。再次地，所述组织层跨组织玻片组件的深度变化的距离大于探测器跨物体(样本)中的投影(区段5——被示为在不同时间获得的两个区段5a和5b)的位置处的显微镜扫描器的焦深。在横向位置x1处，组织层4具有待成像的特征A，诸如已经利用染料着色的组织的特定部分，使得其特征在于发射绿光。现在，所述显微镜扫描器包括探测器，所述探测器被配置为采集生物样本的倾斜区段(5a、5b)的图像数据。如上文所论述的，这能够通过倾斜探测器实现或者以光学方式实现。在所采集的区段5a的第一图像中，组织层4在位置x1处聚焦，这被称为特征A。然而，在区段5a的第一图像中，组织层4在位置x2处失焦，这被称为特征B'。对于关于图8所描述的范例，所采集的图像变为工作图像。然后，所述显微镜扫描器被配置为移动探测器的投影(区段5)，使得倾斜区段5a横向地移动并且被示为倾斜区段5b。样本台横向地移动，以便在样本内的不同横向位置处采集倾斜区段的图像数据。然而，如本领域技术人员将理解的，透镜和/或探测器的移动可以影响倾斜区段的这种移动。在新的位置、称为(b)处，所述探测器再次采集位置x1和位置x2处的数据，然而，探测器的不同部分现在采集该数据针对倾斜区段仅横向地移动的情况。在第二图像中，在位置x1处，组织层4现在失焦，其中所采集的图像被称为A'，而位置x2处的组织层4处在聚焦中，其中这被称为特征B。未示出的处理单元然后更新所述工作图像，使得位置x1处的图像数据保持原样，而位置x2处的图像数据被改变为在第二图像中采集的图像数据(B'变为B)。这能够在沿着探测器的多个位置处进行，每个位置等于通过样本的不同垂直位置。在倾斜区段5横向地扫描通过样本时，所述工作图像然后在所有横向位置(x)处即时利用在该横向位置的大部分聚焦的特征连续地更新。仅需要保存工作图像并且将其与刚刚已经采集的图像进行比较，并且不需要保存所有先前采集的图像。以这种方式，所述工作图像包含的特征处在焦点中，但是也处在比显微镜的焦深更大的深度处。通过横向进展通过样本之后，整个样本自身能够被横向地平移，垂直于先前的扫描方向，并且对于样本中尚未成像的部分重复操作。换言之，在扫描样本的同时创建具有增强焦深的即时图像，这使得能够节省大量数据。在图9中，倾斜区段5被示为仅在x方向上横向移动，然而，除了移动样本台使得倾斜区段横向地移动，显微镜物镜能够在光轴的方向上垂直地移动，使得倾斜区段横向地和垂直地移动。以这种方式，所述显微镜扫描器能够跟随层4的垂直位置的大尺度偏差。

图10示意性示出了组织玻片组件以及2D探测器阵列的投影，并且用于帮助进一步解释用于生成具有增强景深的合成2D图像的系统和方法的范例。图10再次图示了组织玻片组件，其具有玻璃玻片1、盖玻片2、安装介质3和组织层4。探测器的2-D阵列的投影被示为区段5，其对应于传感器能够实际检测图像的组织玻片组件(和样本)的区域。示出了笛卡尔坐标系X'、Y、Z，其中，探测器已相对于X'轴倾斜30°的角度β'。在范例中，X'和Y位于水平平面中，并且Z在垂直方向上延伸。换言之，所述探测器位于X-Y平面中，从水平面倾斜。应当理解，这些轴是相对于如在图7中所示的示意系统而描述的，其中，所述探测器在沿着光轴O的直线中，然而，技术人员将理解，可以利用一面或多面镜子，使得如在图7中所示的垂直取向的探测器将不倾斜。轴X'处在横向方向上，所述横向方向是扫描方向，并且在该范例中垂直于光轴O。由于样本具有折射率，因此区段5使得样本中的β不同于探测器的倾斜角度β'(类似于一半在水中一半在水外的棒子，似乎在空气与水之间的界面处弯曲)。倾斜截面5在图10中所示的交叉点I处与组织层4相交，然后交叉点I处在聚焦中。如将参考图12更详细地讨论的，探测器以线扫描模式操作。换言之，能够激活一行或多个相邻行的像素，其中，每行位于横向位置x'处并且沿着Y轴延伸到如在图10中所示的页面中。如果组织层4没有在Y方向上成角度，那么交叉点I将沿着Y轴处在相同的深度Z处，并且交叉点I将被一个或多个激活的行成像在焦点中。然而，交叉点I不仅能够沿着其长度在X'和Y坐标上变化，而且待成像的不同特征能够存在于样本的Y轴上。因此，返回参考图8和图9，以及如何连续地生成工作图像，能够认为这些示图表示在一个Y坐标处穿过如在图10中所示的组织玻片组件的切片。然后，对不同Y坐标处的所有切片执行如参考图8和图9所解释的过程。换言之，针对不同倾斜区段5而采集的在每个X'、Y位置处但是具有不同Z坐标的图像数据被连续地更新，以在该X'、Y位置处具有最佳聚焦特征，其中，该更新能够意指如果新的图像数据具有更好的焦点，则刚采集的图像中的图像替换工作图像中的对应图像，或者如果工作图像具有更好的焦点，则工作图像保持与该X'、Y坐标处的图像保持一致。

图11示意性示出了组织玻片组件的截面，其中示出了2D探测器阵列的投影并且用于帮助解释系统设置。如从图11看到的，倾斜的探测器产生组织玻片组件的倾斜截面5的图像。所述倾斜在扫描方向6上，在横向方向(X')上。沿着X轴，探测器作为Nx像素，并且在扫描(横向)方向X'上以每像素Δx'并且在平行于光轴O的轴(垂直)方向7(Z)上以每像素Δz对物体进行采样。在X方向上，每个像素具有长度L。如上所述，探测器倾斜角度β'，因此，在物体处的横向和轴向采样由下式给出：

其中，M是放大率，并且n是物体的折射率。

图12示意性示出了范例2D探测器阵列，其采集用于生成具有增强焦深的图像的数据。以白色示出的像素对光敏感，并且如果被激活则可以被用于信号采集，未示出的其他像素被用于暗电流和信号偏移。未示出的多个像素表示像素电子件。多个像素行(或线)形成个体线成像探测器，其参考图10在一个X'、Z坐标处并且沿着Y轴延伸到页面中。能够使用时间延迟积分(TDI)将包含相邻像素线的像素条带组合成单行像素值。能够在不同的范例探测器中组合不同数量的线，其中，例如可以使用TDI来组合2、3、4、5、10或更多个相邻的像素线。实际上，每个像素条带能够充当个体TDI传感器，由此改善信噪比。对于该探测器，每个线成像探测器具有在Y方向上延伸的数千个像素的长度，其例如表示如在图10中所示的线I。例如，长度能够是1000、2000、3000、4000、5000或其他数量的像素。如果在横向扫描期间不使用聚焦致动器来移动物镜，则每个线探测器将在显微镜扫描器的焦深上以恒定深度对样本进行成像，其大约为1μm。如所讨论的，如果TDI被激活，则每个像素条带能够表示单个TDI块的多个行。所述探测器包含许多这些块，其由读出电子件隔开。例如，所述探测器能够包含100、200或300个块。所述探测器能够具有其他数量的块。关于截面5，其是探测器在样本中的投影，能够使用上面的等式来计算每个TDI块之间在z方向上的距离。因此，在焦深为大约1μm的情况下，能够在该焦深内分布多个TDI块。所述探测器能够被配置为使得块之间在z方向上的距离能够改变，并且所述距离能够在各块之间变化。这些TDI块中的一个TDI块，或者实际上在该焦深内的多个这些块，能够个体地使用或者一起使用以提供在特定深度处的图像数据。然后，能够激活沿着X轴在探测器的不同位置处的一个或多个TDI块，以采集焦深上的样本的不同深度处的图像数据。第二深度与第一深度分离至少焦深(大约1μm)。在特定深度处的焦深上的每个TDI块或多个TDI块在样本内扫出一层图像数据，所述层的厚度大约等于显微镜的焦深(～1μm)。因此，为了采集针对厚度为8μm的样本的数据，意指沿着探测器在不同位置处的八个这样的TDI块，每个在不同的深度和横向位置处，但是沿着其长度具有相同的深度，能够被用于从样本中采集图像数据。待成像的特征能够位于该8μm深度内的任何位置。因此，在截面5横向地扫过样本时，这八个TDI块中的每个TDI块将在样本的相同X'、Y坐标处但是在不同深度Z处采集图像数据。因此，应当注意，用于采集数据的活跃TDI块能够与通过未采集数据的多个TDI块采集数据的另一活跃TDI块隔开。包括来自这8个TDI块的图像数据的第一图像被用于形成包括针对被成像的每个X'、Y位置的图像数据的工作图像。当截面5在样本内横向地被移动时，将采集针对已经被成像的大部分X'、Y位置的图像数据，但是对于那些X'、Y位置处在不同的深度处。如参考图8和图9所讨论的，更新所述工作图像，使得其包含迄今为止所采集的X'、Y位置处的最佳聚焦图像。这能够即时完成，无需保存所有图像数据，而是保存工作图像文件并且与刚刚采集并在必要时更新的图像文件进行比较。由此生成具有增强景深的合成2D图像，其中，所述样本中的一个深度处的特征能够在焦点中，并且样本中的不同深度处的不同特征也能够在焦点中，其中，那些深度大于系统的焦深，使得不能够将两者在常规设置中都聚焦(其仅在系统的焦深上采集一个深度处的数据)。换言之，多个病理特征能够聚焦，而这些特征在样本内的深度不同地变化。并非将工作图像文件选择为新图像数据或维持原始工作图像数据，而是能够使用新图像数据与现有工作图像数据的加权和来提供经更新的工作图像。尽管所述探测器在线成像模式下工作，但是应当注意沿着线图像的个体区段单独地使用的。这是因为，沿着线图像的一个点处的特定特征能够是在焦点中，而另一特征由于其在焦点深度之外的不同深度处，在沿着线图像的另一点处能够是失焦的。因此，在更局部(像素)级别上进行选择，其中，像素能够表示足以与工作图像数据进行比较的若干个像素，以确定该横向位置(特定X'、Y坐标范围)中的哪些数据在最好的焦点中。用于采集数据的TDI块不是相对于彼此固定的，而是能够在探测器上下移动，并且还相对于彼此移动。在用于采集数据的TDI块之间的间隔能够保持与TDI块移动相同，或者在TDI块之间的间隔能够随着TDI块移动而变化，在相邻TDI块之间的间隔对于不同的TDI块不同地变化。这提供了以不同分辨率水平扫描样本的能力，并且在整个样本中具有不同的分辨率水平。例如，跨样本，待成像的特征可能主要位于样本的顶部中，并且也位于样本的底部中。然后，可以布置多个TDI块以扫描样本的顶部，并且布置多个TDI块以扫描样本的底部，其中，数个TDI块扫描样本的中心部分。

图13示意性示出了过采样的范例，其中，要针对中央清楚区域采集具有增强景深的图像。根据与先前的图相关的讨论，清楚的是，一旦样本处的探测器的投影(即，截面5)已经完全扫过样本的特定横向点，就会生成针对该点在所有可用深度处的图像数据。换言之，所述探测器的第一部分在一个极端深度处采集图像数据，并且当样本已经被充分地移动时，所述探测器的最后部分然后将采集另一极端深度处的图像数据。所述探测器的中间部分将采集中间深度处的图像数据。然而，这意指要在所有可用深度上扫描特定区域，所述探测器的投影必须从待扫描区域的一侧开始，并且刚好在待扫描的区域的另一侧之外完成，如在图13中所示的。换言之，在待扫描的区域的任一端存在特定量的过采样。关于与图11有关的讨论，然后能够容易地确定需要什么样的这样的过采样。

图14示意性示出了多个被成像的区域或层。换言之，每个层对应于在显微镜的焦深上的特定深度处的每个TDI块(或多个块)图像。如先前所讨论的，组织玻片组件可能未对准，或者待成像的样本可能在深度方向上显著变化。因此，在采集用于生成生物样本的具有增强景深的合成2-D图像的图像之前，获得组织玻片组件的相对低分辨率的图像。这被用于估计组织体积的z位置(深度)。换言之，在一个或多个位置(X'，Y)处，确定最佳焦点(Z)。然后，在流模式下生成具有增强景深的合成2-D图像的图像采集期间，在每个位置处，物镜沿光轴O(或者沿着光轴移动的样本)被适当地移动，并且激活多个TDI以采集上述数据。在范例中，并非通过物镜或样本台的移动来改变区段5的位置，而是根据需要使TDI的位置在探测器上下移动。在这种情况下，区段5能够以恒定的深度扫描，但是探测器的不同部分能够采集数据。备选地，并非获得先前的低分辨率图像，而是能够利用自聚焦(自动聚焦)传感器，例如在WO 2011/161594 A1中所描述的。在这样的自动聚焦配置中，如在图12中所示的探测器自身能够被配置为自动聚焦传感器，或者能够利用单独的自动聚焦传感器。这意指为了生成增强焦深的图像而采集图像数据的每个位置，能够确定样本的位置并且根据需要激活TDI。在图14中示出了结果，指示在扫描期间由单独的TDI成像的样本内的深度。如所讨论的，在每个横向位置处，将生成增强图像，使得在合成增强图像中存在特定深度处的特征，其中，在所得的增强图像中存在不同深度处(并且因此在不同层中)的特征。如上所述，生成所述增强图像而不必保存所有单独图像，而是仅保存工作图像并且将其与刚刚采集的图像进行比较，由此使得能够即时生成具有增强景深的图像，而无需大的图像缓存器。

以这种方式，所述系统能够即时生成能够具有聚焦的多个病理特征的图像，而这些特征在样本内处在不同的深度处。

图15示意性示出了用于生成生物样本的具有增强景深的合成2D图像的系统的范例。总的来说，台能够水平和垂直地移动样本。低分辨率相机LRCAM采集先验扫描以确定要跨组织玻片组件成像的样本的大致位置。在用于生成具有增强景深的图像的图像采集期间，如先前所讨论的利用物镜(HROBJ)和管透镜(HRTUB)。HRCAM是相机，包含所讨论的倾斜传感器。物镜(HROBJ)能够通过聚焦致动器(HRFOCACT)在深度方向上移动。因此，显微镜扫描器的全局功能如下：将玻片放置在扫描器的台(STAGE)上，然后低分辨率相机(LRCAM)在以高分辨率扫描玻片上的组织之前制作玻片的图像。该LR图像被用于导出(一个或多个)感兴趣区域，即，找到需要被扫描的玻片上的(一个或多个)区域。通过利用高分辨率相机(HRCAM)执行一次或多次扫描来扫描每个感兴趣区域。经由HRCAM测量焦距，并且经由聚焦致动器(HRFOCACT)自动地控制焦距。在扫描流程期间，经由以太网接口(GbE)将HR图像从扫描器传输到目的地(例如，IMS)。

参考图5简要介绍了焦点堆叠。在图16中，示出了用于生成具有增强景深的合成图像的焦点堆叠的范例工作流。为了便于解释，关于如在图8中所示的采集数据的系统描述了焦点堆叠，但是其适用于提供倾斜截面的倾斜探测器。在下文的讨论中，如先前所讨论的，层涉及显微镜扫描器在特定深度处的焦深上的样本中的该深度处被成像的内容。在此，因为所述解释涉及非倾斜探测器，所以层在样本内处在相同深度处，但是如所讨论的，该焦点堆叠过程同样适用于倾斜探测器以及采集数据的倾斜截面。因此，采集层n的图像。首先，确定在z位置n处采集的输入图像的能量的量。通过应用高通滤波器(即，拉普拉斯滤波器)，然后进行平滑操作(以减少噪声量)，来确定能量的量。其次，将该计算出的层n的能量的量与层≤(n-1)的能量进行比较。对于每个个体像素，确定是否应当使用当前层(即，层n的图像数据)或组合结果(即，层≤(n-1)的组合图像数据——如先前所描述的工作图像)；其结果是图16的“层选择”。第三，必须存储两个缓存器，亦即，组合图像数据(即，层≤n的图像数据)和组合能量数据(即，层≤n的)。然后，能够扫描下一层，并且重复该过程，直到已经采集并处理了最后一层。注意，层选择(即，你从哪层中选择的哪一部分)被用于组合来自层n的图像数据和组合图像≤(n-1)的图像数据的信息，以及用于能量。

因此，在范例中，倾斜传感器在流模式中与焦点堆叠相组合。然后，不再需要完全存储中间结果(即，层≤(n-1)的图像数据以及层≤(n-1)的能量)，而是仅需要由所使用的图像滤波器(即高通滤波器和平滑滤波器)的印记所确定的有限的图像历史和能量数据。每次通过倾斜传感器采集新的(倾斜的)图像时，确定该图像的每行(即，每z位置)的能量；如先前所论述的，倾斜图像位于Y(图像的行)和X'/Z(图像的列)的平面中。将这些能量值与先前的采集进行比较。对匹配(x'，y)位置执行比较，换言之，在局部水平(能够应用上述能量分析的足够像素)而不是整个线图像作为一幅图像。如果找到更多的聚焦能量，则更新图像数据。一旦已经评估了(x'，y)位置的所有z位置，就能够传送(组合-“工作”)图像数据。这消除了存储数十GB的中间结果的需要，而最终结果(即，增强焦深层)在扫描组织样本的最后部分之后(仍然)能直接可用。

图17和图18示出了最终结果，具有增强景深的图像，其是右手侧图像。左手侧图像是一个深度处的单幅图像，如通过常规显微镜所获得的那样。在右手侧图像中，与常规获得的特征相比，更多特征(细胞)处于焦点。

备选方案

在以上过程中，对于每个像素，最佳图像层由能量的量(即，高通滤波器)来确定。可能的实施方式是在确定高频信息之前融合不同的颜色通道(即，使用RGB2Y操作)。作为备选方案，能够使用(即，来自如LIS/HIS的外部源或通过图像分析而确定的)病理信息来更多地关注特定颜色。这甚至能够与额外的颜色分离步骤或颜色反卷积步骤进行组合。然后，能够使用一种(或多种)特定颜色染料(例如，聚焦于细胞核的染色质图案)通过能量的量来局部地确定最佳层。此外，添加颜色分离步骤能够导致使用不同的2D平滑内核。例如，细胞核包含比细胞质小得多的细节，并且因此，受益于较小的平滑内核(σ<2)。

在以上过程中，使用拉普拉斯高频滤波器。作为备选方案，能够将所采集的数据转换为小波域，其中，高频子带能够用作能量的表示。这能够与iSyntax压缩进行组合(参见例如US 6711297 B1和US 6553141)。

在以上过程中，在将图像发送到服务器之前，应用到具有增强景深的单个图像层的转换。还能够在服务器上执行到单个层的转换，使得传感器的输出被直接传送到服务器。

替代针对每个像素选择最佳层，还能够基于像素的能量的分布使用特定加权来组合多个层的像素值。

替代针对每个像素选择最佳层，还能够对相同z方向的倾斜传感器的所有像素进行求和。结果是模糊的加和图像，其随后能够利用简单的带通滤波器进行滤波。对于有关数字图片的求和的信息，参见US 4141032 A。

该方法也能够被用于测量组织的厚度，因为这与每层的能量有关。

在另一范例性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于被配置为在适当的系统上执行根据前述实施例之一的方法的方法步骤。

因此，所述计算机程序单元可能被存储在计算机单元上，所述计算机单元也可能是实施例的部分。所述计算单元可以被配置为执行或诱发执行上述方法的步骤。同样地，其可以被配置为操作上述装置的部件。所述计算单元能够被配置为自动地操作和/或执行用户的命令。可以将计算机程序加载到数据处理器的工作存储器中。因此，所述数据处理器可以配备成执行根据前述实施例之一的方法。

本发明的该示范性实施例包括从一开始就使用本发明的计算机程序以及通过更新将现有程序转换为使用本发明的程序的计算机程序。

此外，所述计算机程序单元可能能够提供所有必要的步骤以实现如上所述的方法的示范性实施例的流程。

根据本发明的另外的示范性实施例，提供了一种计算机可读介质，诸如CD-ROM，其中，计算机可读介质在其上存储有由前一部分所描述的计算机程序单元。

所述计算机程序可以被存储和/或分布在合适的介质上，诸如光学存储介质或者与其他硬件一起提供或作为其他硬件的部分而提供的固态介质，但是也可以以其他形式分布，诸如经由互联网或者其他有线或无线电信系统。

然而，所述计算机程序也可以通过如万维网的网络呈现，并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例，提供了一种用于使计算机程序单元能用于下载的介质，所述计算机程序单元被布置成执行根据本发明的前述实施例之一的方法。

必须注意，参考不同的主题描述了本发明的实施例。特别地，参考方法类型的权利要求描述了一些实施例，而参考设备类型的权利要求描述了其他实施例。然而，本领域技术人员将从以上和以下描述中领会，除非另外指出，否则除了属于一种类型主题的特征的任何组合之外，还考虑与不同主题的相关特征之间的任何组合以本申请被公开。然而，能够组合所有特征以提供多于特征的简单相加的协同效果。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是说明性或范例性的，而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。在相互不同的从属权利要求中记载特定措施的这一事实并不指示不能够有利地使用这些措施的组合。权利要求中的任何附图标记不应当被解释为限制范围。