用于生成样品概览图像的方法和显微镜与流程

1.本发明涉及一种用于生成样品的概览图像的方法，该样品借助于样品载体而被布置在显微镜的观察空间中。进一步地，本发明涉及一种被设置为执行该方法的显微镜。


背景技术：

2.由于在高倍率下物镜的小物场和低景深，显微镜的用户发现很难在观察空间中布置样品，使得待检查样品的特征位于具有高倍率的物镜的物场中。
3.因此，de 10 2017 111 718a1提出了一种用于生成和分析样品载体和/或布置在样品载体上的样品的概览对比度图像的方法。在该处理中，利用二维阵列型照明图案的透射光照射至少部分地布置在检测光学单元的焦点中的样品载体。利用样品载体的不同照明检测出至少两个原始概览图像，并且基于要从概览对比度图像中提取的信息，选择用于从至少两个原始概览图像计算概览对比度图像的计算算法。最后，基于要从概览对比度图像中提取的信息，选择用于提取信息的图像评估算法。概览对比度图像可以提供给用户用于导航目的。


技术实现要素：

4.不同类型的样品载体被用来借助于显微镜检查样品。举例来说，所采用的样品载体包括所谓的多孔板、室载玻片、培养皿、带盖玻片的载玻片等。
5.本发明的目标是开发已知方法以有能够非常可靠地生成独立于样品载体的样品概览图像的效果，概览图像允许显微镜用户导航到样品的期望位置，即，将待检查的样品位置定位在具有高倍率的物镜的视场和焦平面中。
6.该目标是通过主权利要求和备选独立权利要求的特征实现的。在从属权利要求中具体说明了有利的配置。
7.提出了一种用于生成样品的概览图像的方法，该样品借助于样品载体被布置在显微镜的观察空间中，其中由第一照明照射样品载体，其中使用显微镜的第一照明和概览相机生成初步概览图像，其中基于初步概览图像选择概览图像照明，其中由概览照明照射样品载体，其中基于初步概览图像做出关于需要使用概览相机进行多少次记录以记录整个样品载体区域的决定，并且其中使用概览照明和概览相机生成概览图像。
8.第一照明可以是反射光照明或透射光照明。还可以为第一照明提供反射光照明和透射光照明的组合。
9.在这种情况下，概览相机可以记录比由显微镜物镜记录的更大的物场。使用概览相机生成概览图像比使用具有低倍率的显微镜物镜生成概览图像需要更少的时间，在这种情况下，为了能够对整个样品进行成像，可以可选地必须使用拼接技术对多个单独的图像进行组合。同样地，概览相机可以具有比显微镜物镜更大景深的镜头。概览相机可以被布置在显微镜物镜的一侧，并且以斜视的方式布置在样品载体上。同样可以想到在显微镜的接物镜转轮的位置提供反射镜，所述反射镜使来自样品载体的光在概览相机的方向上横向偏
转。还可以想到，概览相机具有非远心镜头。
10.概览图像照明可以是反射光照明和/或透射光照明。人们已经发现，当使用透射光照明时，许多样品载体可以用更好的对比度表示，因此提高了低对比度样品的概览图像的质量。举例来说，可以在该处理中使用透射光暗场对比度。在一些样品载体的情况下，例如多孔板，样品载体的结构可能导致透射光照明的光被阻挡或偏转，使得概览图像相机的原始概览图像不能总是以期望的可靠性进行评估。这会使创建样品载体和样品的概览图像更加困难。如果用反射光照明照射这样的样品载体，那么通常可以非常可靠地创建概览图像，这是因为可以更好地识别样品载体的特征，并且随后可以通过具有更好可靠性的显微镜磨合在一定的位置。凭借使用第一照明首先生成初步概览图像并且基于初步概览图像选择概览图像照明，可以以更好的可靠性为不同的样品载体创建概览图像。对于概览图像，随后还可以使用反射光照明和透射光照明的组合，前者可以促进样品载体的更好识别，利用后者可以以更好的对比度来表示布置在样品载体上的样品(例如，布置在多孔板的孔中的细胞)。
11.可以在经过训练的基于机器学习的系统(ml系统)中处理初步概览图像，其中基于ml系统的输出，选择用于进一步概览记录的概览图像照明。举例来说，ml系统可能已经使用一组训练图像进行了训练，为每个训练图像提供规范，该规范关于是否可以使用反射光照明或使用透射光照明以更好的可靠性创建概览图像。同样可以想到，ml系统用来确定哪种对比度更适合概览图像的创建。举例来说，明场对比度或暗场对比度可以用于概览图像的创建。还可以想到，为了创建概览图像，明场对比度与暗场对比度组合。
12.在该方法的一种配置中，经过训练的ml系统的输出可以包括关于样品载体的样品载体类型的声明，并且可以基于样品载体类型来确定概览照明。举例来说，可以想到，ml系统已经被训练为基于初步概览图像来确定样品载体是多孔板还是带盖玻片的载玻片。在这种情况下，可以依据样品载体类型选择不同的概览图像照明。举例来说，可以为多孔板选择反射光照明。
13.在进一步的配置中，校准板最初被布置在显微镜系统的观察空间中。由校准照明照射校准板，其中使用校准照明和概览相机生成校准概览图像。反过来，校准照明可以是反射光照明或透射光照明。可以基于校准概览图像获得校准数据。借助校准数据随后生成初步概览图像和/或概览图像。特别地，校准板可以被理解为意指具有预定义校准结构的板。举例来说，校准板可能已经提供有参考点的预定义图案。校准板可以以这样的方式构成，其可以以所定义的方式插入到显微镜的载物台系统中。特别地，校准板可以被配置使得其能够以相同的相对位置和/或方向重复插入到显微镜的载物台系统。预定的校准结构可以允许进行光学畸变的校正，由概览相机的镜头引起所述畸变。同样地，可以促进透视校正，借助于该透视校正可以补偿概览相机相对于显微镜的载物台系统并且因此也相对于样品载体的非正交对准。此外，可以想到，校准概览图像用来描述由概览相机记录的原始图像的像素缩放与布置在位于显微镜观察空间中的样品载体上的样品上的样品结构的距离之间的关系。此外，校准板可以被布置在观察空间中的不同位置，并且可以针对各自位置生成校准概览图像。这可以促进上述校正和关系的进一步改善。举例来说，插入显微镜的载物台系统中的校准板可以借助平移单元横向地(即，在x方向和y方向上)并且主动地(即，在z方向上)移动。
14.特别地，校准板可以包括第一校准结构。校准概览图像可以包括第一校准结构的图像表示。可以使用显微镜的显微镜物镜生成第一校准结构的第一详细图像。基于校准概览图像和第一详细图像，可以获得用于在概览图像中定位样品的样品细节图像的校准数据。
15.进一步地，校准板可以具有第二校准结构。在已经生成第一详细图像之后，校准板相对于显微镜物镜的位置可以通过预定义的平移向量而改变，并且可以使用显微镜的显微镜物镜生成第二校准结构的第二详细图像。随后可以通过附加使用预定义的平移向量和第二详细图像来获得校准数据。
16.通过改变校准结构相对于显微镜的位置，可以将第一校准结构在一个点处带入显微镜物镜的物场，并且然后是第二校准结构。因此，可以在随后生成的概览图像与使用显微镜物镜获得的样品细节图像上的位置之间建立关系。特别地，为了确定关系，可以对第一校准结构和第二校准结构进行多次磨合。举例来说，可以考虑多于四个的校准结构，其也可以被称为参考点。鉴于生成校准数据所需的时间和校准数据的质量，使用正好四个校准结构的可能代表最佳效果。特别地，使用四个校准结构可能足以确定单应性。
17.随后可以使用用来记录校准结构的显微镜物镜来生成样品细节图像。然而，同样可以想到使用布置在相同光轴上的不同显微镜物镜。举例来说，在显微镜的接物镜转轮的情况下，显微镜物镜能够可重复地被布置在相同的光轴上。因此可以想到，无需为每个单独的显微镜物镜记录校准结构。然而，为了在概览图像中甚至更好地定位样品细节图像的目的，也可以为每个显微镜物镜提供记录校准结构的详细图像。
18.为了促进可靠地创建概览图像，可以借助校准板定期确定校准数据。特别地，可以在显微镜的运输或改装之后确定校准数据。在校准数据或校准数据记录已经被确定之后，它们可以用于创建多个样品的概览图像。以不同的方式表达，可以规定在概览图像的每次创建之前不确定校准数据。
19.在该方法的进一步配置中，为了生成初步概览图像，可以由概览相机记录至少两个初步原始概览图像，其中在初步原始概览图像中第一照明是不同的。举例来说，可以使用快速可切换的光源，例如led，其为了记录两个原始概览图像的目的至少在两组中使用。以这种方式，可以经由通过计算(例如通过选择相应原始概览图像的单独的像素值的最小值)的适当数字组合来抑制或减少光源的反射。同样可以想到，对于一个初步原始概览图像使用反射光照明，并且对于进一步的初步原始概览图像使用透射光照明。
20.同样地，为了生成概览图像，记录至少两个原始概览图像，其中原始概览图像的概览照明是不同的。如上所述，例如同样可以使用快速切换光源并且以通过计算的适当数字组合的方式来抑制或减少光源的反射。在此，用于原始概览图像的概览照明可以是多个反射光照明(例如在以多孔板形式的样品载体的情况下)或多个透射光照明(例如在以带盖玻片的载玻片形式的样品载体的情况下)。原则上，也可以考虑使用透射光照明和反射光照明的组合。
21.进一步地，提出了该方法的配置，其中，为了生成初步概览图像，由概览相机记录至少两个初步原始概览图像，其中样品载体的位置由原始概览图像之间已知的平移向量改变，其中在原始概览图像中识别相互对应的结构，并且其中从在原始概览图像中的相互对应的结构、已知的平移向量和校准数据中确定近似的焦点位置。特别地，可以确定距近似焦
点位置的距离。
22.进一步地，提出由概览相机记录至少两个原始概览图像，其中样品载体的位置通过原始概览图像之间的位移矢量而改变，其中概览图像基于原始概览图像，并且可选地，基于位移矢量，生成为马赛克概览图像。特别地，如果在概览图像中要成像的样品不能使用概览相机的单个原始概览图像完全成像，则这可能是有利的。组合多个原始概览图像以形成马赛克概览图像也可以被称为拼接。
23.进一步地，提出了显微镜，其包括概览相机、至少一个显微镜物镜、透射光单元、反射光单元和控制单元，其中控制单元被设置为执行上面描述的方法之一。
24.进一步地，公开了一种包括指令的计算机程序产品，当由显微镜的控制单元执行该程序时，其使后者执行上述方法之一。
25.最后，公开了一种用于校准显微镜的校准板，该显微镜包括概览相机和显微镜物镜，其中校准板包括至少一个第一校准结构，其能够由概览相机和显微镜物镜两者成像，特别是在使用校准照明时。
26.校准板可以促进校准数据的自动生成，借助于该校准数据可以校正没有远心镜头的概览相机的变形和畸变。这可以简化可导航概览图像的生成。
27.校准板可以包括在距第一校准结构预定义距离处的至少一个第二校准结构。在固定定义的空间位置提供多个校准结构可以进一步简化相应校准数据的生成。
28.特别地，校准结构可以被配置，使得在显微镜的典型的照明配置的情况下它们可以由显微镜物镜进行成像，并且使得它们的相对位置可以被确定。优选地，可以以优于20μm的精度确定校准结构的相对位置。
29.进一步地，校准结构可以被配置，使得它们可以在典型的照明配置的情况下由概览相机以这样的方式进行成像，可以用亚像素精度确定它们相对于概览相机的图像传感器的相对位置。
30.校准结构可以具有空间间隔，其具有较小的公差，特别是小于100μm的公差，并且其在它们的相对位置方面是定义的、稳定的且已知的，以便校准结构可以用来确定用于概览相机的畸变和透视校正参数。因此，当磨合校准板的不同校准结构(其也可以被称为校准特征)时，这些校准结构可以被带入显微镜物镜的像场中。
31.特别地，校准板可以具有棋盘格图案，其中第一校准结构对应于棋盘格图案的区域的一角。举例来说，棋盘格图案可以包括20
×
9个区域。可以在由概览相机生成的图像和由显微镜物镜生成的图像两者中以高精度确定棋盘格图案的区域的一角和/或棋盘格图案的区域的边缘，并且因此棋盘格图案特别适合于确定校准数据。
32.校准板可以被设置为漫反射光。以这种方式，可以避免校准板表面上的反射效应，使得校准结构可以在具有少量伪影的最坏情况下进行成像。
33.校准板可以是半透明的。即使使用透射光照明，这也可以允许校准结构进行成像。这可以进一步简化校准数据的可确定性。
34.优选地，校准板的校准结构被具体化，使得即使在具有高强度的照明(例如，由于激光)的情况下，它们也不会退化。
35.可以选择校准板的尺寸和性质，以便可以将校准板唯一地且重复地插入显微镜载物台的插座中。
36.在示例性实施例中，校准板实质上具有覆盖表面的平面。特别地，校准板的表面形貌可以具有小于100μm的高度偏差。这可以允许在使用显微镜物镜记录校准结构时，可以简化或免除用于校准特征的各种校准结构的(重新)聚焦。
37.校准板的生产处理可以确保校准特征的相对位置和方向相对于用于各种板的显微镜载物台的插入框架来说只有很小的公差。特别地，相对位置公差优于
±
500μm和/或角度公差优于
±
0.5
°
时，可以促进校准板在载物台中的定位。
38.校准板可以具有中心校准特征，其可以标记显微镜载物台的载物台孔的中心，使得可以更好地确定该载物台孔的中心以用于样品的检查。
39.至少校准板的第一校准结构可以是不对称的，以便可以自动检测校准板错误插入显微镜的载物台中。
40.进一步地，校准板可以具有通孔。这可以允许在显微镜的显微镜物镜上浸没液体的应用，而无需从显微镜的载物台移除校准板。因此，可以使用显微镜物镜进行参考记录，该显微镜物镜被提供用于与浸没液体组合使用，并且也可以被称为浸没物镜，而无需应用样品。
41.为了能够确定显微镜物镜的缩放比例和/或为了能够执行多个显微镜物镜的焦点比较和/或为了能够确定多个显微镜物镜之间的偏移，除了棋盘格图案之外，还可以提供校准结构。
42.注意到可以参考不同的实施方案类别来描述本发明的示例性实施例的事实。一些示例性实施例特别参考方法进行描述，而其他示例性实施例可以在相应装置的上下文中被描述。不管怎样，即使这些都属于不同的权利要求类别，本领域技术人员也可以从以上描述和以下描述中识别并组合该方法的特征的可能组合以及特征与相应系统的可能组合。
附图说明
43.下面参考以下附图描述示例性实施例，其中：
44.图1示意性地示出了显微镜；
45.图2示意性地示出了另一个显微镜；
46.图3示出了用于生成概览图像的方法的流程图；
47.图4示出了根据图3的流程图的细节；
48.图5示出了根据图3的流程图的细节；
49.图6示出了根据图3的流程图的细节；
50.图7示出了根据图3的流程图的细节；
51.图8示出了根据图3的流程图的细节；
52.图9示出了根据图3的流程图的细节；
53.图10示出了根据图3的流程图的细节；
54.图11示出了根据图3的流程图的细节；
55.图12示出了校准板；
56.图13示出了校准板的原始概览图像的一部分；
57.图14示出了校准板的详细图像；以及
58.图15示出了校准板中的校准结构。
具体实施方式
59.显微镜1000是在图1中示出的。该显微镜包括布置在接物镜转轮1110中的多个显微镜物镜1111、1112和1113。进一步地，显微镜1000包括载物台1120，其被设置为接收样品载体或校准板1200。载物台1120基本上与显微镜物镜1111、1112、1113或当前使用的显微镜物镜的光轴成直角对齐。借助平移单元1221，可以改变载物台1120相对于与显微镜物镜1111、1112、1113或当前使用的物镜的距离，即在z方向上。通常，为此，接物镜转轮1110相对于在z方向上固定的载物台1120移动。然而，作为原则的问题，同样可以想到相对于固定的接物镜转轮而移动载物台1120。此外，可以借助平移单元1221在x和y方向上横向地移动该载物台1120，以便样品载体或校准板1200的不同部分可以被带入当前使用的显微镜物镜的物场中。
60.进一步地，显微镜1000包括反射光单元1320和透射光单元1310，其各自由发光二极管的布置形成。举例来说，发光二极管可以以正则平面的二维阵列的形式布置。同样可以想到将发光二极管布置在球面上。进一步地，发光二极管的非周期性、特别是不规则的布置也是可能的。借助反射光单元1320和透射光单元1310，可以分别设置明场对比度或暗场对比度。在示例性实施例中，还可以单独控制反射光单元1320和透射光单元1310的单独的二极管。
61.进一步地，提供了概览相机1400，借助该概览相机可以对样品载体或校准板1200的较大区域进行成像。特别地，相机可以具有非远心镜头。在所示的示例中，概览相机1400被布置在接物镜转轮1110的一侧。因此，概览相机1400以倾斜方式对准样品载体或校准板1200。具有显著光学畸变的镜头通常用于概览相机中，这是因为所述概览相机通常被布置在距载物台1120较小的距离处，并且旨在同时具有较大的视场角(fov)。此外，由于概览相机1400相对于样品载体或校准板1200的视线倾斜，可能会出现透视畸变。
62.显微镜1000还包括允许控制前者的控制单元1500。
63.校准板1200具有校准结构1210，借助于该校准结构可以校正光学畸变和透视畸变，如下文将解释的。此外，具有校准结构1210的校准板1200允许由概览相机1400记录的原始环绕图像的像素比例与位于样品载体上的样品的样品结构的实际物理距离之间关系的确定。
64.图2示出了另一个显微镜2000，其类似于与显微镜1000。在这种情况下，元件2111、2112、2110、2120、2121、2310、2320以及2500对应于上面描述的元件1111、1112、1110、1120、1121、1310、1320以及1500。
65.与在图1中所示的显微镜1000相比，在图2中所示的显微镜2000的接物镜转轮2110中布置了反射镜2114来代替显微镜物镜。对显微镜2000的概览相机2400进行布置，使得可以借助于反射镜2114观察样品载体2200的较大区域。在这种情况下，从样品载体2200到概览相机2400的光束路径可以对应于概览相机2400相对于样品载体2200或载物台2120的实质正交对准。
66.与图1不同的是，布置在载物台2120上的不是校准板而是样品载体2200。在所示的示例中，样品载体2200是具有多个孔2220的多孔板。
67.图3中示意性描述的方法可以允许向用户提供使用如图1或图2所示的显微镜得到概览图像，借助该概览图像可以在样品中进行自身定位。在这种情况下，必要的方法步骤可
以很大程度上被自动执行，并且因此用户尽可能容易地和快速地获得满足它们要求的概览图像，并且因此他们可以花费更多的时间检查感兴趣的实际样品结构。在这种情况下，设计该方法使得其以非常广泛的样品载体和样品范围稳步地工作。特别地，例如，即使对于非常大的样品载体，诸如尺寸为128
×
86mm的多孔板，所描述的方法也可以允许概览图像的生成。
68.最初，例如借助校准板，在步骤3100中执行校准；这可以用于减少由概览相机记录的原始概览图像的畸变和变形，促进显微镜物镜相对于概览图像的物场的分配，并且最终还促进样品的物理尺寸的确定。步骤3100可以是可选的。特别地，可以想到不在每个概览图像的创建之前执行步骤3100。
69.进一步地，在步骤3200中确定为概览图像的呈现而优化的概览照明。概览照明可以是反射光照明或暗场照明。在此，可以基于识别的样品载体类型向用户提出概览图像照明，其中用户必须确认所述照明，或者可以自动采用所确定的概览照明。步骤3200优选地还包括对样品载体类型的识别。
70.如果样品载体类型被识别或者不能向用户提出优化的概览图像照明，则可以终止该方法(步骤3300)。
71.一旦确定了样品载体类型，就可以在焦点3400上进行磨合。
72.如果找到近似焦点位置(步骤3500)，则在下一步骤3600中做出关于概览相机的fov(视场)是否足以在概览图像中呈现整个样品的决定。一方面，这可以手动实现；然而，另一方面，也可以想到的是，控制单元已经识别出使用的样品载体类型大于概览相机的fov。
73.在足够的fov的情况下，在下一步骤(步骤3611)中实施识别样品载体。使用优化的概览图像照明(例如，在带盖玻片的载玻片的情况下使用具有暗场对比度的透射光照明，或在多孔板的情况下使用透射光照明)可以提高对样品载体及其结构的识别。
74.一旦在步骤3612中识别了样品载体，则在步骤3613中执行关于是否应该在概览图像中自动识别样品的检验。
75.如果是这种情况，则将自动识别样品。
76.如果在步骤3600中建立概览相机的fov不足以对整个样品进行成像，则凭借总是向一侧稍微移位的显微镜的载物台，在步骤3620中生成多个原始概览图像。单独的原始概览图像也可以称为图块。随后可以将单独的图块放在一起以形成马赛克(拼接)。在这种情况下，可以基于平移单元的已知运动范围形成马赛克图像，使得可以避免在基于单独的原始概览图像的对应结构的拼接期间可能发生的错误。
77.在步骤3621中，随后在步骤3621中执行样品支架的检测。样品支架可用于将样品载体安全地支撑在显微镜的载物台上。如果样品载体与显微镜物镜的距离发生变化或显微镜的载物台向一侧移位，则检测样品支架有助于避免显微镜物镜和样品支架之间发生碰撞。
78.如果在步骤3622中已经确定了样品载体的在先检测，则可以在进一步的步骤3623中查询关于是否还应该在概览图像中自动识别样品。
79.如果是这种情况，则在步骤3624中执行对概览图像中样品的自动检测。
80.在图4中更详细地解释了图3的步骤3100。最初，在步骤4100中，校准板以限定的方式固定到显微镜的载物台上。
81.随后，概览相机和接物镜转轮与显微镜载物台的距离被调节，使得借助概览相机可以对校准板的校准结构进行聚焦成像。该位置也可以被称为参考焦点位置4201。
82.在步骤4300中，由概览相机使用合适的校准照明，例如反射光照明，创建校准概览图像4301。在步骤4400中，显微镜的载物台可以横向地移位并且在步骤4500中可以获得移位的校准概览图像4501。
83.在进一步的步骤4600中从校准概览图像4301和移位的校准概览图像4501中获得校准数据4601。举例来说，这可以通过三角测量来促进。校准数据可以用于校正由于概览相机相对于样品载物台的非垂直的对准而导致的概览相机的物镜畸变和/或透视畸变。
84.在步骤4700中，可以借助于显微镜物镜记录校准板的校准结构的第一详细图像4701。
85.随后，可以在步骤4800中对校准板进行横向地移位，以这样的方式可以在步骤4900中使用显微镜物镜记录校准板的至少一个第二校准结构的第二详细图像4902。通常，在步骤4900中记录校准板的进一步校准结构的进一步详细图像4902。总的来说，可以记录例如四个校准结构。随后，可以在步骤4a00中获得用于在概览图像中定位详细图像的校准数据4a01。
86.在图5中更详细地解释了图3的步骤3400。在第一步骤5100中将概览相机的焦点带入参考位置。这可以凭借显微镜的载物台被拉近或远离概览相机来实施。在步骤5200中将显微镜的载物台置于中心位置。随后，在步骤5300中记录初步原始概览图像，并且基于在步骤3100中获得的校准数据针对畸变和变形进行校正，从而获得初步概览图像5301。与在步骤5400中类似，可以向显微镜的用户展示该初步概览图像5301。这可以允许用户在第一步中检验所提出的方法的正确功能。此外，可以在步骤5500中基于初步概览图像5301识别位于显微镜的观察空间中的样品载体类型5501。为此，可以使用例如ml(机器学习)系统，其已经使用大量样品载体图像进行训练。为了识别或分类样品载体类型5501，可以使用卷积神经网络(cnn)，例如，如在以下文章中更详细地描述，krizhevsky、sutskever、hinton：“imagenet classification with deep convolutional neural networks”(nips 2012)以及he、zhang、ren、sun：“deep residual learning for image recognition”(cvpr 2016)。
87.基于确定的样品载体类型5501，可以在步骤5600中选择旨在用于创建概览图像的概览图像照明5601。在这种情况下，可以自动选择概览图像照明5601。可替选地，可以想到基于所确定的样品载体类型5501向显微镜的用户提出概览图像照明，并且所述用户必须仅确认选择，尽管他们仍然可以选择不同类型的概览照明。
88.举例来说，图3所示的方法的步骤3400可以如图6所示执行。在第一步骤6100中执行检验，关于概览图像照明5601是否不同于用于记录初步概览图像5301的反射光照明。如果不是这种情况，则初步概览图像5301继续用作初步概览图像6111(步骤6110)。
89.如果概览图像照明5601不同于反射光照明，则在步骤6120中使用概览图像照明5601记录新的初步概览图像6111。新的初步概览图像6111可以依次展示给显微镜的用户(6130)。
90.基于初步概览图像执行分割(6200)并且获得掩模图像6201。特别地，掩模图像6201可以对样品载体的结构进行可视化。举例来说，可以基于全卷积网络(fcn)执行分割，
例如，如在以下文章中所描述的，chen、zhu、papandreou、schroff、adam：“encoder-decoder with atrous separable convolution for semantic image segmentation”(eccv 2018)，以及shelhamer、long、darrell：“fully convolutional networks for semantic segmentation”(pami 2016)。特别地，可以基于像素相关分类执行分割。
91.随后，在步骤6300中，显微镜的载物台被移位到一侧。使用概览图像照明5601，在步骤6400中记录进一步的初步概览原始图像，并且在畸变和变形的校正之后，获得移位的初步概览图像6401。在步骤6500中，可以基于移位的初步概览图像6401执行另一分割，以便可以获得移位的掩模图像6501。
92.在步骤6600中，可以基于掩模图像6201和移位的掩模图像6501确定近似的焦点位置。
93.确定近似的焦点位置6601可以考虑到该事实，接物镜转轮或概览相机与校准板之间的距离d1可能不同于物体旋转器或概览相机与样品载体之间的距离d2。特别地，在多孔板形式的样品载体的情况下，焦点位置应位于孔的底部而不是样品载体的下侧。
94.可以从文件de 10 2018 133 188a1中收集用于确定近似的焦点位置的方法的进一步的细节。
95.在步骤6700中，可以基于初步概览图像6111和近似的焦点位置6601获得校正的初步概览图像6701。随后，可以再次向显微镜用户展示校正的初步概览图像6701(步骤6800)。
96.在图7中更详细地解释了图3的方法步骤3611。在步骤7100中，基于初步概览图像6701生成样品载体掩模图像7101。在步骤7200中，使用样品载体掩模图像7101来识别样品载体的各个区域。在步骤7300中，可以向显微镜的用户展示所获得的样品载体信息7201。举例来说，可以向显微镜用户显示多孔板的各个孔。基于步骤7400，可以基于样品载体信息7201生成样品载体模板7401。举例来说，样品载体模板7401可以以简化的方式表示多孔板的不同孔，并且因此在这些孔上单独磨合是可能的。多孔板的各个孔可以按行和/或列进行编号。
97.图8以示例性方式示出了图3的方法步骤3614的细节。在第一步骤8100中，基于概览图像6701检查样品区域的记录的质量。基于与样品区域记录质量8101有关的信息，在步骤8200中做出关于是否可以执行样品区域的分割8300的决定。最初，当分割样品区域时，基于概览图像6701生成掩模8301。在步骤8400中，掩模8301被用来识别样品区域8401。特别地，掩模8301可以用于定义可以包含样品的区域。举例来说，在载玻片的情况下，应该检查的样品通常仅布置在盖玻片的区域中，而在多孔板的情况下，仅布置在孔内。在步骤8500中，将识别的样品区域8401显示给显微镜的用户。因此，后者可以借助自动化方法检验是否已经识别出正确的区域。基于样品区域8401，样品区域可以在步骤8600中被划分为更小的图块区域，可以借助显微镜物镜对其进行单独分析。
98.图9示出了图3的方法步骤3620的细节。基于概览图像照明5601，在方法步骤9100中使用显微镜载物台的移位来记录多个原始概览图像，使得在畸变和变形的校正之后，获得多个图块概览图像9101。在步骤9200中，各种图块概览图像9101被组合以形成概览图像9201，其中组合的概览图块图像9201也可以被称为马赛克概览图像。然后在步骤9300中，向显微镜的用户展示马赛克概览图像9201。
99.在图10中更详细地说明了图3的步骤3621。在第一步骤10100中，基于图块概览图
像9201生成大量图块掩模概览图像10101。在步骤10200中，图块掩模概览图像被组合以形成马赛克掩模图像10201。举例来说，这可以借助拼接来实施。在步骤10300中，基于马赛克掩模概览图像10201识别样品区域10301。在步骤10400中，向显微镜的用户展示样品区域。在步骤10500中，分析样品区域10301并且创建样品载体模板10501。
100.在图11中更详细地解释了图3的步骤3624。在第一步骤11100中，确定图块概览图像9201的质量。在步骤11200中，基于所确定的质量11101来定义该方法是否继续。在步骤11300中，基于图块概览图像执行样品区域的分割并且获得图块掩模概览图像11301。在步骤11400中，图块掩模概览图像11301被放在一起以形成马赛克概览图像11401。
101.在步骤11500中，马赛克概览图像11401被用于提取样品区域11501。在步骤11600中，随后向显微镜的用户显示所提取的样品区域11501。在步骤11700中，样品区域11501被划分为图块样品区域11701，可以使用显微镜物镜在个体的基础上对其进行更详细地检查。
102.图12示出了校准板12000的示例性实施例，其可用于上面描述的任何一种方法中。校准板12000具有至少一个通孔12021，其可以允许浸没液体应用于显微镜的浸没物镜上。进一步地，校准板12000具有包括多个校准结构的棋盘格图案12010。校准板1200可以是半透明的，尤其是透明的，使得当使用反射光照明和当使用透射光照明时，可以由概览相机和/或显微镜物镜记录棋盘格图案12010或棋盘格图案12010的一部分。
103.图13示出了如由显微镜的概览相机记录的校准板12000的第一校准结构的原始概览图像的一部分13001。图14示出了如使用显微镜的显微镜物镜记录的相同校准结构的详细图像14001。所利用的显微镜物镜是5x显微镜物镜，其具有比概览相机明显更小的像场。图13和14示出了，在这两种情况下校准板的相同校准结构都可以很好地进行成像，并且可以对棋盘格图案12010的区域的边缘进行聚焦成像，使得可以以自动化的方式执行用于校正畸变和/或透视变形的校准数据的生成。
104.如在图15中指示的，校准板12000除了棋盘格图案12010之外，还可以包括另外的校准结构12011、12012。举例来说，可以提供校准结构12011，其可以被用来光学确定显微镜的载物台的中心。此外，校准结构12012可以允许进行目标的缩放。校准结构12012还可以用于执行多个显微镜物镜之间的聚焦平衡和/或确定多个显微镜物镜之间的偏移。
105.总之，所描述的方法、所提出的显微镜和所公开的校准板促进了可导航概览图像的自动的、快速的创建。因此，显微镜的用户可以基于概览图像或从样品载体上样品的已知位置出发，快速导航到要检查的样品点，并且可以使用具有高倍率的显微镜物镜对所述点进行进一步分析。因此，用户可以最佳地使用他们的可用时间，并且因此他们可以快速获得结果。
106.在所描述的方法的范围内，已经用各种样品载体和样品的注释图像以及可能地用注释数据对不同的ml系统进行训练，可以用于识别样品载体类型、识别载玻片的盖玻片、用于分割多孔板，确定分类质量以及样品区域分割。特别地，在该处理中可以识别图像中的边缘和纹理。可以数字地识别目标部分，并且可以识别不同的目标。