显微系统和用于检验显微镜校准的方法与流程

1.本公开涉及一种显微系统和用于检验显微镜校准的方法。


背景技术：

2.在现代显微系统中，自动化发挥着越来越重要的作用。显微系统应该以部分或完全自动化的方式拍摄、接近和更详细地检查要检查的样品。在此，图像信息应该能够以尽可能高的质量显示给显微镜用户，而无需用户手动优化众多的设置。这些目标的相关部分借助于拍摄样品和样品环境的全景图像的全景相机来实现。例如可以由全景图像形成导航地图，用户可以在导航地图中，选择一个位置，然后可以通过机动样品台自动地接近该位置并以更高的放大倍率进行检查。全景图像还可以用于自动样品识别，例如通过识别并可选地更精确地自动检查微量滴定盘的单元格。全景图像也可以用于自动聚焦，例如通过从全景图像估计样品高度或确定随后执行自动聚焦方法所在的合适位置。
3.为了能够以这种方式使用全景图像，必须知道在全景图像的图像坐标和空间信息之间的关系，例如全景相机的视角和/或全景相机相对于参考点的位置。为此，对全景相机进行校准。例如，可以拍摄具有已知尺寸的校准对象的全景图像，从而可以确定与图像坐标的关系。全景相机的失真也可以通过这种校准确定并通过计算进行校正。
4.因此，这种类型的显微系统包括用于拍摄样品环境的至少一个全景图像的全景相机和被设置用于评估至少一个全景图像的计算设备。计算设备具有校准参数，利用该校准参数解释至少一个全景图像的图像坐标。
5.例如在us9344650b2和de102013012987a1中，申请人描述了一种光学设备，其中，借助于参考对象进行校准，以便借助于校准数据处理随后拍摄的图像。在de102017109698a1中，申请人公开了一种显微镜，其中，评估校准的全景相机的全景图像，例如以便对显微镜部件进行分类并且加载关于识别的部件的信息。申请人在de102013222295a1中描述了另一种用于带有旋转支架的显微镜的校准方法，以实现自动的对焦和图像中心跟踪。申请人在de102013006994a1中描述了全景图像的评估，例如用于确定和自动接近样品位置。申请人在de102019114117中描述了用于自动执行显微镜的工作流程的其他图像评估，为此，在全景图像中识别校准和特殊样品，该校准和特殊样品也可以例如是样品台上的标签。此外，申请人在de102020118801中描述了对显微镜的全景图像的评估。在此特别地，从全景图像中估计全景相机与样品平面之间的距离，为此可以使用在全景相机的视场中的参考标记。在de102020101191中，申请人描述了对显微镜的全景图像的评估，其中，确定单应性，全景图像通过该单应性被转换成另一种表示。在透视方面正确的单应性可以通过拍摄已知尺寸的校准样品等来确定。
6.如果用户可以重新配置、更换或不同地定位部件，则使确保正确的校准变得更加困难。例如可以重新配置机动台的限位开关。即使说明书指出要按照在这些措施执行新的校准，用户也可能忽略这一点。也可能在不知不觉中由于振动、松动的连接或温度变化引起变化。因此存在风险，即导航只会以降低的精度进行，并导致碰撞而损坏设备部件或样品。
频繁的校准，例如在每次系统启动时，是不可以取的，因为这需要时间和训练有素的用户。尽管大的安全容差即使在不正确的校准情况下也可以避免碰撞，但是它们不必要地限制了机动样品台的行程范围，并且无法消除基于图像的导航的不准确性。
7.为了识别是否需要维护，特别是是否需要校准，申请人在de102018133196a1中提出了一种机器学习模型。该机器学习模型可以在全景图像中识别与正确案例的偏差，例如通过用于检测异常而被训练的神经网络。因此，如果需要维护，原则上可以基于全景图像生成错误消息。值得期望的是，更精确地确定是否或在多大程度上校准仍然是适用的。


技术实现要素：

8.可以被看作是本发明的目的在于提供一种显微系统和一种用于检验显微镜校准的方法，其使得能够精确地使用全景图像并且尽可能精确地识别错误情况。
9.该目的通过根据本发明的显微系统和根据本发明的用于检验显微镜校准的方法来实现。
10.在上述类型的显微系统中，根据本发明，计算设备被设置用于从至少一个全景图像中确定关于在所述全景图像中成像的至少一个参考结构的几何信息，所述参考结构在所述全景图像中的位置或形状取决于至少一个显微镜部件的位置。通过用预先给定的参考数据计算所述确定的几何信息，计算设备确定是否所述显微镜部件发生了影响所述校准参数的有效性的变化。
11.在一种用于检验显微镜校准的方法中，根据本发明的一个实施方式，评估至少一个全景图像以确定在全景图像中成像的至少一个参考结构的几何信息，其中，所述参考结构在全景图像中的位置或形状取决于至少一个显微镜部件的位置。用预先给定的参考数据计算所述确定的几何信息以确定是否显微镜部件发生了影响校准参数的有效性的变化，所述校准参数用于解释至少一个全景图像的图像坐标。
12.本发明允许检验是否所使用的校准参数是适用的而为此无需特殊的测量。从全景图像中的参考结构确定几何信息不仅可以确定校准偏差本身，而且可以对其进行量化。这可以更准确地说明之前的校准参数是否是仍然适用的。在可选的改进方案中，校准偏差的定量评估被用于校正图像表示和/或控制显微镜部件。根据本发明的显微系统和根据本发明的方法的有利的变型是从属权利要求的主题并且在以下的描述中解释。
13.几何信息
14.几何信息例如可以涉及在全景图像中的参考结构的位置、定向和/或形状或在参考结构的两个或更多个预先给定的点之间的距离。在这里，参考结构在空间中的几何形状和尺寸是已知的。例如，参考结构可以包括显微镜部件的圆形、矩形或直线。因此，例如载玻片的边缘形成直线或矩形。圆圈可以被印在参考标签上或者可以通过一些用于样品载体的固定框架的开口给出。在全景图像中，这些几何形状的形状、位置、定向和大小取决于全景相机的位置、参考结构以及全景相机通过其观察参考结构的可选部件。参考结构的圆例如可以在全景图像中变形为椭圆，其中，特别地，可以将在全景图像中的椭圆的形状、大小和/或位置确定为几何信息。
15.几何信息的确定可以通过没有机器学习模型的经典的图像处理算法来完成。例如，可以使用边缘滤波器，据此可以以简单的方式测量作为参考结构或原则上任何不同地
设计成的参考结构的条形码。
16.备选地，计算设备可以具有训练的机器学习模型，该机器学习模型获得至少一个全景图像作为输入并输出几何信息。机器学习模型可以包括例如卷积神经网络(英文：convolutional neural network,cnn)，其获得至少一个全景图像或从其中导出的图像数据作为输入。机器学习模型的训练可以通过受监控的学习过程来进行，其中，预先给定了具有相应注释/标识的训练全景图像。标识可以对应于几何信息。例如，可以手动地预先给定在训练全景图像中的参考结构的位置。使用学习算法，用于根据注释的训练全景图像确定机器学习模型的模型参数。为此，可以优化预先给定的目标函数，例如可以使损失函数最小化。损失函数描述了在机器学习模型的预先给定的标识和当前的输出之间的偏差，该偏差通过来自训练全景图像的当前的模型参数值来计算。根据这种偏差，模型参数值会被改变，例如可以通过(随机的)梯度下降来计算。在cnn的情况下，模型参数特别地可以包括cnn的不同层的卷积矩阵的项。代替cnn，深度神经网络(英文：deep neural network)的其他模型架构也是可能的。
17.训练全景图像可以显示各种参考结构，针对该参考结构分别预先给定了作为标识的几何信息。由此模型被学习，该模型不仅可以识别在全景图像中的单个参考结构，而且可以识别在训练全景图像中包含的所有参考结构。
18.代替受监控的训练，还可以使用部分受监控的训练，其中，并非所有的训练全景图像都被注释。
19.参考结构
20.参考结构原则上可以是在全景相机的视场中的任何元件，其在全景图像中的位置或形状取决于显微镜部件的位置。例如，参考结构可以是或包括显微镜部件的元件，特别是显微镜部件的(螺纹)孔或螺钉。参考结构还可以是或包括显微镜部件的外形、台阶或边缘。此外，参考结构可以包括参考标记，例如标签、参考图案或文字说明，特别是在显微镜部件上。
21.因此参考结构在全景图像中的位置或形状取决于显微镜部件的位置，参考结构不必强制地是显微镜部件的一部分或与其刚性连接。例如，参考结构也可以通过固定的设备框架或显微镜支架形成或在固定的设备框架或显微镜支架上形成，并且显微镜部件可以是全景相机本身：参考结构在固定显微镜支架上的位置取决于全景相机的定位和定向。由此可以确定全景相机的未对准，例如旋转或位移。
22.在使用机器学习模型时，通过训练全景图像的注释可以定义什么是参考结构。例如，如果作为注释预先给定在训练全景图像中成像的对象的大小(例如以图像像素为单位测量)或形状，则该对象表示参考结构。
23.从同一个全景图像中，可以可选地确定关于多个所成像的参考结构的几何信息。参考结构在全景图像中的位置或形状在此可以取决于各种显微镜部件的位置。例如，一个参考结构可以存在于样品台上，而另一个参考结构可以存在于物镜旋座上或由物镜旋座保持的显微镜部件上。通过用预先给定的参考数据计算确定的几何信息，现在可以确定各种显微镜部件中的哪些微镜部件已经经历了变化，特别是未对准。例如，如果全景相机通过固定在物镜旋座上的反光镜观察样品台，那么可以通过多个参考结构区分，是否样品台或反光镜相对于校准参数基于的布置已经经历了无意的变化。
24.参考数据
25.参考数据可以在上次执行的校准期间被确定或在执行校准之后后被记录。通过将所确定的几何信息与参考数据进行比较或计算，因此可以确定是否发生了未对准，即相对于上次执行的校准是否发生了相关的变化。
26.作为一个简单的例子，参考数据可以表示关于参考结构的几何信息，即，例如在校准过程期间拍摄的全景图像中(代表参考结构的)标签的位置或大小，也就是说一种全景图像，关于该全景图像已知的是或被预先给定的是，校准参数是有效的。如果现在在参考数据和从当前的全景图像确定的几何信息之间发现差异，则可以由此推断出显微镜部件的变化。是否该变化足够大，以至于校准参数的有效性被认为为受损，这可以通过预先给定的阈值来确定。如果所述的差值在绝对值上大于阈值，则认为校准参数是无效的或受损。
27.对于上述情况，可以规定，在可运动的部件的设置下拍摄全景图像，所述设置对应于在确定参考数据时的设置。例如，可移动的样品台的台位置被设置为与在确定参考数据时相同。例如，如果参考结构是样品台中的螺纹孔，则可以直接将几何信息与参考数据进行比较。然而，为了在持续运行期间进行灵活的监控，还可以评估使用可运动的部件的不同的设置拍摄的全景图像。在这种情况下，必须考虑这些设置对参考结构在全景图像中的表示的影响，这可以借助于校准参数来完成。例如，如果机动样品台已经移动了已知的距离，则可以借助于校准参数来计算在全景图像中的参考结构(例如样品台的螺纹孔)的相应偏移。因此在从全景图像中确定参考结构的几何信息后，可以在与参考数据进行比较之前，根据台位置(或一般地根据显微镜部件的设置)借助于校准参数计算参考结构。
28.在最后执行的校准期间或接着其之后拍摄的一个或多个全景图像或由其导出的数据也可以用作参考数据。特别地，它可以是为了校准目的而拍摄的全景图像。在接着校准之后，可以假设显微镜部件还没有发生任何会影响校准的变化。因此，在接着校准之后拍摄的全景图像也可以代表参考数据或用于导出参考数据。
29.在一些实施方案中，校准参数被用于从全景图像计算成像或单应性，该成像或单应性将在空间中的平面以透视方式成像到或投影到另一平面中。因此单应性描述了如何从不同的观看方向(例如作为俯视图图像)观看到全景图像的图像内容。在设备部件、样品保持框架或样品的这种透视校正表示中，几何结构，例如边缘、圆盘或长方体，以几何正确的方式表示例如为直线、圆形或矩形，并且因此可以更好地进行几何测量。因此也可以在接着单应性的计算之后使用参考数据进行计算。在此，参考数据例如可以涉及成像的部件的形状，例如某些对象具有直角、直边或圆形形状。如果在处理后的全景图像中的形状与此不同，则可以确定校准参数不再适用。
30.还可以通过经过训练的机器学习模型来进行用预先给定的参考数据计算确定的几何信息。机器学习模型获得几何信息作为输入并输出关于一个/这个显微镜部件的变化的信息。参考数据在此通过学习模型参数值呈现。因此，参考数据不必是可容易解释的几何信息，而通常可以是有助于评估是否当前确定的几何信息与校准参数所适用的布置相一致的任何信息。例如，机器学习模型可以用带注释的训练数据进行训练，该训练数据包括从关于参考结构的全景图像中如所描述的那样确定的几何信息。作为注释，可以分别预先给定变化的值或分类信息(例如类别：“无相关变化”和“影响校准参数的变化”)。相应地，机器学习模型特别地可以被设计为分类模型或回归模型。它可以连接到上述机器学习模型上，该
机器学习模型获得全景图像作为输入并输出几何信息。在可选的设计方案中，作为附加的输入，机器学习模型可以获得拍摄全景图像所用的、显微镜部件的设置(例如样品台位置)。由此可以考虑，在校准和在拍摄全景图像时显微镜部件的不同设置如何影响确定的几何信息。在该实施方案中，在机器学习模型的训练中也考虑了显微镜部件的各种设置。
31.校准参数和校准过程
32.校准参数可以理解为这样的参数值，基于该参数值对至少一个全景图像的图像坐标进行解释。例如，可以预先给定一种校准模型，其使用单应性参数和/或缩放尺度作为校准参数。单应性描述了如何将一个平面映射到另一个平面上。例如，全景相机可以倾斜地观察样品载体，使得对样品载体的观察方向与在其表面上的法线形成角度。通过单应性，这样的全景图像可以被转换成对应于样品载体的表面上的垂直观察方向的图像。
33.校准模型或在其中包含的校准参数的值可以实现由在全景图像中的位置计算在空间(世界坐标系)中的位置。特别地，因此可以在空间中确定与在全景图像中的点相关联的横向的x和y坐标和/或z坐标(在显微镜物镜的光轴的方向上)。位置信息因此可以从全景图像转换成与显微镜参考位置相关的位置信息。特别地，可以将驱动方向，例如样品台，分配给相机坐标系。由此校准参数还可以用于避免在显微镜部件之间的碰撞。例如，针对在全景图像中显示的样品载体，可以借助于校准参数确定它的高度和/或横向尺寸。根据该高度和/或横向尺寸以及根据当前使用的显微镜物镜的尺寸，产生用于样品台的允许的移动范围。特别地，在可更换的附加模块(例如可移动的样品台)的情况下，避免碰撞是有利的。可以至少部分地避免和/或纠正用户的操作错误。
34.因此，可以使用校准参数，用于将全景图像用作导航地图。如果用户在全景图像中选择一个位置，则可以借助于校准参数控制机动样品台和/或聚焦驱动器，以便接近所选位置，以便在此位置上执行进一步的检查。
35.校准参数的值可以在校准过程中确定。例如，在校准过程中，在预先给定的/已知的显微镜设置下拍摄参考对象的全景图像。预先给定的显微镜设置可以特别地给出样品台的横向位置以及样品台的高度设置。更一般地，显微镜设置可以涉及影响在全景图像中的参考对象的位置、大小或形状的显微镜部件的所有设置。参考对象可以是已经描述过的参考结构，其被用于检查是否校准参数仍然是适用的。然而，备选地，参考对象也可以与此不同，并且例如包括参考样品，例如棋盘格，该棋盘格将被布置在样品台上的预定的位置上，以用于校准过程并且可以具有已知的尺寸。
36.可选地，参考数据可以从校准参数和当前的显微镜设置中导出，参考结构的确定的几何信息可以与参考数据进行比较。例如，当前的显微镜设置可以指示样品台的(假设的)横向和高度坐标；然后可以使用校准参数来导出图像坐标，在全景图像中样品台的已知螺纹孔(或通常另一个参考结构)应该位于该图像坐标处(标称坐标)。这些标称坐标可以代表参考数据并且可以与参考结构的实际坐标进行比较，这些实际坐标在当前的全景图像中被确定。该比较允许评估是否校准参数仍然是适用的，或者是否显微镜部件发生了未通过使用校准参数的校准模型考虑的变化。
37.显微镜部件
38.至少一个显微镜部件原则上可以是显微镜的任何部件，特别是可更换的或可调节的部件。显微镜部件可以例如是样品台、物镜变换器或物镜旋座、反光镜或将光引导至全景
相机的其他光学元件或是全景相机。
39.可以为一个或多个显微镜部件预先给定目标位置。然后确定的变化描述显微镜部件的实际位置与目标位置之间的差异。
40.影响校准参数的有效性的变化特别地可以是显微镜部件的移动、旋转、弯曲、变形或其他空间变化。参考结构的几何信息因此可以特别地描述参考结构的位移、旋转、弯曲或扭曲。例如，当全景相机通过其观察样品环境的反光镜弯曲或变形时，在全景图像中的参考结构可能会出现相应的扭曲。显微镜部件的变化可以从单个全景图像或也基于多个全景图像来确定。特别地，可以以显微镜部件的不同设置拍摄多个全景图像。确定并且利用预先给定的参考数据计算在全景图像之间的参考结构的几何信息中的差异，以便确定是否显微镜部件发生变化。例如，可以移动样品台并且作为在几何信息中的差异探测在样品台上的参考结构在全景图像中被移动了多远。在用于样品载体的可调节的保持框架的情况下，也可以以保持框架的不同设置拍摄和评估全景图像，以确定保持框架的位置或模型是否与校准参数相符合。两个或更多个全景图像也可以来自不同的全景相机。在立体测量中，这些全景相机从不同的方向观察样品环境。当从不同的观察方向或以显微镜部件的不同设置下评估多个全景图像时，在某些情况下可以更精确地确定显微镜部件的位置。
41.连续的自我监控
42.拍摄全景图像和确定显微镜部件是否发生变化，可以在显微镜测量运行期间或与显微镜测量运行交替地进行，在所述显微镜测量运行中，通过显微镜物镜检查样品。这可以实现连续监控，以便在起早识别未对准。如果全景相机通过在物镜转换器上的反光镜观察样品区域，其中，可以选择反光镜代替显微镜物镜，则可以与样品检查交替地通过显微镜物镜拍摄全景图像。
43.插入特殊的校准或参考结构对于校准检验不是绝对必要的，由此也可以取消与此相关的对用户的培训或指导。
44.确定设备特定的维护周期
45.可以由计算设备记录确定的变化以及时间或使用信息，例如自上次校准过程以来的使用持续时间。由此可以确定设备特定的维护周期。可以在检测到改变之前引入预防性维护。因此，检测的变化可以用于优化维护间隔，其中，预防性地识别设备校准的必要性(预测性维护)。在用户同意之后，可以由用户直接地或由制造商公司在线地激活所显示的维护方法的执行。
46.确定校准参数受损的结果
47.如果计算设备确定，显微镜部件发生了变化，校准参数的有效性由于该变化而受损，则可以采取各种措施：
48.因此，在确定的变化的情况下，可以输出用于与变化相关的运动补偿的控制指令。控制指令可以针对用户用于进行手动调节，或者针对一个或多个致动器。致动器可以被设计用于移动或调节显微镜部件之一。通过运动补偿，特别地可以恢复或接近校准参数所适用的布置。可以存在机动化设备，借此可以将显微镜部件带到所需的参考或工作位置上。备选地，也可以通过相应的棘爪进行手动调整，其中，棘爪也可以设计为是可调节的。
49.特别是对于上述情况，计算设备可以被设计为不仅确定是否发生了影响校准参数的变化，而且确定在哪个方向上并且可选地在哪个运动路径上发生了位置变化。如果变化
是旋转，则可以附加地或备选地也确定显微镜部件的旋转角度。相对于纯异常检测，在此是一个显著的优点，在纯异常检测中，仅确定当前的全景图像偏离了正常的情况，但是不能更详细地给出已发生的变化。
50.计算设备也可以被设置用于在确定的变化的情况下输出校准开始指令。该变型可以作为上述校正措施的替代方案或补充来实施。因此，在被确定的变化的情况下，计算设备可以可选地检查，是否补偿的运动补偿(特别是移动和/或旋转)是可能的或可以被确定。如果是这种情况，则输出相应的控制指令，否则输出校准开始指令。校准开始指令可以针对用户或者也可以启动自动化的校准过程。在经显微镜用户认可后，校准开始指令也可以通过互联网连接发送到显微镜制造商，然后显微镜制造商通过互联网连接开始或伴随校准过程。
51.特别地，如果被确定的变化小于预先给定的极限值，则还可以进行校准参数的计算校正或更新。计算校正可以在用户不必中断其应用的情况下来执行。因此，可以通过软件或固件偏移来校正所识别的目标状态偏差，例如更新虚拟坐标系的坐标零点。虚拟坐标系的旋转也可以用于校正。
52.在为了接近样品区域而基于所述全景图像或另一个全景图像进行的导航中可以考虑所确定的变化。因此通过所确定的变化来调整用于导航的校准参数。还可以在可运动的显微镜部件的控制中考虑所确定的变化以避免碰撞。特别地，通过对样品台和z驱动器/聚焦驱动器的相应的控制，可以确保避免在显微镜和样品之间在机动显微镜上发生碰撞。
53.为了无碰撞的导航，如果从这个全景图像或这些全景图像中除了获取可能的位置或旋转变化之外还获取关于所使用的样品载体和/或所使用的系统部件(物镜、物镜旋座、台位置和焦点位置)的位置数据，则是有利的。例如，可以在全景图像中对所使用的样品载体进行分类并且附加地可以确定其横向位置。通过分类，例如可以确定存储在数据库中的该样品载体类型的高度。如果在物镜旋座上的反光镜被无意地调节错位，全景相机通过该反光镜观察样品载体，则可以以已经描述的方式从全景图像中确定该变化。然后可以基于所确定的变化以计算的方式校正在全景图像中确定的样品载体的横向位置。校正后的横向位置可以实现无碰撞的导航。
54.通过端到端机器学习模型进行校准检验
55.本发明此外涉及一种用于借助于机器学习模型检验显微镜校准的方法，该机器学习模型也可以称为端到端机器学习模型。该方法包括获得显微镜的样品环境的至少一个全景图像并将其输入到经过训练的机器学习模型中。此外，校准参数或相关的参考数据被输入到机器学习模型中。校准参数在此用于解释至少一个全景图像的图像坐标。机器学习模型现在基于输入的至少一个全景图像和校准参数或参考数据生成输出。在一个实施方案中，输出给出，是否发生了显微镜部件的影响校准参数的有效性的变化。备选地，机器学习模型被设计为生成一个输出，该输出给出关于影响校准参数的有效性的显微镜部件的变化的校正。
56.机器学习模型可以用训练数据进行训练，该训练数据针对多组校准参数分别包括多个不同的训练全景图像。例如，训练全景图像可以用所描述的显微系统或另一个相同类型的显微系统拍摄。由于校准参数也是训练数据的一部分，因此在全景图像的检验中可以考虑是否全景图像的图像内容与当前使用的校准参数相匹配。因为根据当前的校准参数，
全景图像的同一个图像内容可以或者是正确的，或者指向显微镜部件的不正确的位置。
57.训练可以通过受监控式的学习来进行。在这里，作为注释或标识可以给出，是否相应的训练全景图像与同时输入的校准参数相匹配。注释可以或者以“是/否”分类的形式，或者作为在值范围内的数字/向量呈现，由此给出了用于显微镜部件(位置)变化的度量。属于特定的校准参数组的那些训练全景图像也可以在训练中作为不适用的校准参数的示例用于其他的校准参数组。如果作为注释给出了校正，则可以根据训练数据对模型进行学习，该模型直接输出针对显微镜部件发生的变化的校正。作为注释给出的修正例如可以是修正的校准参数或是关于先前的校准参数的改变信息。备选地，被注释的校正还可以涉及用于显微镜的改变的控制的指令，特别是为了执行补偿性的运动补偿，如已经描述的那样。
58.备选地，也可以进行无监控的训练，其中，不预先给定注释并且仅将具有分别正确匹配的相关联的校准参数的训练全景图像用作输入数据。部分受监控的训练或强化学习(英文：reinforcement learning)的学习方法也是可能的。
59.全景图像可以如由全景相机拍摄的那样被输入机器学习模型中，或者可以先进行处理。处理例如可以涉及通过另一个机器学习模型进行的分割。也可以通过另一个机器学习模型进行特征提取，由此从全景图像生成特征向量，该特征向量仍然包自全景图像的信息，但不能直接显示为图像。从全景图像生成的这种处理结果可以作为输入在上述机器学习模型中(或者也在这里描述的其他机器学习模型中)使用。因此可以通过类似的处理从全景图像中获得训练数据。
60.要检查的全景图像可以以显微镜部件的假设的设置来拍摄，该假设的设置对应于在确定校准参数或参考数据时的那些设置。例如，可以设置假设样品台位置，该样品台位置被假设与在确定校准参数或参考数据时的样品台位置相同。这被称为假设设置，因为由于显微镜部件的要确定的变化，实际的设置会偏离假设设置。
61.然而，为了更大的灵活性，还可以可选地检查在显微镜部件的任意的其他设置下拍摄的全景图像。在这种情况下，关于显微镜部件的当前(假设的)设置的信息也可以输入到机器学习模型中。例如，机器学习模型获得假设的台位置的信息。该台位置可以通过测量或基于样品台控制指令来估计。
62.由于所述参考数据属于校准参数，因此可以将参考数据和/或校准参数提供给机器学习模型。例如，参考数据可以是在探测校准参数时以某些(已知的)显微镜设置拍摄的全景图像。如果向机器学习模型提供校准参数，则可选地完全省略参考数据。
63.所描述的机器学习模型可以作为单个模型进行训练。备选地，也可以通过两个或更多个相互连接的模型进行训练。
64.一般特性
65.显微系统被理解为包括至少一个计算设备和显微镜的设备。显微镜原则上可以理解为任何放大的测量设备，特别是光学显微镜、x射线显微镜、电子显微镜、宏观镜或者还包括不同设计的放大的图像拍摄设备。
66.计算设备可以物理地设计为显微镜的一部分，可以单独地布置在显微镜环境中，或者可以布置在任意远离显微镜的位置上。计算设备也可以以分散的方式设计并通过数据连接与显微镜通信。它通常可以通过由电子设备和软件构成的任意组合体形成，并且特别地包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。计算设备
还可以设置用于控制显微镜相机、图像拍摄、样品台控制和/或其他显微镜部件。
67.除了用于拍摄样品区域的更显著放大的图像的样品照相机之外，还可以存在用于拍摄全景图像的全景相机。然而，备选地，这还可以是相同的相机，其中，不同的物镜或光学系统被用于拍摄全景图像和更显著放大的样品图像。全景相机可以在大的空间区域内实现部件的状态和位置测量，其中，全景相机相对较大的景深可以是有帮助的。全景相机可以连接到固定的设备框架，例如显微镜支架上，或可移动的部件，例如显微镜台、聚焦驱动器或物镜旋座上。全景图像可以是原始图像，如它是由相机拍摄的那样，或者是来自一个或多个原始图像的处理过的图像。拍摄的原始图像/全景图像在以此处描述的方式进行评估之前可以被进一步处理。本发明的方法变型可以基于先前拍摄的全景图像并且可以例如从存储器中获得该全景图像。可选地，全景图像的拍摄也可以是所要求保护的方法的一部分。全景图像覆盖围绕要放置样品的位置的区域，这里称为样品环境。为了拍摄全景图像，在该全景图像中然后可以以所描述的方式评估参考结构，样品位于全景相机的视场中不是绝对必要的。相反，参考结构可以位于其他部件上，例如样品台上。要确定是否发生变化的显微镜部件不必成像在全景图像中。相反，被成像的参考结构在成像的位置或形状上取决于显微镜部件的位置就足够了。
68.根据本发明的计算机程序包括指令，在由计算机执行时，这些指令促使执行所描述的方法变型之一。
69.当按规定使用时，被描述为附加的设备特征的本发明的特性也导致根据本发明的方法的变型。以相反的方式，显微系统也可以被设置用于执行所描述的方法变型。特别地，计算设备可以被设置用于执行所描述的方法变型和/或输出用于执行所描述的方法步骤的控制指令。此外，计算设备可以包括所描述的计算机程序。虽然在一些变型中，在检查校准参数中使用完成训练的机器学习模型，但是通过执行相应的训练步骤产生了本发明的其他的发明变型。
附图说明
70.下面参照所附的示意图描述本发明的其他的优点和特征：
71.图1是本发明显微系统的一个实施例的示意图；
72.图2示意性地示出了全景图像；
73.图3示意性地示出了全景图像；
74.图4示意性地示出了参考结构；
75.图5示意性地示出了图1的显微系统的部分；
76.图6是本发明实施例的方法的过程的示意图；和
77.图7是本发明另一个实施例的方法的过程的示意图。
具体实施方式
78.下面参考附图描述各种实施例。相同的和相同作用的部件一般地用相同的附图标记标识。
79.图1
80.图1示出了根据本发明的显微系统100的实施例。该显微系统包括计算设备20和显
微镜1，在所示的示例中显微镜1是光学显微镜，但原则上也可以是不同类型的显微镜。显微镜1包括支架2，通过该支架保持其他显微镜部件。其中特别地可以包括：物镜转换器或物镜旋座3，在所示的示例中，在其上安装物镜4；具有用于保持样品载体7的保持框架6的样品台5，和显微镜相机8。如果物镜4旋转到显微镜光束路径中，则显微镜相机8接收来自样品载体所保持的一个或多个样品的检测光7，以拍摄样品图像。
81.显微镜1还包括用于拍摄样品环境的全景图像的全景相机9。全景图像可以由此特别地显示样品载体7或其一部分。全景相机9的视场9a大于在拍摄样品图像时的视场。在所示的示例中，全景相机9通过反光镜9b观察样品载体7。反光镜9b布置在物镜旋座3上并且可以被选择代替物镜4。在该实施方案的变型中，反光镜或另一个偏转元件也可以布置在其他位置上。备选地，全景相机9也可以被布置成使得它在没有反光镜9b的情况下直接观察样品载体7。原则上，如果为了拍摄全景图像通过物镜旋座3选择另一个物镜、特别是微距物镜，则显微镜相机8也可以是全景相机。
82.计算设备20使用根据本发明的计算机程序80来处理全景图像并且可选地基于处理结果来控制显微镜部件。例如，计算设备20可以在如此程度上评估全景图像，即微量滴定盘的单元格位于何处，以便然后以接近特定的单元格的方式控制样品台5。为了正确处理全景图像以及为了实现如何基于来自全景图像的位置信息控制显微镜部件，计算设备20使用校准参数p。这些校准参数允许解释全景图像，例如在全景图像中的方向如何与在样品台上的方向相关联，特别是定量地解释。校准参数p还可以包括关于缩放尺度的信息，特别是在全景图像中的对象在特定的样品台高度处以何种形状或大小出现。为了评估全景图像，然后可以考虑校准参数p和可选地显微镜部件的当前的设置，例如机动样品台的当前高度，备选地，也可以在不知道显微镜部件的设置的情况下借助于校准参数p例如从全景图像中估计样品载体的高度。通过校准参数p可以特别地描述在来自全景图像的位置信息和关于显微镜参考位置的位置信息之间的关系。
83.如果用户更换或重新定位显微镜部件，校准参数p可能会失去有效性。振动、松动的连接或环境参数如空气湿度或温度的变化的影响也可能导致显微镜部件的未对准，由此使校准参数p变得不精确或不适用。计算设备20评估一个或多个全景图像，以便自动确定这样的变化。这将参考以下附图更详细地描述。
84.图2至图4
85.图2和图3示意性地示出了全景图像10，其中可以看到保持框架6。保持框架6包括圆形开口6a，样品载体可以保持在该圆形开口中。如果全景相机倾斜地观察样品台并因此倾斜地观察保持框架6，则在如图3中所示的那样，成像在透视图上可以是扭曲的。特别地，圆形保持框架开口6a在全景图像10中显示为椭圆形。借助于校准参数可以计算透视矫正，由此产生根据图2的图示。用于该计算的先决条件是没有发生会导致校准参数失去有效性的变化。否则，图像变换不会导致矫正的图示，而是歪曲的图示。
86.备选地，在朝着保持框架6上的垂直观察方向的情况下的未对准可能导致，全景图像的计算由于不再适用的校准参数而变得不正确。由拍摄的全景图像，该全景图像在垂直的相机观察方向的情况下对应于图2的图示，可以由于不适用的计算而导致根据图3所示的失真的图像。
87.为了检查是否在显微镜部件中发生了影响校准参数的变化，在全景图像10中确定
关于一个或多个参考结构15的几何信息。参考结构15可以是标记或标签，如在图4中所示的那样，由此可以可选地编码其他信息，例如该标记位于其上的显微镜部件的型号名称。相应的标记可以被施加到多个(分)部件上。备选地，显微镜部件的元件，例如样品台的螺纹孔或在保持框架6上的螺钉，也可以用作参考结构15。在这种情况下，参考结构15已经在结构上被设置在要监测的显微镜部件上并且因此是该显微镜部件的一部分。此外，已知的结构的几何形状或形状也可以用作参考结构，该已知的结构可以是要监测的显微镜部件的一部分或者可以是可安装的样品载体或样品的一部分。
88.如在图3中引入的那样，例如可以将参考结构15在全景图像10中的位置坐标ph和pv和/或参考结构15的尺寸或形状信息确定为几何信息，如在图3中通过水平尺寸dh和垂直尺寸dv所指示的那样。
89.然后，相对于参考数据对该几何信息进行计算。该参考数据例如可以给出针对这样的状况的参考结构15的位置坐标，即在该状况下校准参数是有效的。如果它们之间的偏差超过预先给定的极限值，则识别出影响校准参数的变化。
90.虽然图3示例性地示出了一种在保持框架6上识别出参考结构15的情况，但是原则上也可以探测关于其他显微镜部件的参考结构。这将在下面参考图5更详细地进行描述。
91.图5
92.图5示意性地示出了全景相机9如何观察显微镜部件。在该示例中，全景相机的视场9a经由物镜旋座3上的反光镜9b延伸到保持框架6。在此情况下，样品台5在拍摄的全景图像中也可能是可见的。参考结构15，例如标签或标记，可以存在于反光镜9b上。另外，反光镜9b的外圆周适合作为参考结构，因为反光镜9b的边缘的边缘方向、边缘位置和角部角度可以由全景图像精确且可靠地确定。如果由于全景相机9的不同的焦距使得反射镜边缘被模糊地显示，则这种评估一般地也是可能的。备选地，具有可调焦距的全景相机9可以拍摄具有不同焦距的多个不同的全景图像。由此在某些情况下，可以更精确地分析关于各种显微镜部件的参考结构。
93.参考结构15同样可以被安置在样品台5上或者样品台5的元件可以被用作参考结构15，例如螺纹孔5a。由此可以区分是否反光镜9b、保持框架6或样品台5已经经历了不希望的变化。如果发现针对多个或所有在全景图像中成像的显微镜部件的参考结构15的变化，则这可以表明不是这些显微镜部件，而是全景相机9本身被旋转或错误定位。因此，从参考结构15也可以在某些情况下推断出未与参考结构刚性连接的显微镜部件的变化。
94.下面参考图6描述用于探测和评估参考结构的各个步骤以及在确定变化的情况下的后续动作。
95.图6
96.图6示意性地示出了根据本发明的方法的流程，如其可以由图1的计算设备的计算机程序执行的那样。
97.在全景图像10中关于参考结构的几何信息的确定在此通过两个训练的机器学习模型m1和m2来进行。作为方法的步骤s1，机器学习模型m1获得全景图像10并由此计算分割掩码30。该分割掩码特别地可以是二进制掩码，在该二进制掩码中，一个像素值给出了与一个参考结构的归属性，而另一个像素值给出了在这里没有参考结构。机器学习模型m1可以特别地被设计为卷积神经网络(cnn)，它执行图像到图像的映射。
98.可选地，机器学习模型m1也可以被设计为使用与全景图像10一起输入的上下文信息i。上下文信息i例如可以包括关于(估计的)样品台位置或高度的信息或者关于所使用的保持框架或样品载体类型的信息。机器学习模型m1在此情况下可以考虑上下文信息i，要确定哪些参考结构以及如何确定参考结构。
99.分割掩模30然后被输送到第二机器学习模型m2，该第二机器学习模型在此被设计为回归模型并且在步骤s2中计算关于在分割掩模30中的通过相应的像素值表征的结构的几何信息g。例如，在此处，作为几何信息g，确定并输出结构的尺寸dv、dh。机器学习模型m2也可以可选地使用上下文信息i，该上下文信息可以对应于或不同于用于机器学习模型m1的上下文信息。例如，如果机器学习模型m1执行语义分割或实例分割，则还可以将涉及何种参考结构的信息输送到机器学习模型m2。
100.接下来，在步骤s3中，相对于参考数据a、b对几何信息g进行计算。根据该计算，或者确定没有发生影响校准参数的变化(步骤s4)，或者确定有影响的变化(步骤s5)。
101.在步骤s5中决定，是否对校准参数的影响可以基于所确定的变化通过校准参数的计算调整来补偿，然后可以作为步骤s6来进行。
102.如果计算调整是不可能的，则可以在步骤s7中输出用于使显微镜部件运动的控制指令，以补偿该变化。被识别的目标状态偏差(例如虚拟坐标系的坐标零点)的校正在存在机动的硬件致动器的情况下可以通过机械的校正偏置或通过手动的校正来进行，在该校正中为用户预先给定要调节的值或位置。通过测量显微镜部件的实际值与目标值的偏差，因此可以对显微镜部件的位置和定向进行校正，以便使显微镜部件的实际值再次回到目标值。
103.如果这是不可能的，例如因为相关的显微镜部件不是机动的、没有提供显微镜部件的有用的可调节性或者不清楚，全景相机本身或引导到全景相机到光学元件是否是未对准的，则可以则步骤8中给出校准开始指令。这可以例如是对用户进行校准的指示。此外，可以在步骤s9中存储关于已发生的变化的信息，特别是与使用时间或使用持续时间的信息一起存储。然后使用该信息来预测维护周期。对于本显微系统，可以单独地确定和规定维护周期。
104.在变型中，并非提供所有步骤s6至s9。此外，在执行步骤s6至s8中的哪一个的决定中的优选顺序可以变化。例如，根据步骤s6的计算调整只能在根据步骤s7的补偿运动不可能进行时才发生，例如，当进行中的测量运行不应受补偿运动影响时。
105.在图5的步骤s3中描述的、相对于参考数据a、b对几何信息g之一的计算仅仅是一个简单的示例而更复杂的计算是可能的。此外，步骤s3可以可选地由机器学习模型m3来执行。在该机器学习模型以在训练中规定的模型参数值的形式规定参考数据a、b。除了几何信息之外，机器学习模型m3还可以附加地接收上下文信息作为输入，该上下文信息涉及关于显微镜部件的设置(例如假定的样品台位置)的信息40，全景图像10是以该设置被拍摄的。当通过没有机器学习模型的经典算法执行步骤s3时，也可以可选地使用该信息40。
106.在所示的实施方式的另一种变型中，可以省略步骤s1和机器学习模型m1，使得机器学习模型m2获得全景图像10而不是分割掩模30。在又一种变型中，可以用经典图像处理算法代替机器学习模型m2，该经典图像处理算法在不使用机器学习模型的情况下从全景图像10或从分割掩模30计算几何信息g。
107.图7
108.图7示意性地示出了根据本发明的另一种方法的流程，如其可以由图1的计算设备的计算机程序所执行的那样。
109.在这种情况下，使用端到端机器学习模型m，其从输入的全景图像10中直接生成输出，该输出给出显微镜部件的变化或该输出给出是否发生了影响校准参数p的有效性的变化。机器学习模型m的输出因此可以决定，是否根据已经描述的步骤s4或s5继续进行。
110.除了全景图像10之外，关于拍摄全景图像10所用的显微镜设置的信息40以及校准参数p被输入机器学习模型m。
111.机器学习模型m可以用训练数据进行训练，该训练数据也包括全景图像10、关于相关显微镜设置的信息40和校准参数p。训练数据可以包括多组校准参数p，其中，针对每组校准参数k，存在多个全景图像10，该全景图像具有关于相关联的显微镜设置的各自的信息40，并且这些显微镜设置彼此不同。训练可以是受监控的训练，其中，机器学习模型m应尽可能提供的结果是预先给定的。备选地，也可以进行无监控的训练。如其也种开始部分中所提到的，本案与已知的异常检测方法不同在于，训练数据还包括校准参数p和关于显微镜设置的信息40。
112.使用关于显微镜设置的信息40是有用的，例如用于区分，在拍摄全景图像10时样品台位置是否表示样品台的不正确的位置变化，特别是移动、倾斜或旋转，或是否是所期望的设置。
113.然而，原则上，如果仅将始终以相同的显微镜设置拍摄的全景图像10输送到机器学习模型m，则关于显微镜设置的信息40也可以省去。在该实施方案中可以相应地调整训练数据。
114.在所描述的实施方案的变型中，校准参数p可以由与校准参数p相关的其他信息代替。例如，可以存储参考全景图像，该参考全景图像是在校准参数p的有效性是已知的时间点拍摄的，例如在执行校准过程期间或直接在执行校准过程之后。这样的参考全景图像可以代替校准参数p被用于图7的流程中。连同参考全景图像，相关的显微镜设置的信息可以是输入到机器学习模型m中的另一种输入。备选地，参考全景图像和要检查的全景图像10也可以用相同的(假设的/估计的)显微镜设置来拍摄，从而不必在机器学习模型m中输入相关的显微镜设置的任何信息40。代替参考全景图像，也可以使用其他参考数据，例如从参考全景图像导出的几何信息，如已经针对其他实施方案描述的那样。
115.图7的实施方案也可以在这样的程度上进行修改，即机器学习模型m的输出直接给出校正。该校正可以是例如校准参数的计算调整或用于显微镜部件的运动补偿的控制指令，类似于图6中的步骤s6或s7。
116.所描述的实施例纯粹是说明性的并且在所附权利要求书的范围内对其进行的修改是可能的。
117.附图标记列表
118.1显微镜
119.2支架
120.3物镜旋座、显微镜部件
121.4显微镜物镜、显微镜部件
122.5样品台，显微镜部件
123.5a螺纹孔
124.6保持框架，显微镜部件
125.6a保持框架开口
126.7样品载体
127.8显微镜相机
128.9全景相机、显微镜部件
129.9a全景相机的视场
130.9b反光镜、显微镜部件
131.10全景图像
132.15参考结构
133.20计算设备
134.30分割掩码
135.40关于显微镜部件的当前设置的信息
136.80本发明的计算机程序
137.100本发明的显微系统
138.a、b参考数据
139.g几何信息
140.i上下文信息
141.m机器学习模型
142.m1机器学习模型
143.m2机器学习模型
144.m3机器学习模型
145.p校准参数
146.ph、pv在全景图像10中的参考结构15的图像坐标
147.dh、dv全景图像10中的参考结构15的尺寸
148.s1-s9根据本发明的方法的实施例的步骤