基于图像的激光自动聚焦系统的制作方法

本申请案涉及用于使成像装置自动聚焦的系统和方法。更确切地说，本申请案涉及对于使用载玻片或微量滴定板的透镜式显微镜应用使用基于图像的激光自动聚焦系统的自动聚焦。

背景技术：

为对板或载玻片上的样品进行成像，使用成像装置。将成像装置和/或样品彼此移近或移远，直到样品处于成像装置的焦点。对于例如高含量成像(hci)系统的自动化系统，通常使用自动聚焦来加速所述过程。

当前使用各种类型的自动聚焦系统，包含基于图像的系统和基于激光的系统。尽管这些常规系统提供优于非自动聚焦系统的某些优势，但其具有某些缺点，且并不始终以所需速度提供自动化系统所需要的焦点水平。

技术实现要素：

呈现用于使用载玻片或微量滴定板的透镜式显微镜应用的准确、可靠且稳健的基于激光的自动聚焦解决方案。所述基于激光的自动聚焦解决方案解决归因于相对于所关注的样品处于不同距离的多个反射表面而出现的诸多问题。所述基于激光的自动聚焦解决方案提供通过使用基于图像的方法解决由这些多个反射表面造成的不明确性的独特解决方案。

前述“发明内容”仅为说明性的，且不意欲以任何方式为限制性的；提供所述“发明内容”以便以简化形式引入下文在“具体实施方式”中进一步描述的一系列概念。此“发明内容”并不意欲识别所主张的标的物的关键或基本特征，也不意欲辅助确定所主张的标的物的范围。

以下描述中将阐述本发明的额外特征和优点，且这些特征和优点将部分从所述描述中显而易见，或者通过实践本文中所描述或设想的实施例而获知。可以借助于所附权利要求书中明确指出的仪器和组合来实现且获得本文中描述或设想的实施例的特征和优势。这些和其它特征将从以下描述和所附权利要求书变得更完全地显而易见，或可以通过实践如在下文中阐述的本文中描述或设想的实施例而获知。

附图说明

现在将参看附图论述各种实施例。应了解，这些图式仅仅描绘典型的实施例，因而不被视为限制本申请案的范围。还应了解，图式未必按比例绘制且出于清楚起见可能仅仅绘制一些元件。

图式中相同的参考标号表示相同的元件。此外，元件的多个例子可以各自包含附加到元件数字的单独字母。举例来说，特定元件“20”的两个例子可标注为“20a”和“20b”。在这种情况下，可使用不带附加字母的元件标记(例如“20”)以总体上指代元件的每个例子；而当参照元件的特定的例子时，元件标记将包含附加字母(例如“20a”)。

图1为示出成像板的各表面以及可从其发生的反射的框图。

图2说明其中样品的z位置在凹孔或板中可能彼此不同的实例。

图3为示出离焦图像与聚焦图像之间的差异的图像。

图4说明并有本文中所揭示或设想的特征的系统的实例实施例。

图5是根据一个实施例的细胞成像装置的截面侧视图。

图6是图5的细胞成像装置的截面俯视图，图中示出了通过装置的激发光和发射光流。

图7说明并有本文中所揭示或设想的特征的系统的实例实施例。

图8说明根据一个实施例的使用激光自动聚焦装置使样品聚焦的方法。

图9说明根据一个实施例的在高含量成像系统中使样品成像的方法。

图10说明根据一个实施例的确定用于训练图像的信息的方法。

图11说明根据一个实施例的处理自动聚焦图像的方法。

图12和13为使用本文中描述的方法获得的样品图像。

图14为对应于图14的每一列的最大强度的投影。

图15说明根据一个实施例的移行成像组件到所需焦点位置的方法。

图16说明根据另一实施例的移行成像组件到所需焦点位置的方法。

图17说明根据另一实施例的移行成像组件到所需焦点位置的方法。

图18说明根据一个实施例的独立laf。

具体实施方式

如说明书中所使用，以单数形式出现的词语涵盖其复数的对应部分，而以复数形式出现的词语涵盖其单数的对应部分，除非暗含地或明确地以其它方式理解或陈述。此外，应理解，对于本文中描述的任何给定组件或实施例，针对所述组件列出的任何可能候选或替代方案通常可以个别地使用或彼此结合使用，除非隐含地或明确地另有理解或陈述。另外，将理解，除非另外隐含地或明确地理解或陈述，否则此类候选或替代方案的任何列表仅是说明性的，而不是限制性的。另外，除非另外指明，否则本说明书和权利要求书中所用的表示成分的量、组分、反应条件等等的数字应理解为均由术语“约”修饰。

因此，除非相反地指示，否则本说明书和随附权利要求书中所阐述的数值参数是可以取决于试图通过本文提出的标的物获得的所需性质而变化的近似值。最低限度地，且不试图限制等效物原则对权利要求书范围的应用，每一个数值参数都应至少根据所报告的有效数字的数量且通过应用一般四舍五入技术来解释。尽管阐述本文中提出的标的物的广泛范围的数值范围和参数为近似值，但具体实例中所阐述的数值是尽可能精确报告的。然而，任何数值固有地含有某些由其对应的测试测量值中所发现的标准差必然造成的误差。

此外，如在说明书和所附权利要求书中使用，例如“顶部”、“底部”、“左”、“右”、“上”、“下”、“上部”、“下部”、“近”、“远”等等的方向术语在本文中仅用以指示相对方向且并不希望限制本发明或权利要求的范围。

如图1中所说明，为对板或载玻片152上的样品150进行成像，使用成像组件154，例如显微镜物镜。为易于论述，我们将基于定位在板上的样品进行我们的论述。然而，应了解，本文中的论述也可以适用于载玻片或样品可以定位在上面以进行成像的其它装置。

将成像组件154和/或板152彼此竖直地移近或移远以经由成像组件154使样品150聚焦。参考图1，我们在本文中将把竖直移动方向定义为z方向。由此，任何组件在z方向上的位置可以称为所述项目的“z位置”，且各组件之间在z方向上的距离可以称为组件之间的“z距离”。成像组件154与样品150之间的在样品处于焦点时的z距离将在本文中定义为“焦距”。我们还将把成像组件154与样品150的z位置称为每一项目的“焦点位置”。

如图1所示，成像组件154与样品150之间的z距离为以下各者的组合：(1)成像组件154与板152之间的z距离、(2)跨越板152的z距离，以及(3)从板152到样品150的需要成像的部分的z距离。通常，样品150的待成像的所需部分处于板152的表面处，从而实质上消除板与样品的所述部分之间的z距离。

如果样品150在成像期间不在焦点上，那么可能发生诸多问题。要在焦点上，成像组件154必须处于距样品150的特定焦距处。

将成像组件154和/或样品150在z方向上移动以改变其间的z距离，直到样品出现于焦点中。此时，z距离等于焦距，且样品和成像组件处于对应于焦距的焦点位置。尽管本文中的论述将针对移动成像组件154以获得所需焦距，但应了解，也可以替代或结合成像组件154而移动板152。还应了解，成像组件154可以定位在样品150上方或下方。

因为板152定位于样品150与成像组件154之间，因此每一样品的z位置将随着板的形状或位置的变化而变化。结果，样品在一个视场中的z位置可能不同于样品在另一视场中的z位置。由此，如果成像组件不移动，那么每一样品与成像组件之间的z距离可能变化。

图2示出其中样品的z位置在凹孔或板中可能彼此不同的一个实例。如所描绘，曲率164可能存在于一个或多个凹孔166中的每一个上。此曲率可能使得z距离在物镜与对应凹孔中的每一样品之间变化。此外，曲率168可能存在于整个板152a上。此曲率可能使得z距离在物镜与不同凹孔中的样品之间变化。例如在所描绘的实施例中的两种类型的曲率164与168的组合可能使所述问题加剧。此外，板在其厚度上可能具有随机变化，从而使得所述问题几乎不可能模拟。实际上，板的形状甚至跨越在同一制造批次中产生的板也可能会不可预测地变化。

归因于这些z距离变化，必须相应地改变成像组件154的z位置以维持到每一样品的正确焦距且有效地“移除”如由图2的底部部分表示的不合需要的板和/或凹孔曲率。这样做将允许每一样品在所需焦距处成像。

为尝试补救此情境，已使用基于图像的自动聚焦来确定样品在每一视场中的z位置，接着可以使用所述z位置来移动成像组件和/或板以达到正确焦距。在此方法中，使用与用以出于筛查目的而对样品进行成像的检测模式(例如，荧光、明视场，等)相同的检测模式来出于自动聚焦目的而对样品进行成像。尽管此方法已提供许多益处，但其具有数个缺点，包含：

●速度-必然会在搜索正确焦距的同时以不同z距离拍摄图像。当对样品进行成像所必需的曝光时间长时，这就成为问题。

●光致漂白-由焦点成像造成的光致漂白可能影响样品，且因此更改用于筛查的所得样品图像。

●厚样品-当样品比光学系统的视场深度厚时，在视觉上最佳的聚焦图像从视场到视场可能不是在到样品的相同相对位置处。这可能会引起在迥然不同的区域中进行测量，从而可能导致对结果的误解。

●生物学上难以成像或稀疏-有时样品在板上难以成像或非常稀疏。这可能使得基于软件的自动聚焦算法选择出不正确的焦点位置。

基于激光的自动聚焦(laf)系统克服这些问题中的诸多问题。laf系统使用激光来确定焦距。由此，laf系统使用不同于用以由装置筛查样品的成像模式的成像模式。激光通过检测板的表面来确定板的位置。这接着用作参考来估计在哪里找到样品。举例来说，可能估计样品驻留在距板位置固定的数微米处。为确定板的位置，laf系统可以使用板与周围介质之间的界面的反射性。

对于其中样品驻留在载玻片与盖玻片之间或驻留在微量滴定板(其中成像系统必须经由板的透明塑料或玻璃底部进行聚焦)上的显微法应用，激光自动聚焦系统呈现出特定问题——通常存在若干反射表面，每一反射表面处在不同z位置。举例来说，在图1中示出的实施例中，存在至少三个反射表面——板152的上表面156和下表面158，以及介质162的上表面160(样品150定位于其中)。这些表面中的每一个可能产生激光的单独反射，这可能引起自动聚焦系统的混淆。

第一且通常最亮的反射来自板的最近表面(例如，板152的下表面156)。这一表面在本文中将称为“外”表面。来自外表面的反射是由空气与板的材料(通常为塑料或玻璃)之间的界面造成。

然而，外表面并不是所关注的样品在z方向上通常所位于之处。实际上，样品通常位于板的另一表面处或超出所述表面。举例来说，如图1中所描绘，样品150位于板152的上表面158处或稍微超出所述上表面。这另一表面在本文中将称为“内”表面。

第二反射来自这一内表面，且是由板的材料与空气或样品周围的液态介质之间的界面造成。所述第二反射通常比第一反射弱得多，从而使得第二反射难以检测或从第一反射辨识出来。其它反射可能来自其它表面，从而使得检测和区分困难得多。举例来说，如图1中所描绘，第三反射可能来自介质162的上表面160，由介质与空气之间的界面造成。

如上文所指出，外表面与内表面之间的z距离可以跨越板和/或跨越板内的凹孔而变化。结果，外表面的z位置通常并不是用于确定样品的z位置的良好参考。实际上，因为样品通常直接定位在板的内表面上，因此内表面的z位置是所使用的更好参考。如果可以确定内表面的z位置，那么可以使用其来更准确地定位成像组件以获得聚焦图像。

两种主要方法已由laf系统用于尝试确定微量滴定板和载玻片与盖玻片的内表面与外表面的z位置。在第一方法中，同时检测来自内表面和外表面的反射，且所述表面的位置指示距焦点的z位置。为实现这一目的，激光以入射角与表面成角度地定位，以使得当激光照到板上时，反射各自成角度地返回，类似于图1中所示出者。传感器的线性阵列经定位以检测所述反射。由于激光的角度，反射在传感器阵列上在彼此不同的位置返回。结果，由线性阵列检测到的反射的位置可以用来确定表面的z位置。这允许使用激光信号的单个测量来确定样品的z位置的估计。

然而，这种第一方法受到限制，因为：(a)不同反射具有显著不同的强度，而不同反射必须仍通过线性传感器阵列同时俘获，(b)不同反射归因于成角方法而通常在传感器上彼此重叠，以及(c)板表面的任何角度变化或变形将引起线性传感器阵列上的偏移。这可能使得难以同时检测两个反射。此外，因为激光设置必须以可以同时观测两个反射的方式进行，因此难以设计适应板厚度与视场深度不同的不同物镜两者的变化的单个设置。

在第二方法中，独立地检测来自内表面与外表面的反射。为实现这一目的，使用传感器检测且分析激光经由成像组件的反射。在反射出现于焦点中时，其变得较小且强度增大，如图3的图像170和172中所示。结果，系统可以使用传感器测量到的大小和强度来检测界面何时出现于焦点中。可以例如通过使用介刀而使激光为非对称的，这将使得反射指示在哪一方向上移动以获得焦点。通过一个或两个大面积传感器测量激光反射，其测量反射的总强度值。这种第二方法不利用单个测量预测样品的确切z位置-实际上，使用搜索算法来移动成像组件，直到确定出表面的z位置。

所述第二方法解决了第一方法存在的诸多问题，但仍具有数个缺点。举例来说，因为两个反射无法同时看到，因此无法确定是哪一表面引起反射。

对于其中基于激光和基于软件的自动聚焦两者皆适用的应用，上文所论述的两个laf方法的成功率通常都不如基于图像的自动聚焦方法有效。然而，对于一些应用，可能仅laf方法为有效选项。

本文中呈现解决常规自动聚焦系统遇到的以上和其它的laf方法和装置。举例来说，使用本文中呈现的laf解决方案的实施例，可以独立而同时地检测多个反射。此外，反射的不明确性得以解决，且解决方案的准确度经由使用反射的位置、强度、形状和大小而得以改善。此外，在一些实施例中，可以使用单个测量替代使用搜索算法来估计焦点位置。

本文中呈现的解决方案可以为常规上由成像装置使用的自动聚焦方法和系统提供额外速度、可靠性和稳健性。这至少部分地通过使用高分辨率相机(例如已经在用于对样品进行成像的系统中使用的相同相机)对激光反射进行成像来实现。通过这样做，可以利用数百万传感器替代仅测量总强度(如在常规系统中那样)的仅一个或两个传感器来以高分辨率测量激光反射。结果，可以与其它离焦(模糊)反射同时观测所需反射。所有这些反射可能存在于给定图像中，但每一反射将具有不同位置、强度、形状和大小。结果，可以个别地识别反射，且每一反射的信息可以用来提供样品的z位置(其对于多个反射的存在是不变的)的稳健估计。

此外，通过使用提供较宽、较高分辨率传感器区域的相机，laf系统可以经设计以使得反射随着z位置改变而跨越图像移动。可以使跨越图像的距离与距反射的z距离成比例。由此，替代主要依靠多个反射的强度、形状和大小，反射的位置也可以在估计到反射表面中的每一个的相对距离中起到关键作用。这允许使用单个测量来准确地确定从当前z位置到板的内表面(且因此到样品)的物镜距离，验证恰当反射被聚焦，且能够处置存在三个或三个以上反射的情况。

本文中所揭示或设想的实施例可包括或利用专用或通用计算机，包含计算机硬件，例如一个或多个处理器，如下文更详细地论述。实施例还可包含用于携载或存储计算机可执行指令和/或数据结构的物理和其它计算机可读媒体。此类计算机可读媒体可以是可以通过通用或专用计算机系统存取的任何可用媒体。存储计算机可执行指令的计算机可读媒体是物理存储媒体。携载计算机可执行指令的计算机可读媒体是传输媒体。因此，借助于实例而非限制，实施例可以包括至少两种明显地不同类别的计算机可读媒体：计算机存储媒体和传输媒体。

计算机存储媒体包含ram、rom、eeprom、cd-rom或其它光盘存储器、磁盘存储器或其它磁性存储器装置，或者可以用来存储计算机可执行指令或数据结构的形式的所需程序代码构件且可以通过通用或专用计算机存取的任何其它媒体。

“网络”被定义为一个或多个数据链路，其使得能够在计算机系统和/或模块和/或其它电子装置之间传送电子数据。当经由网络或另一通信连接(固线式、无线式的或固线式的与无线式的组合)向计算机传送或提供信息时，计算机将连接恰当地视为传输媒体。传输媒体可以包含可以用于携载数据或计算机可执行指令或数据结构形式的所需程序代码构件且可以通过通用或专用计算机存取的网络和/或数据链路。以上各项的组合也应包含在计算机可读媒体的范围内。

另外，当到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码构件可以从传输媒体自动传送到计算机存储媒体(或反之亦然)。举例来说，经由网络或数据链路接收到的计算机可执行指令或数据结构可以在网络接口模块(例如“nic”)内的ram中缓冲，且接着最终传送到计算机系统ram和/或计算机系统处的较低易失性的计算机存储媒体。因此，应理解，计算机存储媒体可以包含在也(或甚至主要)利用传输媒体的计算机系统组件中。

计算机可执行指令包括例如使通用计算机、专用计算机或专用处理装置执行某一功能或功能群组的指令和数据。计算机可执行指令可以例如是二进位、例如汇编语言的中间格式指令，或甚至源代码。尽管已经以特定地针对结构特征和/或方法动作的语言来描述标的物，但应理解，所附权利要求书中所界定的标的物未必限于上文所描述的所描述特征或动作。而是，作为实施权利要求的实例形式揭示所描述的特征和动作。

所属领域的技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实践实施例，这些计算机系统配置包含个人计算机、桌上型计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程消费型电子装置、网络pc、微型计算机、大型主机计算机、平板电脑、移动电话、pda、寻呼机、路由器、交换机等等。可以在分布式系统环境中实践实施例，其中本地和远程计算机系统都执行任务，该本地和远程计算机系统通过网络(通过固线式数据链路、无线数据链路或通过固线式链路与无线数据链路的组合)链接。在分布式系统环境中，程序模块可以位于本地存储装置和远程存储器存储装置中。用于一个实体的程序模块可以位于另一实体数据中心中或者在“云中”，或者在另一实体数据中心中或者在“云中”运行。在本说明书和以下权利要求书中，计算机系统还定义为包含成像系统(例如，图4中的成像系统102)。

图4说明并有本文中所揭示或设想的特征的示范性系统100。在系统的中心是定量高含量细胞成像系统102，其中对生物细胞进行扫描和分析。示例性细胞成像系统102包含(但不限于)成像装置104和计算装置106。

成像装置104包括安装在显微镜组合件110上的级壳108。级壳108经配置以容纳定位含有细胞的试样板(例如96孔板)所必需的组件，使得显微镜组合件110可以对细胞进行成像以允许执行细胞的高含量筛查，这是所属领域的技术人员已知的。成像装置104配合计算装置106可以执行从成像获得的数据的分析和存储。

计算装置106可以用作所述系统的控制器且用于自身或者配合成像装置104执行成像装置104获得的数据的分析和/或存储。计算装置106可以包括如上定义的通用或专用计算机或服务器等等或任何其它计算机化装置。如本领域中已知，计算装置106可以直接或通过网络与成像装置104通信。在一些实施例中，计算装置106并入到成像装置104中。

系统100还可以包含用户显示装置112以显示结果和/或系统配置。成像装置104和/或计算装置106可以直接或间接地与用户显示装置112通信。

通常布置在成像装置104中的光学配置在相机上产生细胞的放大图像以便记录细胞样品的高分辨率图像。具体来说，本文中论述的配置提供一种不仅能够实现所属领域的技术人员已知的“宽视场”显微检查而且能够实现光学分段能力的系统。这可以包含(例如)在一系列细胞上扫描的聚焦照明点或照明行的标准共焦显微镜。这些能力可以与辅助提供如由相机记录的所需图像的成像算法相结合。

在一个实施例中，作为软件应用程序执行本文所述的方法步骤中的一个或多个。然而，实施例不限于这种情况，且方法步骤也可以在固件、硬件或固件、硬件和/或软件的组合中执行。此外，方法的步骤可以完全或部分地存在于成像装置104、计算装置106和/或其它计算装置上。

用于所述系统的装置的操作环境可以包括或利用具有一个或多个微处理器和系统存储器的处理系统。根据计算机编程领域的技术人员的实践，除非另有规定，下文参照处理系统执行的操作或指令的动作和符号表示描述实施例。这些动作和操作或指令被称作“计算机执行的”、“cpu执行的”或“处理器执行的”。

图5是成像装置104的示例性实施例。图5显示内部平台设计的总体横截面侧视图。一般来说，成像装置104集成定位含有生物细胞的hcs样品板116所必需的组件，从而使得显微镜组合件110可以执行生物细胞的高含量筛查。

级壳108包括级组合件114，其以便于与构成显微镜组合件110的组件进行光学和机械协作的方式安装。级组合件114一般包括上面能定位hcs样品板116的级，以及用于选择性地移动级以便观察的级定位机构，如本领域中已知。

在描绘的实施例中，显微镜组合件110容纳倒置式显微镜，其可以用于从试样下方对试样样品板116上的试样执行筛查。显微镜包含物镜组合件118，如本领域中已知，其包括多个物镜以获得试样的放大视图。每个物镜可以对应于不同的放大水平。在一个实施例中，包含至少三个标准物镜。如果需要，还可以包含额外物镜。实例标准物镜可以包含10x/0.4na、20x/0.45na和40x/0.6na光学规范。实例额外物镜可以包含2x/0.08na、4x/0.16na和20x/0.7na光学规范。还可以使用其它放大水平和物镜类型。

显微镜还包含聚焦驱动机构120，其机械耦合到显微镜物镜组合件118。物镜组合件118可以经由聚焦驱动机构120而相对于级组合件114上下(即，在z方向上)移动，以便将显微镜物镜组合件118的物镜中的任一者对准且聚焦在安置在试样样品板116内的生物细胞上。聚焦驱动机构120可以配置有步进式电机和螺丝/螺母组合，其降低消隙以提供(例如)低至0.006-μm/微步的分辨率以支持成像装置104中配置的显微镜物镜。

虽然本文中的论述是针对使用倒置式显微镜配置，但是应了解，可以替代地使用非倒置式显微镜配置从细胞上方执行筛查。此外，虽然本文中论述的显微镜组合件110是定制的，但是在需要时可以并入其它常规显微镜配置，例如德国哥廷根(goettingin)的卡尔蔡司微成像有限公司(carlzeissmicroimaging,inc.)制造的axiovert200m。在一些实施例中，根本不需要显微镜。

显微镜组合件104还包括各种已知组件，用于产生和记录通过物镜获得的试样的图像。这些组件可以包含(但不限于)：

●图像记录器122，例如单色ccd或cmos相机，

●荧光团激发源124，例如包括多个发光二极管(led)的光引擎，

●滤光器，其对激发和发射光进行滤波，例如多位置双色滤光轮128和多位置发射滤光轮130，以及

●光引导装置，其引导激发和发射光通过显微镜组合件，例如特兰透镜132、折叠镜134(例如90度折叠镜)和一个或多个导光管。

以上组件中的一个或多个通常受到计算装置106的控制以允许自动成像。通常布置在成像装置104中的光学配置可以在图像记录器122上产生细胞的放大图像，以使得可以记录细胞样品的高分辨率图像。具体来说，本文中论述的配置提供一种不仅能够实现所属领域的技术人员已知的“宽视场”显微检查而且能够实现光学分段能力的系统。

在一个实施例中，特兰透镜132是经设计用于在使用具有所需发射波长的任何经配置物镜时增强成像装置104在从蓝色到nir的可见光谱的全范围上的性能的近红外(nir)增强透镜(例如olympustriplet)，下文将予以论述。

对于荧光分析，荧光团激发源124产生激发光，其照明细胞且使得细胞诱发荧光团发射光。举例来说，荧光团激发源124可以是多led光引擎，其与双色滤光轮128和发射滤光轮130提供的配置激发滤光器协作工作，这两个滤光轮都可以受到计算机驱动以选择所需滤光器。

作为一种通用的操作方法，可以自动或手动地引导荧光团激发源124以提供从紫色(例如380nm)到近红外(例如至少700nm)的范围的多个光带宽，且经设计以激发荧光团，例如蓝绿色荧光蛋白质(cfp)和远红外(即，近红外)荧光团。

使用系统100，可以执行细胞的荧光分析。为了执行分析，级组合件114首先将样品板116移动到微孔的所需特定片段或载玻片的特定片段处于给定光路中的位置。

图6是进一步说明显微镜组合件110内的实例组件的落射荧光路径的俯视图描绘(与图5的侧视图相反)。如图5和6中所描绘，荧光团激发源124发出通过光纤递送系统中继(如图6中的大方向箭头136所示)的所需系统波长带宽，这取决于相对于样品板116中的荧光标记细胞的应用。照明转接器138使用各种光学件导引激发波长带宽以便另外沿着激发光路140受到引导(如图5和6中通过含有斜杠的箭头指示)，直到被安置在多位置双色滤光轮128中的所需双色组件142(图6中所示)接收到。双色组件142经过设计且自动经过软件选择，以用于荧光团激发光源124提供的特定波长带宽。双色组件142将激发光引导到90度折叠镜134。此后，如图5所示，激发光沿着激发光路140继续向上，通过特兰透镜132和物镜组合件118到达安置在样品板支座116中的细胞，如所属领域的技术人员所已知。

激发光在安置在样品板支座116中的细胞中诱发荧光。诱发荧光沿着路径144(图5和6中通过暗箭头示出)通过物镜组合件118和特兰透镜132经由落射荧光布置从细胞返回，直到被90度折叠镜134接收到。如图6中具体所示，折叠镜134将诱发的荧光引导回到双色组件142，这允许诱发荧光沿着通过(例如)额外光学组件的路径144继续返回。诱发的荧光接着通过布置在发射滤光轮组合件130中的经配置滤光器滤光，且经由相机122俘获经滤波的诱发荧光且记录为图像。

如图5所示，为了能够进行明视场和发色团成像，显微镜组合件104进一步包括位于样品板116上方的透光组合件126。透光组合件126利用具有不同彩色波长(例如，蓝色、绿色、琥珀色与红色)的光源(例如led)照亮图5中所示的透光几何结构中的样品，以使得可以使用图像记录器122基于发色团对光的不同吸收来检测发色团。透光组合件126还提供透射白光以用于明视场成像。

如图5所示，显微镜组合件104包含激光自动聚焦(laf)装置200，其提供用以确定物镜相对于样品的正确焦点位置的激光。laf装置200产生激光束，其照射到试样样品板116上以便从样品板表面产生反射。所述反射通过图像记录器122成像，且执行软件方法以基于所述图像确定物镜相对于样品板的内表面的z位置。聚焦驱动机构接着基于针对物镜确定的原始z位置而将物镜移动到对应于正确焦距的新z位置。在一些实施例中，激光束和随之而来的反射通过物镜，使得激光束和对应反射从物镜的中心偏移。在一些实施例中，反射随着物镜与样品板的内表面之间的z距离改变而跨越图像移动。

图7为说明用于荧光成像的相同相机如何也可以由激光自动聚焦系统使用的框图。如所描绘实施例中所示，laf装置200包括例如激光二极管202的用以产生激光的激光产生单元以及例如准直透镜204的用以将由激光产生单元产生的激光对准且聚焦到激光束中的光学件。还可以包含通常称为“介刀”的阻断装置206以阻断由laf装置200发射的激光束的一部分，使得激光束的反射为非圆形的。这允许产生不对称反射，从而可以提供更多信息以辅助聚焦。

举例来说，如果激光束的一侧被阻断，那么由laf装置200发射的激光束和基于其的反射将具有“d”横截面形状。这可以用来以圆形截面形状所不可能的一种方式来确定聚焦信息。当反射离焦时，将产生“d”形状。归因于光学特性，“d”形状在焦距过短时将在一个方向上延伸，且在焦距过长时将在相反方向上延伸。即，在经过正确焦距时，“d”形状将“翻转”。

尽管本文中论述的laf装置200是定制的，但其它常规laf装置也可以用作laf装置200。一些实例包含：德国哥廷根的卡尔蔡司微成像有限公司制造的definitefocus、由马萨诸塞州罗克兰市的priorscientific公司制造的lf210激光自动聚焦系统，以及由蒙大拿州博兹曼市的quantumcomposers公司制造的af910自动聚焦传感器。

如图7中所说明且大体如上文所论述，在样品的荧光成像期间，荧光团激发源124发射所需系统波长带宽，其沿着经过一个或多个双色组件(例如双色镜208)且经过物镜210的激发光路140导引到安置于样品板152上的150。由激发光在样品150中诱发的荧光从样品150向后经由物镜210且沿着荧光返回路径144返回，其一部分与激发光路140重合。荧光返回路径144与激发光路140归因于允许激发光与所诱发荧光中的仅一者通过而反射另一个的双色组件(例如，双色镜208等等)而在某一点处分叉。所诱发荧光继续沿着返回路径144到相机122，其在所述相机处被俘获且记录为图像。

在自动聚焦期间，laf装置200发射激光束，其沿着经过一个或多个双色组件(例如，双色镜214)的激光路径212导引，直到使激光路径212与激发光路140重合。激光束经由物镜210朝向安置于样品板152上的样品150引导。如上文所论述，板152的内表面和外表面以及可能的其它表面反射激光束。这些反射经由物镜210向后且沿着反射返回路径216返回。反射返回路径216与由所诱发荧光使用的荧光返回路径144重合。由此，反射到达相机122，类似于所诱发荧光，所述反射在所述相机处被俘获且记录为图像。

如上文所指出，激光束在其通过物镜210时可能从其中心偏移。这可能导致返回的反射也从物镜210的中心偏移，但在相反侧上偏移。结果，反射可能出现于图像上的不同横向位置处，且可能随着物镜与表面之间的z距离改变而跨越图像移动。这可以用来帮助确定对应于反射的表面的z位置。

将hci系统的相机用作laf装置的图像记录器提供数个益处。因为相机已经在hci系统内，因此无需额外相机，从而提供经济益处。此外，不需要额外校准步骤。

在一替代实施例中，可以使用与hcs相机分离的相机。尽管较不经济，但使用单独相机可以提供其它益处。举例来说，这样做可能加速z马达、相机与定位方法之间的往返。这可以通过若干方式实现-包含使用视频率相机、在硬件与相机之间使用硬件触发器，或使用与激光自动聚焦单元直接耦合的集成式相机。此外，可能实施单独的成像路径和检测器专用于激光的特定波长。

此外，尽管以上论述已针对使用具有hci系统的laf装置，但应了解，类似于上文所论述的装置的laf装置也可以与其它类型的样品成像系统一起使用。举例来说，上文所论述或设想的laf装置也可以与通用显微镜和例如板读取器的低含量成像系统一起使用。其它系统也可以并有laf装置。这同样适用于下文论述的方法。

图8说明根据一个实施例的使用激光自动聚焦装置使样品自动聚焦的方法。laf装置发射激光束，所述激光束例如以上文所论述的方式朝向样品照射。在激光束照在各表面(例如，板的内表面和外表面、细胞/介质界面表面，和介质表面)上时，光例如以上文所论述的方式经由成像组件(例如，显微镜物镜)反射到相机。通过成像组件产生反射的图像，例如图像222。使用一个或多个软件算法224处理所述图像以确定用于使样品聚焦的信息，包含例如识别图像的每一反射、确定每一反射涉及的表面，以及估计成像组件相对于由所述反射表示的表面中的任一者的z位置。使用所述信息来确定成像组件对于待处于焦点上的样品的所需焦点位置，例如物镜的z位置。最后，驱动机构将成像组件移动到所需焦点位置。

如下文较详细论述，一个实施例使用图像处理算法来将图像投影到线上，且接着识别所述投影的峰值以识别所述线上的多个激光反射的数目和位置。基于识别结果，测量图像中的每一斑点(其中每一斑点为所检测到的反射)的位置、强度、形状和大小。基于每一斑点的相对大小、强度和位置，软件可以预测物镜相对于内表面且因此相对于样品的位置。

图9说明根据一个实施例的使用高含量成像(hci)系统对样品进行成像的方法250。所述方法也可以适于用于其它类型的系统。方法250包括步骤252到264。

在步骤252中，建立成像组件相对于样品的所需焦点位置。在一个实施例中，用户手动地操纵物镜以在z方向上移动，直到定位在板上的样品处于焦点上。在另一实施例中，物镜的移动受计算机装置控制，所述计算机装置确定样品何时处于焦点上。在一个实施例中，z方向为竖直的，且物镜向上和/或向下移动。在一个实施例中，用户经由物镜观看样品以确定样品何时处于焦点上。在一个实施例中，用户观看经由物镜拍摄的样品的所记录图像以确定样品何时处于焦点上。

在步骤254中，一旦已建立成像组件的所需焦点位置，就训练所述系统以使loa装置的反射的图像上的位置与所需焦点位置相关。在一个实施例中，使用由相机俘获的激光束的反射来确定所需焦点位置。在一个实施例中，所需焦点位置与由相机俘获的内表面的反射的位置直接相关。

在步骤256中，一旦系统已得以训练，就使成像组件在z方向上与待成像的第一样品对准。在一个实施例中，水平地移动板或物镜以使物镜与待成像的第一视场或凹孔对准，如本领域中已知。

在步骤258中，一旦成像组件已与待成像的样品对准，就在z方向上移动成像组件和/或样品以在对应于所需焦点位置的相同位置中产生反射。在一个实施例中，将物镜在z方向上移动到导致所需焦距的新焦点位置。如下文所论述，在一个实施例中，可以使用由相机成像的激光束的反射来确定新焦点位置。

在步骤260中，一旦成像组件和/或样品已移动到所需z位置，就经由具有记录装置的成像组件来俘获样品的一个或多个图像。在一个实施例中，以本领域中已知的方式使用相机经由物镜俘获图像。

如由决策步骤262所指示，如果需要对更多样品进行成像，那么方法继续进行到步骤264。否则，所述方法结束。在一个实施例中，每一样品对应于凹孔中的不同视场。在一个实施例中，每一样品对应于板中的不同凹孔。

在步骤264中，使成像组件在z方向上与待成像的下一个样品对准。在一个实施例中，水平地移动板或物镜以使物镜与待成像的第一视场或凹孔对准，如本领域中已知。

一旦成像组件已与待成像的下一个样品对准，就对于所述样品重复步骤258和260。继续这一过程，直到已对所有所需样品进行成像。由此，重复步骤256和258，直到已对所有所需样品进行成像。

图10说明根据一个实施例的确定所需焦距的方法270。方法270可以用于例如方法250的步骤254。方法270包括步骤272到280。

在步骤272中，产生自动聚焦图像。在一个实施例中，这包括将激光束从laf装置照射到板上，以便使得光的反射从各个表面通过成像组件且由记录装置记录。在一个实施例中，光经由物镜至少从板的内表面和外表面反射，且所述反射例如以上文所论述的方式由相机记录。获得示出一个或多个反射的图像，例如，类似于图8中所示的图像222或图12中所示的图像230。所述图像可以存储在例如计算机存储器等存储装置上，如本领域中已知。

在步骤274中，处理自动聚焦图像以确定其中的对象的数目以及关于每一对象的信息。下文论述这样做的一种方式。

如由决策步骤276所指示，如果在图像中发现至少两个对象，那么所述方法继续进行到步骤278。否则，已发生错误，且可能需要获得并处理其它图像。

在步骤278中，使来自板的外表面与内表面的反射分别对等(默认对应)于图像的第一与第二所确定对象。

在步骤280中，确定所需焦距。在一个实施例中，所需焦距为物镜与板的内表面之间的距离，且部分地基于从图像的第二对象获得的信息而计算。

图11说明根据一个实施例的处理自动聚焦图像以确定其中的反射对象(或斑点)的数目和关于每一对象的信息的方法300。在方法300中，使用图像处理算法将自动聚焦图像投影到线上，且接着识别投影的峰值以识别多个激光反射的数目和位置。基于识别结果，测量图像中的每一斑点(其中每一斑点为所检测到的反射)的位置、强度、形状和大小。基于每一斑点的相对大小、强度和位置，可以估计物镜相对于内表面的z位置。方法300可以用于例如方法270的步骤274。方法300包括步骤302到314。

在步骤302中，从相机直接获得或从存储装置获得自动聚焦图像。图12中所示的自动聚焦图像230为使用本发明的实施例获得的一个此类图像的实例。图像230大致含有在约1100行和约1100列中的一百万个像素。每一行/列位置对应于图像的单个像素。如图12中所示，在自动聚焦图像230的右上方处在行100与500之间以及列700与1100之间示出两个对象232和234。对象232与234分别表示从板的外表面与内表面反射的激光束的第一反射与第二反射。在一个实施例中，以一系列流从相机或计算机装置获得图像。举例来说，可以从第一行开始一次一行地获得图像。

在步骤304中，裁减所获得的自动聚焦图像以获得所需区域且移除图像的与自动聚焦对象不相关的一个或多个部分。举例来说，可以裁减图像230以移除图像的下一半且获得图13中所示的区域236。移除图像的不相关部分去除了那些部分内的任何对象，以使得那些对象不会错误地用于聚焦计算中。可以在校准先前执行的系统期间确定图像的要使用的区域。其可以取决于物镜内的激光反射所经过的位置以及其它因素。

在步骤306中，确定图像的每一列的代表值且将其存储成线性阵列。阵列的每一位置对应于列中的一个。举例来说，对于区域236，使用约1100的线性阵列，其中阵列中每一位置对应于单独列。在一个实施例中，列的代表值为所述列中的任何像素的最大强度值。在一个实施例中，代表值为列中的所有像素的总强度。

在使用图像236的实例中，阵列的每一位置填入在对应列中发现的最大强度值。已标绘所得值以获得图14中所示的图形投影238。如图14中所示，大致在投影238的列550处观测到几乎为600的最高强度值，其中数个其它强度峰值出现于列560、620、640、720，等处。谷值出现于投影238上的强度峰值之间。峰值与谷值的宽度不同。约为125的恒定“噪声”等级在投影的所有列上恒定。

鉴于以上内容，尽管图像236包含分别表示第一与第二反射的两个对象232与234，但图14中图示的代表性阵列值具有许多强度峰值和谷值，从而使得难以确定存在多少单独的反射对象，更不用说关于每一对象的任何信息。由此，包含步骤308到312以有助于在对象之间进行区分。

在步骤308中，确定对象之间的局部最小值，且获得局部最小值的强度值。首先假定最高强度值与第一或第二反射对象相对应。举例来说，对于投影238，假定反射对象中的一个包含具有最高强度值的列550。

在一个实施例中，首先确定潜在局部最小值。潜在局部最小值为从最高强度列向左与向右至少预定数目个列宽(在下文中称为“预定宽度”)和至少预定数目个列(在下文中称为“预定距离”)的投影的第一谷值的最低强度值。举例来说，如果预定宽度与距离分别为25与30，那么投影238的第一潜在局部最小值将为140，在最高强度列向右的位置590处。第二潜在局部最小值也可能出现在最高强度列左侧，尽管在投影238上并未发现。

局部最小值确定为潜在局部最小值中的最大值。举例来说，投影238的局部最小值为如由localmin线指示的140。

在步骤310中，一旦确定了局部最小值，就确定阈值强度。阈值强度用于确定对应于反射对象的列，如下文所论述。阈值强度设定为比局部最小值高的值，以使得可以在对象之间进行清楚区分。在一个实施例中，通过简单地将预定阈值调整值相加到强度局部最小值来获得阈值强度。举例来说，如果预定阈值调整值为40，那么阈值强度为180(140+40)，如由图14中的阈值线所指示。

在步骤312中，使用阈值强度识别且区分反射对象。在一个实施例中，弥合投影的强度峰值之间的小间隙以移除谷值且使曲线平滑。在一个实施例中，如果邻近峰值之间的列距离小于预定值，那么对峰值之间的列的强度值给出介于邻近峰值的强度值之间的新值。在一个实施例中，对峰值之间的列给出最低峰值的强度值。

一旦已使反射平滑化，就将阈值强度应用于每一列以产生二进制阵列；如果投影的列的强度值大于或等于阈值强度，那么就将对应于所述列的二进制阵列位置设定为1；否则，将二进制阵列位置设定为0。二进制阵列的具有重复的1的每一部分潜在地对应于对象。

一旦已填入二进制阵列，就将阈值对象宽度应用于阵列以移除过小的潜在对象。移除1的重复数目小于阈值对象宽度的潜在对象(即，将对应阵列位置重置为0)。阵列中左侧的内容对应于宽度至少为阈值对象宽度的对象，在阵列中由零分隔开。

接着识别二进制阵列中的每一反射对象，包含构成所述对象的列。反射对象通常从最右侧对象开始识别为第一到第n对象。

在步骤314中，计算每一对象的信息。此信息可以包含对象的列图心、平均强度、峰值强度，等。为进行此操作，再次使用原始图像。举例来说，在步骤312中识别为图像的部分的每一列的强度值可以用来确定图像的图心。在一个实施例中，使用图像的所有列的强度来确定图像的强度加权列，类似于质心计算。在另一实施例中，仅使用高于阈值的值来确定强度加权列。接着使用图心来表示反射对象的位置。可以保存每一对象的信息。

图15说明移行成像组件到所需焦点位置的方法320。所需焦点位置对应于导致样品处于焦点上的z位置。方法320可以用作例如方法250的步骤258。方法320包括步骤322到336。

在步骤322中，基于训练时确定的值以及来自在本方法期间使用的值的结果来估计物镜的所需z位置。目标为将物镜置于在与训练图像相同的列位置处产生内表面的反射图像的z位置。

在步骤324中，例如通过驱动机构将物镜移动到所需z位置，如本领域中已知。

在步骤326中，如上文所论述(例如见方法270的步骤272)而产生自动聚焦图像。

在步骤328中，例如以上文所论述的方式处理所述自动聚焦图像以确定其中的对象的数目以及关于每一对象的信息。

在步骤330中，将自动聚焦图像的内表面反射的列位置添加到用于移行处理的一组此类列位置。如果是第一次进行本移行方法的步骤330，那么列位置组将仅包含这个第一列位置。

如在决策步骤332中所反映，如果经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间，那么所述方法继续进行到步骤334。否则，所述方法返回到步骤322以再次执行步骤322到330。每次执行步骤322时，可以使用每次进行所述循环时添加的列位置组来更好地估计新的所需z位置。

在步骤334中，一旦经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间，那么确定物镜所要使用的z位置(即，焦点位置)。在一个实施例中，使用关于经训练图像的列位置组的最高值和最低值来内插焦点位置。在另一实施例中，使用三个值来内插焦点位置：最接近于经训练图像的内表面反射的列位置的列位置组的第一值，以及在所述第一值两侧上的列位置的两个值。

在步骤336中，例如通过驱动机构将物镜移动到焦点位置以用于成像，如本领域中已知。

图16说明移行成像组件到所需焦点位置的另一方法340。方法340包括步骤342到352。

除了确定可以退出循环的方式之外，方法340类似于方法320。由此，步骤342、344、346、348与350分别对应于方法320的步骤322、324、326、328与330。然而，如在决策步骤352中所反映，如果自动聚焦图像的内表面反射的列位置在距经训练图像的内表面反射的列位置的预定列距离内，那么已获得焦点位置。因为物镜已经在焦点位置处，因此其不必移动到那里。

图17说明移行成像组件到所需焦点位置的另一方法360。方法360包括步骤362到380。

方法360也类似于方法320，只是经训练图像的内表面反射的列位置需要处于列位置组的最高值与最低值之间，而且列位置组的值中的一个还需要接近于经训练图像的内表面反射的列位置。

由此，步骤362、364、366、368、370与372分别对应于方法320的步骤322、324、326、328、330与332。当确定经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间时，所述方法继续进行到步骤374。

在步骤374中，确定列位置组中的最接近于经训练图像的内表面反射的列位置的值的值。

如在决策步骤376中所反映，如果在步骤374中确定的值在距经训练图像的内表面反射的列位置的预定量内，那么所述方法继续进行到步骤380。否则，所述方法返回到步骤362以再次执行步骤362到374。

在步骤378中，一旦列位置组中的值中的一个在距经训练图像的内表面反射的列位置的预定量内，就确定物镜所要使用的z位置(即，焦点位置)。在一个实施例中，使用在步骤374中确定的值和列位置组内的另一值来内插焦点位置。

图18为laf装置400的另一实施例。laf装置400为可以插入到hci成像器中(例如插入到其中的传统插槽中)的独立单元。独立laf装置可以与在发射路径中具有开放插槽的任何系统集成或经由荧光激发路径的共享电动化双色而集成。

类似于非独立laf装置，独立laf装置包含例如激光二极管的激光产生元件、介刀以及准直透镜。此外，独立laf装置400还可以包含用以朝向板、相机(例如ccd或cmos相机)反射激光以记录激光反射的双色元件以及例如微处理器的用以控制laf装置的计算机装置。益处可以包含：(a)具有用于laf装置的专用处理器，(b)归因于与马达控制器(例如指示马达已完成其移动的硬件触发器)的直接耦合而增大速度，以及(c)可以按比hci装置的成像相机高的速度(例如视频率速度)操作laf图像记录器。

在一个实施例中，可以包含搜索算法以反复地改善z位置估计。搜索可以产生最佳z位置的反复估计，且最终估计可以是来自反复估计的结果的加权平均值。最终估计可能较不易于受到由反射位置处的塑料的激光强度变化、振动、缺陷等造成的错误的影响。

在一个实施例中，可以使用机器学习方法。在此方法中，对于当前实验呈现一组训练激光图像(物镜、板类型和样品)。系统对这些图像进行训练，以使得当呈现新激光自动聚焦图像时，系统可以产生到内表面(且因此到样品)的距离的估计。这一实施例的益处包含：(a)不需要图像处理来识别反射的位置和数目，因此减少潜在错误；(b)训练算法可以有效地决定如何相对于输出z位置估计对位置、强度、形状和大小的重要性进行加权；以及(c)不同反射的纹理质量可以包含于算法中，这可以添加额外稳定性水平，因为来自每一反射表面的反射通常具有稍微不同的光学质量。

应理解，关于本文中的各种实施例描述的特征可以在任何组合中混合且匹配而不脱离本发明的精神和范围。在不脱离本发明精神或基本特征的情况下，可以其它特定形式实施本发明。所描述的实施例应视为在所有方面均仅为说明性而非限制性的。因此，本发明的范围由所附权利要求书而不是由前述描述指示。在权利要求书等效物的含义和范围内的所有变化均涵盖在权利要求书的范围内。