生物成像方法和系统的制作方法
【专利摘要】一种用于产生具有表面的生物样本的图像的成像系统，该系统包括：样本支座，其在使用时用于支承生物样本；多个照明源，该多个照明源被布置在样本支座周围并且每一个在使用时适于从不同方向照射生物样本；图像捕获装置，用于捕获投射在生物样本上的照明，由此形成样本的图像；其中照明源中的至少一个的方向不垂直于样本的表面。
【专利说明】生物成像方法和系统
[0001]描述发明领域
[0002]本发明涉及一种用于分析体外样本的方法和系统。
[0003]发明背景
[0004]为了识别生物样本，如微生物、细胞和组织培养物、细胞或亚细胞提取物以及纯化的分子，在许多环境中进行体外分析。将各种材料的样本从其通常的生物环境中分离出来并提供它们可以在其中生长的环境。通常以培养皿的形式来提供该环境，所述培养皿被放入培养箱中以使样本生长。培养皿通常包括促进样本的生长的微生物培养基。理想地，在适当的培养基上的培育导致许多样本菌落的生长。通常进行随后的菌落分析以识别微生物并评估它们对抗微生物剂的敏感性或抗性。
[0005]样本分析的重要部分是例如从菌落中识别特定的微生物或细菌的能力。另外，也可以基于样本中的微生物的生长以及与应用到样本的任何药物的相互作用分析利用适当药物的细菌的治疗。
[0006]许多初步分析是由合格的科学家们通过在培养皿中的视觉分析进行。初步视觉分析效果良好，但由于可能难以解释的不同微生物的形状、颜色、尺寸和形式的巨大差异，易于出现人为错误和不一致性。然而，在目前，视域仍然是快速地识别微生物的最好方法之一。另外，由于许多生长是“随机的”，所以不容易对微生物生长建模以及找出适用于以上所识别的差异性的自动系统。
[0007]已知的培养箱可以包括窗口，通过该窗口可以观察样本，但一般地，将培养皿从培养箱中取出以在视觉上进行分析。初步视觉分析涉及将培养皿保持在光源的前面以识别菌落。然后，根据需要，可以在特定的已识别的菌落上进行进一步详细的化学和显微镜分析方法。
[0008]生物扫描仪，即用于扫描或计数细菌菌落的装置，在现有技术中这是熟知的。例如，US2004/0101951和US2010/0232660都公开了用于扫描生物生长板的生物扫描仪，其具有不同的结构，但都共同具有产生板的图像并对这些图像进行分析以检测生物生长的能力。然而，均使用单个光源提供前照明或后照明。实际上，在US2004/0101951和US2010/0232660中都记载了“一些生物生长板可能仅需要前照明或后照明，而不是两者(some biologicalgrowthplatesmayrequireonlyfrontorbackiIlumination, butnotboth)”。这种照明是基本的且不允许获得具有以有效的方式进行初步分析的足够质量的图像。
[0009]存在培养皿中的样本被不同颜色或波长的光照射以形成样本的图像的某些现有技术系统。所述图像由适当定向的照相机捕获。
[0010]FR2926820公开了一种用于检测生物样本中的至少一种特定微生物的方法，所述方法尤其包括将培养基经受至少两种辐射的步骤，每种辐射具有特定的波长。优选地，使用两个照明系统，每个照明系统发射特定波长的辐射。更具体地，该文献的图1示出了顶部可见光和紫外线背光的组合。然后，使用来自两种不同照明的随后的组合图像检测特定微生物的存在。
[0011]类似地，公布的日本专利申请JP2010104301尤其描述了一种用于检测微生物的方法，包括使微生物在其上生长的培养基成像的成像步骤和菌落检测步骤，所述方法还使用顶部光和背光的组合。
[0012]获得生物样本的图像后，通常存在可被应用来增强图像并进行图像处理的方法。然而，存在许多与增强生物样本的图像相关联的问题。这些包括:
[0013]-被观察的菌落的尺寸；
[0014]-一个菌落与另一个菌落的接近度；
[0015]-菌落的颜色混合；
[0016]-培养皿的性质；
[0017]-培养基的性质；
[0018]-等等。
[0019]这些问题中的许多只能通过定制应用来解决。
[0020]发明目的
[0021]本发明的一个目的在于克服与现有技术相关联的问题中的至少一些。
[0022]本发明的另一个目的在于提供一种用于分析生物样本的自动系统和方法。
[0023]发明概述
[0024]本发明提供一种如所附权利要求中阐述的方法和系统。
[0025]根据本发明的一个方面，提供了一种用于产生具有表面的生物样本的图像的成像系统，该系统包括样本支座，其在使用时用于支承生物样本；多个照明源，该多个照明源被布置在样本支座周围并且每一个在使用时适于从不同方向照射生物样本；图像捕获装置，用于捕获投射在生物样本上的照明，由此形成样本的图像；其中照明源中的至少一个的方向不垂直于样本的表面。
[0026]可选地，照明源中的至少两个的方向实质上不共面。在一个实施例中，至少两个照明源的方向之间的最大交叉角小于170°，可选地小于160°，可选地小于150°。使用各自的方向实质上不共面的至少两个照明源允许对象的改进识别和检测、对象的标记和表征。
[0027]可选地，多个照明源包括以下两个或两个以上:背光源；接近水平的源；朝向表面的环形源；背向表面的环形源；以及垂直源，其中每一个限定不同类型的照明源。
[0028]可选地，多个照明源中的至少两个是不同类型的照明源。
[0029]可选地，多个照明源包括以下三个或三个以上:背光源；接近水平的源；朝向表面的环形源；背向表面的环形源；以及垂直源，其中每一个限定不同类型的照明源。
[0030]可选地，多个照明源中的至少三个是不同类型的照明源。
[0031]使用不同类型的至少两个或三个照明源(如背光源、接近水平的源等等)还允许对象的改进识别和检测、对象的标记和表征。
[0032]可选地，多个照明源被用于生成多个图像，该多个图像可以被组合以形成复合结果图像。
[0033]可选地，多个照明源的不同组合可被用于针对不同的生物分析生成不同的图像。
[0034]可选地，每个照明源被包括在单元中并且其中每个单元可堆叠在彼此的顶部上。[0035]可选地，单元相对于彼此可移动。
[0036]可选地，样本相对于多个照明源可移动。
[0037]可选地，照明源包括红色、绿色、蓝色源，白色光源或UV源。
[0038]可选地，样本能够被接近水平的源照射。
[0039]可选地，系统还包括用于增强或处理图像以实现样本的生物分析的处理系统。
[0040]可选地,系统与培养箱系统组合，用于在使样本成像之前，培育样本。
[0041]本发明还涉及一种用于培育生物样本的培养箱，其包括如权利要求中定义的成像系统。
[0042]根据本发明的另一个方面，提供了一种产生生物样本的图像的方法，其中样本具有表面，该方法包括以下步骤:
[0043]-利用多个照明源照射样本，多个照明源被布置在样本支座周围并且每一个在使用时适于从不同方向照射生物样本；
[0044]-捕获投射在生物样本上的照明，由此形成样本的图像；
[0045]其中照射步骤包括利用照明源中的至少一个照射样本，所述照明源中的至少一个指向不垂直于样本的表面的方向。
[0046]根据本发明的另一个方面，提供了一种用于增强生物样本的图像的系统和方法，其中生物样本已经在器皿中生长在培养基上并且其中通过利用接近水平的照明光束照射包含样本和培养基的器皿形成了图像，该方法包括以下步骤:通过将多个不同颜色的照明源分别应用到器皿和培养基获得作为测试图像的器皿和培养基的图像；对于每种颜色，测量器皿和培养基的吸收率；形成用于器皿和培养基的每种颜色的吸收率的模型；通过将多个不同颜色的照明源分别应用到器皿、培养基和生物样本获得并处理器皿、培养基和生物样本的图像；对于每种颜色，产生器皿、培养基和生物样本的源图像；将用于器皿和培养基的每种颜色的吸收率的模型应用到各自的源图像以去除器皿和培养基的吸收效应；组合每种颜色的源图像以形成突出生物样本的复合图像。
[0047]可选地，照射步骤包括利用红色、绿色、蓝色源和/或UV源进行照射。
[0048]根据本发明的另一个方面，提供了一种确定生物成像系统中的生物样本的图像的理想曝光时间的系统和方法，步骤包括:识别待成像的样本的一个或多个特征；基于一个或多个特征确定默认曝光时间；以默认曝光时间拍摄图像；分析图像以确定图像中的多个区域，如与感兴趣的领域相关的区域以及与感兴趣的领域无关的区域；确定多个区域之间的相对亮度以估计图像的期望亮度；在一个区域中，如与样本相关的区域，应用分类算法以将与生物样本相关的图像的部分聚集在一起以及将与生物样本无关的图像的部分聚集在一起；确定每部分中的亮度以获得图像的实际亮度的值；将实际的亮度与期望的亮度相比较以确定其间的差异系数；如果系数在预定等级之上，则判断默认曝光时间不正确，并且然后基于系数以新的曝光时间再拍摄新的图像。
[0049]根据本发明的另一个方面，提供了一种根据生物样本的图像确定生物样本的表面上的轮廓和起伏信息的系统和方法，该方法包括以下步骤:利用样本上方的至少一个垂直源照射样本并获得样本的单色图像；利用来自任何方向的第二源照射样本以生成样本的第二图像；对单色图像实施变换以形成经变换的单色图像；抑制经变换的单色图像中的低频亮度值；确定经变换的单色图像中的每个像素的亮度值；将亮度值与第二图像在逐个像素的基础上组合以形成最终图像，该最终图像使轮廓明显并提供了起伏信息。
[0050]可选地，利用样本上方的至少一个垂直源照射样本并获得样本的单色图像的步骤包括利用在至少两个不同位置处的至少两个垂直源照射样本。
[0051]可选地，利用第二源照射样本的步骤包括使用具有多个颜色通道的源并将第二图像形成为彩色图像。
[0052]可选地，利用第二源照射样本的步骤包括分别利用红色、绿色和蓝色源中的每一个照射样本以及将亮度值与由此形成的红色、绿色和蓝色图像中的每一个组合以针对每种颜色形成加重轮廓并提供起伏信息的图像并将三种颜色组合以获得所述最终图像。
[0053]可选地,样本是包括培养基的培养皿，微生物菌落存在于培养基上。
[0054]根据本发明的另一个方面，提供了一种检测与器皿相关联的特征的系统和方法，包括以下步骤:使用多个照明源中的一个或多个获得器皿的一个或多个图像，每个照明源能够从不同的方向照射器皿；实施对象检测变换以识别器皿的边缘；确定器皿的内部的图像。
[0055]可选地，确定器皿的内部的图像的步骤包括遮盖所述的图像或每张图像的器皿的边缘以生成显示器皿的内部的结果图像。
[0056]可选地，方法还包括识别器皿内的任何微生物菌落的不存在。
[0057]根据本发明的另一个方面，提供了一种检测器皿上具有非生物特征的预定格式的对象的系统和方法，包括以下步骤:使用多个照明源中的一个或多个获得器皿的一个或多个图像，每个照明源能够从不同的方向照射器皿；形成所述的图像或每张图像的数字图像；识别具有非生物特征的预定格式的对象。
[0058]可选地，形成所述的图像或每张图像的数字图像的步骤包括在器皿的一个或多个图像中检索具有点状或深色的对象。
[0059]可选地，方法还包括遮盖所识别的对象以生成结果图像，其中对象是不可见的。
[0060]根据本发明的另一个方面，提供了一种分离包括培养基的器皿中的微生物菌落的系统和方法，该方法包括以下步骤:使用多个照明源中的一个或多个获得器皿的一个或多个图像，每个照明源能够从不同的方向照射器皿；选择图像或图像的组合以进行进一步处理；实施圆形对象检测变换以识别器皿中的一个或多个基本为圆形的对象，其中圆形对象代表器皿中被分离的菌落；对于每个所识别的基本为圆形的对象，确定那个对象的分离区域。
[0061]可选地，确定对象的分离区域的步骤包括确定所识别的基本为圆形的对象的中心；通过应用二值化步骤形成所识别的基本为圆形的对象的数字化图像以获得二值化图像，其中二值化图像的中心对应于所识别的基本为圆形的对象的中心；验证二值化图像中的对象的圆度；进行测试以识别对象的分离区域从而确定菌落的尺寸以及菌落与其它菌落的分离区域。
[0062]根据本发明的另一个方面，提供了一种检测包括培养基的器皿中的大量菌落和/或非圆形菌落的系统和方法，该方法包括以下步骤:使用多个照明源中的一个或多个获得器皿的一个或多个图像，每个照明源能够从不同的方向照射器皿；形成图像的数字化图像；通过识别高密度菌落和肖_圆形菌落检测生长。
[0063]可选地，识别高密度菌落和非圆形菌落的步骤包括确定对比度高于预定值的区域。
[0064]可选地，形成图像的数字化图像的步骤包括利用基于区域的分割技术分割所述图像。
[0065]根据本发明的另一个方面，提供了一种检测包括培养基的器皿中的群游微生物的系统和方法，该方法包括以下步骤:使用多个照明源中的一个或多个获得器皿的一个或多个图像，每个照明源能够从不同的方向照射器皿；选择具有轮廓或起伏信息的图像；将预定滤波器应用到所选择的图像以形成经滤波的图像；从经滤波的图像中减去所选择的图像以生成显示纹理的图像。
[0066]可选地，应用滤波器的步骤包括将7x7中值滤波器应用到数字化图像中的每个点。
[0067]根据本发明的另一个方面，提供了一种检测由包括培养基的器皿中的至少一种微生物进行的α和/或β溶血的系统和方法，该方法包括以下步骤:
[0068]-使用多个照明源中的一个或多个获得器皿的第一和第二图像，每个照明源能够从不同的方向照射器皿；
[0069]-基于融合算法将第一和第二图像组合以对不同的图像特征应用不同的权重以生成具有轮廓信息的彩色图像，使得可以检测α和/或β溶血。
[0070]附图的简要说明
[0071]现在将以示例方式参考附图，其中:
[0072]图1是根据本发明的一个方面的生物分析系统；
[0073]图2a、2b和2c是根据本发明的一个方面的图1系统的成像系统的示意图；
[0074]图3是根据本发明的一个方面示出了应用到样本的不同类型的照明的图2系统的简化图；
[0075]图4a是根据本发明的一个方面的背光照明源的示意性表示；
[0076]图4b是与背光照明相关的漫射器的示意性前视图和后视图表示；
[0077]图4c是与环形照明相关的漫射器的示意性前视图和后视图表示；
[0078]图5是根据本发明的一个方面的样本抽取器和相关联的接近水平的照明源的示意性表示；
[0079]图6是根据本发明的一个方面的环形照明源的示意性表示；
[0080]图7是根据本发明的一个方面示出了用于不同应用的不同照明类型的表格；
[0081]图8是根据本发明的一个方面示出了用于与不同图像处理技术相关联的不同培养基的不同照明类型的表格；
[0082]图9a是根据本发明的一个方面用于第一种图像增强技术的源图像；
[0083]图9b是根据本发明的一个方面在第一种图像增强技术之后的结果图像；
[0084]图10是根据本发明的一个方面示出了第一种图像增强技术的步骤的流程图；
[0085]图1laUlb和Ilc是根据本发明的一个方面示出了用于红色、绿色和蓝色的吸收测量和模型的曲线图；
[0086]图12是根据本发明的一个方面的另一种图像增强技术的流程图；
[0087]图13是根据本发明的一个方面的图12流程图的元件之一的流程图；
[0088]图14是根据本发明的一个方面在另一种图像增强技术之后的两个结果图像；[0089]图15a和15b是根据本发明的一个方面示出了用于再一种图像增强技术的可能的变换函数的两幅曲线图；以及
[0090]图16是根据本发明的一个方面在再一种图像增强技术之后的结果图像；
[0091]图17是根据本发明的一个方面的图像处理技术的实例；
[0092]图18是根据本发明的一个方面的用于标记检测的过程；
[0093]图19和19a是根据本发明的一个方面示出了用于图像处理技术的步骤的过程图；
[0094]图20是根据本发明的一个方面示出了用于图像处理技术的步骤的过程图；
[0095]图21是根据本发明的一个方面示出了用于图像处理技术的步骤的过程图；
[0096]图22是根据本发明的一个方面用于图像处理技术中的矩阵；
[0097]图23是根据本发明的一个方面示出了用于图像处理技术的步骤的过程图；
[0098]图24和25是根据本发明的一个方面的成像系统的机器人臂的示意性表示；
[0099]图26是根据本发明的一个方面的用于培养皿的掩模的不意性表不；以及
[0100]图27是根据本发明的一个方面在环形照明期间提供有掩模的培养皿的剖面视图。
[0101]优选实施例的详细说明
[0102]本发明涉及一种用于以全自动或半自动的方式分析生物标本的系统。在本说明书中，术语“对象”指的是真实对象，如气泡或菌落，术语“标记”指的是器皿的特征，如伪影或絹印，术语“特性”涉及对象的特征。另外，术语“陪替氏平皿”定义了培养皿的组件和覆盖培养皿的盖。
[0103]图1示出了根据本发明的系统100的实例。
[0104]系统100包括样本器皿库102、自动划线机104、智能培养箱系统106、处理单元108以及识别系统110。
[0105]样本库102手动地或自动地生成样本器皿，生物样本可以在样本器皿中生长并被分析。样本器皿通常为培养皿，尽管也可以使用其它器皿。因此，本文参考培养皿并不是限定性的。
[0106]样本器皿库将适当的培养基加到培养皿以使生物样本能够生长。利用传送带或其它自动系统可以将培养皿从样本器皿库传递到过程的下一个阶段。可替换地，样本可以由操作者来传递。
[0107]自动划线机104将生物样本施加到培养皿，且然后以已知的方式分布样本。例如，使用长度约等于培养皿半径的梳状件将样本施加在培养皿中。梳状件被应用并且被翻转以将生物样本散布在培养皿表面上。合适的自动划线机的实例由 申请人:以PRnvn Isola商标名商业化。
[0108]一旦生物样本被分布在培养皿中的培养基上，操作者手动地或利用传送带或其它自动系统将培养皿传递到过程的下一个阶段。
[0109]智能培养箱系统106包括培养箱112和成像系统114。培养皿被引入培养箱中并在预定温度下被培育预定时间。这导致生物样本生长，在培养皿的表面上产生大量的微生物菌落。一旦培养皿已经按照需要进行了培育，培养皿则被传递到成像系统114。成像系统是独特的、新颖的系统，总的来说，用于产生系统中产生的菌落和培养物的图像。下文将进一步描述成像系统的细节。
[0110]图像被用在样本的分析的第一阶段。该阶段可以识别菌落以及生物样本的其它方面以进一步帮助和促进整个系统的活性和功能。
[0111]在已经生成培养皿的图像之后，接着，培养皿被传递到过程的下一个阶段。这可以由传送带或其它自动系统自动地执行或由操作者执行。
[0112]根据所需的样本分析，处理单元108可以采用各种不同的形式。例如，基于所述图像可以提取特定的菌落，以进行进一步的分析或处理。此时，可将许多其它的过程应用于培养皿。如果需要的话，培养皿可以被返回到培养箱以进一步生长和/或被返回到成像系统。
[0113]在完成所有必要的处理和成像之后，可通过手动或自动过程将培养皿传递到识别系统110。
[0114]识别系统110可被用于通过多种不同的方式识别以菌落的形式存在于培养皿上的微生物。识别可通过微生物的代谢的分析进行且可以是自动的或手动的。例如利用由 申请人:商业化的ViTEKL?系统可以进行自动分析。使用质谱技术同样可以执行所述识别。其它分析也可以包括检测抗微生物剂抗性机制。
[0115]将要理解的是，整个系统的各种元件可以被改变以实现不同的功能。另外，某些步骤可以以不同的顺序进行。
[0116]如前面所提及的，智能培养箱系统是本发明的重要方面并且包括独特的成像系统。现在，参考图2a、2b和2c将更详细地描述成像系统。成像系统114包括基本单元202。基本单元包括用于产生红色、绿色和蓝色背光照明的光学器件和控制电路。基本单元可包括控制器，该控制器可以是具有如图2b所示的三个位置的轮子形式。这些位置对应于“没有背景”、“白色背景”和“黑色背景”的不同照明。“没有背景”位置指的是轮子中的圆形孔150。“白色背景”位置指的是轮子中的白色背景圆160。“黑色背景”位置指的是轮子中的黑色背景圆170。根据样本的性质，没有背景被用于背光，而白色和黑色背景被用于所有其它类型的照明。
[0117]在基本单元上方，有样本保持单元204。样本保持单元可包括抽取器，该抽取器能够滑入和滑出并且包括适于支承培养皿的凹槽206。另外，如图2c所示，样本保持单元包括四个分别为208、210、212和214的红色、绿色、蓝色水平照明源。四个照明源被直线地定位在样本凹槽周围且是独立可控的。在使用中，培养皿的顶部基本与四个水平照明源的顶部成直线。水平照明源允许用水平的或接近水平的光束照射培养皿。
[0118]应当注意的是，凹槽的底部是光学透射的以允许背光照明照射使用中的样本。样本保持单元还包括操作四个水平照明源所需的光学器件和控制装置。
[0119]样本保持单元可包括可替换的方位(未示出)，其中，传送带将样本传递到用于成像的位置。抽取器可以由具有样本保持区域的传送带系统代替，每一个样本保持区域是透明的以允许使用背光。传送带系统可将样本移动到适当的位置，且然后拍摄所需的图像。然后，传送带将下一个样本移动到用于成像的位置且将第一样本移动到处理的下一个阶段。这使得能够在不同的位置且当样本正在移动时进行拍摄图像。
[0120]在另一个可替换的实施例中，系统可包括机器人臂，该机器人臂能够将培养皿装载到样本保持器中或装载到传送带上。另外，机器人臂可以在成像之前移除培养皿的盖且在那之后将盖替换。这可以通过倒置培养皿并使盖脱落来完成。将盖移除确保在某些照明源照射样本时盖不产生反射。
[0121]如下所述的图24和25中示出了机器人臂的可能实施例。
[0122]另外，为了移入和移出成像区域，样本保持单元还可包括用来改变相对于正常位置的样本位置的机构。例如，样本保持器可能能够将样本定位在相对特定光束的特定角度处。也可以利用适当的机构进行样本的其它运动，例如旋转。作为结果，样本和照明源的任何相对运动可以通过移动样本保持单元中的样本或照明源来实现。变化是无止境的。
[0123]在样本保持单元具有正常的位置(如成像系统中的轮子上的水平位置)的情况下，掩模可以被加入以改进从培养皿的内部拍摄的图像的质量。如下所述在图26中示出了与提供有掩模的培养皿相关的实施例。
[0124]成像系统114还包括位于样本保持单元上方的第一中间单元216。第一中间单元包括分别为218、220、222和224的四个直线定位的红色、绿色、蓝色照明源。照明源在使用中适于生成到样本保持单元中的样本凹槽上的环形照明且每一个照明源是独立可控的。可以调节环形照明以从任何适当的方向入射在样本上，包括横向、非横向或任何其它适当的方位。
[0125]成像系统还包括第二中间单元226。第二中间单元包括分别为228、230、232和234的四个直线定位的红色、绿色、蓝色照明源。照明源指向上方并从上方单元反射以产生反向环形照明，在使用中，该反向环形照明照射样本凹槽中的样本且每个照明源是独立可控的。
[0126]成像系统的头部单元236位于第二中间单元的上方。头部单元包括白光照明源(其中的四个被示出)，分别为238、240、242、244、246、248、250和252，它们每一个是独立可控的。八个照明源在使用中被布置以生成到样本凹槽上的垂直照明。
[0127]头部单元还包括图像捕获装置254，如指向样本凹槽的照相机。来自任何一个单元的照明源的任何组合的照射可以指向样本凹槽。然后，图像捕获装置可以从被照射的样本凹槽中的任何样本捕获图像。下文将更详细地解释图像的使用和进一步处理。
[0128]头部单元还可包括用于操作各个光源的控制板256。除了在每个单元中控制其功能的控制电路和光学器件，可以有总体控制系统(未示出)。控制系统可包括计算机、显示单元、处理模块和图像增强算法、图像处理以及任何其它过程或技术。
[0129]控制系统可被用于控制哪些照明源被用于特定应用。另外，对于不同的应用，控制系统可以应用差分图像增强技术和图像处理。图像增强技术是增强图像的质量或使得相关信息对观察的专家可见的方法和技术。下文将更详细地进行描述的实例包括:不同图像的融合，如垂直融合或用于溶血的融合、边缘照明校正、曝光时间校正等等。图像处理是从图像提取信息以便提供决策支持或自动决策。这不必包括图像修改而是以自动的方式确定更高等级的信息/解释，下文将更详细地进行描述的实例包括:培养皿环的检测、标记的检测、生长的检测(质量、分离的菌落、群游)、生长/不生长的全局决策，等等。
[0130]群游意在指示群游运动，其是快速的(2 - 10 μ m/s)且协调细菌群体在固体或半固体表面上的转移。在沙雷式菌属、沙门氏菌属、气单胞菌属、芽孢杆菌属，耶尔森氏菌属、假单胞菌属、变形杆菌属、弧菌属和埃希氏菌属中对这种类型的运动已经做了大量研究。
[0131]控制系统可用于执行任何其它功能和/或控制成像系统的操作。这些包括，但不限于，
[0132]-装载和卸载样本到样本凹槽中；[0133]-检查并调节样本凹槽中的样本的定位；
[0134]-控制亮度的等级；
[0135]-控制红色、绿色、蓝色分量的平衡；
[0136]-控制曝光时间；
[0137]-控制照明组合；
[0138]-测试系统；
[0139]-校准系统；以及
[0140]-基于分析的使用和目的的任何其它适当的控制。
[0141]形成成像系统的单元的每一个能够相对于其它单元移动。当这种情况发生时，某些光学调节可能是必要的，以确保样本被所有源照射。
[0142]参考图3，现在将更详细地描述成像系统的操作。
[0143]图3示出了成像系统114的示意图，用于演示各种照明源以及它们如何影响位于成像系统中的样本300。样本300可被接近水平的光束302、304照射。除了由附图标记302和304示出的分量以外，接近水平的光束实际上包括进出纸面的分量。接近水平的光束由图2的样本保持单元204中的水平照明源生成。样本还可以被图2中的基本单元202产生的背光光束306照射。
[0144]环形光束308也可以照射样本300并由第一中间单元216生成。由第二中间单元226生成的反向环形光束310也可以照射样本。
[0145]垂直光束312也可以照射样本并由头部单元236中的照明源产生。
[0146]垂直光束和背光照明将照明应用在相对于培养皿内的样本基本垂直的方向上。这些照明源中的每一个的光轴也相应地垂直于样本。接近水平的、环形的和反向环形照明不垂直于培养皿。类似地，因此，这些源的光轴不垂直于样本。非垂直源向利用垂直源获得的那些提供不同范围或可替换的图像。这些非垂直源在用它们创建的任何图像中提供附加的和不同的光学特性。这确保了菌落的分离和检测得以改进。
[0147]图3所示的且由图2中的适当的单元生成的照明源可以是任何优选的类型，如在红色、绿色和蓝色(RGB)频率下工作的发光二极管(LED);简单的白色光源；紫外(UV)源或任何其它适当的辐射源。照明源可以包括例如322个LED，其包括64个白色LED、86个红色LED,86个绿色LED和86个蓝色LED。在任何位置的光源的数量都可以与本文所示和所述的不同。在每个相应频率处工作的三组三个LED将在每个位置处提供RGB照明。对于不同的照明源，可能存在RGBLED的不同组合。例如，对于背光照明，LED可如图4a所示的那样定向。每种类型的照明利用包括特定布置的LED的特定卡提供。基本单元202利用两张卡400和402生成背光光束306，每张卡包括三个为一组布置的多个二极管。每三组LED404包括红色、绿色和蓝色LED。样本的位置在406处示出。总之,45个三个一组的LED位于每张卡上并用于产生背光光束306。除了每三个一组，可以每次照射红色、绿色和蓝色LED中的一个以在另一个之后生成一种有色照明。
[0148]将意识到的是，任何适当方位和数量的二极管可被用来代替上述的实例。另外，可以选择和使用RGB的不同组合。
[0149]另外，对于UV源，UV照明是通过两张被同时照明的卡提供的。例如，每张卡包括500mA 强度的 UVLED。[0150]卡可包括用于确定LED的温度和可能的像差的传感器，使得如果问题可以被预见，可以在连续操作将各LED中关闭几秒钟。如图4b所示，在卡400、402和凹槽中的样本之间可能存在扩散器。扩散器有助于防止各LED在所得到的画面中可见并且还有助于使背景光均匀。另外，扩散器吸收来自强大的各LED的一些照明。当使用直接光照时，可以使用非常短的曝光时间以最小化与照相机引起的所谓的拖尾有关的任何效应。
[0151]图5示出了位于生成接近水平的光束302、304的样本保持单元204中的照明源。存在8张卡，每张卡分别覆盖侧面500、502、504和506的一半长度。每张卡具有8个三个一组的RGBLED阵列。可以一起独立地或以任何预定序列控制照明源。8张卡形成样本抽取器机构的一部分，该样本抽取器机构包括样本凹槽。对于不同尺寸的样本或培养皿，可以使用具有不同尺寸的孔510的透光接口 508。
[0152]参考图6，在第一和第二中间单元216和226中的四个照明源中的每一个分别包括四张卡600、602、604和606，每张卡分别具有如所示定向的10个RGBLED608阵列。这些阵列在第一中间单元216的情况下产生环形光束308以及在第二中间单元226的情况下产生反向环形光束310。每张卡可以被独立地控制，使得每张卡可以被一起控制或单独地控制。为了防止来自样本和培养基的不需要的反射，每张卡都配备有如图4c所示的扩散器。所述卡的每一个可以绕轴线旋转(其中之一如610所示)，使得环形光束可以被定位以优化样本的照明。此调整是必要的以确保均匀的照明，而不考虑中间单元相对于样本的垂直位置。
[0153]图6示出了用于第一中间单元216的卡的位置。要理解的是，用于第二中间单元226的那些卡将向上指向并且可相应地调整旋转。
[0154]在头部单元236中的垂直照明源238、240、242、244、246、248、250和252，每个都包括白色光源，其中每个源是独立受控的，以生成垂直光束312。
[0155]图像捕获装置254适于从上方捕获样本的图像。对于具有90mm直径的培养皿，将生成IOOmm2的图像。这通常相当于标准图像获取装置中的2050pixels2，尽管也可以使用其它像素尺寸，例如2448x2050像素。另外，由于培养皿通常为13mm高的柱形，根据培养皿内的培养基层的高度，成像装置的景深在± 6mm之间。
[0156]在以上提及的照明的所有例子中，成像装置254从上方捕获样本的图像。应当注意的是，照相机可以在预定时间段内拍摄一组连续的图像以测量菌落的生长和其它时间相关的效应。另外，照相机可以是用于其中菌落的生长过程等等正在被测量的某些应用的摄像机。还可以通过利用合适的传送带或机器人臂使培养皿进出成像系统的运动来带动培养皿的运动。
[0157]照相机适于从不同的照明源拍摄不同类型的图像。通常，图像序列被拍摄用于特定的应用。所述序列包括的步骤:利用特定的照明或照明的组合照射样本，随后拍摄特定类型的图像，如单色、黑色和白色、具有相关的照明的RGB。然后，利用不同类型的照明或其组合拍摄下一张图像，且所述序列继续直到所有需要的图像都被拍摄。照相机被控制在序列内以拍摄适当类型的图像。
[0158]例如，照相机可以包括单色传感器并使用具有最大速度为每秒17张图像的逐行扫描CCD技术。照相机可以具有12至24伏特直流电的功率消耗。
[0159]现在将描述生成的图像和图像增强过程的更多细节。
[0160]如前面所提及的，成像系统114中的样本可以从多个不同的光源被照射，所述多个不同的光源从不同的方向击中样本。在样本被照射之后，从上方拍摄样本的图像。每个照明突出了样本的不同方面。
[0161 ] 背光照明示出了培养皿的细节，包括在其基座上的任何标记、边缘的形式和培养皿的盖；以及样本中的菌落的布局和密度的详细视图。该照明提供了可以分离菌落、确定相似的菌落之间的差异(例如α和β溶血物种)的信息并通常给出了样本的内含物的视图。
[0162]接近水平的照明被样本及其内含物折射和反射以形成图像，该图像可被用于分离和消除伪影。另外，基于照明被培养基的吸收，该图像可被用于进行校正，如下文将进一步详细描述的。该图像也可被用于之后确定菌落覆盖培养皿的百分比以提供菌落浓度的估计并确定在非不透明的培养基上的生长或不生长。
[0163]环形照明指向样本并由培养基和已形成的任何菌落反射或折射到图像捕获装置。由该照明所生成的图像的目的是区分培养基和菌落的颜色的能力。由于一些具有非常明显的颜色，识别颜色的能力常常是用于识别特定微生物的重要工具。总体结果是最接近生物学家期望看见的特定类型的微生物的视图，例如，颜色、菌落方面等等。这对识别培养基中或菌落周围的颜色上的细微变化是特别重要的。另外，通过环形照明生成的图像允许检测显色培养基中的细菌菌落的下方和周围的颜色的细微改变。
[0164]横向环形照明是源218、220、222和224中的仅有的一个的照明。这给出了具有阴影的图像，其可用于识别轮廓和起伏。作为照明方向的结果，所述源中的每一个将产生不同的阴影效应。
[0165]反向环形照明从头部单元反射到样本上。然后，样本将照明反射或折射到图像捕获装置。由此捕获的图像给出样本中的不同菌落的对比度的细节。该图像还可以增加颜色信息。另外，该图像可以提供纹理信息；菌落的方面和颜色；关于群游限制的信息以及关于菌落的起伏的某些信息，如高度、形式和形状。
[0166]反向环形照明生成使得梯度的变化能够可视化的准垂直照明。这给出了纹理和粒度信息，并且在检测不具有较大高度但是具有表面不规则性的菌落中是有用的。在一个实施例中，多个不同图像使用反向环形照明进行拍摄，并随后将其被组合以便处理图像的饱和度的可能性。
[0167]垂直照明源从上方照射样本。该照明被样本和菌落反射以给出提供详细的轮廓信息的图像。这可用于识别样本的起伏和菌落的高度。然后，该信息可以被用来识别特定类型的微生物，因为菌落的起伏通常是非常特殊的。例如，某些菌落是圆顶形的，另一些是不平整的，其它的是平坦的，等等。
[0168]如上所述，照明源和方向中的每一个可用于加重和增强不同的图像特征。通过使用来自不同源和方向的照明可以改变或修改所描述的实例而不偏离本发明的范围。
[0169]此外，对于不同的应用，可以使用不同波长的照明，例如红外线和紫外线。
[0170]本发明的另一个重要应用是从照明源的组合创建图像以产生复合图像，其可以加重和增强样本的图像的一个以上的特征。例如，背光图像和环形图像的组合在相似的菌落如α或β溶血的某些特征或性能的识别中可以特别有用。
[0171]可以影响到产生的图像的另一个因素是用于使样本生长的培养基的类型。存在许多不同的培养基；这些包括CPS，其是特别适于使用尿样识别大肠杆菌、变形杆菌和KESC的培养基；以及C0S，其是包括用于识别溶血能力的血液的培养基。[0172]不同的培养基，如CPS和COS在性质和颜色上非常不同。作为结果，作用在其上的照明可以生成不同类型的图像。因此，不同照明源和源的组合可用于不同的培养基。
[0173]图7是识别如上所述的各种类型的照明以及对于某些应用那些照明的一组可能用途的表格。如前面所提及的，存在许多不同类型的培养基。这些可以被广泛地分类为不透明或透明/半透明的培养基。表格指出用于不同类型的培养基的不同类型的照明中的每一个的潜在用途。表格是自解释性的并示出了用于进行某些应用和分析的最佳光条件中的一些。背光被方便地用于显示不透明的血液培养物中的溶血并给出透明的或半透明的培养物中的培养皿的底部的信息的更好视图。
[0174]接近水平的照明不适于不透明的培养物但可用于透明和半透明的培养物以去除培养皿伪影并减少灰尘和絹印的影响。
[0175]环形照明提供用于颜色再现的最佳视图以提供一种最接近生物学家常常观看的图像。横向环形照明也给出良好的颜色再现并且当照明来自一侧时，阴影的生成会给出一些起伏印记和纹理信息，尽管这使得颜色信息不太均匀。
[0176]反向环形照明进一步产生颜色再现并且还提供带有颜色信息的纹理和起伏印记。这在获得群游的精确视图中特别有用。
[0177]垂直照明对于确定表面信息是有用的，并且还给出了群游的良好视图，气泡、灰尘等的检测。菌落表面和方面的单色信息是容易生成的。
[0178]本发明所提供的各种照明方向提供了一个优点，由于许多不同类型的照明可被用于获得生长在样本中的菌落的图像。不同的图像可被用于识别不同的特征，并且作为结果提供一种识别这些特征的改进的方法。
[0179]另外，图像处理可被用于图像上以生成增强的图像，当分析样本的菌落和其它方面时，所述增强的图像仍然是更加有用的。例如，利用适当的算法可以识别培养皿的底部上的写入并将其自动地去除。这产生在培养皿上的写入的清楚的图像。
[0180]其它算法可被用于促进不同的图像增强技术。以下部分将识别图像增强算法的几个实例，其改进了由系统生成的图像。
[0181]在本发明中使用的一种类型的照明在生物成像领域中是独特的。这是接近水平的光束。在培养皿上使用接近水平的光束意味着该光束通过培养皿的边缘和盖子并通过培养基。这引起光的吸收并且就识别菌落及其特征而言其被预期不如来自其它方向的光束有用。然而，情况不是这样。
[0182]接近水平的光束的使用增加了大量的有价值信息。即使在光束通过培养皿和培养基时存在照明的大量吸收，情况也是如此。当接近水平的光束与菌落碰撞时，光束朝向图像捕获装置反射和/或折射。这产生清楚地示出菌落的位置的图像。该结果可以如图9a所示。同时该图像是有用的，它包括使得菌落识别非最佳的许多光学效应。例如，培养基可以具有不均匀的表面，该不均匀的表面在样本的颜色和对比度上有变化。另外，边缘包括基于培养皿的各种层的显著干扰，照明通过培养皿的各种层。这使得难以识别样本的边缘处的菌落。
[0183]相应地，需要改进该图像的质量以使识别菌落更加容易。本发明提出了一种用以尝试改进该图像的质量和有用性的边缘照明校正过程。
[0184]现在参考图10将描述边缘照明校正过程。在步骤1000，将空白样本置于样本凹槽中。该空白样本是具有培养基但没有菌落或其它生物生长的培养皿。
[0185]在步骤1002中，将接近水平的红色照明施加到空白样本且在步骤1004中测量红色吸收。在图1la中示出了所测量的红色吸收的实例。然后，对红色吸收进行建模并在步骤1006产生红色吸收的模型。在图1la中也示出了红色吸收模型。
[0186]在步骤1008中，将接近水平的绿色照明施加到空白样本且在步骤1010中测量绿色吸收。在图1ib中示出了所测量的绿色吸收的实例。然后，对绿色吸收进行建模并在步骤1012产生绿色吸收的模型。在图1lb中也示出了绿色吸收模型。
[0187]在步骤1014中，将接近水平的蓝色照明施加到空白样本且在步骤1016中测量蓝色吸收。在图1lc中示出了所测量的蓝色吸收的实例。然后，对蓝色吸收进行建模并在步骤1018产生蓝色吸收的模型。在图1lc中也示出了蓝色吸收模型。
[0188]红色、绿色和蓝色吸收的模型被存储在系统中并且参考特定的空白样本类型。可能存在用于许多不同类型的空白样本的许多模型。在这种情况下，模型被存储为单独的红色、绿色和蓝色模型，但是同样可以被组合并被存储为RGB或白色吸收模型。基于以上所述的测量，模型可以是经验模型。类似地，可以使用其它类型的模型，如数学模型或计算机生成模型。这样的模型基于构成培养基的化合物的固有吸收性能的组合。同样，对于不同类型的照明，可以得到不同的模型。例如用于UV照明的模型对于用于RGB照明的模型将是不同的。
[0189]返回到图10，现在描述应用边缘照明校正的测试样本分析。在步骤1020，将测试样本被装入样本凹槽。相关的空白样本被识别且相关联的模型被加载到系统中。
[0190]在步骤1022，将接近水平的红色光束施加到样本。然后，在步骤1024，由图像捕获装置产生源图像(红色)。在步骤1026，用红色吸收模型校正用于基于红色的模型的源图像(红色)。这一般通过差分处理或算法来实现。然后，在步骤1028，创建目标图像(红色)。
[0191]在步骤1030，将接近水平的绿色光束施加到样本。然后，在步骤1032，由图像捕获装置产生源图像(绿色)。在步骤1034，用绿色吸收模型校正用于基于绿色的模型的源图像(绿色)。这一般通过差分处理或算法来实现。然后，在步骤1036，创建目标图像(绿色)。
[0192]在步骤1038，将接近水平的蓝色光束施加到样本。然后，在步骤1040，由图像捕获装置产生源图像(蓝色)。在步骤1042，用蓝色吸收模型校正用于基于蓝色的模型的源图像(蓝色)。这一般通过差分处理或算法来实现。然后，在步骤1044，创建目标图像(蓝色)。
[0193]然后，在步骤1046，将三个目标图像组合成组合的目标图像。在图9b中示出了组合的目标图像的实例。
[0194]边缘照明校正过程使得菌落更明显且被更好地定义。利用该图像很容易分离特定的菌落，且然后在该菌落上进行进一步分析。
[0195]接近水平的光束与本发明的边缘照明校正技术的使用在菌落的识别和分离中具有显著的优点。源图像和目标图像之间的鲜明对比是非常清晰的。如果使用本发明的边缘照明校正过程，用户将具有大得多的机会识别菌落。
[0196]在另一种图像增强技术中，考虑并调节图像的曝光时间，以优化曝光时间。想要优化曝光时间的原因是改进菌落相对于培养基的可见性。确定培养皿的必要的曝光时间是一个复杂的问题，其在分析下识别生长在其中的微生物和菌落。该问题作为这种类型的分析的多个特定属性的结果而出现。[0197]首先培养皿含有培养基，该培养基就透明度、不透明度、暗度、亮度等而言可以具有不同的属性。另一个问题是培养皿本身的实际存在，其可以引起表面和边缘反射。如果曝光条件并非最佳，区分菌落和培养基以精确地确定培养皿内的菌落的位置可能更加困难。
[0198]图12示出了根据本发明的用于获取具有最佳曝光时间的图像的过程的流程图。在第一个例子中，在步骤1200，识别获取序列和培养基类型。获取序列是一组照明、背景光条件，如“没有背景”、“白色背景”和“黑色背景”；以及图像捕获参数和顺序，它们被重复多次以进行半自动化分析。另外，可以考虑其它信息或特征。这包括与用于创建图像的照明源相关的特征；物种类型；物种的浓度；等等。在步骤1202，确定每个图像的默认曝光时间。默认曝光时间可以是预定的设定时间或可以基于来自曝光时间数据库1204的历史数据。可以利用用于某种培养基、用于特定样本和/或用于培养基和样本的某一组合的最佳曝光时间填充曝光时间数据库。数据库可以包括与图像的已知特征中的任何一个特征或任意组合相关联的默认时间。该信息可以被预先载入或由来自过程本身的反馈产生。结果，在步骤1200，一旦特征被识别，可从数据库1204检索相应的默认曝光时间。数据库可包括指示特定照明源的每一个的最大和最小曝光时间的表格。如果没有已经确定的默认曝光，该表格可被用于确定默认曝光时间。在步骤1206，建立默认曝光时间，获取图像。将默认曝光时间选择为T0。如果照相机需要，可以基于色调饱和度值(HSV)获得并转化RGB初始图像。这种情况发生在本发明中，但是可能并不总是需要的。
[0199]然后分析所获取的图像且在下面的步骤1208计算最佳理论曝光时间。参考处理算法，将更详细地描述该分析和计算。在步骤1210，确定是否默认曝光时间和最佳理论曝光时间是相同的或是不同的。 如果它们不是基本相似的(1212)，过程返回到步骤1206并利用如下所述确定的新的曝光时间Tl获取新的图像。如果在步骤1210默认和理论曝光时间是基本相似的(1214)，在步骤1216，图像被最终确定。
[0200]在步骤1208，进行计算，现在将参考图13对其进行描述。在步骤1300，所获取的图像进入所述过程。在步骤1302，检测培养皿的轮廓。这使得图像被分成两个部分。这些部分是位于培养皿内(即在感兴趣的领域)和位于培养皿外(即不感兴趣的领域)的那些部分。这又使得对应于培养皿的壁的环被分离且然后随后被忽视。
[0201]在步骤1304，确定培养皿外的部分(I,)和培养皿内的部分(I肖)之间的对比度。
[0202]基于培养皿内和外的亮度，分别为1^和L,，按如下所述测量对比度。该对比度也可具有对培养基的性质以及照明是否已经被反射或透射的依赖性。应当注意的是，COS是暗培养基并在反射和透射下以不同的方式反应。由Ii @和II#的亮度(命名为1^和1^)计算对比度(CP)，如下:
[0203]
【权利要求】
1.一种用于产生具有表面的生物样本的图像的成像系统，所述系统包括: -样本支座，其在使用时用于支承生物样本； -多个照明源，所述多个照明源被布置在所述样本支座周围并且每一个在使用时适于从不同方向照射所述生物样本； -图像捕获装置，用于捕获投射在所述生物样本上的照明，由此形成所述样本的图像； 其中所述照明源中的至少一个的方向不垂直于所述样本的所述表面。
2.根据权利要求1所述的系统，其中，所述照明源中的至少两个的方向实质上不共面。
3.根据权利要求1或权利要求2所述的系统，其中，所述多个照明源包括以下中的两个或两个以上:背光源；接近水平的源；朝向所述表面的环形源；背向所述表面的环形源；以及垂直源。
4.根据任一前述权利要求所述的系统，其中，多个照明源用于生成多个图像，该多个图像能够被组合以形成复合结果图像。
5.根据任一前述权利要求所述的系统，其中，所述多个照明源的不同组合能够用于针对不同的生物分析生成不同的图像。
6.根据任一前述权利要求所述的系统，其中，每个照明源被包括在单元中并且其中每个单元能够堆叠在彼此的顶部上。
7.根据权利要求6所述的系统，其中，所述单元相对于彼此可移动。
8.根据任一前述权利要求所述的系统，其中，所述样本相对于所述多个照明源可移动。
9.根据任一前述权利要求所述的系统，其中，所述照明源包括红色、绿色、蓝色源，白色光源或UV源。
10.根据任一前述权利要求所述的系统，其中，所述样本能够被接近水平的源照射。
11.根据任一前述权利要求所述的系统，还包括用于增强或处理图像以实现对所述样本的生物分析的处理系统。
12.根据任一前述权利要求所述的系统，其与培养箱系统组合，用于在对样本进行成像之前对样本进行培育。
13.—种包括根据权利要求1至11中的任一项所述的成像系统的用于培育生物样本的培养箱。
14.一种产生生物样本的图像的方法，其中所述样本具有表面，所述方法包括以下步骤: -利用多个照明源照射样本，所述多个照明源被布置在样本支座周围并且每一个在使用时适于从不同方向照射所述生物样本； -捕获投射在所述生物样本上的照明，由此形成所述样本的图像； 其中所述照射的步骤包括利用所述照明源中的至少一个照射所述样本，所述照明源中的所述至少一个指向不垂直于所述样本的所述表面的方向。
【文档编号】G01N21/25GK103748452SQ201280033489
【公开日】2014年4月23日 申请日期:2012年5月7日 优先权日:2011年5月6日
【发明者】D·德科, 弗莱德瑞克·皮恩斯顿, 丹尼斯·戴瑟利, 纪尧姆·布瓦西耶, 克里斯多佛·塔切尔, 科琳·菲尔希龙, 罗瑞德·拉比尔, 劳伦·埃拉诺, 莱昂蒂娜·贾科林 申请人:生物梅里埃公司, 原子能与替代能源委员会