用于药物产品容器中的微粒检测的片状照明的制作方法

文档序号:26101562发布日期:2021-07-30 18:12阅读:67来源:国知局
用于药物产品容器中的微粒检测的片状照明的制作方法

相关申请的交叉引用

本申请要求2018年12月17日提交的美国临时专利申请号62/780,542的优先权,该申请的全部内容通过援引并入本文。

本申请总体上涉及微粒检测技术,并且更具体地涉及能够将容器(例如,注射器、药瓶等)内的微粒与该容器的外部表面上的微粒区分开的微粒检测技术。



背景技术:

药物产品容器中的异物会对患者造成严重的健康和安全风险,对于注射的药物产品而言尤其如此。尽管自动视觉检查设备在一些情况下可以以可接受的精度检测容纳液体产品的容器中的微粒,但是可能存在大量误判,这些误判是例如由于容器壁外部的小微粒和斑点、容器壁内部或容器壁的大部分上的缺陷(例如,裂缝)和/或容器壁内部的小气泡而导致的。

常规的成像系统100在图1中示出。如图1所示,用两束成角度的光104a和104b照亮填充有样品(例如,液体药物产品)的容器102,这两束成角度的光被定位成大体上与容器102的另一侧的相机106相对。光104a和104b是定向的,其中大部分发射的光在与图1所示的平坦表面正交的方向上传播(即,如图1中的箭头所示)。这要求每束光104a、104b大到足以均匀地照亮整个容器。由于大多数发射的光并未指向相机106的透镜,因此,如果存在任何微粒,则所得到的图像是深色背景映衬着明亮的微粒。图2描绘了另一种常规的成像系统200,该成像系统通常用于较大的不透明微粒(超过500um)或可能粘附到容器的内壁的纤维。如图2所示,由与相机206相对的背光204照亮容器202。在这种情况下,相机206对由微粒投射的阴影进行成像,并且该微粒呈现为相对明亮的背景下的黑色物体。

这两种常规照明方法的问题是整个容器都充斥着光,使得容器内部和外部的微粒和表面斑点都被照亮。结果,可能难以将容器内部的微粒与容器外部的微粒区分开。由于容器外部的微粒可能与质量控制程序无关,因此这个困难会增加假阳性的风险。对于诸如成像系统100的背面成角度光装置,通常使用被称为“图像相减”或“最小密度投影”(mip)的技术来将容器内部的较小微粒(约100um至500um)与容器外部的微粒区分开。该技术涉及将容器围绕其中心轴线以高速(约600rpm至5000rpm)旋转,突然停止旋转,以大约10ms到50ms的间隔获取停止的容器的一系列图像,并且然后减去后续图像,使得只有在图像之间发生移动的那些物体才会出现在所得到的差异图像中。这有效地消除了可能在容器外部的小微粒和表面斑点,同时突出了悬浮在容器中的液体中、并且被该液体的动量携带的物体。然而,此技术可能不适用于高粘性药物产品,因为在容器停止旋转后,流体和微粒的运动非常少或没有运动。诸如成像系统200的背光装置也具有缺点,因为它们可能会“漂白”小微粒或不透明的微粒,并且通常依赖于容器内部的微粒足够大以区别于通常处于容器的外表面上的较小微粒。

一些用于药物产品的自动检查设备的制造商已经提出并且实施了试图解决这些问题的技术。例如,名称为“methodandsystemforirradiatingandinspectingliquid-carryingcontainers[用于辐照和检查液体运载容器的方法和系统]”的美国专利号8,036,444(nielsen)描述了一种成像系统,其中两个线扫描相机生成旋转容器的展平图像。一个相机与容器的中心轴线对准,而另一个相机从中心轴线偏移。该技术利用了以下基本原理:当容器旋转时,容器外部的微粒相比容器内部的微粒在水平方向(即,在与容器中心轴线正交的方向)上移动更长的距离。在已经在不同次的旋转下获取了多个图像之后,比较来自两个线扫描相机的图像,并且计算微粒之间的距离。在一些情况下,此距离可以用于区分容器内部和外部的微粒。

作为另一示例,名称为“inspectionmethodandinspectiondeviceformonitoringproductionprocesses[用于监测生产过程的检查方法和检查设备]”的欧洲专利号3,062,292(kwoka)描述了一种使用单面扫描相机的成像系统。当在沿容器的中心轴线的某个位置检测到微粒时,将该位置以数字方式移位到如果该微粒处于容器的外部并且容器围绕其中心轴线精确地旋转了预设角度(约为45°)则该微粒所处的点。然后,旋转容器并且拍摄新的图像。如果该微粒实际上在容器的外部,则该图像应该与以数字方式移位后的图像重叠。相反,如果微粒在容器的内部,则该微粒将与以数字方式移位后的微粒偏移一定量。

尽管美国专利号8,036,444(nielsen)和欧洲专利号3,062,292(kwoka)的技术在一些方面可以改进上文描述的常规图像相减方法,但是这两种方法都有其自身的明显缺点。一个困难是,在这两种方法中,在图像之间容器的任何轻微振动都可能导致显著的错误。此外,如果在旋转容器时容器内部的微粒“滑落”,则该微粒可能不在其会被正确检测到的预期位置。此外,成像器的空间分辨率的限制可能会使技术不足以区分出玻璃内部的小斑点,这些小斑点可能是误判的主要来源。

进一步地,尽管正在开发有希望的3d成像技术并且提供根据图像确定微粒尺寸和形态的能力,但是它们在计算上开销很大,并且可能无法以典型的生产线速率工作(例如,每分钟300到600个容器)。因此,仍然需要改进的方法来检测充液的药物产品容器内的微粒,特别是(但不仅限于)容纳高粘性样品/产品的容器。



技术实现要素:

本文描述的实施例涉及改进了常规自动视觉检查技术的系统和方法。特别地,成像系统用相对较薄的激光片照亮容器,其中激光片从与相机的成像轴线基本上正交的方向照射该容器。例如,激光片可以穿过容器的中心轴线。在此照明配置下,只有微粒在激光片的厚度内,才能在所得到的图像中看到这些微粒(或者才能以一定的强度水平看到微粒等)。因此,通过使用激光片以及相机的正交取向,可以容易确定图像中看到的微粒是在容器的内部还是外部:在容器外部的任何被成像的微粒将在图像中的容器壁的外部,并且在容器内部的任何被成像的微粒将在图像中的容器壁之间。

在一些实施例中,使该容器围绕其中心轴线旋转多次,并且在每次旋转后在仍施加激光片的同时对该容器进行成像,以便检查容器内药物产品(或其他样品)的整个体积。尽管可能需要进行许多次旋转,但是图像处理和计算负荷可以非常轻,并且误判的可能性可以非常低。此外,该技术具有出乎意料的益处,即激光中的一部分在样品内散射,或在容器/样品(例如,玻璃/液体)界面处折射,并且围绕容器的内部周长行进(例如,如果容器是圆柱形的)。这种散射或折射的光可以照亮位于容器内部任何位置的气泡,即使这些气泡不与激光片相交。这种现象是由于表面处折射率的巨大差异(这导致大量反射和折射)引起的,并且相比于仅依赖于气泡和微粒的不同形态的其他方法,可以更准确地用来区分气泡和微粒(例如,碎片、蛋白质聚集体等)。更好地将气泡(通常是良性的)与其他微粒区分开的能力可能很重要,因为气泡通常是误判的重要来源(例如,当使用常规图像相减方法时)。

可以使用其他更复杂的装置来构建激光片技术。例如,可以使用彼此相差180度的两个激光片(均与单一相机正交),以补偿激光片的光散射在激光片进入容器的位置与激光片离开容器的位置不同的事实。这可能会将所需旋转/成像的次数减半。作为另一示例,可以以相对于第一激光片倾斜的角度施加一个或多个附加激光片,以便更好地对容器的特定区域(例如,肩部或塞子区域)进行成像。作为又另一示例,成像系统可以包括:生成一种颜色(例如,红色)的激光片的第一激光源、以及生成另一种颜色(例如,蓝色)的激光片的第二激光源,其中这两个激光片之间存在相对于容器的中心轴线的某一角度偏移。然后,可以同时用两个相机(每个相机都被调谐为两种颜色中的不同颜色)捕获图像。可替代地,可以使用单个相机(例如,具有一个或多个反射镜、棱镜和/或其他光学部件)来捕获图像,这些图像保留了由不同颜色的激光片中的每个激光片的照明所提供的视觉信息(例如,使用实施拜耳滤色镜的相机、或者使用包括光学器件和滤波器的相机以将这两个激光片的不同颜色映射到相机传感器的不同部分)。无论使用一个相机还是两个相机,此方法都可以将所需旋转/成像的次数减半(如果使用三种不同颜色的激光片,则可以减少为三分之一)。作为再另一示例,成像系统可以包括生成一种颜色(例如,红色)的激光片的激光源、以及生成基本上照亮整个容器体积的另一种颜色(例如,蓝色)的光的照明源。通过使用调谐为不同颜色的相机,可以在一个平面内(激光片内)区分容器内部和外部的微粒,并且同时获得整个体积的快照(使用其他照明源)。

上文以及本文其他地方所描述的技术可以提供许多优点,诸如使得可以自动检测高粘性产品中的纤维和其他微粒,允许准确地自动检测粘附在容器内壁上的小微粒,改进对气泡与容器内部微粒的辨别,避免由于容器内壁上的小斑点引起的错误检测或其他问题,降低由于实际上不在容器内部的微粒或由于气泡而导致的不合格的风险(即减少误判,误判可能会导致整批药物产品的丢弃),减少进行昂贵的人工检查的需要以避免误判,和/或降低患者风险。此外,可以通过以最小的硬件变化改造当前的自动检查设备(例如,通过简单地添加一个或多个激光源)来实施这些技术。

附图说明

本领域的技术人员将理解,本文描述的附图是出于说明的目的而包括的,而并不限制本披露内容。附图不一定是按比例绘制,而是将重点放在说明本披露内容的原理上。应理解,在一些情况下,所描述的实施方式的不同方面可以被扩大或放大,以有助于理解所描述的实施方式。在附图中,贯穿各附图,相似的附图标记通常指代功能相似和/或结构相似的部件。

图1和图2描绘了用于微粒检测的常规成像系统。

图3a和图3b描绘了根据本文描述的原理操作的示例成像系统的第一实施例的不同透视图。

图4描绘了由与图3a和图3b的成像系统类似的成像系统照亮的容器的示例图像。

图5描绘了根据本文描述的原理操作的示例成像系统的第二实施例。

图6描绘了根据本文描述的原理操作的示例成像系统的第三实施例。

图7描绘了根据本文描述的原理操作的示例成像系统的第四实施例。

图8是可以与图3、图5、图6或图7的成像系统一起使用的示例自动检查系统的简化框图。

图9是用于对包含样品的容器进行成像的示例方法的流程图。

具体实施方式

以上介绍的以及在下文更详细地讨论的不同构思可以以多种方式中的任一种实施,并且所描述的构思不限于任何特定的实施方式。出于说明的目的,提供了实施方式的示例。

在图3a和图3b中示出了第一实施例,这些图提供了示例成像系统300的不同透视图。具体地,图3a提供了离轴透视图,而图3b提供了自顶向下的视图。在图3a和图3b中,由成像器304捕获(在保持器303中的)容器302的一个或多个图像,同时容器302正被激光源306照亮。尽管在图3a和图3b中将容器302描绘为注射器,但是应当理解,容器302可以替代地是任何其他合适类型的容器,并且可以具有任何合适的尺寸和形状。例如,容器302可以替代地是药瓶、试管、药筒等。容器302可以由玻璃、塑料或至少部分透明或半透明的任何其他合适的材料(或材料组合)制成,以允许来自激光源306的光的穿过并且允许光穿过到达成像器304。在操作中,容器302可以容纳液体样品。然而,在一些用例中,容器302可以容纳非液体样品,诸如冻干或冷冻的样品。

保持器303可以包括将容器302维持在期望位置、以及旋转容器302以允许成像器304从其他角度捕获图像所需的任何硬件。保持器303可以仅仅是用于将容器302定位在一个或多个期望的位置和/或取向的一些合适装置的一部分。取决于成像系统300的要求,定位装置可以包括硬件、固件和/或软件的任何合适的组合。例如,定位装置可以仅包括平台(例如,平坦的基座部件),保持器303以固定的取向或者使得保持器303可以旋转的方式从该平台竖直地突起。然而,在其他实施例中,定位装置可以包括自动/机器人硬件(例如,包括保持器303的机械手臂或可以抓握/捏紧容器302的另一种合适的保持装置(诸如“手指”))。在这些后面的实施例中,定位装置还可以包括处理单元(例如,微处理器和/或专用集成电路(asic)或现场可编程门阵列(fpga)等)、以及存储指令的存储器(例如,固态存储器或硬盘存储器),处理单元可以执行这些指令以抓握/保持/固定、移位和/或旋转容器302。其他定位装置当然也是可能的。

例如,成像器304可以是包括一个或多个电荷耦合器件(ccd)传感器的相机。可替代地,成像器304可以包括一个或多个互补金属氧化物半导体(cmos)传感器和/或任何其他合适类型的成像设备/传感器。成像器304可以包括例如远心透镜、或任何其他合适的透镜(或多个透镜的组合)。在各种实施例中,成像器304可以包括硬件和/或软件的任何合适的组合,诸如图像传感器、光稳定器、图像缓存器、帧缓存器、帧捕捉器等。更一般地,成像系统300可以包括用于捕获容器302(或另一合适的容器)的一个或多个图像的任何合适的装置,其中,成像装置包括成像器304和/或任何其他合适的一个或多个成像设备(例如,成像器304加上一个或多个反射镜、附加的透镜等)。

激光源306生成通常与平面相符的激光片310。尽管激光片310在本文中被称为“片”,但是应当理解,激光源306以及激光片310所穿过的介质(即,空气或其他气体、容器302的壁、以及容器302内的液体或其他样品)的实际限制将阻止激光片310形成均匀的平坦薄片。例如,在进入容器302和离开容器302时,激光片310将经历一些扩散。在一些实施例中,激光源306是具有1mw至5mw的功率、30至60度的线扇角和1mm至1.5mm的线宽(厚度)的二极管激光器。在一个实施例中,激光源306是edmund光学微vlm激光二极管线部件#52-267,其具有3.5mw的功率、670nm的波长和60度的线扇角。在另一实施例中,激光源306是edmund光学微vlm激光二极管线部件#52-268,其具有1.6mw的功率、670nm的波长和30度的线扇角。更一般地,成像系统300可以包括用于生成激光片310的任何合适的装置,诸如激光源306或另一合适的激光源。在一些实施例中(例如,如果容器302是深棕色的以便阻挡可见光),激光源306使用红外激光来生成激光片310。如本文所使用的术语,“光”不一定指代人类可见的电磁光谱部分。

如图3a的示例实施例中所示,激光片310在与第一轴线330相对应(即,对准)的方向322上照射容器302,并且通常与由第一轴线330和第二正交轴线332限定的平面相符。在所描绘的实施例中,第二轴线332平行于容器302的中心轴线320。此外,如图3b中更清楚地示出的,在所描绘的实施例中,成像器304的成像轴线324穿过容器302的中心(即,穿过中心轴线320)。成像器304的成像轴线324基本上平行于第三轴线334,其中第三轴线334与第一轴线330和第二轴线332两者正交。在此上下文中,术语“基本上”用于反映部件的对准永远不是绝对完美的事实,并且表明只要不破坏本文所描述的技术提供的主要益处,小偏差是可以接受的。例如,在一些用例中,成像轴线324可以在轴线330和332的完美正交的五度以内、或者在三度以内、在两度以内、在一度以内等。

激光片310具有覆盖第三轴线334的较小范围的有限厚度340。例如,厚度340可以表示激光片310沿第三轴线334的波束宽度的3倍。因为激光源306不理想(理论上是完美的),因此厚度340在沿轴线330的所有点处并不精确地均匀。然而,至少在激光片310进入容器302的位置处,厚度340基本上小于容器302的直径。厚度340可以被设置为基于容器302的尺寸(例如,直径)以及旋转/成像的期望(或最大可接受等)次数两者的设计参数。特别地,可以厚度340可以被设置成使得当容器302旋转一定次数(以允许成像器304从那些角度捕获图像),并且每次旋转具有一定角度偏移时,容器302的体积的所有部分(或其中很大百分比的一部分)最终将被照亮。这也可能需要考虑针对容器302的任何给定旋转位置,激光片310是否充分照亮容器302的两侧(即,激光片310进入容器302的位置以及激光片离开容器302的位置两者)。例如,如果将容器302旋转/成像90次以实现完全覆盖,并且如果激光片310充分照亮容器302的进入侧和离开侧两者,则可厚度340可以被设置成使得激光片310覆盖容器302的圆周的1/90(或刚好超过1/90),其中,该覆盖范围的一半对应于激光片310进入容器302的位置,并且该覆盖范围的另一半对应于激光片310离开容器302的位置。另一方面,如果激光片310未充分照亮容器302的离开侧,则厚度340仍然可以被设置成使得激光片310覆盖容器302的圆周的大约1/90,但是现在该覆盖范围全部出现在激光片310进入容器302的位置。因此,例如,如果容器302的直径为100mm,并且激光片310充分照亮容器的两侧,则厚度340可以被设置为大约2mm:激光片310的覆盖范围为100mm*π/(90次旋转)=3.49mm/每次旋转(覆盖范围的一半各自出现在容器302的一侧,使得厚度340可以为3.49mm/2=1.74mm,允许额外的0.26mm的厚度以确保完全覆盖)。相反,如果激光片310未充分照亮容器302的离开侧,则厚度340可以被设置为大约4mm(或者可替代地,旋转次数从90增加到180)。

厚度340的下限可以受限于提供完全覆盖/照亮的需要,同时厚度340的上限可以由于需要避免对于任何给定的旋转/图像照亮容器302的壁的太多部分而受到限制。特别地,如果激光片310照亮在容器302外部但是(从成像器304的角度来看)出现在容器302的最外边界之间的任何微粒,则由成像系统300提供的改进的辨别开始减弱。在各种实施例中,厚度340大于零但小于1mm、小于2mm、小于3mm、小于4mm、小于5mm等。被陈述为范围时,在各种实施例中,厚度340在某处可以在1mm到3mm之间、在某处可以在1mm到5mm之间、在某处可以在0.5mm到5mm之间等。

在一些实施例中,激光源306到容器302的距离以及激光片310沿第二轴线332的光束角可以是固定的,使得激光片310在由轴线330、332限定的平面中照亮容器302的整个截面。然而,在其他实施例中,激光片310仅照亮容器302的较小截面(例如,不包括如图3a所示的肩部或塞子区域,和/或仅包括已知容纳样品的区域等)。此外,在一些实施例中,激光片310不以特定的光束角成扇形散开。例如,激光源306可以替代地生成更准直的片(例如,覆盖第二轴线332的基本上固定/恒定的范围的激光片),诸如通过用正态高斯激光束照亮一系列圆柱形透镜来生成。

在一些实施例中,成像系统300被配置为与图3a和图3b中所示的成像系统不同。例如,成像器304可以被定位成使得成像轴线324与容器302的中心轴线320平行(例如,对准)。作为另一示例,成像器304的成像轴线324可以成一定角度,使得该成像轴线从由轴线330、334限定的平面略微向上抬升或略微向下倾斜。作为又另一示例,激光片310的方向322可以成一定角度,使得该方向从由轴线330、334限定的平面向上抬升或略微向下倾斜(例如,以更好地照亮肩部或塞子区域等)。作为再另一示例,成像系统300可以包括一个或多个附加的成像器和/或照明源(例如,如下文参考图5至图7所讨论的)。

图4描绘了由成像系统(诸如图3a和图3b的成像系统300)照亮的容器的示例图像400。例如,被成像的容器可以是当被激光片310照亮时的容器302。特别地,图4对应于其中激光片从图像400中描绘的区域的左侧照射容器的情形,以及其中激光片没有充分照亮容器的离开侧(即,图像400中描绘的区域的右侧)的实施例。

因为激光片的厚度(例如,图3a和3b的厚度340)在任何一次时/任何一次旋转后仅照亮容器的较小“切片”,所以容器外部的任何微粒(例如,灰尘或纤维)只有沿容器壁面向激光片源的部分(例如,在弯曲的容器壁具有与成像轴线基本上正交的表面法向量的位置)才会被照亮(会至少在足以进行清晰成像的水平上被照亮)。因此,容器壁外部上的任何微粒只有在图像示出这些微粒明确地在容器外部时才是可见的(或清晰可见的)。在示例图像400中,这意味着容器外部的微粒只会出现在紧靠容器壁的左侧(并且与容器壁接触)。在激光片还充分地照亮容器的离开(右)侧的实施例中,图像还可以示出外部微粒紧靠容器的右侧(并且与容器接触)。然而,位于容器壁的其他部分上的任何外部微粒(即,在更靠近图像400的中心的壁的一部分上)将不会被照亮,或者最多只能被散射/折射光非常微弱地照亮。因此,在图像400中,容器的最左边界和最右边界之间示出的任何微粒都将明确地位于容器内部(即,在激光片穿过容器内部时被激光片照亮的样品的部分/切片内)。

如图4所示,激光片照亮了在容器外部左侧的许多较小的尘状微粒、以及恰好在容器的左侧壁内部的大微粒(纤维)。在图像400中还可以见到在容器内部距离纤维的右侧很近的小微粒。如本文所使用的,在一些用例中,术语“微粒”指代相对于容器和固体而言较小的任何物体(例如,纤维或其他碎片、或蛋白质聚集体等),或者可能是微乳液。

用激光片进行成像的第二益处是,即使气泡不与激光片相交,这些气泡也可以在它们在容器内所处任何位置被照亮。这是由气泡的高反射率以及一些激光在容器/样品界面处散射和/或折射所导致的,和/或是由于与样品内物体的相互作用。图4中描绘了一个这样的气泡。结果,可以更容易地将气泡与微粒区分。例如,自动图像分析/处理可能最初将出现在容器壁之间的物体算作“候选”微粒,但是如果在其他旋转点处的其他图像继续在基于初始物体位置和已知旋转角度可以预期的位置处示出该物体,则确定该物体是气泡而不是实际微粒。相反,如果该物体没有再次出现在其他次旋转时的其他图像的对应位置,则自动图像分析/处理可以将物体(候选微粒)识别为实际微粒。

图5描绘了替代性实施例,其中,成像系统500使用成像器504、第一激光源506a和第二激光源506b对容器502进行成像,激光源506a和506b所面对的方向相差180度。例如,参照图3a和图3b,容器502可以类似于容器302,成像器504可以类似于成像器304,并且激光源506a和506b中的每一个可以类似于激光源306。激光源506a和506b分别生成激光片510a和510b,每个激光片可以类似于图3a和图3b的激光片310。然而,在成像系统500中,激光片510a在方向522a上照射容器502,并且激光片510b在相反的方向522b上照射容器502。成像器504的成像轴线524与方向522a和522b基本上正交。

通过使用第二相对的激光源,成像系统500可以在容器502的每次旋转后更好地照亮容器502的两侧(即,从成像器504的角度来看,“左侧”和“右侧”),从而将所需的旋转和成像次数减少一半。或者,如果不减少旋转/成像的次数,则该第二激光源可以允许激光片510a和510b中的每一个具有大约一半的厚度(相对于激光片310的厚度340而言),这可以帮助确保在容器502外部的被照亮的微粒不会看上去正好在容器502的壁内部(例如,在图4中靠近容器400的最左边缘和最右边缘,但是在这两者之间)。

图6描绘了另一替代性实施例,其中,成像系统600使用第一成像器604a、第二成像器604b、第一激光源606a和第二激光源606b对容器602进行成像。例如,参照图3a和图3b,容器602可以类似于容器302,成像器604a和604b中的每一个可以类似于成像器304,并且激光源606a和606b中的每一个可以类似于激光源306。在图6的实施例中,由激光源606a生成的激光片610a(例如,类似于激光片310)在第一方向622a上照射容器602,并且由激光源606b生成的激光片610b(例如,也类似于激光片310)在既不平行也不正交于第一方向622a的第二方向622b上照射容器602。例如,在方向622a与方向622b之间可以存在135度(或150度、120度、60度、30度等)的角位移。成像器604a的成像轴线624a与第一方向622a基本上正交,并且成像器604b的成像轴线624b与第二方向622b基本上正交。

激光源606a和606b可以生成不同波长/颜色的光。例如,激光片610a可以是红色,而激光片610b可以是蓝色或绿色等。此外,成像器604a和604b的滤光片可以仅使对应的激光源的颜色通过(例如,成像器604a可以被配置为对红光而不对蓝光进行成像,并且成像器604b可以被配置为对蓝光而不对红光进行成像)。通过利用不同的颜色,成像系统600允许同时由成像器604a和604b进行成像,这可以具有一个或多个优点。例如,在任何一次对样品的两个“切片”进行成像可以将所需的容器602的旋转次数相对于使用单个激光片和成像器的情况减半,或者允许激光片的厚度减小,如以上结合图5所讨论的。

在替代性实施例中,成像系统600包括成像器604a,但是省略成像器604b。在这样的实施例中,成像系统600包括合适的光学器件(例如,一个或多个反射镜、棱镜和/或其他光学部件),以使成像器604a的光路既有与方向624a对准的第一分量,又有与方向624b对准的第二分量。成像器604a可以包括例如拜耳滤色镜(例如,常用的彩色ccd或cmos芯片),以捕获并清楚地保留由来自每个激光片610a、610b的照明所提供的视觉信息。即,针对容器602的每次旋转,单个成像器604a可以捕获复合图像,该复合图像包括足以重新创建与激光片610a的颜色(例如,红色)相对应的第一图像以及与激光片610b的颜色(例如,绿色)相对应的第二图像的信息。可替代地,成像器604a可以包括具有光学器件和滤光片的相机,这些光学器件和滤光片适合于将与不同颜色相对应的视觉信息映射到相机传感器的不同部分。

图7描绘了又另一替代性实施例,其中,成像系统700使用第一成像器704a、第二成像器704b、生成激光片710的激光源706和附加照明源712对容器702进行成像。例如,参照图3a和图3b,容器702可以类似于容器302,成像器704a和704b中的一个或两个可以类似于成像器304,并且激光源706可以类似于激光源306。然而,照明源712可以不产生激光片,并且实际上可以根本不产生激光。例如,照明源712可以包括一个或多个发光二极管(led)和/或一次基本上照量容器702的整个体积的另一种合适的光源。激光片710(例如,类似于激光片310)在方向722上照射容器702,成像器704a的成像轴线724a与方向722基本上正交,并且成像器704b的成像轴线724b既不平行也不正交于方向722。虽然在图7中以背光装置(相对于成像器704b)示出了照明源712,但是应当理解,在一些实施例中,照明源712可以从成像轴线724b偏移。例如,照明源712可以包括一个或多个光源,这些光源被定位在成像轴线724b的上方和/或下方并且向下和/或向上成一定角度,以在没有提供直接背光的情况下照亮容器702。

激光源706和照明源712生成不同波长/颜色的光。例如,激光片710可以是红色的,并且由照明源712产生的光可以是蓝色的。此外,成像器704a和704b的滤光片可以被配置为使对应的照明源的颜色通过(例如,成像器704a可以被配置为对红光而不对蓝光进行成像,并且成像器704b可以被配置为对蓝光而不对红光进行成像)。通过利用不同的颜色,成像系统700允许同时由成像器704a和704b进行成像,这可以具有一个或多个优点。例如,由成像器704b生成的图像可以用于识别容器702中或上的任何位置的微粒以进行运动跟踪,而由成像器704a生成的图像可以用于确定那些微粒中的哪些在容器702的外部。

在替代性实施例中,成像系统700包括成像器704a,但是省略成像器704b。与以上结合图6所讨论的装置类似,例如,成像器704a可以实施拜耳滤色镜(或将不同颜色映射到相机传感器的不同区域的光学器件/滤光片),并且成像系统700可以包括合适的附加光学部件(例如,(多个)反射镜和/或(多个)棱镜),以向成像器704a提供沿方向724a和724b两者的光路分量。以这种方式,成像器704a可以捕获图像,每个图像都保留了由来自激光源706的照明和来自光源712的照明所提供的视觉信息。

图8是示例自动检查系统800的简化框图,该示例自动检查系统可与以上结合图3、图5、图6或图7所描述的成像系统中的任何一个一起使用。自动检查系统800包括计算机系统802,该计算机系统从成像器804(例如,类似于成像器304)接收图像。成像器804生成容纳样品的容器的一个或多个图像,同时容器和样品被如以上各种实施例中的任何一个中所描述的激光片照亮。

计算机系统802可以是被专门编程以执行本文讨论的操作的通用计算机,或者可以是专用计算设备(例如,包括成像器804的成像单元的一部分)。如图8所示,计算机系统802包括处理单元810和存储器单元812。然而,在一些实施例中,计算机系统802包括共同定位或彼此远离的两个或更多个计算机。在这些分布式实施例中,本文描述的与处理单元810和/或存储器单元812有关的操作可以分别在多个处理单元和/或存储器单元之间划分。

处理单元810构成用于分析容器的图像以检测那些容器内和/或外表面上的微粒的处理装置。处理单元810包括一个或多个处理器,每个处理器可以是可编程微处理器,该可编程微处理器执行存储在存储器单元812中的软件指令以执行如本文描述的计算机系统802的一些或全部功能。例如,处理单元810可以包括一个或多个图形处理单元(gpu)和/或一个或多个中央处理单元(cpu)。可替代地或另外地,处理单元810中的一些处理器可以是其他类型的处理器(例如,asic、fpga等),并且如本文描述的计算机系统802的某个功能可以替代地以硬件实施。存储器单元812可以包括一个或多个易失性和/或非易失性存储器。可以包括任何合适的一种或多种存储器类型,如只读存储器(rom)、随机存取存储器(ram)、闪速存储器、固态驱动器(ssd)、硬盘驱动器(hdd)等。存储器单元812可以共同存储一个或多个软件应用程序的指令、这些应用程序接收/使用的数据以及这些应用程序输出/生成的数据。

存储在存储器单元812中的一个这样的软件应用程序是微粒检测应用程序814,当由处理单元810执行时,该微粒检测应用程序处理由成像器804生成的图像(以及可能还有由一个或多个其他成像器(诸如图6的成像器604b或图7的成像器704b)生成的图像),以检测样品内的微粒(例如,确定样品内的微粒计数)和/或确定这些微粒的特性(例如,微粒尺寸、类型等)。微粒检测应用程序814还可以执行其他操作,诸如基于微粒计数、尺寸、类型和/或其他因素对特定样本进行评分,以确定样本是否是可接受的或应该被丢弃。

在相对简单的实施例中,微粒检测应用程序814可以分析特定容器/样品的所有“切片”图像(例如,与容器的90次旋转相对应的90张图像,其中激光片处于固定取向),并且将在容器壁之间出现的任何东西标记为容器内部的微粒,并将在容器壁外部出现的任何东西标记为容器外部的微粒。然而,如以上所指出的,可以使用更复杂的算法。例如,微粒检测应用程序814可以将任何图像中出现在容器壁之间的任何东西标记为“候选微粒”,并且然后使用分类器(例如,经过训练的神经网络)来确定每个候选对象确实是微粒还是气泡(和/或如果不是气泡,则对微粒的类型进行分类等)。作为另一示例,微粒检测应用程序814还可以分析来自一个或多个附加成像器(例如,图6的成像器604b或图7的成像器704b)的图像,以更准确地检测、分类和/或定位容器内的微粒。例如,可以使用来自两个成像器的图像更好地确定在与容器的单次旋转/位置相对应的单个时间容器内的三维微粒位置(如果样品粘性不是非常高,并且当容器从一个位置旋转到另一位置时微粒/气泡可能会略微移动,则可能需要这样做)。微粒检测应用程序814可以还或者替代地利用任何其他合适的(多个)技术来检测、分类和/或定位容器和样品内的微粒。

图9是用于对容纳样品的容器进行成像的示例方法900的流程图。方法900可以由成像系统300、500、600或700的一个或多个部分和/或由自动检查系统800的一个或多个部分执行。例如,框902可以由激光源306、506a、606a和706之一执行,框904可以由成像器304、504、604a和704a之一执行,并且框906可以由计算机系统802执行(例如,由处理单元810在执行存储在存储器单元812中的微粒检测应用程序814的指令时执行)。

在框902处,用激光片照亮容器,该激光片在与第一轴线相对应的第一方向(例如,与图3a中的第一轴线330相对应/对准的方向322)上照射该容器。激光片的平面由第一轴线和正交的第二轴线(例如,图3a中的第二轴线332)限定。例如,激光片可以穿过容器的中心轴线(例如,图3a的中心轴线320)。激光片沿与第一轴线和第二轴线正交的第三轴线(例如,图3a的第三轴线334)关联于一定的厚度。在激光片进入容器的位置处,激光片的厚度可以大于零但小于1mm、小于2mm、小于3mm、小于4mm、小于5mm等。被陈述为范围时,在各种实施例中,该厚度在某处可以在1mm到3mm之间、在某处可以在1mm到5mm之间、在某处可以在0.5mm到10mm之间等。在一些实施例中,该厚度在容器的周长(例如,圆周)的1/360到1/30之间。例如,激光片可以包括白光,或者可以被限制到可见光谱的较窄部分(例如,红色激光片)。

在框904处,由成像器(例如,成像器304、504、604a或704a)捕获容器在被激光片照亮时的图像。成像器具有与至少第一(并且可能还与第二)轴线基本上正交的成像轴线(例如,图3a的成像轴线324)。

在框906处,分析在框904处捕获的图像,以检测容器内和/或外表面上的微粒。在一些实施例中,仅出于对这些微粒进行忽视的目的而“检测”外部微粒(例如,对于质量控制程序而言,其中可能不关注容器外部的微粒)。框904还可以包括对容器内部的微粒进行分类(通过类型、尺寸等)、对容器内部的微粒进行计数、和/或一个或多个其他操作。

在一些实施例中,方法900包括图9中未示出的一个或多个附加框。例如,方法900可以包括第一附加框,其中通过围绕容器的中心轴线的多次旋转使容器运动,同时用激光片照亮容器。方法900还可以包括第二附加框,其中由成像器捕获容器的多个图像(每个图像对应于多次旋转中的相应旋转),并且可以包括第三附加框,其中对该多个图像中的每个图像进行分析,以检测容器内和/或外表面上的微粒。

在一些实施例中,激光片是第一颜色(例如,红色)的,并且成像器被配置为过滤掉除该第一颜色之外的颜色。在一个这样的实施例中,方法900包括第一附加框,其中在用激光片照亮容器的同时,用不同颜色(例如,蓝色)的第二激光片照亮容器。第二激光片可以在不平行于第一轴线的第二方向(即,不平行于另一激光片的方向)上照射容器,并且第二激光片的平面可以由第二方向和基本上平行于第二轴线的第三方向限定。方法900还可以包括第二附加框,其中由附加成像器捕获容器的附加图像,该附加成像器被配置为过滤掉除第二激光片的颜色之外的颜色,并且具有与至少第二(可能还与第三)方向基本上正交的成像轴线。例如,附加图像可以与在框904处捕获的图像同时被捕获。然后,框906可以包括对容器的这两个图像进行分析,以检测微粒。

在又另一实施例中,激光片是第一颜色(例如,红色)的,并且成像器被配置为过滤掉除该第一颜色之外的颜色,如以上示例中那样。然而,在该实施例中,方法900包括第一附加框,其中在用激光片照亮容器的同时,用不同颜色(例如,蓝色)的光照亮容器,该不同颜色的光照亮容器的体积/内容的全部或至少大部分。方法900还可以包括第二附加框,其中由附加成像器捕获容器的附加图像,该附加成像器被配置为过滤掉除该附加(例如,非激光)光源的颜色之外的颜色。例如,附加图像可以与在框904处捕获的图像同时被捕获。然后,框906可以包括对容器的这两个图像进行分析,以检测微粒。

尽管已经根据示例性实施例描述了系统、方法、设备和其部件,但是这些系统、方法、设备和其部件不限于此。详细描述仅被解释为是示例性的并且未描述本发明的每个可能的实施例,因为如果有可能的话,描述每个可能的实施例将是不实际的。可以使用当前技术或在本专利申请日之后开发的技术来实施许多替代性实施例,这些实施例仍然落入限定本发明的权利要求的范围内。

本领域普通技术人员将了解到,在不脱离本发明的范围的情况下,关于上文描述的实施例可以做出各种各样的修改、改变和组合,并且可以将此类修改、改变和组合视为在本发明构思的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1