非破坏性地检测流体中未溶解的颗粒的方法和装置制造方法
【专利摘要】此处公开的装置、方法和计算机程序产品可用于非破坏性检测器皿中的流体中的诸如玻璃鳞片和/或蛋白质聚集体之类的未溶解颗粒，所述流体包括但不限于包含药物的流体。
【专利说明】非破坏性地检测流体中未溶解的颗粒的方法和装置
【背景技术】
[0001]为了表征给定药品配方的品质，区分各种颗粒类型是重要的。例如，低特异性的区分可能将诸如玻璃薄片之类的物体混淆为蛋白质颗粒物质。需要高特异性的区分系统，以在确定配方时提供准确的判决。当没有关于特定药品中的颗粒类型的信息时，可能难以正确地表达药品配方。
[0002]不幸的是，常规的颗粒检测技术不适于检测蛋白质聚集体以及其他小的和/或脆弱的颗粒。人类检查员通常不能察觉小于约100微米的颗粒。自动检查技术通常是破坏性的；也就是说，它们涉及将正在检查的流体从其容器去除，这通常导致该流体不适于治疗使用。此外，常规的非破坏性检查系统仅使用容器的单个快照来确定是否存在颗粒，这经常导致不精确的颗粒尺寸测量和/或颗粒计数。常规的检查技术还可能涉及对诸如蛋白质聚集体之类的更脆弱颗粒的破坏。例如，高速旋转(例如，以2000rpm或更高转速旋转若干秒)装有流体的瓶可能撕裂流体中的蛋白质聚集体。
【发明内容】
[0003]这里公开的技术的一实施例涉及用于非破坏性地检测至少部分地装有流体的器皿中的颗粒(即，未溶解颗粒)的装置，所述流体诸如为水性流体、乳浊液、油、有机溶剂。这里使用时，术语“检测”将被理解为包括检测、表征、区分、辨别或识别颗粒的存在、数量、位置、身份、尺寸、形状(例如 ，伸长度或圆度)、颜色、荧光性、对比度、吸光度、反射度或其他特性，或者这些特性中的两个、三个、四个、五个、六个、七个、八个、九个、十个、十一个、十二个或更多的组合。在示范性实施例中，该装置包括成像器以获取表示流体中颗粒的轨道(trajectory)的时间序列数据(time_series data)。操作上稱合到成像器的存储器储存该时间序列数据，操作上耦合到存储器的处理器检测和/或识别所述颗粒。更具体而言，该处理器反转该时间序列数据的时间顺序以形成反转时间序列数据，根据该反转时间序列数据评估颗粒的轨道，并且基于该轨道确定颗粒的存在或类型。如这里定义的那样，反转时间序列数据包括已经以相反时间顺序排列的时间序列数据的帧，使得最后发生的事件首先出现(反之亦然)。
[0004]另一些实施例包括用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法和对应的计算机程序产品。实施该方法包括例如用处理器反转表示流体中的颗粒的轨道的时间序列数据的时间顺序以形成反转时间序列数据，该处理器执行编码在非易失性存储器中的计算机程序产品的指令。该方法还包括根据所述反转时间序列数据评估所述颗粒的轨道，然后基于所述轨道检测和/或识别所述颗粒。
[0005]另一实施例是一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，该装置包括:
[0006](a)至少两个成像器，定位成从不同视角对颗粒进行成像，每个成像器配置为获取流体中的颗粒的一幅或多幅二维图像；
[0007](b)存储器，操作上耦合到所述成像器并且配置为储存所述时间序列(time-series);以及
[0008](c)处理器，操作上耦合到所述存储器并且配置为通过以下步骤来检测所述颗粒:
[0009](i)组合来自至少三幅图像的二维图像以确定指示器皿中的颗粒的位置的三维数据；以及
[0010](ii)至少部分地基于所述三维数据来检测所述颗粒。
[0011]还包括一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，该方法包括:
[0012](a)使用至少两个成像器以不同视角对颗粒进行成像从而各成像器分别获取器皿中的颗粒的一幅或多幅二维图像；
[0013](b)组合来自至少两幅图像的二维图像以确定指示器皿中的颗粒的位置的三维数据；以及
[0014](c)至少部分地基于该三维数据来检测所述颗粒。
[0015]本发明的另一些实施例包括用于非破坏性地检测至少部分地装有流体的器皿中的(一个或多个)透明或反射性物体(例如，玻璃薄片)的装置、方法和计算机程序产品。成像器获取根据时间的、表示从器皿中的多个空间位置反射的光的数据，并且将所述数据储存在操作上耦合到成像器的存储器中。操作上耦合到存储器的处理器基于所述数据，通过识别由所述数据表示的多个位置中的每个位置的相应的最大反射光量，来检测(有可能响应于编码在计算机程序产品中的指令)所述物体(例如，玻璃薄片)。所述处理器然后基于最大反射光量超过预定值的相应空间位置的数量来确定器皿中是否存在所述物体(例如，玻璃薄片)。
[0016]本发明的另一实施例是一种非破坏性地确定至少部分装有流体的器皿中的未溶解颗粒的数量和尺寸的方法。所述方法包括:
[0017](a)接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；
[0018](b)基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；
[0019](c)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及
[0020](d)基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息:
[0021](i)所述表观颗粒尺寸族群信息，以及
[0022](ii)指示在与所述指定成像条件对应的条件下成像的一组
[0023]或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
[0024]本发明的另一实施例是一种用于确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的装置，所述装置包括至少一个处理器，所述至少一个处理器配置为:
[0025](a)接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；
[0026](b)基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；
[0027](c)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及
[0028](d)基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息:
[0029](i)所述表观颗粒尺寸族群信息，以及
[0030](ii)指示在与所述指定成像条件对应的条件下成像的一组
[0031]或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
[0032]本发明的另一实施例是一种用于非破坏性地确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的计算机程序产品，所述计算机程序产品包括非易失性的、计算机可读指令，所述指令在由处理器运行时使处理器:
[0033](a)接收在指定成像条件下获得的器皿中的颗粒的至少一幅图像；
[0034](b)基于所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息；
[0035](c)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及
[0036](d)基于以下各项确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息:
[0037](i)所述表观颗粒尺寸族群信息，以及
[0038](ii)指示在与所述指定成像条件对应的条件下成像的一组
[0039]或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
[0040]本发明的又一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的方法，所述方法包括:
[0041](a)使用至少一个成像器来对所述颗粒进行成像；
[0042](b)处理所述图像以确定指示所述器皿中的颗粒的位置的位置数据；
[0043](C)至少部分地基于所述位置数据来检测所述颗粒，其中至少部分地基于所述位置数据来检测所述颗粒包括识别所述器皿的子区域中颗粒的存在；
[0044](d)当颗粒位于所述器皿的子区域中时，使用传感器来确定所述颗粒的特性；
[0045](e)生成指示所确定的特性的颗粒特性数据；以及
[0046](f)将所述颗粒特性数据与标识所述颗粒的数据相关联。
[0047]本发明的另一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的装置，所述装置包括:
[0048](a)定位成对所述颗粒进行成像的至少一个成像器；
[0049](b)至少一个传感器，配置成当所述颗粒位于所述器皿的子区域中时，确定所述颗粒的特性；
[0050](b)至少一个处理器，操作上耦合到所述至少一个成像器和所述传感器中的每一个并且配置为:
[0051]处理所述图像以确定指示所述器皿中的颗粒的位置的位置数据；
[0052]至少部分地基于所述位置数据检测所述颗粒并且识别所述器皿的子区域中所述颗粒的存在；
[0053]当所述颗粒位于所述器皿的子区域中时，使用来自所述传感器的信号以确定所述颗粒的特性；
[0054]生成指示所确定的特性的颗粒特性数据；以及
[0055]将所述颗粒特性数据与标识所述颗粒的数据相关联。[0056]本发明的另一实施例是一种用于非破坏性地检测至少部分装有流体的器皿中的未溶解颗粒的装置，其中所述器皿包括绕纵轴设置的透明管状器皿壁，所述装置包括:成像器，配置为获取流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将所述颗粒成像到传感器上的至少一个成像光学元件；照明光源，至少部分地定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁反射或折射并且被所述至少一个光学元件成像到传感器上的光线的存在。
[0057]本发明的另一实施例是一种非破坏性检测至少部分装有流体的器皿中的未溶解颗粒的方法，其中所述器皿包括绕纵轴设置的透明管状器皿壁，该方法包括:使用成像器来获取流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将颗粒成像到传感器上的至少一个成像光学元件；以及用至少部分定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内的照明光源照射所述器皿，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁反射或折射并且被所述至少一个光学元件成像到传感器上的光线的存在。
[0058]与其他颗粒检测系统和技术不同，本发明的系统和技术进行非破坏性操作，不需要从器皿去除流体以检测、计数和识别器皿中的颗粒。结果，本发明的系统和技术可用于研究在长时间跨度上(例如，若干分钟、小时、天、月或年)颗粒、流体和器皿的变化以及它们之间的相互作用。此外，本发明的系统和技术不一定涉及或导致对器皿中的甚至更脆弱的颗粒(诸如小的蛋白质聚集体)的破坏。它们还捕捉时间序列数据，即，表示移动流体中的颗粒轨道的数据。因为本发明的系统使用时间序列数据代替器皿的单帧快照，所以它们能更精确地评估器皿中的颗粒数量和颗粒尺寸。它们还能从颗粒的运动导出关于每个颗粒的更多信息，诸如颗粒形态和颗粒成分。例如，下落的颗粒倾向于比上升的颗粒更致密。
[0059]前述
【发明内容】
仅是示范性的，无意以任何方式成为限制。除了所示方面之外，上述实施例和特征、其他方面、实施例、以及特征将通过参照下面的图以及详细说明而变得显然。
【专利附图】
【附图说明】
[0060]附图被包括在本说明书中并且构成说明书的一部分，附图示出了所公开的技术的实施例，并且与文字描述一起用于说明所公开的技术的原理。
[0061]图1A-1C分别示出视觉检查单元、视觉检查成像模块和视觉检查平台，它们每个可用于检测和识别至少部分装有流体的容器内的颗粒。
[0062]图2A示出样本准备、加载、以及图1A-1C所示的视觉检查系统的操作。
[0063]图2B示出由示范性视觉检查系统捕捉的处理了的颗粒图像以及颗粒在器皿中的移动流体中的轨道。
[0064]图3A-3C示出根据颗粒检测和识别，包含所准备的流体以及一个或多个颗粒的三类器皿搅拌:圆柱形器皿的旋转(图3A)、注射器的倒转和旋转(图3B)、以及注射器的摇摆(图 3C)。
[0065]图4是用于对圆柱形器皿进行成像的远心透镜的光线图。
[0066]图5A示出含有流体的圆柱形器皿中的流体弯月面和记录体积。
[0067]图5B示出由容器形状产生的圆柱形容器内的畸变和盲点。
[0068]图5C和示出当对圆柱形器皿进行成像时补偿畸变和盲点的技术。[0069]图5E示出针对容器内在各个位置的颗粒，由容器的形状产生的圆柱形容器中的畸变和盲点。
[0070]图5F示出由圆柱形容器导致的畸变的理论模型，每个模型对应于相同容器，但装有不同折射率的流体。该图还示出确认理论模型的对应实验测量。
[0071]图5G示出使用校正光学元件来校正圆柱形容器中由容器的形状所产生的畸变。
[0072]图5H是图5G的校正光学元件的细节视图。
[0073]图51不出用于选择若干校正光学兀件之一的设备。
[0074]图6A-6D示出颗粒跟踪系统，具有多个成像器以从许多角度(图6A和6B)、从相同角度以更高帧速(图6C)、以及从相同角度以不同空间分辨率(图6D)来捕捉移动颗粒的时间序列数据。
[0075]图7A和7B示出触发图像获取和照明以用于使用双传感器成像器来对颗粒进行成像。
[0076]图8是灵活多用途照明结构的示意图，其包括位于正在检查的器皿的前面、后面和下面的光源。
[0077]图9A至9C示出来自不同角度的照明以用于使用图8所示的光源区分不同的颗粒种类。
[0078]图9D示出用于使用图9A-9C的配置来区分不同的各种颗粒种类的照明序列和时序(timing)图。
[0079]图10A-10C示出来自部分装有流体的器皿的眩光(图10A)以及光源在通过绕器皿的纵轴旋转成像器而定义的区域外的定位(图1OB和10C)。
[0080]图10D-10E示出用于减少或消除来自器皿的眩光的替选照明方案。
[0081]图11是适于对偏振(手性)颗粒进行成像的成像配置的示意图。
[0082]图12是适于对荧光颗粒进行激发和成像的成像配置的示意图。
[0083]图13A和13B示出用示范性视觉检查系统获取的玻璃薄片(图13A)和蛋白质(图13B)的最大强度投影图像。
[0084]图14包括流程图，其示出不同的一般颗粒检测和识别过程，以及图像预处理、颗粒跟踪和统计分析子过程。
[0085]图15A和15B示出背景扣除之前(图15A)和之后(图15B)的时间序列数据帧。
[0086]图16A是以八比特灰度级示出的颗粒的时间序列数据帧(在左边示出)。
[0087]图16B是图16B所示的时间序列数据帧的逼近视图。
[0088]图16C和16D分别是图16A和16B所示的时间序列数据帧的定限版本。
[0089]图17A-17D示出一对连续的时间序列数据帧(图17A)可以如何用于执行预测跟踪(图 17B-17D)。
[0090]图18A示出显示了若干颗粒的灰度级时间序列数据帧。
[0091]图18B示出了用于定位颗粒的几何中心的图18A的定限版本。
[0092]图19示出显示了颗粒碰撞/遮挡(occlusion)的连续时间序列数据帧。
[0093]图20A不出具有彼此相邻的一对颗粒在闻売区域内的时间序列数据中贞。
[0094]图20B-20E是连续的时间序列数据帧，显示了看起来像图20A的高亮区域中的颗粒传播经过彼此的颗粒遮挡。[0095]图21A-21C示出了针对直轨道(图2IA)、弯曲轨道(图2IB)和抛物线轨道(图2IC)，由伪像(诸如器皿壁上的擦痕或污垢片)的背景扣除导致的移动颗粒的表观遮挡。
[0096]图22A-22C示出使用反转时间序列数据来定位不规则形状的颗粒的质心(图22B和22C)，以及使用质心定位来确定颗粒轨道(图22A)。
[0097]图23A-23D示出在圆柱形器皿中观察和模拟的流体动力学。图23A示出弯月面形状的改变。图23B和23C示出装有流体的器皿内的涡流形成。图23D示出示范性涡流中的颗粒轨道。
[0098]图24A和24B示出反转时间序列数据的连贯帧的逼近视图，其中颗粒碰撞还未被正确地解决(图24A)，以及在错误校正之后的相同图(图24B)。
[0099]图25A-25E示出由于颗粒移动引起的时间相关的颗粒尺寸测量。
[0100]图25F是图25C所示颗粒的时间相关Feret直径的曲线图。
[0101]图26A示出不同时间间隔的处理了的时间序列数据的帧，迹线指示不同的颗粒轨道。
[0102]图26B示出根据图26A所示的颗粒轨道，多个时间相关颗粒属性的示范性测量。
[0103]图27A-27F示出利用后角照明，对关注区域的检测。图27A示出原始图像(时间序列数据的帧)，其经受边缘检测(图27B)、灰度级定限(图27C)、弯月面和瓶基底的识别(图27D)、关注区域确定(由图27E中的虚线定界)以及剪裁(图27F)以产生容器中可见的流体的图像。
[0104]图28A-28C示出背后照亮的瓶的填充体积检测。图28A示出瓶的原始图像。图28B示出利用定限和边缘检测确定的关注区域(由虚线定界)。瓶表面上的缺陷(图28C所示)可能妨碍填充体积检测。
[0105]图29A-29D示出从下面照亮的瓶的填充体积检测。图29A和29B是部分装满的器皿(图29A)和空器皿(图29B)的假色(false-color)图像。图29C和29D示出部分装满的、空的和部分填充的器皿的自动弯月面检测。
[0106]图30示出适于处理时间序列数据的处理器。
[0107]图31示出对包括亮颗粒和暗淡颗粒的图像的灰度级定限的示例。
[0108]图32示出具有标准尺寸(100 μ m)的颗粒族群的表观颗粒尺寸的直方图。
[0109]图33示出两个颗粒族群的表观颗粒尺寸计数曲线，每个族群具有所指示的标准尺寸(μ m)。
[0110]图34示出四个颗粒族群的表观颗粒尺寸计数校准曲线，每个族群具有所指示的标准尺寸(μπι)。
[0111]图35示出将校准曲线的叠加拟合到样本表观颗粒尺寸计数曲线。
[0112]图36比较了确定颗粒的数量和尺寸的两种技术(原始数据分箱(raw binning)和LENS)的结果。
[0113]图37示出确定颗粒的数量和尺寸的过程，特征在于对阈值尺寸之上和之下的颗粒采用不同的尺寸确定技术。
[0114]图38A-38C示出颗粒跟踪系统，具有多个成像器以从多个角度捕获移动颗粒的时间序列数据。
[0115]图39示出传播经过容器的、被图38A-C的颗粒跟踪系统的两个成像器(左面板)中的每个和三个成像器(右面板)中的每个所接收的光线。
[0116]图40示出与视觉检查的人工结果相比较的、自动颗粒检测系统(由“APT”指明)的颗粒检测结果。
[0117]图41示出自动颗粒检测系统的颗粒检测和归类结果。
[0118]图42示出针对自动颗粒检测系统，对颗粒计数随样品稀释度变化的线性度进行总结的图表。
[0119]图43示出用于对蛋白质聚集体颗粒进行检测和计数的自动颗粒检测系统的精度。
[0120]图44示出与视觉检查的人工结果对照的、自动颗粒检测系统(由“APT”指明)的蛋白质聚集体颗粒检测结果。
[0121]图45示出和视觉检测单元一起使用的分光计。
【具体实施方式】
[0122]图1A示出示范性自动视觉检查单元100，其配置为非破坏性地检测和/或识别至少部分装有流体的透明容器10中的颗粒，流体诸如为含蛋白质的药品复合物、药物、生物技术产品、饮品、以及由美国食品药品管理局管理的其他半透明流体。
[0123]虽然在一般实施例中，对颗粒是否存在的检测可以通过观察容器的其中外观非均匀的部分(例如，足跟部(heel))来实现，但是对于诸如计数和确定尺寸之类的颗粒特性测量而言，可能需要穿过容器的基本均匀的垂直壁观察颗粒以减少畸变。这涉及微小的填充体积，因为单元100可见的容器10中的流体的表观上二维的横截面必须有适当的面积以提供可用的统计。所需的填充体积依赖于容器的圆直径(容器越小，所需的填充体积越小)。在各种实施例中，容器的内部容积可以被至少1%、至少5%、至少10%、至少20%、至少30%、至少40%、至少50%、至少60%、至少70%、至少80%、至少90%、或至少100%地填充有流体。
[0124]在各种实施例中，这里描述的颗粒检测技术本质上是光学的。因此，在一些实施例中，容器10的壁在照明波长处足够透明以允许包含在其中的液体可见。例如，在一些实施例中，容器10可以由清澈透明的硼硅酸盐玻璃制成，但是可以使用其他适当的材料。包含在器皿内的流体的浑浊也是重要的，应足够低以允许期望的可见水平。在一些实施例中，流体具有0-100NTU (散射浊度)范围内的浑浊度，优选0-20NTU，更优选地0-10NTU。用于浑浊度测量的标准颗粒可见于例如EPA指南手册的浑浊度规定的第三章(1999年4月)中。
[0125]示范性系统可以基于颗粒的不同光学特性来检测和识别折射和/或散射光的透明和/或半透明颗粒(例如，蛋白质聚集体、玻璃鳞片或薄片、以及油滴)、反射光的颗粒(例如，金属鳞片)、和/或吸收光的颗粒(例如，炭黑和塑料颗粒)。本发明的一些视觉检查单元100可以通过使用照明序列(诸如下面描述的那些)来检测所有这三类颗粒。本发明的视觉检查单元100也可以专门配置来检测、识别和/或跟踪蛋白质(其可呈现为致密结合的聚集体、具有高的水含量的松散结合的棉絮状物质)、(反射性)晶体、胶状物质、和/或非晶聚集体。
[0126]术语“蛋白质”可与术语“多肽”互换地使用，在其最宽意义上指的是两个或更多亚单位氨基酸、氨基酸类似物或类肽物。亚单位可以通过肽键链接。在另一实施例中，亚单位可以通过其他键(例如，酯、醚等)链接。这里使用时，术语“氨基酸”指的是自然的和/或非自然或合成的氨基酸，包括甘氨酸以及D和L光学异构体、氨基酸类似物和类肽物。三个或更多氨基酸的肽一般称为寡肽，如果肽链短的话。如果肽链长，则该肽一般称为多肽或蛋白质。术语“肽片段”在这里使用时也指的是肽链。
[0127]容器10可以是矩形或圆柱形器皿，由玻璃或塑料制成(例如，杯、瓶、安瓿(ampoule)、筒、试管、或注射器)；它也可以具有其他形状和/或由不同材料制成，只要它提供成像波长处容器内容物的可视性。虽然特定实施例提供了容器内容物的清楚的、不受扰动的可视性，但是另一些实施例可以安排图像获取的时间以与容器不受扰动的时段一致，和/或采用后处理以补偿所记录的数据的畸变。
[0128]单元100包括成像器110，其具有将容器内容物的图像投影到传感器上的汇聚光学器件。在本例子中，汇聚光学器件包括远心透镜114，传感器是电荷耦合器件(CXD) 112。存储器140耦合到(XD112，记录并且存储表示容器内容物的图像流，耦合到存储器140的处理器130如下所述地分析所记录的图像序列以检测和识别容器10中的颗粒。本领域技术人员将理解，处理器130可以用下列器件实现:适当配置的通用处理器(例如，使用Intel?Core? ?5或高级微器件公司的Athlon?处理器的通用处理器)、现场可编程门阵列(例如，Altera⑩Stratix?,或X涵丽⑩Spartan⑩-6FPGA)、或者专用集成电路。处理器140
可以实现于固态存储器(例如，闪存)、光学盘(例如，⑶或DVD)、或磁介质中，并且可以选择为任意适当的尺寸(例如，1G BU0GBU00GB或更大)。
[0129]照明系统120包括设置在容器10周围的一个或多个光源122a和122b，在图像获取期间对容器10及其内容进行照明。视觉检查单元100可集成到检查模块160中，检查模块160还包括芯轴150、摇动器、超声振荡器、或其他搅拌器以在成像之前旋转、摇动或以其他方式搅拌容器内容物，并且在成像期间保持容器10，如图1 (b)中那样。
[0130]图1 (C)示出中高吞吐量视觉检查平台170，其包括一个或多个检查模块160-1至160-5 (一般称为检查模块160)、机器人180和瓶托盘172，瓶托盘172将未检查和/或已检查了的容器10保持在独立的容器阱中。通过来自用户或自动控制器(未示出)的指令，机器人180将容器10从瓶托盘172移动到检查模块160，检查模块160捕捉并且记录容器10中移动的颗粒的时间序列数据。机器人180然后将容器10返回到瓶托盘172.[0131]在一些示例中，瓶托盘172的顶层和/或容器阱的边缘由Deirin⑩缩醛树脂或其他类似材料制成，容器阱的内部边缘是带斜面的以防止容器10在插入到容器阱中和从容器阱移除时被剐蹭。瓶托盘172可包括铝或不易翘曲或破裂的其他类似材料制成的基底层。容器阱的壁通常较厚以在来往于视觉检查平台170携带(例如，被人携带)托盘172时牢固地保持住瓶。取决于其构造，瓶托盘172可将容器10保持在预定义的位置以在微米级公差内，从而便于机器人180进行容器获取和插入，机器人180能以微米级精度进行操作。
[0132]机器人180是“拾取和放置”系统，其从托盘172抽取瓶，沿轨182 (其从托盘172上方延伸到芯轴160上方)移动每个容器10，并把容器10放置在特定芯轴160上。一些机器人还可配置为在放置容器10之前旋转容器10，避免了对芯轴160的需要。替选地，机器人180可包括六轴机器臂，其能够旋转、振动和/或摇摆(例如，执行下面描述的来回摇摆针头)容器10，这也避免了对芯轴160的需要。本领域技术人员将容易地意识到，其他加载和搅拌机构和序列可以与本发明的视觉检查系统和过程一起使用。[0133]视觉检查平台170如图2 Ca)所示的那样操作。在步骤202，待检查的容器10被清洁(例如，利用适当的溶剂，手工清洁)，然后在步骤204中被加载到托盘172中。机器人180从托盘172取出容器10，并将其置于芯轴160上。接下来，在步骤206，处理器130根据成像器110获取的静态容器10的图像，确定弯月面和/或关注区域(ROI)(例如，容器10的装有流体的部分)的尺寸和位置。替选地，用户可以指定弯月面和/或关注区域的位置，如果装填体积以及容器的形状和容积足够确定地已知的话。一旦处理器130定位了 R0I，芯轴160就可以在步骤208中旋转容器10和停止旋转，这导致流体移动，并且容器10中的颗粒变成悬浮在移动流体中。在步骤210，成像器110将时间序列数据以表示ROI的快照(以规则地间隔开的时间间隔拍摄)的静态图像(称为“帧”)的序列的形式记录在存储器140中。
[0134]在成像器110已经获取了足够多的时间序列数据之后，处理器130扣除背景数据，其可表示容器的一个或多个表面上的污垢和/或擦痕。还可以从时间序列数据滤除噪声，如本领域技术人员理解的那样，并且执行下面描述的强度定限。处理器130还反转时间序列数据的顺序。也就是说，如果时间序列数据中的每个帧具有指示其获取顺序的索引1、
2.....n-l、n，则反转时间序列数据中的帧排列为索引顺序是n、n-l.....2、1。如果需要，
处理器130还选择如下面描述的那样要分析的数据的起点和终点。(本领域技术人员将容易地意识到，处理器130能以任何顺序执行背景扣除、噪声过滤、强度定限、时间序列数据反转、以及起点/终点确定。)在步骤212，处理器130跟踪流体中的或与流体一起的颗粒移动，然后在步骤214中基于颗粒的轨道确定颗粒的尺寸和数量，和/或以其他方式表征颗粒。
[0135]各检查模块160可执行相同类型的检查，允许对容器10进行并行处理；模块160的数量可以根据所期望的吞吐量进行调整。在另一些实施例中，每个模块160可配置为执行不同类型的检查。例如，各模块160可以以不同的照明波长检查颗粒:模块160-1可寻找响应于可见光(即，约390nm至约760nm波长的辐照)的颗粒，模块160-2可使用近红外照明(760-1400nm)来检查容器，模块160-3可使用短波长红外照明(1.4-3.0ym)来检查容器，模块160-4可以在紫外波长(10-390nm)处检查颗粒，模块160-5可以在X射线(IOnm以下)处检查颗粒。替选地，一个或多个模块160可以寻找偏振效果和/或颗粒荧光性。
[0136]在具有不同类型的模块160的实施例中，第一模块160-1可执行初步检查，后续检查视初步检查的结果而定。例如，第一模块160-1可执行可见光检查，该检测表明特定容器包含偏振敏感的颗粒。处理器130然后可以指示配置为执行基于偏振的测量的模块160-2来检查该容器以确认(或者反证)偏振敏感颗粒的存在。模块160-1获取的可见光时间序列数据可表明特定容器10中若干颗粒的存在，但不表明颗粒类型，这可导致处理器130命令例如模块160-3进行红外检查。
[0137]容器搅拌以弓I发颗粒移动
[0138]如上所述，机械搅拌容器10导致容器10底部或容器内壁侧面上的颗粒变成悬浮在容器内的流体中。在特定实施例中，用户和/或视觉检查系统选择并执行搅拌序列，其导致容器内的流体进入层流体系，层流体系是其中流体以平行的层流动，没有漩涡、涡流和层之间的扰乱的一种体系。在流体动力学中，层流是特征在于高动量扩散和低动量对流的流动体系，换言之，层流是混乱湍流的相反面。搅拌还导致颗粒变成悬浮在移动流体中。最终，摩擦导致流体停止移动，此时颗粒可粘附到容器的壁或者沉淀到容器底部。
[0139]与湍流相比，层流产生更平滑的颗粒运动，这使得更容易评估颗粒轨道。(当然，处理器也可配置为评估某些湍流体系中的颗粒轨道，只要传感器帧速足够快以捕捉颗粒轨道的“平滑”部分。)如果需要，容器可以按基本产生层流的方式被搅拌。例如，芯轴可按特定速度(或速度曲线)旋转容器特定时间，如根据针对不同的容器尺寸和形状和/或不同的液平面和粘滞度的流体行为测量所确定的那样。
[0140]在一特定实施例中，伺服器或步进电机驱动保持圆柱形容器的芯轴，使容器绕其中心轴旋转，如图3 (a)所示。以足够的速度旋转容器10甚至导致重颗粒(诸如金属鳞片)从容器10的底部上升并且进入到流体中。对于许多流体和颗粒而言，电机以300rpm驱动保持容器10的芯轴约三秒钟。(可能需要更高的旋转速度来激活重颗粒。)在旋转三秒之后，电机突然停止，允许流体在现在静态的容器中自由流动。此时，成像器110开始捕捉旋转流体的视频。存储器140记录视频多达约七至十五秒，这取决于所监视的容器的尺寸(存储器140记录更小容器中的流体的更短视频，因为在更小的容器中，由于增大的壁拉滞影响，流体更快地慢下来)。
[0141]在另一实施例中，芯轴以两阶段搅拌/成像序列旋转容器10。在第一阶段，芯轴以300rpm旋转容器10三秒，使较不致密的(更脆弱的)颗粒诸如蛋白质变成悬浮在移动流体中。然后，成像器110捕捉移动流体中的蛋白质的视频。一旦成像器110已经收集了足够的时间序列数据，第二阶段开始:芯轴以约1600-1800rpm旋转容器10—至三秒，使更致密的颗粒诸如金属鳞片变成悬浮在移动流体中，并且成像器110捕捉表示更致密颗粒在容器10中移动的时间序列数据。第二阶段的高速旋转可能足够强以使蛋白质聚集体暂时溶解或变性，其可以在流体慢下来或停止移动之后重新形成。两阶段操作使得可以检测致密的颗粒(其可能不能被低速旋转激活)和蛋白质(其可能被高速旋转变性)二者。
[0142]根据(但不限于)下列参数中的任意参数，本发明的系统也可采用其他旋转序列:流体粘滞性、流体填充水平、流体类型、表面张力、容器形状、容器尺寸、容器材料、容器纹理、颗粒尺寸、颗粒形状、颗粒类型和颗粒密度。例如，本发明的系统可以在对容器内容物进行成像之前旋转更大的容器更长的时段。给定流体/容器组合的确切搅拌方案可以通过例行试验来计算、表征和/或确定。
[0143]如果视觉检查模块使用预定搅拌序列以用于良好表征的容器/流体组合，那么可以仅在流体(以及悬浮颗粒)处于层流体系时触发数据获取。替选地，可以获取附加的时间序列数据，处理器可以基于容器/流体组合和/或搅拌序列来自动地选择开始帧和结束帧。
[0144]在一些实施例中，数据获取可以基于容器中的流体流动的检测特性来触发。例如，如下面详细描述的那样，在一些实施例中，可以检测容器中流体的弯月面并且监视弯月面的移动以确定旋转后流体中的漩涡弛豫的时间。在一些这样的例子中，数据获取可以始于所检测的弯月面的移动已经返回到基本稳定的状态时。
[0145]上述视觉检查系统中的任何系统也可用于检测和/或识别至少部分装有药品32或其他流体的注射器12中的原生和外来颗粒，如图3B所示。注射器12通常针头向下地储存。这样，微粒可能沉淀在注射器的针头34中。为了看见这些颗粒，机器人或人工可以倒置注射器12，即，机器人或人工将注射器12绕与其纵轴垂直的轴旋转180ο，使得针头34指向上。沉淀在针头34中的微粒竖直落下，从而被成像器110看见。机器人或人工还可以在倒转期间旋转注射器以使流体充分流动。
[0146]许多注射器12具有内径较小的针筒(barrel)，这剧烈增大了壁拉滞效果。对于许多药品32，壁拉滞导致所有旋转流体运动在约一秒内停止。这对于实际颗粒分析而言是非常短的时间窗口。幸运的是，绕与其纵轴垂直的轴轻柔地摇摆注射器12 (如图3C所示)产生了持续长于一秒的颗粒运动。横向摇摆可用机器人或手工完成，其通过注射器12的运动和在注射器12的针筒内振荡的任何气泡30的运动搅动了颗粒。上述视觉检查模块、单元和平台被设计为是可重新配置的，并且可以适应替选搅拌方法。
[0147]—旦完成搅拌，视觉检查系统应保持静止以用于视频记录阶段。由于一般采用的成像器的高分辨率，图像的空间分辨率非常精细(例如，约10微米或更精细)，并且可以至少如衍射极限那样精细。对于某些配置，样品的小的(例如，10微米)移动相当于检测图像中的整个像素移动。这样的运动有损于静态特征去除(背景扣除)的有效性，这又降低了分析工具的性能和输出数据的整体性。
[0148]由此可知，震动隔离是关键设计考量因素。在特定实施例中，示范性视觉检查系统的基底例如使用震动衰减减震台、浮体和/或垫圈而与实验室环境机械隔离。此外，在单元内部，诸如计算机和机器人控制器之类的震动源可与系统的其余部分机械隔离。替选地，数据获取可与容器相对于成像器的剩余运动(residal motion)同步，或者用执行像素移位或某些其他运动补偿行为的摄像机执行。这样的剩余运动也可以被记录以用于后处理从而去除图像运动的有害影响。
[0149]成像器配置
[0150]示范性视觉检查系统可以使用具有任意适当的传感器的标准现有成像器，包括但不限于图像耦合器件(CCD)或互补金属氧化物半导体(CMOS)阵列。传感器的选择是灵活的，一定程度上取决于特定应用的要求。例如，具有高帧速的传感器能实现快速移动的颗粒(例如，在低粘滞性流体中)的轨道的精确绘图。灵敏度和噪声性能也是重要的，因为许多蛋白质颗粒在溶液中是透明的，弱地散射光，产生暗淡图像。为了改善噪声性能，传感器可以被冷却，如本领域已知的那样。对于大多数应用，单色传感器由于相对于彩色摄像机稍微更高的分辨率以及特有的更高灵敏度而提供最佳的性能。然而，对于应用的小子集而言，彩色传感器可能是优选的，因为它们捕捉颗粒的颜色，这可能在确定其来源(例如，衣物纤维)时是非常重要的。在产品质量研究(也称为鉴定)时，例如，彩色传感器可用于区别可能污染药品的制造设备中的不同类型材料(例如，纤维)。
[0151]为了检查整个容器，成像器的视野应涵盖整个流体体积。同时，成像器应能够分辨小颗粒。视觉检查系统用大像幅高分辨率传感器实现大视野和精细分辨率二者，诸如Allied Vision Technologies (AVT)的 Prosilica GX3300 八百万像素 CCD 传感器，其具有3296X2472像素。其他合适的传感器包括ACT Pike F505-B和Basler PilotpiA2400-17gm五百万像素摄像机。当选择成像光学器件以对Iml BDHypak注射器的盛液主体进行完全成像时，AVT Prosilica GX3300CXD传感器捕捉在两个横向维度上空间分辨率为大约每像素十微米的时间序列数据。高速和高分辨率的组合意味着记录时间序列数据涉及大的数据传输速率和大的文件大小。必然结果是，下面描述的视频压缩技术被专门设计来减小数据储存要求，同时保持图像中捕获的颗粒的精细细节的完整性。
[0152]将关注区域成像到传感器上的汇聚光学器件应被选择为以极小的斑点尺寸(等于或小于传感器的像素尺寸)提供整个体积的锐利图像，以确保系统以最精细的可行分辨率操作。此外，汇聚光学器件优选具有足够大的景深以适应整个样品体积。[0153]远心透镜诸如图4所示的透镜114尤其适用于流体体积的视觉检查，因为它们被专门设计为对景深不敏感。如本领域技术人员所理解的那样，远心透镜是多元件透镜，其中主光线被校准且平行于像空间和/或物空间中的光轴，这导致恒定的放大倍率，而与图像和/或物体的位置无关。换言之，对于离具有远心透镜的成像器特定距离范围内的物体，成像器所捕捉的物体的图像是锐利的且具有恒定的放大倍率，而与物体离成像器的距离无关。这使得可以捕捉这样的图像，在该图像中在容器10的“背面”处的颗粒看起来类似于在容器10的“前面”处的颗粒。如果使用均匀的暗底板，使用远心透镜还减小了对环境光的检测。合适的远心透镜114包括Edmund Optics的NT62-901大像幅远心透镜和EdmundOptics 的 NT56-675TECHSPEC Silver 系列 0.16X 远心透镜。
[0154]容器特定的盲点
[0155]几乎任何视觉检查系统的一个目的在于提供对100%容器容积的检查。然而，在现实中，可能有其中颗粒不能被检测到的固定区域，如图5A所示。第一，弯月面附近的液体可能难以被包括在分析中，因为弯月面本身以可能使在该位置的检测器饱和的方式散射光，模糊了任何颗粒和其他关注特征。第二，对于瓶而言，容器的基底通常在角落处是弯曲的，一般称为“足跟”。弯曲足跟具有畸变并且最终模糊足够靠近瓶底游走的任何颗粒的效果。第三，对于注射器而言，橡皮塞产生中心圆锥体，其稍微侵入到容器容积中。该圆锥体的尖部有可能遮掩颗粒，尽管它是小的。最精巧的盲点由于瓶的弯曲而产生。
[0156]圆柱形容器也可导致透镜效果，如图5B所示(由弯曲光线18所示)，其会削弱远心透镜的性能。容器的弯曲壁也产生盲点14。
[0157]图5E示出圆柱形容器10导致的透镜效果的示例。摄像机/观察者在图的底部。如上所述，当对容器10中的颗粒进行成像时可使用远心透镜以确保颗粒在图像中具有一致的外观，而不依赖于它们在容器内的位置，即，它们离摄像机的距离。为了实现该目的，在一些实施例中，远心透镜的焦深被选择为大于流体体积的直径。在一些实施例中，在没有校正光学元件时，容器弯曲削弱了该原理。
[0158]如图所示，所成像的容器10中的颗粒的形状和放大倍率将依赖于颗粒在容器中的位置。在容器前面中央的颗粒501根本不畸变(上插图)。在后面侧部的相同颗粒502畸变最多(下插图)。注意，对于圆柱形容器，畸变仅沿水平轴(如下插图中显见的那样)发生。
[0159]为了减轻这些影响，可选的校正光学器件，诸如校正透镜116，被置于远心透镜114和容器10之间，如图5C所示。附加的空间校正光学器件118可提供对容器的形状导致的畸变的额外补偿，如图所示。在各种实施例中，除了校正透镜116和光学器件118之外附加地，或者替代地，可以使用任何合适的校正光学元件，例如基于容器10的弯曲和/或流体的折射率所调整的校正光学元件。
[0160]例如，在一些实施例中，可以开发圆柱形容器10导致的透镜效果的模型。模型可以基于表征光学畸变的参数的合适集合，包括例如容器外径、容器内径、容器折射率、液体折射率和照明光波长。可以使用本领域已知的任何合适的技术来开发该模型，包括例如光线跟踪技术。图5F示出两组不同容器参数的透镜效果的理论模型的示例(上左、下左)，以及对应的物理场景的实验数据(上右、下右)。如图所示，理论模型和实验数据良好一致。
[0161]参照图5G和5H，校正光学元件503 (示为透镜)被用于校正上述透镜效果。校正光学元件的设计可以基于容器的理论光学模型，指示容器的光学属性的实验数据、或者它们的组合。如图所示，校正光学元件503由折射材料制成，具有圆柱形前和后表面。在一些实施例中，透镜的设计可以利用自由参数来确定，包括前和后表面的半径、透镜厚度、透镜折射率和透镜相对于容器的位置。
[0162]在一些实施例中，其他形状可以用于透镜的前后表面，例如抛物线或任意定制形状。在一些实施例中，放松表面应为圆柱形的要求将增大用于校正光学元件503的设计的参数空间的大小，由此允许改善的校正。
[0163]在一些实施例中，校正光学元件503可包括多个元件，由此进一步增大设计参数空间。在一些实施例中，校正光学兀件503可校正其他类型的光学畸变、像差或其他效果。例如，在使用多波长照明的情况下，校正光学元件503可用于校正色差。
[0164]在一些实施例中，校正光学元件503可以设计为校正特定容器和/或流体类型导致的畸变。因为单个自动视觉检查单元100可能与多个容器类型一起使用，所以在一些实施例中，可能希望允许校正光学元件503被选择性改变以匹配所检查的特定容器10。例如，图51示出保持多个校正光学元件503的架子504。架子可被移动(手工或自动地)以将元件中选定的一个置于成像器110的光学链中。注意，虽然示出了架子，但是在各种实施例中，可以使用从一组多个光学元件中选出一个光学元件的任何其他合适的机构。
[0165]替选的视觉检查系统可包括适应性光学器件以补偿由于容器的弯曲引起的畸变。例如，远心透镜114可配置为捕捉从可变形镜子(诸如微机电系统(MEMS)镜子)反射的容器10的图像。传感器112使用背景数据来推导出表面弯曲、表面缺陷和容器10中的其他瑕疵导致的像差的性质和大小。传感器112将该信息反馈到可变形镜子，可变形镜子响应于该信息调节其表面以补偿该像差。例如，可变形镜子可沿一方向弯曲或弯折以补偿容器弯曲。由于可变形镜子动态地响应，所以它能用于补偿各个容器10特定的像差。
[0166]此外，颗粒跟踪可适于结合这些已知盲点位置检测颗粒失踪，允许程序预测同一颗粒是否可能在视频序列中稍后重新出现以及在哪里出现，如下面描述的那样。
[0167]将在下面描述处理盲点相关问题的其他技术(例如，使用多个成像器)。
[0168]摄像机帧速
[0169]下面描述的使用最近邻匹配(贪婪(greedy))算法的有效颗粒跟踪可视为三个主要因子的函数:摄像机捕捉速率(帧速)、颗粒密度(在二维图像中)以及典型颗粒速度。对于使用最近邻匹配算法的真实有效跟踪，摄像机应优选足够快以满足条件:
[0170]摄像机速率〉(最大颗粒速度)/ (最小颗粒间分隔距离)。
[0171]现实中，当将三维体积投影到二维图像上时，颗粒可能看起来彼此非常接近(甚至彼此遮挡)，实际上它们在容器中良好地间隔开。当考虑到该因素时，考虑平均最近邻居距离比考虑表观最小颗粒间分隔距离更有意义。注意，这里最近邻居距离是给定时间序列数据帧中相邻颗粒之间的距离，而最近邻匹配距离指的是时间序列数据的连续帧中单个颗粒的所观察的位置差异之间的距离。从最近邻匹配距离方面重写摄像机速度标准给出:
[0172]摄像机速率〉(最大颗粒速度)/ (最小颗粒间分隔距离)。
[0173]替选的视觉检查系统可使用预测跟踪技术来代替最近邻匹配(贪婪)颗粒跟踪技术。预测技术使用颗粒的已知轨道知识，结合容器的空间限制和预期的流体行为方面的知识，来评估颗粒在后面的帧中最可能的位置。当适当地实施时，该方案可以通过高速密集地生成的图像更精确地跟踪颗粒移动。[0174]当尝试检测和测量较大容器中的非常小的颗粒时，有利的是最大化图像传感器的空间分辨率。通常，这具有降低传感器的最大可获得帧速的直接影响。
[0175]用多个成像器的视觉检查
[0176]单个摄像机的使用可能因已知盲点的存在而性能受损。此外，将三维颗粒分布绘制到二维图像上可能由于遮挡而导致不确定性(例如，如图5E所示，其中在容器背面中心的颗粒被在前面中心的颗粒遮挡)。替选的视觉检查系统(例如，如图6所示)可通过关联来自两个或更多成像系统的结果而在原理上解决该问题。通过关联来自两个或更多摄像机的位置轨道信息，可以构建详细的三维轨道图，其可以更健全并且与二维轨道图相比更少可能发生遮挡所导致的错误(在下面论述)。
[0177]对于给定颗粒浓度和颗粒速度，增大成像器的空间分辨率还限制了数据获取速率(帧速)。当检查未知容器时，可能不能确保颗粒浓度将适当地低。同时，为了使诸如玻璃或金属之类的重颗粒悬浮在流体中，容器中的旋转速度可能需要非常高，导致所捕获的视频流中的高颗粒速度。解决该矛盾的一种途径是采用下面描述的新颖的成像硬件配置。假设最好的商业可得的传感器已经被采用，并且容器中的颗粒散射足够量的光，仍可以通过复用两个或更多传感器(具有来自专用触发源的恒定的、可靠的触发)来增大数据获取速率。
[0178]此外，通过放松对全容器检查的要求，并且替代地仅考虑容积的子集,示例性视觉检查系统可配置为提供比10微米更精细的空间分辨率。通常，对于亚可见颗粒(尤其是蛋白质聚集体)而言，这是可接受的，因为更小的颗粒倾向于以更高数量出现并且更均质地分布在整个容积中。替选地，示例性视觉检查系统可通过使用具有不同放大倍率的多个成像器而提供全容器检查和精细空间分辨率二者，以并行地获得大面积和精细分辨率的时间序列数据。
[0179]同时可以使用替选放大倍率，例如，如图6A所示，一个成像器1102注视全容器，具有更高放大倍率的第二成像器1104 (例如，长工作距离显微镜物镜)对更小的子体积进行放大并且检查例如非常小的颗粒(例如，具有约10微米、5微米、I微米或更小直径的颗粒)。其他视觉检查系统可包括绕一圈或多圈发光二极管(LED) 1120 (安装在容器10上方和下方)照明的容器10设置的多个成像器1102、1104和1106，如图6B所示。安装在不同位置的相同成像器1102提供双目视野。具有长工作距离显微镜物镜的成像器1104提供容器10的子容积的精细分辨率，具有替选传感器(例如，红外传感器、测辐射热计等)的成像器1106提供额外的时间序列数据。
[0180]图6C和6D示出利用远心成像属性的替选成像配置。在远心透镜的背面开口处，50/50立方体分束器1202将所投影的图像分成两个单独的成像臂。每个成像臂可包括高分辨率低速传感器1222，其与另一臂中的传感器1222以交插方式操作，如图6C所示，以使帧速翻倍。也就是说，以半周期的相对相位差同时运行两个传感器1222改善了时间分辨率，改善因子为2。图像流然后可以组合以提供是传感器标称帧数的两倍的单个影像。
[0181]替选地，每个臂可包括不同的传感器，如图6D所示，例如，以补偿成像传感器阵列中的折衷:摄像机分辨率越精细，摄像机的最大可行帧数越慢(例如，全分辨率下10-50或15-25帧每秒，低分辨率下50-200帧每秒，等等)。为了精确地跟踪颗粒，首要的传感器性能参数是高的时间分辨率(高帧数)。然而，为了精确地确定颗粒尺寸，首要的传感器性能参数是精细的空间分辨率(图像中的像素尽可能多)。目前，对空间分辨率和数据传输速率的主要限制是数据传输总线。对于标准个人计算机总线(例如，双GigE或CameraLink总线),可得的成像器可以获取空间分辨率为约10微米每像素、数据传输速率为约25帧每秒的、4厘米高的容器的时间序列数据。
[0182]图6D示出实现快帧速和精细分辨率的一种途径:用高分辨率低速传感器1222和具有更适中的空间分辨率但是更高的帧速的传感器1224 二者来对流体进行成像。外部触发可确保两个摄像机以相称的方式同步。由于摄像机在观察相同图像的副本，所以它们的数据可以直接关联以产生改善的颗粒分析。
[0183]图7A和7B示出照明光源120和多个摄像机的时序和控制。在图7A和图7B 二者中，触发控制器702发射通过抽选主脉冲信号而得到的两个触发信号(在图7A和图7B中标为臂I和臂2)。以交插的方式，臂I触发信号驱动第一摄像机(图7A中的1102a，图7B中的1222a)，臂2触发信号驱动第二摄像机(图7A中的1102b，图7B中的1222b)。也就是说，触发器信号使第一和第二摄像机获取交替的帧序列。触发控制器702还可用照明信号驱动照明光源120，这导致每当第一或第二摄像机获取图像时，照明光源120就照明容器。其他的触发序列也是可行的；例如，触发控制器702可以驱动以不同帧速获取图像的额外的摄像机和/或高和低分辨率摄像机的组合。
[0184]其他布置是可行的，如对本领域技术人员而言显然的那样。例如，每个臂上的图像传感器可以彼此等价，但是汇聚光学器件可以不同。一个臂可包括额外的图像放大光学器件以对图像的特定子集进行“放大”，提供宽场并且同时放大的视野。
[0185]照明配置
[0186]本发明的视觉检查系统利用各种颗粒与光相互作用的方式来检测和识别装有流体的容器中的颗粒。颗粒与光的相互作用是多种因素的复杂函数，包括颗粒的尺寸、形状、折射率、反射率和不透明度。蛋白质颗粒可主要通过折射来散射光，而薄片玻璃颗粒可主要反射光。一些颗粒，例如胶原蛋白，可改变光的本征物理属性，诸如偏振的旋转。调整检测器、颗粒和光的几何结构以最大化各种颗粒类型之间的对比度可导致高度准确的检测和区分。
[0187]图8-12示出各种照明配置，其被调整或者可以在不同照明模式之间切换/激励以用于特定类型的颗粒、容器和/或流体。例如，光源可以按一种方式照明颗粒以最大化它们朝向检测器反射或折射的光量，同时保持背景为暗以最大化颗粒和背景的图像之间的对比度。此外，光源可以按任何合适的波长或波长范围发出辐射。例如，它们可以发射宽带白光(390-760nm)、窄带光束(例如，在632nm)、或者甚至紫外或X射线辐射。合适的范围包括10-3000nm、100-390nm(紫外)、390-760nm(可见光)、760-1400nm(近红外)、以及 1400_3000nm(中波长红外)。X射线发射(<10nm)也是可行的。当作为一个完整的整体时，这里公开的大量照明选项允许本发明的视觉检查系统检测和识别可能出现在药品中的所有颗粒范围。
[0188]由于一些颗粒仅非常弱地散射光，所以通常有利的是用尽可能多的光照射样品。样品照射的上限主要由所检查的产品的光敏性决定。波长的明智选择也可能是必要的，尤其是对于生物产品；准确的选择取决于被照射的产品。以大约630nm为中心的单色红光表示“折衷方案”，就不太昂贵的光源而言其是容易得到的波长。
[0189]LED阵列(诸如来自CCS Lighting公司的LDL2系列LED阵列)对于照明药品中见到的颗粒而言是有效的；然而，也可使用准直激光束。在一些情况下，照明光学器件可以在流体体积内对将要准直的照明光束进行图案化或成形(与在容器外相反)。对于替选光源，如果担心来自光源的加热，则可以通过使用光学波导或光纤124 (如图8所示)将光传递到检查区域。
[0190]可以基于所分析的流体和/或颗粒的吸收和/或反射率来选择照明波长；这对于光敏性的药品而言是非常重要的。红光(630nm)提供被蛋白质吸收低和被水吸收低之间的良好平衡。与时间序列数据获取同步地频闪照明通过最小化药品暴露到入射光的时间而进一步保护了光敏药品的完整性。频闪还具有两个优点:当以此方式运行时，LED更有效地操作，并且频闪减小了运动模糊效果，运动模糊效果对颗粒尺寸测量造成未得到处理的损害，如下面描述的那样。
[0191]图8示出示例性可重新配置的照明系统120，其包括若干光源122a_122f (统称为光源122),其可以是LED,激光器、突光或白炽灯、闪光灯、或者任何其他合适的光源或合适光源的组合。光源122可发射可见、红外、和/或紫外辐射。它们可以根据需要而是窄带或宽带的，并且可以利用适当的光学过滤器或偏振器而被过滤。在图8中，例如，偏振器126对背照射容器的光源122f发射的光进行偏振。除了背光源122f之外，照明系统120包括在容器10周围的矩形棱柱的角处的四个光源122a-122d。另一光源122e经由耦合到指向容器10底部的准直器126的光纤124从底部照射容器10。在一些例子中，光纤124和准直器126可以容纳在用于旋转器皿的芯轴的中空轴128内。
[0192]图8所示的多个光源122可以用于基于给定颗粒与光的相互作用来确定要区分的给定颗粒的光学属性。本领域技术人员将理解，不同颗粒以变化的方式与光相互作用。相互作用的一般模式包括散射、反射、遮挡、或旋转光的偏振，如表1所示，其中“X”表示此类颗粒将利用给定光照技术而显现，如图9A-9D和图11所例示的那样(描述于下)。“M”表示此类颗粒或许可利用给定技术而显现，但是仍可能能够利用后处理图像片段和特征识别技术而被检测/区分。
[0193]表1:针对各种颗粒类型的光相互作用
[0194]
【权利要求】
1.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，所述装置包括: Ca)成像器，配置为获取表示流体中的颗粒的轨道的时间序列数据； (b)存储器，操作上耦合到所述成像器并且配置为储存所述时间序列数据；以及 (c)处理器，操作上耦合到所述存储器并且配置为通过以下步骤来检测所述颗粒: (i)反转所述时间序列数据的时间顺序以形成反转时间序列数据； (ii)根据所述反转时间序列数据评估所述颗粒的轨道；以及 (iii)根据所述轨道确定所述颗粒的存在或类型。
2.如权利要求1所述的装置，其中，所述颗粒具有约1μ m至约400 μ m的最小宽度。
3.如权利要求1所述的装置，其中，所述颗粒具有约75μ m至约1OOμm的最小宽度。
4.如权利要求1所述的装置，其中，所述颗粒具有约Iym或更大的最小宽度。
5.如权利要求1所述的装置，其中，所述颗粒包括蛋白质聚集体。
6.如权利要求1所述的装置，其中，所述成像器包括远心透镜以将所述颗粒的图像投影到传感器上。
7.如权利要求1所述的装置，其中，所述成像器包括具有可变焦距的透镜。
8.如权利要求1所述的装置，其中，所述成像器包括: 传感器，配置为检测所述颗粒的图像；以及 冷却器件，用于冷却所述传感器。
9.如权利要求1所述的装置，其中，所述成像器包括: 传感器，配置为检测所述颗粒的图像；以及 校正光学元件，设置在所述颗粒与所述传感器之间，并且配置为补偿由所述器皿的弯曲导致的所述颗粒的图像的畸变。
10.如权利要求8所述的装置，其中，所述校正光学元件包括透镜，所述透镜包括折射材料，并且具有第一圆柱形表面和第二圆柱形表面，所述第一圆柱形表面具有第一曲率半径，所述第二圆柱形表面具有第二曲率半径。
11.如权利要求10所述的装置，其中，所述第一曲率半径不同于所述第二曲率半径。
12.如权利要求8所述的装置，其中，所述成像器还包括设置在所述传感器与所述器皿之间的远心透镜，其中所述校正光学元件基本校正由所述器皿的弯曲导致的图像的放大。
13.如权利要求1所述的装置，其中，所述成像器包括: 传感器，配置为检测所述颗粒的图像；以及 多个校正光学元件，其每个能够可选择性地设置在所述器皿与所述传感器之间并且配置为补偿由所述器皿的弯曲导致的所述时间序列数据的畸变。
14.如权利要求1所述的装置，其中，所述成像器包括: 第一传感器，配置为以第一分辨率和第一成像速度检测流体的至少一部分的第一图像；以及 第二传感器，配置为以比该第一分辨率更精细的第二分辨率和比该第一成像速度更慢的第二成像速度检测流体的至少一部分的第一图像。
15.如权利要求1所述的装置，其中，所述成像器包括: 第一传感器，配置为以第一放大倍率检测流体的至少一部分的第一图像；以及第二传感器，配置为以比该第一放大倍率更大的第二放大倍率检测流体的至少一部分的第二图像。
16.如权利要求1所述的装置，其中，所述成像器包括绕所述器皿周围设置的多个传感器。
17.如权利要求1所述的装置，其中，所述成像器包括偏振器，所述偏振器配置为对被所述颗粒透射、散射或反射的光进行偏振。
18.如权利要求1所述的装置，其中，所述处理器还配置为从所述时间序列数据或所述反转时间序列数据扣除静态特征。
19.如权利要求1所述的装置，其中，所述处理器还配置为对所述时间序列数据或所述反转时间序列数据进行定限处理。
20.如权利要求1所述的装置，其中，所述处理器进一步配置为通过下列步骤来评估所述颗粒的轨道: (1)在所述反转时间序列数据的第一帧中定位表示所述颗粒的质心的第一值； (2)根据所述第一值的位置，在所述反转时间序列数据的第二帧的预定部分中搜索表示所述颗粒的质心的第二值；以及 (3)根据与所述第一值和所述第二值相关联的坐标之间的差异，确定所述颗粒的位移。
21.如权利要求19所述的装置，其中，所述处理器还配置为根据从所述第一值导出的颗粒速度或颗粒加速度，确定所述第二帧的所述预定部分。
22.如权利要求1所述的装置，其中，所述处理器还配置为至少部分地根据所述颗粒的速度矢量、速率或坐标，或者它们的组合来识别所述颗粒。
23.如权利要求1所述的装置，其中，所述处理器还配置为至少部分地根据所述颗粒的反射率随时间的改变来识别所述颗粒。
24.如权利要求1所述的装置，其中，所述处理器还配置为根据所述时间序列数据来确定所述颗粒的尺寸、伸长度、圆度、亮度、颜色、反射率、吸收率、荧光性、对比度或形状，或者这些项中的任意项的组合。
25.如权利要求24所述的装置，其中，所述处理器还配置为至少部分地根据所述颗粒的尺寸、伸长度、圆度、亮度或形状，或者它们的组合来识别所述颗粒。
26.如权利要求1所述的装置，其中，所述处理器还配置为: 计数所述时间序列数据的至少两个帧中表示流体中的一个或多个颗粒的值，以分别产生所述一个或多个颗粒的第一计数和第二计数；以及 根据第一计数和第二计数之间的差异，确定颗粒已经与另一颗粒发生了碰撞或遮挡。
27.如权利要求1所述的装置，其中，所述处理器还配置为: 根据所述时间序列数据或所述反转时间序列数据，检测所述器皿中的流体的弯月面； 确定所述弯月面处于稳定位置的时间；以及 根据所述弯月面处于稳定位置的时间选择用于评估所述轨道的所述反转时间序列数据的起始点。
28.如权利要求27所述的装置，其中，所述处理器还配置为: 根据所述时间序列数据或所述反转时间序列数据，确定何时所述颗粒的速度等于预定速度；以及根据所述颗粒相对于所述预定速度的所述速度，选择用于评估所述轨道的所述反转时间序列数据的结束点。
29.如权利要求27所述的装置，其中，所述颗粒悬在流体中的漩涡中，其中所述处理器还配置为: 根据所述时间序列数据或所述反转时间序列数据，检测所述漩涡的坍塌；以及 根据所述漩涡的坍塌，选择用于评估所述轨道的所述反转时间序列数据的结束点。
30.如权利要求1所述的装置，其中，所述处理器还配置为: 根据所述器皿和对所述器皿的搅拌，选择用于评估所述轨道的所述反转时间序列数据的起始点；以及 根据所述器皿和对所述器皿的搅拌，选择用于评估所述轨道的所述反转时间序列数据的结束点。
31.如权利要求1所述的装置，还包括: 照射源，配置为照射所述流体的至少一部分。
32.如权利要求31所述的装置，其中，所述照射源设置为相对于通过绕所述器皿的纵轴旋转所述成像器而定义的平面以一角度照射所述颗粒。
33.如权利要求31所述的装置，其中，所述照射源还配置为与所述成像器获取所述时间序列数据同步地照射所述颗粒。
34.如权利要求31所述的装置，其中，所述照射源还配置为以激发波长照射所述颗粒以导致所述颗粒以荧光波长发荧光，且 其中，所述成像器还配置为检测所述荧光波长的辐射。
35.如权利要求1所述的装置，还包括配置为使所述颗粒悬于所述流体中的搅拌器。
36.如权利要求35所述的装置，其中，所述搅拌器还配置为绕器皿的纵轴旋转所述器皿。
37.如权利要求35所述的装置，其中，所述搅拌器还配置为绕与所述器皿的纵轴垂直的轴旋转所述器皿。
38.如权利要求35所述的装置，其中，所述搅拌器还配置为倒置所述器皿。
39.如权利要求35所述的装置，其中，所述搅拌器还配置为振动或摇摆所述器皿。
40.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，所述方法包括: (a)反转表示所述流体中的颗粒的轨道的时间序列数据的时间顺序以形成反转时间序列数据； (b)根据所述反转时间序列数据评估所述颗粒的轨道；以及 (c)根据所述轨道检测或识别所述颗粒。
41.如权利要求40所述的方法，其中，所述颗粒具有约1口111至约40(^111的最小宽度。
42.如权利要求40所述的方法，其中，所述颗粒具有约75μ m至约150 μ m的最小宽度。
43.如权利要求40所述的方法，其中，所述颗粒具有约Iμ m或更大的最小宽度。
44.如权利要求40所述的方法，其中，所述颗粒包括蛋白质聚集体。
45.如权利要求40所述的方法，其中，评估所述颗粒的轨道包括从所述时间序列数据或所述反转时间序列数据扣除背景数据。
46.如权利要求40所述的方法，其中，评估所述颗粒的轨道包括对所述时间序列数据或所述反转时间序列数据进行定限。
47.如权利要求40所述的方法，其中，评估所述颗粒的轨道包括: (1)在所述反转时间序列数据的第一帧中定位表示所述颗粒的质心的第一值； (2)根据所述第一值的位置，在所述反转时间序列数据的第二帧的预定部分中搜索表示所述颗粒的质心的第二值；以及 (3)根据与所述第一值和所述第二值相关联的坐标之间的差异，确定所述颗粒的位移。
48.如权利要求47所述的方法，还包括至少部分地根据至少部分地从所述第一值导出的颗粒速度或颗粒加速度，确定所述第二帧的所述预定部分。
49.如权利要求40所述的方法，其中，识别所述颗粒包括至少部分地根据所述颗粒的速度矢量、速率、状态或坐标，或者它们的组合来对所述颗粒进行分类。
50.如权利要求40所述的方法，其中，识别所述颗粒包括至少部分地根据所述颗粒的反射率随时间的改变来对所述颗粒进行分类。
51.如权利要求40所述的方法，还包括: 确定所述颗粒的尺寸、伸长度、圆度、亮度、形状、颜色、荧光性、对比度、反射率或吸收性，或者这些项中的任意项的组合。
52.如权利要求51所述的方法，其中，识别所述颗粒包括至少部分地根据所述颗粒的尺寸、伸长度、亮度或形状来对所述颗粒进行分类。
53.如权利要求40所述的方法，还包括: 计数所述时间序列数据的至少两个帧中表示所述流体中的一个或多个颗粒的值，以分别产生所述一个或多个颗 粒的第一计数和第二计数；以及 根据所述第一计数和所述第二计数之间的差异，确定所述流体中的颗粒已经与另一颗粒发生了碰撞或遮挡。
54.如权利要求40所述的方法，还包括: 根据所述时间序列数据或所述反转时间序列数据，检测所述器皿中的流体的弯月面； 确定所述弯月面处于稳定位置；以及 根据所述弯月面的稳定选择用于评估所述轨道的所述反转时间序列数据的起始点。
55.如权利要求40所述的方法,还包括: 根据所述时间序列数据或所述反转时间序列数据，确定何时所述颗粒的速度等于预定速度；以及 根据所述颗粒相对于所述预定速度的所述速度，选择用于评估所述轨道的所述反转时间序列数据的结束点。
56.如权利要求40所述的方法，其中，所述颗粒悬在流体中的漩涡中，并且所述方法还包括: 根据所述时间序列数据或所述反转时间序列数据，检测所述漩涡的坍塌；以及 根据所述漩涡的坍塌，选择用于评估所述轨道的所述反转时间序列数据的结束点。
57.如权利要求40所述的方法,还包括: 根据所述器皿和对所述器皿的搅拌，选择用于评估所述轨道的所述反转时间序列数据的起始点；以及根据所述器皿和对所述器皿的搅拌，选择用于评估所述轨道的所述反转时间序列数据的结束点。
58.如权利要求40所述的方法，还包括使所述颗粒变成悬于所述流体中。
59.如权利要求58所述的方法，其中，使所述颗粒变成悬浮包括绕所述器皿的纵轴旋转所述器皿。
60.如权利要求58所述的方法，其中，使所述颗粒变成悬浮包括绕与所述器皿的纵轴垂直的轴旋转所述器皿。
61.如权利要求58所述的方法，其中，使所述颗粒变成悬浮包括倒置所述器皿。
62.如权利要求58所述的方法，其中，使所述颗粒变成悬浮包括振动或摇摆所述器皿。
63.如权利要求40所述的方法，还包括照射所述颗粒。
64.如权利要求63所述的方法，其中，照射所述颗粒包括与所述时间序列数据的获取同步地触发所述照射。
65.如权利要求63所述的方法，还包括其中对所述颗粒进行成像包括用传感器感测照射，且 其中，照射所述颗粒包括相对于通过绕所述器皿的纵轴旋转所述传感器定义的平面以一角度照射所述颗粒。
66.如权利要求40所述的方法，还包括在不同的时间点对所述颗粒进行成像以提供所述时间序列数据。
67.如权利要求66所述的`方法，其中，对所述颗粒进行成像包括用远心透镜将所述颗粒的图像投影到传感器上。
68.如权利要求67所述的方法，还包括冷却所述传感器。
69.如权利要求67所述的方法，其中，对所述颗粒进行成像包括用远心透镜和校正光学元件将所述颗粒的图像投影到传感器上，其中所述校正光学元件基本校正由所述器皿的弯曲倒置的图像畸变。
70.如权利要求67所述的方法，其中，对所述颗粒进行成像包括: 提供多个校正光学元件，其每个可选择地设置在所述器皿和所述传感器之间； 选择所述多个校正光学元件之一；以及 用所述远心透镜和所选择的一个所述校正光学元件将所述颗粒的图像投影到传感器上，其中光学元件基本校正由所述器皿的弯曲倒置的所述时间序列数据的放大畸变。
71.如权利要求66所述的方法，其中，对所述颗粒进行成像包括: 用具有第一分辨率和第一成像速度的第一检测器感测所述颗粒；以及 用具有比该第一分辨率更精细的第二分辨率和比该第一成像速度更慢的第二成像速度的第二检测器感测所述颗粒。
72.如权利要求66所述的方法，还包括: 使所述颗粒以荧光波长发荧光，且 其中，对所述颗粒进行成像包括感测所述荧光波长的光。
73.如权利要求66所述的方法，还包括使所述颗粒透射、散射或反射的光偏振。
74.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的计算机程序产品，所述计算机程序产品包括非易失性的机器可读指令，所述指令在由处理器运行时使所述处理器: (a)反转表示所述流体中的颗粒的轨道的时间序列数据的时间顺序以形成反转时间序列数据； (b)根据所述反转时间序列数据评估所述颗粒的轨道；以及 (c)根据所述轨道检测或识别所述颗粒。
75.一种用于非破坏性地检测至少部分地装有流体的器皿中的一个或多个透明或反射性物体的装置，所述装置包括: (a)成像器，配置为获取数据，所述数据表示随时间从所述器皿中的多个空间位置反射的光； (b)存储器，操作上耦合到所述成像器并且配置为储存所述数据；以及 (c)处理器，操作上耦合到所述存储器并且配置为根据所述数据通过以下步骤来检测所述物体: (i)针对所述多个位置中的每个位置，识别相应的最大反射光量，以及 (ii)根据其相应的最大反射光量超过预定值的空间位置的数目，确定所述器皿中所述物体的存在或不存在。
76.如权利要求75所述 的装置，其中，所述器皿具有底部，并且所述装置还包括: 光源，配置为照射所述器皿的底部。
77.如权利要求75所述的装置，其中，所述器皿含有蛋白质聚集体，其中所述处理器还配置为根据所述数据区分所述物体和所述蛋白质聚集体。
78.如权利要求75所述的装置，其中，所述处理器还配置为评估所述物体的平均尺寸、所述物体的尺寸分布、以及所述物体的数量中的至少一个。
79.如权利要求75所述的装置，其中，所述处理器还配置为根据反射光量随时间的变化区分所述物体和其他类型的颗粒。
80.如权利要求79所述的装置，其中，所述处理器还配置为利用所述数据和表示穿过所述器皿透射的光的附加数据识别所述器皿中的至少一种其他类型的颗粒。
81.如权利要求75所述的装置，其中，所述物体包括玻璃薄片。
82.一种用于非破坏性地检测至少部分地装有流体的器皿中的透明或反射性物体的方法，所述方法包括: (a)根据表示随时间从所述器皿的多个空间位置反射的光的数据，识别多个位置中的每个位置的相应最大反射光量；以及 (b)根据其相应的最大反射光量超过预定值的空间位置的数量，确定所述器皿中所述物体的存在或不存在。
83.如权利要求82所述的方法，其中，所述器皿具有底部且还包括: 照射所述器皿的底部；以及 获取表示从所述多个空间位置反射的光的所述数据。
84.如权利要求82所述的方法，其中，所述器皿包含蛋白质聚集体，并且所述方法还包括: 根据所述数据，区分所述物体和所述蛋白质聚集体。
85.如权利要求82所述的方法，还包括:评估所述物体的平均尺寸、所述物体的尺寸分布、以及所述物体的数量中的至少一个。
86.如权利要求82所述的方法，还包括: 根据所述反射光量随时间的变化，区分所述物体和另一类型的颗粒。
87.如权利要求82所述的方法，还包括: 利用所述数据和表示穿过所述器皿透射的光的附加数据，识别所述器皿中的至少一种其他类型的颗粒。
88.如权利要求82所述的方法，其中，所述物体包括玻璃薄片。
89.一种用于非破坏性地检测至少部分地装有流体的器皿中的透明或反射性物体的计算机程序产品，所述计算机程序产品包括非易失性的机器可读指令，所述指令在由处理器运行时使所述处理器: (a)根据表示随时间从所述器皿的多个空间位置反射的光的数据，识别多个位置中的每个位置的相应最大反射光量；以及 (b)根据其相应的最大反射光量超过预定值的空间位置的数量，确定所述器皿中所述物体的存在或不存在。
90.一种用于非破坏性地确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的方法，所述方法包括: Ca)接收在指定成像条件下获得的所述器皿中的颗粒的至少一幅图像； (b)根据所述至少一幅图像，检测所`述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息； (C)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及 (d)根据以下信息确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息: (i)所述表观颗粒尺寸族群信息，以及 (ii)指示在与所述指定成像条件对应的条件下成像的一组或 多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
91.如权利要求90所述的方法，其中，步骤(d)包括: 将多组标准尺寸颗粒的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群。
92.如权利要求91所述的方法，其中，所述多组标准尺寸颗粒包括至少四组，各组具有不同的相应标准尺寸。
93.如权利要求92所述的方法，其中，所述至少四组标准尺寸颗粒中的每组的相应尺寸与所述至少四组标准尺寸颗粒中的其它组中的每组的相应尺寸具有至少I μ m的不同。
94.如权利要求91所述的方法，其中，将多组标准尺寸颗粒条件的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群的步骤包括: 通过调整所述多组标准尺寸颗粒的表观尺寸分布的权重，最小化所述叠加与所检测的颗粒的表观颗粒尺寸族群之间的差异。
95.如权利要求90所述的方法，包括在步骤(c)和(d)之前，预处理所述至少一幅图像以选择第一组颗粒用于根据所述颗粒的表观尺寸进行计数，其中步骤(C)和(d)仅应用到所述第一组颗粒。
96.如权利要求95所述的方法，其中，所述第一组颗粒中的颗粒是根据表观尺寸阈值来选择的。
97.如权利要求96所述的方法，其中，所述至少一幅图像包括多幅时间序列的图像，并且所述方法包括: 通过根据所述时间序列的图像确定与所述第一组颗粒不同的第二组颗粒的轨道，检测或计数所述第二组颗粒中的颗粒。
98.一种用于确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的装置，所述装置包括至少一个处理器，所述至少一个处理器配置为: Ca)接收在指定成像条件下获得的所述器皿中的颗粒的至少一幅图像； (b)根据所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息； (C)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及 (d)根据以下信息确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息: (i)所述表观颗粒尺寸族群信息，以及 (ii)指示在与所述 指定成像条件对应的条件下成像的一组或多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
99.如权利要求98所述的装置，其中，所述处理器还配置为: 将所成像的多组标准尺寸颗粒的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群。
100.如权利要求99所述的装置，其中，所述多组标准尺寸颗粒包括至少四组，各组具有不同的相应标准尺寸。
101.如权利要求100所述的装置，其中，所述至少四组标准尺寸颗粒中的每组的相应尺寸与所述至少四组标准尺寸颗粒中的其它组中的每组的相应尺寸具有至少Iym的不同。
102.如权利要求98所述的装置，其中，所述处理器配置为通过如下步骤来将多组标准尺寸颗粒条件的表观尺寸分布的叠加拟合到所检测的颗粒的所述表观颗粒尺寸族群: 通过调整所述多组标准尺寸颗粒的表观尺寸分布的权重，最小化所述叠加与所检测的颗粒的表观颗粒尺寸族群之间的差异。
103.如权利要求98所述的装置，所述处理器配置为预处理所述至少一幅图像以选择第一组颗粒用于根据所述颗粒的表观尺寸进行计数，其中步骤(C)和(d)仅应用到所述第一组颗粒。
104.如权利要求103所述的装置，其中，所述第一组颗粒中的颗粒是根据表观尺寸阈值来选择的。
105.如权利要求104所述的装置，其中，所述至少一幅图像包括多幅时间序列的图像，并且其中所述处理器配置为通过根据所述时间序列的图像确定与所述第一组颗粒不同的第二组颗粒的轨道，检测或计数所述第二组颗粒中的颗粒。
106.一种用于非破坏性地确定至少部分地装有流体的器皿中的未溶解颗粒的数量和尺寸的计算机程序产品，所述计算机程序产品包括非易失性的机器可读指令，所述指令在由处理器运行时使所述处理器: Ca)接收在指定成像条件下获得的所述器皿中的颗粒的至少一幅图像； (b)根据所述至少一幅图像，检测所述颗粒并且确定指示所述图像中所检测的颗粒的表观尺寸的信息； (C)确定指示所检测的颗粒的表观颗粒尺寸分布的表观颗粒尺寸族群信息；以及 (d)根据以下信息确定指示所检测的颗粒的实际颗粒尺寸分布的实际颗粒尺寸族群信息: (i)所述表观颗粒尺寸族群信息，以及 (ii)指示在与所述指定成像条件对应的条件下成像的一组或 多组标准尺寸颗粒的表观尺寸分布的校准族群信息。
107.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，所述装置包括: (a)至少两个成像器，定位成从不同视角对所述颗粒进行成像，每个成像器配置为获取所述流体中的颗粒的一幅或多幅二维图像； (b)存储器，操作上耦合到所述成像器并且配置为储存时间序列；以及 (c)处理器，操作上耦合到所述存储器并且配置为通过如下步骤检测所述颗粒: (i )组合来自至少三个成像器的二维图像以确定指示所述器皿中的颗粒位置的三维数据；以及 (ii)至少部分地根据所述三维数据来检测所述颗粒。
108.如权利要求107所述的装置，其中，所述处理器还配置为: 根据所述三维数据识别候选颗粒；以及 根据来自所述成像器中的至少一个的二维图像数据，确定所述颗粒的尺寸或形状信肩、O
109.如权利要求108所述的装置，其中，所述处理器还配置为: 根据所述三维数据和指示由所述器皿导致的位置相关光学畸变的数据，校正所确定的所述颗粒的尺寸或形状信息。
110.如权利要求107所述的装置，其中，所述三维轨道数据包括与所述器皿的未被所述成像器中的至少三个成像的区域对应的至少一个盲点区域，其中所述处理器配置为: 至少部分地根据来自最接近于所述盲点区域定位的成像器的所述颗粒的时间序列的二维图像，确定指示所述颗粒在所述盲点区域中的路径的盲点轨道信息。
111.如权利要求107所述的装置，其中，所述至少两个成像器包括至少三个成像器。
112.如权利要求107所述的装置，其中，所述至少两个成像器中的每个包括: 传感器，配置为检测所述颗粒的图像；以及 校正光学元件，设置在所述颗粒与所述传感器之间，并且配置为补偿由所述器皿的弯曲导致的所述时间序列数据的畸变。
113.如权利要求112所述的装置，其中，所述成像器中的每个还包括设置在所述传感器与所述器皿之间的远心透镜，其中所述校正光学元件基本校正由所述器皿的弯曲导致的所述时间序列数据的放大畸变。
114.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，所述方法包括: (a)使用至少两个成像器来从不同视角对所述颗粒进行成像，从而每个成像器获取所述流体中的颗粒的一幅或多幅二维图像； (b)组合来自至少两个成像器的二维图像以确定指示所述器皿中的颗粒位置的三维数据；以及 (c)至少部分地根据所述三维数据来检测所述颗粒。
115.如权利要求114所述的方法，还包括: 根据所述三维数据识别候选颗粒；以及 根据来自所述成像器中的至少一个的二维图像，确定所述颗粒的尺寸或形状信息。
116.如权利要求115所述的方法,包括: 根据所述三维数据和指示由所述器皿导致的位置相关光学畸变的数据，校正所确定的所述颗粒的尺寸或形状信息。
117.如权利要求114所述的方法，其中，所述三维轨道数据包括与所述器皿的未被至少三个成像器成像的区域对应的至少一个盲点区域，其中所述方法包括: 至少部分地根据来自最接近于所述盲点区域定位的成像器的所述颗粒的时间序列的二维图像，确定指 示所述颗粒在所述盲点区域中的路径的盲点轨道信息。
118.如权利要求114所述的方法，其中，所述至少两个成像器包括至少三个成像器。
119.如权利要求114所述的方法，其中，所述至少两个成像器中的每个包括: 传感器，配置为检测所述颗粒的图像；以及 校正光学元件，设置在所述颗粒与所述传感器之间，并且配置为补偿由所述器皿的弯曲导致的所述时间序列数据的畸变。
120.如权利要求119所述的方法，其中，所述成像器还包括设置在所述传感器与所述器皿之间的远心透镜，其中所述校正光学元件基本校正由所述器皿的弯曲导致的所述时间序列数据的放大畸变。
121.—种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，所述方法包括: Ca)使用至少一个成像器来对所述颗粒进行成像； (b)处理所述图像以确定指示所述器皿中的颗粒位置的位置数据； (C)至少部分地根据所述位置数据来检测所述颗粒，其中，至少部分地根据所述位置数据来检测所述颗粒包括识别所述容器的子区域中所述颗粒的存在； Cd)当所述颗粒位于所述器皿的子区域中时，使用传感器来确定所述颗粒的特性； Ce)生成指示所确定的特性的颗粒特性数据；以及 (f)将所述颗粒特性数据与标识所述颗粒的数据相关联。
122.如权利要求121所述的方法，其中: 所述至少一个成像器包括至少两个成像器，所述至少两个成像器定位成从不同视角对所述颗粒进行成像从而每个成像器获取所述流体中的颗粒的相应的一幅或多幅二维图像，处理所述图像以确定位置数据包括组合来自所述至少两个成像器的二维图像以确定指示所述器皿中的颗粒的位置的三维数据，且 检测所述颗粒包括至少部分地根据所述三维数据来检测所述颗粒。
123.如权利要求122所述的方法，其中，所述颗粒的特性包括光谱特性。
124.如权利要求123所述的方法，其中，所述传感器包括分光计器件，所述分光计器件定位成感测从所述器皿的子区域入射的光的光谱特性。
125.如权利要求124所述的方法，其中，所述子区域包括所述器皿中的流体的基本平面层。
126.如权利要求125所述的方法，其中，所述传感器包括远心成像器，所述远心成像器定位成将所述器皿的子区域成像到所述分光计上。
127.如权利要求124所述的方法，其中，所述光谱特性包括颜色、吸收光谱或透射光谱，或者这些项中的任何项的组合。
128.—种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，所述装置包括: Ca)至少一个成像器，定位成对所述颗粒进行成像； (b)至少一个传感器，配置成当所述颗粒位于所述器皿的子区域中时确定所述颗粒的特性； (C)至少一个处理器，操作上耦合到所述至少一个成像器和所述至少一个传感器中的每个并且配置为: 处理所述图像以确定指示所述器皿中的颗粒位置的位置数据； 至少部分地根据所述位置数据来检测所述颗粒，并且识别所述容器的子区域中所述颗粒的存在；` 当所述颗粒位于所述器皿的子区域中时，使用来自所述传感器的信号来确定所述颗粒的特性； 生成指示所确定的特性的颗粒特性数据；以及 将所述颗粒特性数据与标识所述颗粒的数据相关联。
129.如权利要求128所述的装置，其中: 所述至少一个成像器包括至少两个成像器，所述至少两个成像器定位成从不同视角对所述颗粒进行成像从而每个成像器获取所述流体中的颗粒的相应的一幅或多幅二维图像， 所述处理器配置为组合来自所述至少两个成像器的二维图像以确定指示所述器皿中的颗粒的位置的三维数据，且 所述处理器配置为至少部分地根据所述三维数据来检测所述颗粒。
130.如权利要求129所述的装置，其中，所述颗粒的特性包括光谱特性。
131.如权利要求130所述的装置，其中，所述传感器包括分光计器件，所述分光计器件定位成感测从所述器皿的子区域入射的光的光谱特性。
132.如权利要求131所述的装置，其中，所述子区域包括所述器皿中的流体的基本平面层。
133.如权利要求132所述的装置，其中，所述传感器包括远心成像器，所述远心成像器定位成将所述器皿的子区域成像到所述分光计上。
134.如权利要求131所述的装置，其中，所述光谱特性包括颜色、吸收光谱或透射光谱，或者这些项中的任何项的组合。
135.—种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的装置，其中所述器皿包括绕纵轴设置的透明管状器皿壁，所述装置包括: 成像器，配置成获取所述流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将所述颗粒成像到传感器上的至少一个成像光学元件； 照明光源，至少部分地定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁的表面反射或折射并且被所述至少一个光学元件成像到所述传感器上的光线的存在。
136.如权利要求135所述的装置，其中，所述照明光源位于所述器皿外的基本没有从所述传感器延伸穿过所述至少一个成像光学元件并且随后穿过所述器皿的反向传播光线的区域中。
137.如权利要求136所述的装置，其中，所述至少一个光学元件包括远心透镜。
138.如权利要求137所述的装置，其中，所述透明管状器皿壁包括圆柱形壁，其中所述纵轴对应于所述圆柱形壁的对称轴。
139.如权利要求138所述的装置，其中，所述成像器的光学轴与所述器皿的纵轴基本正交且相交地延伸穿过所述器皿。
140.如权利要求137所述的装置，其中，所述成像器配置成获取表示所述流体中的颗粒的轨道的时间序列数据，所述装置还包括: Ca)存储器，操作上耦合到所述成像器并且配置为储存所述时间序列数据；以及 (b)处理器，操作上耦合到所述存储器并且配置为通过如下步骤来检测所述颗粒: (i)反转所述时间序列数据的时间顺序以形成反转时间序列数据； (ii )根据所述反转时间序列数据评估所述颗粒的轨道；以及 (i i i )根据所述轨道确定所述颗粒的存在或类型。
141.一种用于非破坏性地检测至少部分地装有流体的器皿中的未溶解颗粒的方法，其中所述器皿包括绕纵轴设置的透明管状器皿壁，所述方法包括: 使用成像器来获取所述流体中的颗粒的一幅或多幅图像，所述成像器包括定位成将所述颗粒成像到传感器上的至少一个成像光学元件； 用至少部分地定位在经过所述器皿并且与所述器皿的纵轴基本正交的平面内的照明光源照射所述器皿，所述照明光源布置成基本消除从所述光源发射的从所述器皿壁的表面反射或折射并且被所述至少一个光学元件成像到所述传感器上的光线的存在。
142.如权利要求141所述的方法，其中，所述照明光源位于所述器皿外的基本没有从所述传感器延伸穿过所述至少一个成像光学元件并且随后穿过所述器皿的任何反向传播光线的区域中。
143.如权利要求142所述的方法，其中，所述至少一个光学元件包括远心透镜。
144.如权利要求143所述的方法，其中，所述透明管状器皿壁包括圆柱形壁，其中所述纵轴对应于所述圆柱形壁的对称轴。
145.如权利要求144所述的方法，其中，所述成像器的光学轴与所述器皿的纵轴基本正交且相交地延伸穿过所述器皿。
146.如权利要求145所述的方法,包括: 使用所述成像器来获取表示所述流体中的颗粒的轨道的时间序列数据；以及 通过如下步骤来检测所述颗粒:(i)反转所述时间序列数据的时间顺序以形成反转时间序列数据；(ii)根据所述反转时间序列数据评估所述颗粒的轨道；以及(iii)根据所述轨道确定所述颗 粒的存在或类型。
【文档编号】G01N15/14GK103765191SQ201280039677
【公开日】2014年4月30日 申请日期:2012年8月29日 优先权日:2011年8月29日
【发明者】G·F·米尔恩, E·佛罗因德, R·L·史密斯 申请人:安进公司