高吞吐量透明物品的分类方法和系统与流程

本发明涉及用于对透明物品进行分类、特别是在高吞吐量过程中对物品进行分类的分类方法和系统。例如，分类可以基于物品的光学可检测的缺陷。该方法和系统对于药品容器中的缺陷检测特别有用。
背景技术：
：分类系统和分类方法是本领域已知的。其中许多使用机器学习算法来训练分类模型和进行推理。有大量的机器学习算法，但并非每种算法都适合每种目的。一种非常流行且广泛使用的机器学习方法是基于人工神经网络的。机器学习算法已引起越来越多的关注，因为近年来可用的计算能力已显著提高。需要强大的硬件来利用机器学习算法。迄今为止，机器学习算法尚未用于对高速生产的大量药品容器和其他透明物品(“高吞吐量物品”)进行分类。原因是这些物品以很高的速率(即很容易超过每秒一件物品)离开生产线。很短的时间内对大量的物品进行分类是必要的。当需要对透明物品进行分类时，会出现特别的问题。原因是这些物品的光学图像可能会产生伪像，从而很难在缺陷与反射或其他光学现象进行区分。此问题可以至少部分地通过增加对相应分类模型的训练，使用数千个标记的缺陷图像作为训练数据来缓解。但是，许多高吞吐量的透明物品(包括药品容器)都是以如此高的质量生产的，以至于只生产了很少有缺陷的物品。因此，为了训练收集足够的数据是非常困难的。此外，药品的分类质量必须非常高，即，假阴性(有缺点产品被分类为无缺陷产品)的比例必须非常低。如果分类质量不足，则该方法将不被当局批准。另一方面，如果假阳性(无瑕疵产品被分类为次品)的比例过高，则该方法在经济上将不再优于传统方法，该传统方法是基于具有固定缺陷集的摄像机观察并通过比较观察到的对象与该集合的所有缺陷进行的选择。us2018/0232870a1教导了一种用于由玻璃或塑料制成的药品容器的检查系统。该系统旨在通过将产品分为三类来减少假阳性和假阴性的数量：优良、不良和用户检查。显然，该系统不是完全自动化的，因为基础算法无法提供足够的准确性。该系统依靠人工神经网络进行机器学习。技术实现要素：本发明的目的是提供一种用于对透明物品进行分类的准确而可靠的方法和系统，其适用于对高速运动的物流中的物品进行分类。在实施例中，本发明允许检测人眼不可见的非常小的缺陷。在一个实施例中，本发明涉及一种用于对移动物流内的物品进行分类的方法。在另一个实施例中，本发明涉及一种用于对移动物流内的物品进行分类的系统。每个物品可具有至少一个物品壁。物品壁可以围成物品的内部容积(物品容积)。物品壁可以具有一个或多个开口。例如，小瓶或瓶子通常具有一个开口和由物品壁围成的内部容积。注射器是通常具有至少两个开口的物品。在实施例中，物品壁具有至少两个但小于10个或小于5个或小于3个的开口。物品壁可以具有在可见光波长范围中的至少60％、或至少70％、或至少80％、或至少90％的平均透射率。物品壁可以具有在可见光波长范围中(例如从550nm到700nm的或跨越整个可见光波长范围)在至少150nm宽度的波长范围内的至少40％、或至少60％、或至少75％或至少80％的最小透射率。可见波长范围可以在380nm至780nm的范围内。已经发现，如果捕获到移动设备的多于一个图像，则可见波长范围中的一定透射率对于分类可能是有用的。物品在图像捕获期间可能经历旋转。例如，诸如在至少两个连续图像被捕获时绕其纵向轴线旋转的小瓶的物品包含关于其前壁和后壁的可辨别信息。该信息是可辨别的，因为在比较第一和第二图像时，在旋转的物品中，前壁会例如向左移动，而背面会向右移动。由此，可以区分两个壁并且可以从透明旋转物品的两个图像中评估更多数据。该方法可以包括捕获待分类的物品的至少第一(和可选地第二)数字图像。第一图像和第二图像可以连续地捕获，即，第二图像可以在第一图像之后拍摄，反之亦然。第一图像和第二图像之间的时间间隔可以小于3秒、小于2秒或小于1秒。在包括物品旋转的实施例中，两个图像之间的时间间隔可小于物品执行完整旋转(360°)所需的时间间隔。优选地，时间间隔将比物品进行半旋转(180°)所花费的短。第一图像和第二图像之间的时间间隔可以是至少0.001秒、或者至少0.01秒、或者至少0.1秒。如果时间间隔太短，则将难以足够快地存储图像数据和/或可能降低物品旋转的积极影响。在实施例中，该方法包括捕获物品的至少三个、至少四个或至少五个图像。捕获视频对应于捕获一系列图像。然而，在优选实施例中，该方法不包括捕获每秒多于200张图像，优选不超过100张图像，和/或每件物品捕获的图像总数可被限制为最多100张图像，优选最多到50张图像。限制图像数量可以减少执行该方法所需的硬件要求。第一和可选的第二图像以及可选的任何其他图像可以在至少一个方面是不同的。尽管第一图像和第二图像可以包含关于同一个单独物品的信息，但是图像可以在物品位置、物品定向、捕获角度和光强度中的至少一个方面不同。捕获至少这些特征之一不同的图像有助于识别图像数据中的伪像。例如，在不同的捕获角度或光强度下，可能被解释为物品壁划痕的反射可能是看不到的。另外的例子是在第一图像中可能被误解为气路但利用具有不同物品位置的第二图像可被正确分类的划痕。这种效果在透明物品中特别强，因为缺陷不仅限于壁表面(例如划痕)，而且可以在壁内部(例如气泡)出现。拍摄移动物品的至少两张图片有助于区分不同类型的缺陷。第一图像和/或第二图像的分辨率可以为至少1px/300μm、至少1px/200μm、至少1px/100μm或至少1px/50μm。所捕获的一个或多个图像可以包括完整的物品或物品的部分。本发明的一个优点是即使在有限的分辨率下也可以获得优异的分类结果。可选地，多个图像可以用来形成物品的组合图像，例如3d图像。然后在本发明的方法中可以使用该组合图像。该方法可以包括检查物品壁上或物品壁中的对象的(一个或多个)数字图像。“对象”是与所需玻璃表面或内部玻璃结构的任何光学可检测的偏差。对象可以包括气泡、气路、划痕、裂缝、黑色标记(例如，点)、分层和/或内含物。对象可能很小。例如，对象会在物品上或物品中被发现，该由于对象尺寸低于某个阈值而不会被分类为缺陷。因此，对象包括与所需物品特性的任何光学可检测的偏差。检查图像可以包括确定物品壁上或物品壁中的多个对象之一的位置。该方法可以包括确定至少一个对象参数。对象参数可以包括对象尺寸、表面积、长度、宽度、高度、深度、颜色、颜色分布、圆周、亮度、亮度分布或其组合。对象参数没有特别限制，只要它们是光学可检测的，即可以使用捕获的图像来确定即可。检查图像和/或确定对象参数的步骤可以用常规算法完成，即，不使用机器学习模型。在一个实施例中，图像被转换为灰度。阈值化(thresholding)可用于创建用于确定对象参数的二进制图像。使用常规的非机器学习算法来检查图像和/或确定对象参数具有速度优势。该方法可以包括使用第一分类模型来执行第一分类步骤。“第一”分类模型或步骤不必在第二模型或步骤之前使用，或在训练第二模型之前对其进行训练。相反，对“第一”或任何其他数字模型的任何引用仅用于区分模型而无任何先后顺序的目的。然而，在实施例中，第一分类步骤在第二和任何其他分类步骤之前执行。第一分类模型可以基于从至少一个所捕获图像中确定的一个或多个特征将对象分类为两个或多个类别中的至少一个。缺陷类可以包括第一缺陷类和第二缺陷类。通常，有用的分类方法不仅允许对合格和不合格物品进行分类。良好的分类还将提供与缺陷类有关的信息。有关缺陷类的知识使查找缺陷原因更加容易。在一个实施例中，第一缺陷类包括与材料有关的缺陷。与材料有关的缺陷可以包括气泡、气路、划痕和裂缝。第二缺陷类可以包括与材料无关的缺陷。与材料无关的缺陷可以包括黑色标记(例如、点)、分层和内含物。该方法可以包括执行第二分类步骤。第二分类步骤可以包括使用一个或多个第二分类模型。在一个实施例中，第二分类步骤使用第二分类模型的集合，例如，特定分类模型可用于特定类型的可设想缺陷。第二分类模型的集合可以包括多个分类模型(例如，至少两个)，其中至少一个分类模型特定于第一类型的可能缺陷，并且至少一个分类模型特定于第二类型的可能缺陷。同样，第二分类模型的集合可以包括至少一个特定于第三类型的可能缺陷的分类模型。在优选实施例中，第二分类模型的集合内的每个分类模型特定于特定类型的可能缺陷。已经发现的是，在第二分类步骤中使用特定于某种类型的可能缺陷的分类模型会提高分类质量，因为每种模型都是针对特定类型的可能缺陷进行训练的。对可能的缺陷类型进行分类有助于了解各个缺陷的起源。缺陷类型的示例是气泡、气路、划痕、裂缝、黑色标记(例如，点)、分层和内含物。本文所述的两步分类方法具有许多优点。第一分类步骤执行预分类，该预分类根据缺陷类(即，与材料有关的缺陷和与材料无关的缺陷)对对象进行分类。该第一分类步骤可以非常快地执行，因为它不需要将对象分类为详细的缺陷类型组。这些对象被预先分类为两个不同的缺陷类。特定类型的缺陷将仅在第二分类步骤中进行分类。由于对象已经在第一步中进行了预分类，因此可以非常精确地执行第二分类步骤。在根据缺陷类型对对象进行分类之后，对已分类的对象进行评估，以确定它们是否构成导致对已经进行了检测的物品分开的相关缺陷。该方法可以包括将分类对象的至少一个对象参数与预定的取决于缺陷类型的阈值进行比较的步骤。例如，对象可能已被分类为划痕。与划痕有关的预定阈值可以是3mm的划痕长度和0.3mm的划痕宽度。如果划痕超过阈值，则带有划痕的物品将被分类为有缺陷。如果物品不包含超过取决于缺陷类型的阈值的单个分类对象，则该物品将被分类为无缺陷。该方法可以包括基于上述比较将物品分类为有缺陷或无缺陷的步骤。有缺陷的物品可以与无缺陷的物品分开。如上所述应用预定阈值的优点在于可以针对每个缺陷专门设置阈值。例如，一个缺陷的允许的对象长度可能较高，而另一缺陷的允许的对象长度可能较低。如果对对象使用与缺陷类型无关的特定的阈值，则更多的物品将被分类为有缺陷的。该方法适合于在短时间内对大量物品进行分类。例如，物流可以包括每分钟至少30个物品。当物品在输送装置上移动时，可以对其进行高速分类。在其他实施例中，物流可以包括每分钟至少40、至少50或至少60个物品。该方法甚至可以用于包括每秒多于一个物品的物流。该方法适合于对物流中的基本上所有物品进行分类。在实施例中，物流内至少95％的物品被分类。优选地，至少97％、至少99％或至少99.5％的物品被分类。优选地，基本上所有物品都被分类。已经发现的是至少第一分类模型应该是确定性模型。确定性分类模型允许对高吞吐量透明物品进行分类所需的分类速度。另一方面，概率分类模型(例如非确定性人工神经网络)往往需要更多的时间和计算资源来进行分类。已经发现的是，当必须在短时间内对大量物品进行分类时，非确定性方法是不可行的。在实施例中，第二分类模型的集合中的至少一个分类模型并且优选所有分类模型是确定性模型。该方法可以进一步包括将无缺陷物品与有缺陷物品物理分开的步骤。在本说明书中，“有缺陷的物品”是指在第一和/或第二分类步骤期间被分类为具有超过阈值的缺陷的物品。物品可以使用具有覆盖孔的输送机来分开，其中，如果要分开物品使得物品掉入孔中，则将盖从孔中移开。或者，物品可以使用加压空气被从输送机上吹走，或者使用推动器被从输送机上推下。此外，抓取器或机械臂可以抓住待分开的物品。在一个实施例中，本发明涉及一种用于对移动物流内的物品进行分类的系统。该系统可以直接附接到物品生产或加工线。该系统可以包括至少一个用于输送物品的输送装置。输送装置可以是输送带、运输托盘或手推车、滑道、机械臂或任何其他类型的输送装置。该输送装置或该多个输送装置必须能够每分钟输送大量物品。物品可以直立或放倒运输。物品可能会旋转，或以其他方式改变其方向。旋转可以通过输送装置来完成，例如，物品滚下滑道，或者可以使用机械手(例如机械臂)来完成旋转。该系统包括至少一个图像捕获装置，该图像捕获装置能够在至少包括每分钟30个物品的物流中捕获物品的至少第一图像和可选地第二图像。物流可包含每分钟至少40个、至少50个或至少60个物品。图像捕获装置可以包括一个或多个摄像机。摄像机可以设置在系统的不同部分中，从而例如从不同角度拍摄物品图片，以便在物流中收集有关物品的最相关信息。该系统包括被配置为至少执行第一和/或第二分类步骤的至少一个计算机硬件。相同的硬件可用于检查数字图像、确定对象参数、将对象参数与阈值进行比较和/或对物品进行分类。计算机硬件可以包括cpu。根据记录在rom、ram、存储设备或可移动介质中的程序cpu可以既充当算术处理单元又充当控制单元，并且控制系统的整个操作或系统的一部分操作。rom可以存储cpu使用的程序和算术参数，并且ram可以主要存储用于运行cpu的执行的程序以及在执行期间适当改变的各种参数。cpu、rom和ram可以经由主机总线彼此连接，该主机总线由诸如cpu总线或其变体的内部总线配置。此外，主机总线可以通过桥接连接到外部总线，例如外围组件互连/接口(pci)总线。用户可以通过鼠标、键盘、触摸面板、按钮、开关等在输入设备上进行操作。例如，用户可以输入取决于缺陷类型的阈值。该系统可以包括输出设备。输出设备可以是根据用户期望在视觉上显示必要信息的设备，例如液晶显示器(lcd)、等离子显示面板(pdp)或电致发光(el)显示器等显示设备。存储设备可以是用于存储信息处理装置的数据(例如cpu执行的程序)的设备。该系统可以包括用于允许设备直接连接到系统的连接端口，例如，通用串行总线(usb)端口或高清多媒体接口(hdmi)端口等。可选的外部连接设备至连接端口的连接使得能够在信息处理装置和外部连接设备之间交换数据和/或程序。可选的通信设备是用于创建到通信网络的通信的设备，例如诸如有线或无线局域网(lan)、蓝牙(注册商标)之类的设备通过诸如互联网之类的网络进行通信。因此，本发明的方法可以在不同系统的子集合上实现。该系统可以包括至少一个能够基于物品的分类来分开物品的分开器。使用具有覆盖孔的输送机可以将物品分开，其中，如果要将物品分开使得物品落入孔中，则将盖从孔中移除。可替代地，该系统可以包括用于使用加压空气将物品从输送机上吹走的喷嘴，或者用于将物品从输送机上推下的推动器。此外，可以包括抓取器或机械臂以抓取待分开的物品。本发明还涉及使用该方法和/或系统对物品(例如本文所述的药品容器或其他物品)进行分类。捕获第一和/或第二图像可以包括存储与捕获的图像有关的元信息。元信息可以从物品位置、物品定向、捕获角度、光强度、摄像机信息、光圈、物品移动速度、物品旋转速度、物品类型及其组合中选择。元信息可以提高分类准确性。所捕获的图像可以被存储在数据存储器中以用于进一步处理。捕获第一图像和/或第二图像可以包括用可见波长范围内的光照射物品。在图像捕获期间，物品应优选是空的。换句话说，物品容积中应优选地不包含任何液体或固体材料。物品容积可以充满空气。已经发现的是如果物品为空的，则分类更为准确。原因可能是物品容积内的任何液体材料会引起光学效应，从而通过造成伪影而干扰缺陷检测。而且，如果物品不是空的，则能够从所捕获的与物品的后壁有关的图像中提取的附加图像信息可能不可用或不完全可用。当然，对填充的物品也可以使用该方法和系统进行分类，但是发明人认为，要获得与空物品相同的结果将需要更多的训练数据。该方法和系统适合于根据在物品上或物品中(例如物品壁上或物品壁中)的缺陷的存在来对物品进行分类。缺陷可以分为几类和几种类型。缺陷类可以包括与材料有关的缺陷和与材料无关的缺陷。缺陷类型可以包括气泡、气路、划痕、裂缝、黑点、分层和内含物。在一个实施例中，该方法在第一分类步骤中根据缺陷类对物品进行分类，然后在第二分类步骤中根据缺陷类型对物品进行分类。与材料有关的缺陷可以包括气泡、气路、划痕和裂缝。与材料无关的缺陷可以包括黑色标记(例如，点)、分层和内含物。选择这些缺陷类用于预分类。与材料有关的缺陷可以被描述为大体上三维的对象，而与材料无关的缺陷可以被描述为大体上二维的对象。使用这些标准进行预分类可以提高第二分类步骤中的分类准确性，因为缺陷类中的缺陷具有共同的相关分类标准。在本发明的一方面，该方法和系统能够检测尺寸小于100μm的缺陷。“尺寸”是指缺陷的最大直径。使用机器学习可以训练第一分类模型和/或第二分类模型的集合中的一个或多个模型。使用至少一个机器学习算法训练第一分类模型和/或第二分类模型的集合中的一个或多个模型。该算法可以选自辅助向量机(supportvectormachines，svm)、朴素贝叶斯(bayes)、决策树、随机森林、(浅)神经网络及其组合。“浅”神经网络是具有少于三个或少于两个隐藏层的人工神经网络。在该方法的生产性使用期间，第一分类模型和/或第二分类模型的集合中的一个或多个模型会保持不变。“生产性使用”是指该方法或系统适用于打算销售的物品。换句话说，至少在某些实施例中，在方法或系统的生产性使用期间不会继续进行模型训练。原因是在使用方法或系统期间分类的准确性不应改变。如果在生产性使用期间继续进行训练，则模型将通过训练改变。通过训练改变模型并不总是提高其准确性。例如，可能会发生过度拟合。法律可能禁止改变分类方法或系统，特别是在涉及药品容器时。这方面使得使用能够通过非常有限的训练数据进行训练的模型变得更加相关。然而，在实施例中，在生产性使用期间捕获的图像和其他信息可用于训练第一分类模型和/或第二分类模型的集合中的一个或多个模型，以用作更新或改进版本。经批准后，模型的改进版本可用于其他生产运行。物品可以是容器，例如药品容器。合适的物品包括但不限于注射器、管、小瓶、药筒、安瓿和瓶。尽管本发明的方法和系统可以用于任何类型的物品，但是本发明特别适用于并被开发用于以高生产率生产的透明物品。物品可以是经涂覆的或未涂覆的。在实施例中，物品(例如物品壁)可以涂有涂层。涂层可以选择为使得物品的透明度不低于本文公开的值。物品可以由玻璃、塑料或其组合制成。优选地，物品和/或物品壁的折射率nd小于1.6，或者甚至小于1.5。如果折射率很高，则物品壁上的反射会增加，这可能会影响精度。玻璃可以选自钠钙、硼硅酸盐或硅铝酸盐。塑料可以选自coc(环状烯烃共聚物)、cop(环状烯烃聚合物)和pet(聚对苯二甲酸乙二酯)。物品壁可具有至少0.5mm、至少1mm、至少1.5mm或至少2mm的厚度。壁的厚度可以限制为最大5mm、4mm或3mm。例如，壁的厚度可以在0.5至5mm或1mm至4mm的范围内。在规定范围内的壁的厚度将不希望的光学效果保持在可接受的水平，并允许足够的透明度。物品可以是大的或小的。物品的内部容积没有特别限制。在实施例中，物品的内部容积为1ml至5000ml。在实施例中，容积的上限可以是2500ml、1000ml或250ml。高速生产的诸如药品容器之类的物品通常不是很大，例如上至100毫升。在实施例中，物品至少在图像捕获期间旋转。物品可绕其纵向轴线旋转。例如，物品可以在诸如输送带等输送设备上被运输。物品可以以直立姿态或放倒地被运输。附图说明图1示出了说明根据本发明的方法的物品分类的分类路线图。图2说明了根据缺陷类和缺陷类型对对象进行分类的两个步骤。具体实施方式图1示出了根据本发明的方法的示例性实施例的分类路线图。在第一步中，捕获至少一个图像。特别地，可以捕获多个图像。图像可以被放在一起以形成携带更多信息的较大图像，例如3d图像。摄像机可以用于图像捕获。当物品在输送装置上经过摄像机时，摄像机可以捕获图像。替代地，物品可以被机械手抓住，并呈现给摄像机。物品被呈现给摄像机的角度可以被存储为图像的元信息。捕获图像后，可以检查图像中是否有对象。通常，没有完全无对象的物品。图像检查可以包括使用软件(例如传统的算法)将数字图像转换为二进制图像。对象可以通过评估(例如来自灰度信息的)光学差异在物品表面或内部结构中被找到。之后，可以确定对象参数。例如，可以确定对象的长度或宽度。优选地，将确定多个对象参数。对象参数的确定可以包括从图像中提取特征，诸如从图像提取各种属性，如us2005/0031188a1中所述。然后，所确定的对象参数可以用于执行第一和/或第二分类步骤。在第一分类步骤中，将对象归类进缺陷类，而第二分类步骤则根据缺陷类型对对象进行分类。优选地，第一和第二分类步骤利用确定性机器学习模型，例如辅助向量机(supportvectormachines)。对象参数可以用作分类器的输入数据。作为第二分类步骤的结果，各个对象将根据其预测的缺陷类型进行分类。该方法可以包括与每种缺陷类型有关的多个阈值。现在可以将对象参数和与特定缺陷有关的阈值进行比较。如果物品包括至少一个超过相关阈值的对象，则该物品将被分类为有缺陷。反之，该物品将被分类为无缺陷。图2示出了本发明的两步机器学习分类方法。作为检查对象和确定对象参数的结果，对象参数可以用作分类模型的输入数据。根据本发明，第一分类模型将对象归类进缺陷类，即与材料有关的缺陷和与材料无关的缺陷。此两步过程的优势在于，即使缺少训练数据，第二分类步骤中的机器学习分类器也可以更加准确。归类进缺陷类型(a-d和e-h)可以利用非常快速的算法。实验在此示例中，辅助向量机用作机器学习算法。检查玻璃小瓶中是否有对象。玻璃小瓶流包括70个物品/分钟。在第一实验中，应用了单个分类步骤，即，训练了分类模型以区分四种不同类型的缺陷(缺陷1-4)。在第二实验中，将两步分类过程应用于缺陷检测，其中，第一分类步骤将对象分别归类进与材料有关的缺陷和与材料无关的缺陷。在第二分类步骤中，将对象进一步归类进特定缺陷类型1-4之一。下表示出了分类精度。示例缺陷1缺陷2缺陷3缺陷4194％79％2％56％286％100％96％79％该示例表明，两步分类产生的结果比单步分类产生的结果好得多。当前第1页12