封装检测和智能分拣的制作方法

封装检测和智能分拣


背景技术：

1.本发明大体上涉及动力驱动的输送机，且更具体地说涉及用于使用人工智能对封装进行分类且取决于封装的分类将封装分拣到目的地的输送机。
2.在封装处理行业，分拣输送机用于从各种大小和形状的随机定向且堆叠的封装的批量流分拣个别封装。但是，在封装可分拣到合适的目的地之前，它们必须彼此分隔开。输送机使用各种技术将批量流分隔为个别封装。然而，有时候，输送机不能分隔所有的封装，且需要手动干预。过大的箱子因产生堵塞，也可能存在问题；如果经辨识，它们被手动地移除。但过大的塑胶袋因为它们是柔性的，所以可能不会产生堵塞。因此，它们从分拣器的移除会降低总体处理量。


技术实现要素：

3.体现本发明的特征的输送机系统的一个型式包括进给输送机段，其在输送方向中向下游输送分隔的封装单元。封装单元检测器沿着进给输送机段在检测位置处检测封装单元。成像系统捕获进给输送机段的目标区内的封装单元的图像。计算机处理系统执行程序指令以随着封装单元在进给输送机段上输送而跟踪封装单元中的每一个的位置，且提供封装单元的图像中的每一个作为到分类器的输入。分类器经训练以辨识封装单元的集合，且向封装单元中的每一个指派对应于分类器经训练以辨识的封装单元的所述集合的成员中的一个的分类。下游输送机段从进给输送机接收封装单元。计算机处理系统执行程序指令以控制下游输送机段取决于封装单元的分类输送每一封装单元。
4.输送机系统的另一型式包括进给输送机段，其在输送方向中以输送速度向下游输送封装单元。覆盖区检测器沿着进给输送机段安置于检测位置处。相机沿着进给输送机段安置在检测位置的下游以捕获进给输送机段上的捕获区域的图像。分拣输送机段从进给输送机段接收封装单元，且选择性地将封装单元分拣到多个目的地。控制处理器执行程序指令以：(1)操作覆盖区检测器以检测在输送方向上前进越过检测位置的封装单元的覆盖区；以及(2)控制分拣输送机段和进给输送机段。与控制处理器通信的分类处理器执行程序指令以：(1)随着封装单元沿着输送机从其检测到越过检测位置的覆盖区前进，计算进给输送机段上的封装单元中的每一个的位置；(2)控制相机以当封装单元中的一个或多个的所计算位置处于进给输送机段上的捕获区域中的目标区内时捕获封装单元中的一个或多个的图像，以产生所述捕获区域内的封装单元中的所述一个或多个的图像；(3)将图像裁剪为一个或多个经裁剪图像，每一经裁剪图像对应于捕获区域内的一个或多个封装单元中的一个；以及(4)使用人工智能通过将分类中的一个指派到所述一个或多个封装单元中的每一个而将经裁剪图像分类为多个分类。控制处理器控制分拣输送机段取决于封装单元的分类将所述一个或多个封装单元中的每一个分拣到目的地。
5.在另一方面中，一种用于分拣进给输送机段上输送的封装的处理器实施的方法包括：(a)检测在进给输送机段上在输送方向中以输送速度前进越过检测位置的多个封装单元；(b)随着多个封装单元沿着输送机前进计算进给输送机段上检测到越过检测位置的多
个封装单元中的每一个的位置；(c)使进给输送机段上的图像捕获区域中的多个封装单元中的一个或多个成像以产生捕获区域内的多个封装单元中的所述一个或多个的图像；(d)将图像裁剪为一个或多个经裁剪图像，每一经裁剪图像对应于图像捕获区域内的所述一个或多个多个封装单元中的一个；(e)使用人工智能通过将分类中的一个指派到所述一个或多个多个封装单元中的每一个而将经裁剪图像分类为多个分类；以及(f)取决于封装单元的分类将所述一个或多个多个封装单元中的每一个分拣到目的地。
附图说明
6.图1是体现本发明的特征的输送系统的顶部平面图。
7.图2是由用于如图1中的输送机系统的多核分类处理器和控制处理器执行的程序指令的流程图。
8.图3是图2的tcp连接管理任务的放大流程图。
9.图4是图2的封装跟踪任务的放大流程图。
10.图5是图2的图像处理和封装分类任务的放大流程图。
11.图6是用于帮助阐释如图1中的输送机系统中可用的神经网络的操作的说明性神经网络的示意图。
具体实施方式
12.在图1中展示体现本发明的特征的用于智能地分拣封装的输送机系统。输送机10包含进给输送机段12，其在输送方向14中向下游输送封装13。封装单元检测器16沿着进给输送机段12定位在检测位置处。在此实例中，进给输送机段12描绘为一系列两个输送机：在封装单元检测器16的上游的第一输送机18和在封装单元检测器的下游的第二输送机19。两个输送机18、19可被实现为例如带式输送机、板条式输送机、链条式输送机或辊式输送机。进给输送机段12可被实现为单个输送机或两个以上输送机。在此双输送机型式中，封装单元检测器16从发射器阵列穿过两个输送机18、19之间的间隙20向接收器阵列放射光幕。接收器和发射器定位于输送机段12的相对侧上，一个在下方，一个在上方。所得光幕跨输送机段12的宽度延伸。通过光幕的封装13阻挡其拦截的透射光束到达接收器阵列。随着封装13越过封装单元检测器16，可依据被阻挡接收器的图案确定进给输送机段上的其覆盖区(即，其投影)。如此，在此型式中，封装单元检测器16是覆盖区检测器。或者可使用例如激光测距仪和相机等其它种类的封装单元检测器。
13.包含相机22的成像系统沿着进给输送机段12位于封装单元检测器16的下游。相机22具有捕获区域24，其跨进给输送机段12的宽度覆盖进给输送机段12的一段输送侧。成像系统捕获通过捕获区域24的封装13的图像。退出进给输送机段12的封装13在下游分拣输送机段25上接收。分拣输送机段25可被实现为分拣输送机26，例如辊带，其中辊被选择性地致动以旋转，从而使物件转向两个侧接输送机28、29中的一个。分拣输送机26和侧接输送机28、29可以是动力辊输送机，或可以是模块化塑胶带输送机，仅举两个实例。并且可通过单个输送带实现进给输送机段12和分拣输送机26。在一个型式中，分拣输送机26是由美国路易斯安那州哈蒙德的intralox有限责任公司制造和销售的系列7000激活辊带输送机。侧接输送机28、29可同样由例如辊带、平带、模块化塑胶带、槽式输送机、滑槽或
辊式输送机实现。通过选择性地致动分拣输送机的辊，分拣输送机使封装转向三个目的地中的一个：(1)右侧接输送机28；(2)左侧接输送机29；或(3)展示为由可决定如何安置所接收的封装单元的人类操作者32操纵的目的地30。
14.覆盖区检测器16的输出发送到包含控制处理器34的计算机处理系统33，所述控制处理器被编程为确定越过检测位置处的检测器的封装13的覆盖区。(计算机处理系统33包含其中存储由一个或多个处理器执行的常量和程序指令的程序存储器，以及其中存储计算、表和其它临时或可变信息的易失性数据存储器。)一些封装不可与其它封装分隔。那些重叠或堆叠的封装的覆盖区可以与单个分隔的封装的覆盖区不同的方式成形。出于此原因，覆盖区检测器16检测涵盖单个分隔的封装的分隔的封装单元以及覆盖区是由单个轮廓限定的重叠或堆叠的封装的群组的覆盖区。
15.控制处理器34执行所存储的程序指令，所述程序指令限定越过检测位置的封装单元的个别覆盖区。举例来说，每一覆盖区可由其隅角的坐标或由控制处理器34所计算的其质心限定。进给输送机上每一封装单元的位置可在任何时间由其在x
‑
y坐标系中的坐标描述，其中例如检测位置描述为x＝0参考，且进给输送机段12的右侧边缘35描述为y＝0参考。
16.在所述任意坐标系中，x轴平行于输送方向14，且y轴垂直于输送方向。控制处理器34还可被编程为执行任务，所述任务：(a)控制进给输送机段12、分拣输送机26以及第一和第二输送机28、29的速度；(b)接收报告各个输送机的速度的输入；以及(c)控制自身和与成像系统一起使用的分类处理器36之间的通信网络。类似于控制处理器34，分类处理器36包含于计算机处理系统33内，且可包含外部或同一芯片图形处理单元(gpu)。控制处理器34在其与输送机12、26、28、29介接时可经由外部物理可编程逻辑控制器(plc)38或经由内部虚拟plc实行控制，或可在外部物理plc和内部虚拟plc之间划分控制。举例来说，外部plc可控制马达驱动进给和分拣输送机段且读取传感器报告的带速度，而虚拟plc接收覆盖区检测器的输出。在任何情况下，plc38被视为控制处理器34的一部分和计算机处理系统33的一部分。
17.参考图2
‑
5的流程图描述控制处理器34和分类处理器36的操作。
18.在图3中更详细地展示由控制处理器34(图1)执行的tcp(发射控制协议)连接管理器任务40。所述任务控制控制处理器34、分类处理器36和plc 38通信所借助的通信网络42(图1)。tcp连接管理器任务40具有三个子任务：(1)读取任务44；(2)连接监视任务46；以及(3)写入事件处置程序任务48。
19.读取任务44读取消息50，解析消息52，且执行消息54。在来自控制处理器34的关于对应于封装单元的覆盖区已由覆盖区检测器识别的消息的情况下，对应于覆盖区的项目及其坐标添加到进给输送机状态表，所述进给输送机状态表表示进给输送机19中的在检测位置下游的封装单元的所有所识别覆盖区的最近计算的位置。
20.写入事件处置程序48处置已经发生的任何事件56，使指示所述事件的发生连同任何关于事件的相干数据的消息成帧58，且经由通信网络发送消息帧60以由既定接收方读取。随后描述实例。
21.连接监视任务46检查以确保例如控制处理器34、分类处理器36和plc 38等所有装置或节点都已连接。所述任务经由通信网络发出62心跳消息。所述任务确定64所述消息是否由既定接收方装置接收。如果不存在消息发送故障，则控制处理器知晓网络完好66。如果
存在发送故障，则控制处理器尝试重新连接68到断开的装置。
22.分类处理器36执行所存储的程序指令，所述程序指令包含定时器滴答(timer
‑
tick)任务70，如图2所示，按如由定时器设定的周期性速率，例如每隔75ms。定时器滴答任务70提出若干子任务，其跟踪进给输送机段上的封装单元、捕获封装单元的图像，且对封装单元进行分类。首先，定时器滴答任务70清理72旧的子任务，且使这些旧的子任务准备好新鲜执行。分类处理器36针对进给输送机状态表中的封装单元识别覆盖区中的每一个执行封装跟踪任务74。此型式中的分类处理器36具有多个核心，所述多个核心允许其同时并行地执行封装跟踪任务74。针对每一检测到的封装单元的任务在核心中的一个或另一个中或者在运行多个线程的核心中的专用线程中运行。封装跟踪任务74和单独的核心或线程中的后续任务的并行执行允许输送机系统应对高封装处理速率。同样，控制处理器34可以是多核处理器。
23.如图4中更详细地展示，针对进给输送机段上的每一封装单元的封装跟踪任务74计算76自从其先前针对该封装单元运行的时间间隔。在了解输送速度的情况下，任务74计算78自从最近的更新以来封装单元已在输送方向上前进的距离，且将封装单元的位置的坐标更新80到其当前位置。
24.在封装单元的位置已经更新之后，多核分类处理器36(图1)并行执行目标内任务82，所述目标内任务确定封装单元何时处于图像捕获区域24内的目标区84中，使得相机22可被操作以捕获目标区中的封装单元的图像。在执行目标内任务82之前，分类处理器36首先将目标内任务的执行限制86到那些尚未成像的封装单元。
25.目标内任务82中的每一个首先通过将封装单元的坐标与目标区的坐标范围进行比较来确定88封装单元是否处于目标区84(图1)内。如果封装单元确定为处于目标区内，则所述任务将封装单元添加到目标列表90；否则，不采取动作92。分类处理器接着检查94如图2所示的目标列表。如果一个或多个封装单元已经新近添加到目标列表，则分类处理器36传信96相机22(图1)以捕获目标区84中的一个或多个封装单元的图像。如果没有新鲜的封装单元在目标列表中，则采取动作98，且完成定时器滴答任务70。
26.对于每个新鲜图像，分类处理器36并行执行在图5中详细展示的处理目标任务100。每一处理目标任务100包含图像裁剪任务102，其首先计算104所捕获图像中的封装单元的相对像素坐标。举例来说，封装单元的隅角的像素坐标可用作相对像素坐标。基于那些坐标，图像裁剪任务102接着执行含有封装单元的图像的坐标旋转106以使其定向成实现有效裁剪。坐标旋转产生所捕获图像中的封装单元的旋转坐标。接着将经旋转的所捕获图像裁剪108为涵盖所捕获图像中的经旋转的封装单元图像中的每一个的较小矩形区。矩形区中的像素限定经裁剪图像，接着存储110所述经裁剪图像。
27.由分类处理器的核心针对经裁剪图像中的每一个并行地执行分类任务112。每一经裁剪图像包括一个字节(0
‑
255)rgb值的矩形像素阵列。首先，每一分类任务112预处理114经裁剪图像以使其针对正使用的特定分类程序格式化。举例来说，像素阵列的尺寸可能需要改变且用零填补以填充阵列。分类程序的实例为：alexnet；inception network v1、v2、v3、v3；mobilenet；pnasnet；squeezenet；以及resnet。像素阵列作为输入p供应到神经网络116(图6)，所述神经网络对封装单元的经裁剪图像进行分类118(图5)。一旦封装单元已分类，分类任务就将分类存储120在进给输送机状态表中。
28.在此型式中，分类处理器使用呈神经网络的形式的人工智能作为分类器。但例如基于哈尔特征的级联分类器、全连接网络、卷积神经网络、支持向量机、贝叶斯神经网络(bayesian neural network)、k
‑
nn网络、帕曾神经网络(parzen neural network)和模糊逻辑等其它人工智能技术可用作分类器来对封装单元的图像进行分类。图6中的神经网络116表示说明性神经网络以阐释人工智能如何用于对封装单元进行分类。输入p是经预处理的经裁剪图像的像素阵列中的像素的rgb值。将所述输入乘以与将输入p连接到隐藏层122中的第一层神经元n1的每一条线相关联的不同加权因子w。第一层中的每一神经元n1的值或激活等于连接到其的输入值p上的权重的乘积的正规化和加上偏置项。通过将和映射到例如0到1等有限范围中的数学函数来实现正规化。以类似方式，第一隐藏层n1的激活应用于第二隐藏层的神经元n2。并且，第二隐藏层中的神经元n2的激活用于计算输出(a
‑
e)。用于对封装单元进行分类的实际神经网络可具有两个以上隐蔽层，其具有比针对每一隐藏层展示的六个神经元多或少的神经元。
29.输出a
‑
e表示封装单元的各种分类的集合。分类任务向每一封装单元指派具有五个输出的最大激活值的分类。举例来说，a＝塑胶袋；b＝不是塑胶袋的经辨识的单个封装；c＝具有小于预定百分比(例如，25％)的重叠的封装的堆叠；d＝具有超过预定百分比的重叠的封装的堆叠；以及e＝未辨识的封装。当然，其它封装单元分类集合可用以识别其它封装类型或封装特性，例如表面纹理、撕扯和撕裂、湿点、特定颜色、特定可见标志，以及具有不清晰的机器可读标志(例如条形码)的折皱塑胶袋。
30.通过向网络馈送对应于输出分类的封装单元的许多经裁剪图像来训练神经网络分类器。所述训练调整神经元的每一层的权重w和偏置以使成本函数最小化，所述成本函数即：图像的所要输出(0针对所有输出，对应于所述图像的输出(其为1)除外)和由神经网络计算的输出之间的差。训练过程通过常规反向传播技术迭代地调整每一训练图像的权重和偏置。训练通常离线而非实时执行。
31.如图5所示，由神经网络针对每一封装单元确定的分类发送124到控制处理器，且从待分类的项目的表移除126无效的和先前分类的封装单元。发送128例如封装单元的经裁剪图像、时戳和像素坐标等元数据以供存储130以用于离线分析。
32.图1中的控制处理器34检查如分类处理器的封装跟踪任务所更新的进给输送机段12上封装单元13的位置。一旦封装单元13到达分拣输送机段25，控制处理器34就接管每一封装单元的位置的计算并确定其目的地和轨迹。每一封装单元的目的地取决于其分类。举例来说，未辨识的封装单元(分类e)和具有超过25％重叠的堆叠的封装(分类d)发送到由人类操作者32操纵的目的地30。超过预定最大大小的任何分类的任何封装单元也可发送到人类操纵的目的地30。在此型式中，那些封装单元的轨迹在输送方向上14为直线的。塑胶袋(分类a)、非塑胶袋的经辨识的单个封装(分类b)和具有小于25％重叠的堆叠的封装(分类c)经转向以分拣侧接输送机28、29中的一个或另一个上的目的地，所述输送机向下游输送封装以供进一步处理。为了控制每一封装单元13的轨迹132，控制处理器34选择性地致动辊带式或动力辊式输送机中的辊的区段或者承座分拣器或推动器中的承座以将封装单元转向到指定的目的地。
33.已相对于使用包含两个处理器和plc的计算机处理系统的示例性型式详细地描述本发明。所述系统在分类处理器故障的情况下提供冗余。如果分类处理器故障发生，则控制
处理器可单单基于封装单元的覆盖区来分拣封装，而无其分类的额外益处。并且，如果控制处理器发生故障，则plc可简单地分拣封装以在暂时由人类操作者操纵的两个侧接输送机上产生平衡流直至控制处理器恢复使用。但其它型式是可能的。举例来说，控制处理器和分类处理器可由计算机处理系统中的单个多核处理器实现。作为另一实例，分类处理器不必是在个别核心或线程中并行地执行任务指令的多核处理器。其可以是一次执行一个任务指令的单核处理器。
34.在替代型式中，相机的图像捕获区域可沿着进给输送机段定位在覆盖区检测器的上游。在这种情况下，分类处理器将执行任务，所述任务持续地捕获图像并将所捕获图像及时戳一起存储在处理器的易失性存储器中的图像表中。控制处理器将用图像捕获区域的下游的覆盖区检测器检测覆盖区。在了解进给输送机的速度和从图像捕获区域到覆盖区检测位置的距离的情况下，分类处理器将使每一覆盖区与图像表中的所捕获图像中所含的封装单元图像相关联。分类处理器将接着如在图5中那样旋转、裁剪、预处理封装单元并对封装单元进行分类，然后封装单元退出进给输送机段并进入分拣输送机段。
35.还有可能使用成像系统作为覆盖区检测器来检测封装单元的覆盖区或位置且无需单独的专用覆盖区检测器。分类处理器除了执行依据封装单元的图像对封装单元进行分类所需的任务外，还将执行充当封装单元检测器的任务，方式是辨识个别封装单元且随着其沿着进给输送机段前进而跟踪其位置，使得其可被分拣到其所指派的目的地。