用于以计算机实施的方式配置物流系统的受控驱动应用的方法与流程

1.本发明涉及用于以计算机实施的方式配置物流系统的受控驱动应用的方法和设备。


背景技术：

2.所谓的“dynamic gapper（动态间隙调整器）”是在内部物流中使用的受控驱动应用。在这种应用的情况下，通常由两个或更多个平行的输送段在一个方向上输送的包裹应被聚集到唯一的输出输送段上。在此，以未定义的间隔位于两个或更多个平行的输送段上的包裹应借助合并单元被分拣到输出输送段上并同时以所定义的间隔被放置。
3.包裹的合并和所定义的间隔的产生借助各个输送段的多个子输送带实现。各个子输送带由驱动电机驱动并由变频器控制。各个子输送段的速度的额定值由控制装置预先给定。在此，包裹在子输送段上的位置以传感器方式被检测并在控制装置中被处理。包裹之间的位置通常通过在每两个包裹之间起作用的pi控制器来影响。根据存在的信息，子输送段被控制装置不同地加速和减速。
4.由于多个平行的输送段和分别多个应彼此不同地加速和减速的子输送带，控制装置在控制技术上是耗费的。基于不同的包裹尺寸和特性的优化是复杂的。在不同的机械结构类型的情况下控制过程的调整是大的。如果例如改变输送段的数量或各个子输送段的长度，则这对控制过程有显著影响并且造成控制装置中的调整。
5.该应用的原则上上级的目标在于，在连续的过程期间能够动态地优化这种受控驱动应用的吞吐量，其中同时应避免受控驱动应用的例如由于各个包裹的碰撞引起的故障。


技术实现要素：

6.本发明的任务是说明用于以计算机实施的方式配置物流系统的受控驱动应用的方法和设备，其以简单和可靠的方式解决这些问题。
7.所述任务通过根据专利权利要求1的特征的方法、根据专利权利要求9的特征的设备、根据权利要求11的特征的物流系统和根据权利要求12的特征的计算机程序来解决。有利的设计方案由从属权利要求得出。
8.本发明提出一种用于以计算机实施的方式配置物流系统的受控驱动应用的方法。物流系统包括一个或多个平行伸展的用于件货的输送段。件货尤其是例如应被输送给分拣设备的包裹。然而，本方法也适合于所有其他类型的件货。输送段在一个输送方向上分别通向合并单元。所述输送段中的每个由多个子输送段组成，所述子输送段连续地布置，使得件货可以无中断地从一个子输送段被移交给另一邻接的子输送段。子输送段在计算单元的控制下被分别所分配的驱动器加速或减速。加速或减速在此单独地针对每个子输送段进行。加速或减速也可以包括为0的加速或减速值。通过选择性地加速或减速相应的子输送段，使布置在输送段的端部处的合并单元能够将件货以所定义的间隔合并到唯一的输出输送段
上。换言之，将件货彼此以所定义的间隔置于输出输送段上。
9.根据本发明的方法，执行如下步骤：根据物流系统的运行数据确定物流系统的系统模型，其中运行数据针对物流系统的运行的多个时间点存在并且针对每个时间点包括物流系统的传感器的测量值和被控变量变化。系统模型代表再现物流系统的动态的模拟模型。
10.在下一步骤中，确定物流系统的控制函数，其中控制函数至少包括用于驱动器的配置数据。控制函数的确定根据系统模型进行，其方式是在预先给定一个或多个要实现的性能特征的情况下在系统模型中执行至少一个控制，其中针对多个时间步长模拟运行数据。在此，针对每个时间步长确定奖励度量，其中控制被用作控制函数，其中聚合多个时间步长的奖励度量的预先给定的适应度函数满足预先确定的标准并且尤其被最大化。
11.本发明的方法是一种简单的用于以计算机实施的方式确定用于被分配给子输送段的驱动器的配置数据的方法。在本发明的意义上的配置数据在此尤其是用于驱动器的控制信号，以便以合适的方式加速或减速所分配的子输送段，以便使合并单元能够将经由多个平行的输送段所输送的件货以所定义的间隔合并到唯一的输出输送段上。
12.尤其，系统模型的确定通过监督学习方法进行。在此特别优选的是使用神经网络或递归神经网络。控制函数的确定尤其通过强化学习（reinforcement learning）进行。
13.通过使用机器学习方法，取消用于控制函数的手动调整的耗费。由此配置数据可以自动化地被确定。使用强化学习方法来确定控制函数实现找到与通过手动调整迄今可能的解决方案相比更好的和更可靠的解决方案。由此可以在合并单元的输出侧实现更大的吞吐量。此外可能的是，以更大的均匀性在输出输送段上输送相继的件货。
14.使用监督学习方法来创建系统模型与控制的快速优化结合实现要实现的性能特征形式的预先给定的优化目标的短期调整。作为结果，可以实现物流系统的开始运转的较低成本。此外，物流系统的性能可以被提高。
15.该方法的适宜的设计方案规定，作为适应度函数处理一个或多个性能特征在所模拟的时间步长上的总和。作为适应度函数，例如可以使用所确定的性能特征在时间上的总和，例如在合并单元的输出端处的件货的平均吞吐量。
16.作为性能特性，可以处理如下参数中的一个或多个参数：在合并单元的输出端处的件货的平均吞吐量；两个直接连续地输送的件货之间的尤其最小的间隔（两个直接连续地输送的件货之间的间隔也被称为空隙间隔）；在合并单元中、尤其在其输出端处的碰撞的检测；表征所述间隔与每两个直接连续地输送的件货之间的等距离的偏差的间隔均匀性度量；全部输送段或相应的输送段的子输送段的运行速度。控制可以如上面所解释的那样在预先给定一个或多个要实现的性能特征的情况下在系统模型中执行。
17.根据另一优选的设计方案规定，为了确定控制函数，改变系统模型的一个或多个输入变量。作为系统模型的输入变量，可以处理如下参数中的一个或多个参数：子输送段的相应的速度（对应于驱动器的相应的速度）；相应的件货在相应的输送段或相应的输送段的子输送段上的位置；相应的件货的尺寸、尤其长度；在合并单元的输出端处的件货的吞吐量；在合并单元中、尤其在其输出端处的碰撞。例如可以通过如下方式来检测碰撞：在合并单元的输出端之后在预先给定的持续时间到期之后不再检测到件货。
18.为了确定系统模型的控制函数所改变的输入变量优选地同时是系统模型的运行
参数。因此，所提到的参数作为物流系统的运行的多个时间点的运行数据可用于确定系统模型，并包括物流系统的传感器的测量值以及被控变量变化，诸如子输送段的相应的速度的改变。
19.除了上面所描述的方法之外，本发明涉及一种用于以计算机实施的方式配置物流系统的受控驱动应用的设备，其中所述设备包括用于控制各一个分配给子输送段的驱动器以加速或减速的计算单元，其中计算单元构成用于执行根据本发明的一个或多个优选的实施方式的方法。
20.此外，本发明涉及一种物流系统，该物流系统具有一个或多个平行伸展的用于件货的输送段，如本文中所描述的。在此，根据本发明，该物流系统包括根据本文中所描述的类型的一个或多个优选设计方案的设备。
21.最后，本发明涉及一种计算机程序，该计算机程序具有存储在非易失性机器可读载体上的程序代码，用于当该程序代码在计算机上被执行时执行根据本发明的一个或多个优选实施方式的方法。
附图说明
22.以下根据附图中的实施例更详细地描述本发明。在附图中：图1示出物流系统的示意图，该物流系统具有用于执行根据本发明的方法的计算单元，所述方法用于以计算机实施的方式配置在该物流系统中所实现的受控驱动应用；以及图2示出通过计算单元执行的方法步骤的示意图。
具体实施方式
23.图1示出具有受控驱动应用的物流系统1的示意图。物流系统1示例性地包括三个相互平行地伸展的输送段10、20、30，在所述输送段上可以分别在从右向左伸展的输送方向fr上输送件货、尤其包裹。等长的并且也称为指状结构的输送段10、20、30中的每个输送段包括多个子输送段11-13、21-23、31-33。在本实施例中，每个输送段10、20、30的子输送段的数量是相等的，其中然而这不是强制性的。相应的输送段10、20、30的子输送段11-13、21-23、31-33可以长度相等或具有不同的长度。
24.子输送段11-13、21-23、31-33中的每个分别被分配有驱动器11a-13a、21a-23a、31a-33a。通过借助计算单元相应地操控驱动器11a-13a、21a-23a、31a-33a，子输送段11-13、21-23、31-33可以单独地被加速或减速。
25.在输送段10、20、30的端部处，即在输送方向fr上，布置有合并单元40，在输送方向fr上最后的子输送段13、23、33将由其运输的件货移交到合并单元上。在合并单元40的输出端41处布置有唯一的输出输送段50。该输出输送段可以由一个或多个子输送段51组成。所述一个或多个子输送段51又在计算单元60的控制下由驱动器51a驱动。
26.各个子输送段借助用于驱动器11a-13a、21a-23a、31a-33a的合适的控制信号的加速和减速实现：在时间上交错地将在平行的输送段10、20、30上运输的件货运输到合并单元40上。由此使该合并单元40能够将件货输送到输出输送段50上，使得每两个在时间上相继的件货彼此具有预先给定的所定义的间隔。
27.为了使计算单元60能够输出用于驱动器11a-13a、21a-23a、31a-33a的加速和减速的合适的操控信号，相应的子输送段11-13、21-23、31-33配备有多个相应的传感器11s-13s、21s-23s、31s-33s。传感器11s-13s、21s-23s、31s-33s尤其包括用于确定件货的相应的运输速度、件货的长度、位置和/或与预期位置的偏差的光栅。传感器可选地例如包括用于检测驱动器11a-13a、21a-23a、31a-33a的转速的转速传感器、用于检测驱动器11a-13a、21a-23a、31a-33a的电机电流的电流传感器等等。
28.件货到输送段10、20、30上的输送经由各个移交单元18、28、38进行，所述移交单元例如同样构成为子输送段。移交单元18、28、38也具有相应的（但是这里没有明确地示出的）驱动器和多个相应的传感器18s、28s、38s。移交单元可以是与实际输送段10、20、30无关的区段。然而，移交单元18、28、38也可以是所分配的输送段10、20、30的相应的子输送段。
29.为简单起见，在图1中仅仅移交单元18、28、38配备有相应的传感器18s、28s、38s。相应的测量信号被输送给计算单元60，用于进一步处理。测量信号通过虚线表示。为简单起见，未示出所有测量信号或用于传输所需的信号线路。
30.分配给子输送段11-13、21-23、31-33a的驱动器11a-13a、21a-23a、31a-33a、51a经由虚线利用相应的操控信号来控制。为简单起见，未示出所有操控信号或用于传输所需的操控线路。
31.以下所描述的用于以计算机实施的方式配置物流系统1的受控驱动应用的方法通过计算单元60执行。然而，步骤也可以在与物流系统1的最终的控制装置无关的计算单元上执行。该过程以示意性的方式在图2中示出。
32.在第一步骤s1中，进行物流系统1的系统模型根据物流系统的运行数据bd的确定。运行数据bd针对物流系统1运行的多个时间点存在并针对每个时间点包括传感器11s-13s、21s-23s、31s-33s、18s-38s的测量值、诸如光栅信号、电机电流、件货在各个子输送段11-13、21-23、31-33、18-38上的位置、驱动器11a-13a、21a-23a、31a-33a的转速以及子输送段11-13、21-23、31-33的速度。原则上，在此不仅可以处理当前所考虑的物流系统1的运行数据bd，而且可以处理其他的于是优选地相似的物流系统的运行数据bd。
33.此外，在步骤s1中针对每个时间点确定并处理被控变量变化，所述被控变量变化例如包括驱动器11a-13a、21a-23a、31a-33a、18a-38a的速度变化或转速变化。
34.系统模型的确定通过监督学习方法、尤其通过神经网络或递归神经网络进行。由于就此而言的过程是已知的，在此舍弃详细描述。
35.在第二步骤s2中，进行物流系统1的控制函数的确定。控制函数regf至少包括用于驱动器11a-13a、21a-23a、31a-33a的配置数据kd、即电机电流和/或速度等，使得所分配的子输送段11-13、21-23、31-33可以以适合的方式被加速或减速。
36.控制函数regf的确定根据在步骤s1中所确定的系统模型进行，其方式是在预先给定一个或多个要实现的性能特征的情况下在系统模型中执行至少一个控制。作为性能特征，例如可以处理如下参数中的一个或多个参数：在合并单元40的输出端41处的件货的平均吞吐量；两个直接连续地输送的件货之间的尤其最小的间隔、即空隙间隔；在合并单元40中、尤其在该合并单元的输出端41处的碰撞的检测；表征所述间隔与每两个直接连续地输送的件货之间的等距离的偏差的间隔均匀性度量、即空隙间隔的均匀性；以及全部输送段或相应的输送段的三个输送段的运行速度，以便例如实现磨损优化。
37.在控制的情况下，模拟多个时间步长的运行数据bd。在此，针对每个时间步长确定奖励度量。最后，将如下控制用作控制函数regf，在所述控制的情况下预先给定的适应度函数满足预先给定的标准，所述适应度函数聚合多个时间步长的奖励度量。尤其可以致力于奖励度量的最大化。
38.控制函数regf的确定通过这种适合于创建提升适应度函数的控制的方法进行。作为适应度函数，例如可以使用一个或多个性能特征在时间步长上的总和，例如平均吞吐量。这种过程可以通过强化学习方法来实现，其中作为适应度函数于是例如处理预期奖励的折扣总和。这例如可以是吞吐量或对所期望的空隙间隔的接近。其他目标可以是在维持件货的确定的间隔分位数的情况下包裹间隔（空隙间隔）的分布的小宽度或子输送段的高运行速度。由于各个目标部分地彼此不一致，所以这些目标应通过控制函数regf的习得的动作来补偿。
39.通过第二步骤s2，可以根据与系统模型的交互通过强化学习来学习用于预先给定的适应度函数的最优的控制函数regf。因此，进行控制函数regf通过相对于物流系统1的系统模型的训练的优化。由此于是可以推导出可解释的控制函数regf，所述控制函数实现用于驱动器11a-13a、21a-23a、31a-33a的配置数据的产生。
40.通过基于模型的强化学习方法，可以在系统模型的模拟中执行控制函数regf，并且可以模拟多个时间步长。通过改变典型的模型输入变量、诸如件货的尺寸、件货的质量、摩擦系数等，可以在至今存在的运行数据bd上产生实际可行的分布。这实现推导出的控制函数regf和配置数据kd的高鲁棒性。由于针对每个时间步长一同模拟适应度函数，所以可以近似地计算奖励度量的进展。
41.控制的可解释的表示的使用允许学习可解释的控制。这些控制实现经验知识的形式化并支持在物流系统1开始运转时的现场调整。
42.在使用习得的系统模型与快速优化方法、诸如粒子群优化（particle swarm optimization）的组合时，可以短期地针对改变的优化目标创建控制。在类似于已知的模型预测控制的多步骤优化的情况下，可以无延迟地实现与改变的优化目标的适配。
43.为了确定最优的配置数据kd，可以使用其他物流系统的运行数据，以便利用基于q函数的强化学习方法来学习控制函数regf。替代地，系统模型可以以针对所有物流系统的有效性来训练，由此于是实现对正好所考虑的物流系统的优化。