最佳化具有多台工业机械的生产系统的动作的单元控制器的制作方法

本发明涉及一种单元控制器，将具有多台通过程序进行动作的工业机械的生产系统的动作进行最佳化。

背景技术：

目前在具有多个工业用机器人或cnc机床等工业机械的生成系统中，提倡实现系统整体高速化的各种技术。例如日本专利第3946753号公报中记载以下的机器人程序评价/修正方法，即具备通过计算机的仿真计算用于驱动机器人的动作部分的电动机的负荷，并且按照时间序列关联存储针对电动机的指令速度以及指令加速度和电动机负荷、通过评价函数评价电动机负荷是否超过容许值。

另外，日本特开平08-187648号公报中公开一种生产线管理系统，其具备自分布型的多个单元控制器、如果经由通信电路与各个单元控制器连接则指示管理条件的管理装置，进一步记载了在管理装置中设置虚拟工厂单元和管理条件指示单元，上述虚拟工厂单元使用仿真了由各个单元控制器控制的实际设备单元后的可编程的单元模型，仿真由实际设备生产的产品制造程序，而上述管理条件指示单元经由通信电路将在虚拟工厂得到的管理条件下载到各个单元控制器。

如果生产系统为复杂或较大规模，则经由i/o等的机器人与制造机械之间的数据通信量巨大，难以判断生产系统的哪个结构要素成为在将系统整体处理高速化的基础上的瓶颈。另外，即使发现成为主要瓶颈的结构要素，如果这是由于该结构要素的性能上的极限引起的话，则该瓶颈不能够改善，需要找另外的瓶颈。重复这样的步骤来改善系统会需要很多的时间。

日本专利第3946753号公报中记载的技术被认为是通过计算机的仿真来评价机器人电动机的负荷，由此最佳地修正机器人程序。但是在该方法中，虽然能够单独将机器人高速化，但是根据生产系统的结构，机器人单独的高速化不一定有助于系统整体的高速化。

另外，日本特开平08-187648号公报中记载的技术为，虚拟构筑生产线，组合生产基本要素进行仿真，为了循环时间成为最小而组合各个生产基本要素。但是在日本特开平08-187648号公报的方法中，虽然组合了生产基本要素，但是没有涉及机器人等各个基本要素自身的高速化，因此作为生产线整体的高速化还有极限。

技术实现要素：

因此本发明的目的在于提供一种单元控制器，能够将具有多台通过动作程序进行动作的工业机械的生产系统的动作适当地进行最佳化。

为了达到上述目的，本申请的发明为单元控制器，管理一种具有多台通过动作程序进行动作的工业机械的生产系统，该单元控制器具备：系统运转信息分析器，其根据经由网络从上述工业机械接收到的生产系统的时间序列的运转信息，来分析对上述生产系统整体的生产节拍时间产生不良影响的部分；状态量分析器，其根据包括检测上述工业机械的状态的传感器数据的状态量来分析上述工业机械的各自的动作的余量；程序改良器，其根据从上述状态量分析器输出的余量自动进行上述动作程序的速度或加速度的改良；以及仿真器，其为了确认上述动作程序的改良结果，执行上述生产系统的动作仿真。

上述工业机械的状态量能够包括搭载到上述工业机械上的电动机速度、加速度、加加速度、电流、温度以及来自电动机速度指令的跟踪误差中的任意一个或多个的组合。

上述单元控制器可以具备显示器，该显示器显示上述系统运转信息分析器以及上述状态量分析器的分析结果、上述程序改良器的修正结果。

此时，上述仿真器能够对通过将功能追加到工业机械而得到的上述生产系统整体的生产节拍时间的改善效果进行仿真，该仿真的结果能够显示在上述显示器或通过网络与上述单元控制器连接的云服务器上。

上述单元控制器还可以具备以下功能：将上述系统运转信息分析器以及上述状态量分析器的分析结果、上述程序改良器的修正结果发送给通过网络与上述单元控制器连接的云服务器。

上述单元控制器还可以具备根据上述系统运转信息分析器以及上述状态量分析器的输出来学习动作程序的修正方法的机械学习器，上述机械学习器能够将与上述生产系统的生产节拍时间对应的回报赋予所选择的行为从而进行强化学习。

附图说明

通过参照附图说明以下优选的实施方式，能够更加明确本发明的上述或其他目的、特征以及优点。

图1是表示包括本发明一个实施方式的单元控制器和多个工业机械的生产系统的概略结构的功能框图。

图2是表示图1所示的单元控制器的系统运转信息分析器的分析结果一例的图。

图3是表示图1所示的单元控制器的系统运转信息分析器的分析结果其他一例的图。

图4是表示通过图1所示的单元控制器的状态量分析器进行评价的状态量的时间变化一例的图。

具体实施方式

图1是表示本发明一个实施方式的生产系统12的概略结构的功能框图，上述生产系统12包括单元控制器11和通过单元控制器11管理的多台工业机械。单元控制器11具有：系统运转信息分析器21，其根据经由网络从通过动作程序进行动作的多个(图示例中为4个)工业机械31接收到的生产系统12的时间序列的运转信息(动作信息)来分析对生产系统12整体的生产节拍时间产生不良影响的部分；状态量分析器22，其根据包括检测工业机械31的状态的传感器数据的状态量来分析工业机械31各自的动作的余量；程序改良器23，其根据从状态量分析器22输出的余量来自动进行动作程序的速度或加速度的修正(改良)；以及仿真器24，其为了确认程序改良器23进行的动作程序的改良结果而执行生产系统12的动作仿真。

另外，在本实施方式中，作为能够通过程序变更动作的工业机械31列举有工业用机器人、cnc机床、制造机械。

作为单元控制器11，例如能够使用工业用pc(个人计算机)，其优选与工业机械31的控制装置(未图示)分开设置。单元控制器11是独立的硬件，从而不需要使机器人、制造机械或者控制它们的控制装置具有过剩的计算能力能够降低生产系统的成本。另外，一旦将生产系统12最佳化之后能够不使用单元控制器11而使生产系统12动作，所以能够将单元控制器11用于其他系统的高速化而使其有效使用。但是，单元控制器11能够作为处理器等一体地嵌入工业机械31的控制装置内。

系统运转信息分析器21从每个工业机械31接收时间序列的运转信息，根据接收到的运转信息、从工件向生产系统12输入到输出的时间日程，来分析在将生产系统12高速化基础上的瓶颈。另外，时间序列的运转信息是与时间序列关联的多个产业机械的i/o信息、驱动时间信息等。

图2表示系统运转信息分析器12的分析结果的一例。详细地说，图2以时间序列表示在将第一工件(工件1)投入生产系统，一系列的制造工程结束后被排出之前，机器人a～d以及制造机械a、b进行运转的时间。另外，图2中，实线表示机器人或制造机械的动作时间，虚线表示工件没有做任何的作业而滞留的时间。

从图2可知，在机器人a针对工件1的作业(动作)结束时第二工件(工件2)被投入到生产系统12的情况下，产生工件2滞留的时间段直到机器人b针对工件1的作业结束为止。因此这种情况下，为了改善生产系统12的生产节拍时间，需要改善机器人b的作业速度。

图3是表示系统运转信息分析器21的分析结果的其他例子。详细地说，图3以时间序列表示由机器人b和机器人c一边交换工件或信号，一边实质进行一个作业的情况。另外，图3中，实线表示机器人或制造机械的动作时间，虚线表示机器人或制造机械的等待时间，箭头线表示机器人之间或机器人与制造机械之间的同步定时。

机器人b和机器人c分别进行预定的作业，但是在需要两个机器人同步的定时，会产生一方机器人等待另一方机器人的时间。在这种情况下为了实现系统的高速化，需要分析哪个机器人到需要同步的定时为止所需要的动作时间较长，针对该较长一方的机器人的相应程序部分寻求速度的改善。

例如图3中，为了缩短或消除机器人c的等待时间t1，在机器人b的动作时间m1，使机器人b的动作速度上升的措施是有效的。相反，即使缩短机器人c的动作时间m2，对缩短或消除机器人b的等待时间也没有作用。另外，为了缩短或消除机器人b的等待时间t2，在机器人c的动作时间m3，使机器人c的动作速度上升的措施是有效的。相反，即使缩短机器人b的动作时间m4，对缩短或消除机器人b的等待时间也没有作用。

这样，通过进行生产系统12整体的分析，对系统整体的生产节拍时间产生不良影响的部分变得明确，能够判断为了生产系统12的高效化(高速化)改良哪部分是有效的。

状态量分析器22关于通过系统运转信息分析器21进行分析的高速化所需要的动作程序部分而收集/分析工业机械31的状态量，并计算高速化的余量。这里，作为状态量分析器22从工业机械31收集的状态量，例如列举有装备/搭载到工业机械31上的电动机速度、加速度、加加速度、转矩、电流、温度以及来自电动机速度指令的跟踪误差等。另外，也可以组合这些状态量而导入(例如，根据电动机的加速度和加加速度来推算振动量)新的状态量。这些状态量与时间序列关联地被收集。

图4是表示通过状态量分析器22进行评价的状态量的时间变化的具体例。如图4所示，能够针对各个状态量设定阈值(例如上限值s1以及下限值s2)，当没有超过该阈值时，关于该状态量有余量，能够判断为能够高速化。例如，通过电动机的规格决定电动机速度的阈值，但是当电动机速度没有达到该阈值(上限值)时，能够判断为电动机速度还存在高速化的余地。另外，在根据加速度推定振动时，如果振动相对于阈值(上限值)有余量，则能够判断为还存在增加加速度的余地。这样，能够通过取得各个状态量的时间序列数据来判定速度、加速度、加加速度等是否有余量。

以下说明根据状态量的余量(与阈值之间的差)来实现生产系统12的高速化的具体例子。首先，状态量分析器22计算图4所示的各个状态量的时间序列数据的时间积分，对各个状态量求出余量(或其移动平均值)大的时间段。例如图4中，能够判断为在电动机速度大致为零的时间段t3，电动机速度的余量比较大。

接着，程序改良器23根据从状态量分析器22的分析结果得到的用于高速化的余量(或移动平均值)大的时间段相关的信息来选择与该时间段对应的程序部分，对该程序部分自动进行用于高速化的修正。具体地说，对该程序部分所包括的动作指令语句进行增加速度指令值或加速度指令值等的修正。

此时，为了确认作为程序修正的结果而得到的工业机械的生产节拍时间和动作速度等状态量的变化，能够使用仿真器24。仿真器24根据从程序改良器23得到的改良后的动作程序，计算此时的工业机械的状态量(例如电动机速度或加速度等)。根据需要将该状态量再次输入到状态量分析器22，再次将该输出发送给程序改良器23，由此能够反复地改善动作程序。另外，当通过仿真器24计算出的工业机械的状态量在反复处理过程中超过图4所示的阈值的范围时，不采用该动作程序而结束该部分的程序改良。

这样生成的改良后的程序从程序改良器23发送给各个工业机械31(或其控制装置)，自动更新各个工业机械的动作程序。另外，可以以预定的周期定期地进行该更新，也可以在用户指定的定时进行该更新。另外，也可以不自动适用动作程序的改良而使用显示器25对用户进行提示，在得到用户的认可后进行适用。另外，显示器25也能够显示系统运转信息分析器21以及状态量分析器22的分析结果和程序改良器23的修正结果。

如图1所示，在单元控制器11得到的信息也能够发送给单元控制器11的上位的云服务器41。而且，通过网络连接云服务器41和多个单元控制器，由此能够统一地处理多个单元控制器相关的信息，能够对由多个单元构成的生成系统整体进行最佳化。

另外，用户也能够从外部网络参照云服务器41的信息。这样，能够远程地判断、操作动作改良的状况或改良程序的适用判断等。另外，也能够在工业设备生产商或系统集成商公开云服务器41的信息。这样，能够由生产商进行生产系统的运转检查、生产系统的诊断、改善提案，也能够进一步实现生产系统的高效化。

有时至少一个工业机械31中包括追加用于动作高速化的功能的软件选项。这种情况下，仿真器24对于在追加了新软件选项的情况下得到的效果、更具体地说是包括工业机械31的生产系统12整体的生产节拍时间的改善效果进行仿真，能够将该仿真的结果显示在显示器25或云服务器41中来对用户进行提示。这样，用户能够容易地判断对于追加导入软件选项的费用效果。

实际上有时不限于以一定间隔向生产系统12投入第一工件(工件1)。另外，如图2例示那样，为了使在工件1和工件2有无滞留不同，即使以相同的时间间隔投入了工件的情况下，成为瓶颈的地方也会根据工件而不同。这种情况下，能够记录多次投入工件的结果和程序改良内容，并适用统计上最有效的改良。

在上述实施方式中，说明了修正工业机械的动作程序来高速化的例子，但是关于不影响生产系统的生产节拍时间的部分，也能够使工业机械的动作低速化。这样，能够得到使工业机械长寿命、降低消耗功率以及噪音、抑制过热等效果。这样，在生产系统中通过适当混合高速化的部分和低速化的部分，能够实现作为生产系统整体的动作最佳化。

如图1所示，单元控制器11可以具有机械学习器26，机械学习器26根据系统运转信息分析器21以及状态量分析器22的输出来进行用于得到修正后的动作程序的强化学习，将其结果发送给仿真器24。

作为机械学习器26进行的强化学习方法的一例，说明使用q学习进行学习的情况。q学习是在某个环境状态s下学习选择行为a的价值q(s、a)的方法。即，在某个状态s时，选择价值q(s、a)的最高行为a作为最佳的行为即可。但是，最初关于状态s和行为a的组合，完全不知道价值q(s、a)的准确值。因此，智能体(行为主体)选择某个状态s下的各种行为a，针对此时的行为a赋予回报。这样，智能体学习更良好的行为的选择、即准确的价值q(s、a)。

在将q学习适用于本实施方式而进行学习时，状态量s由系统运转信息分析器21的输出和状态量分析器22的输出而构成。行为a是对动作程序的改良命令，例如在将称为z的值增加到程序名x的第y行时，能够表示为将x、y、z作为分量的向量。使得赋予回报地重复学习由该s和a构成的价值函数q。例如当生产节拍时间短时对选择出的行为赋予正回报，另一方面，当针对状态量的阈值的超过量较大时对选择出的行为赋予负回报，从而能够一边满足状态量的限制，一边学习生产节拍时间短的最佳的动作。

进一步，想要使行为的结果、将来得到的回报的合计最大化，所以最终以q(s、a)＝e[σ(γt)rt]为目标。这里e表示期待值，t表示时刻，γ表示后述的被称为折扣率的参数、rt表示时刻t的回报、σ表示时刻t的合计。该公式中的期待值是作为根据最佳的行为状态发生变化时所采取的值，因为不清楚该值，所以一边搜寻一边学习。例如能够用以下的公式(1)表示这样的价值q(s、a)的更新式。

在上述公式(1)中，st表示时刻t的环境的状态，at表示时刻t的行为。根据行为a，状态变化为st+1。rt+1表示通过该状态的变化得到的回报。另外，被赋予了“max”的项是在状态st+1下将γ与选择了此时了解到的q值最高的行为a时的q值相乘后得到的。这里，γ是0<γ≤1的参数，被称为折扣率。另外，α是学习系数，设为0<α≤1的范围。

如上所述，机械学习器26根据系统运转信息分析器21以及状态量分析器22的输出来学习动作程序的修正方法，具体地说，将与生产系统12的生产节拍时间对应的回报赋予所选择的行为，从而进行强化学习。一般机械学习需要很多的试行次数，但是本实施方式中能够不使实际设备进行动作而通过仿真器24进行生产节拍时间的仿真，因此能够高速地计算回报，能够高速地推进学习。

根据本发明，从能够通过程序变更动作的多台工业机械接收运转信息，分析生产系统的瓶颈，并根据该分析结果来提取与生产系统的高速化有关的动作程序部分，能够自动修正动作程序的相应部分，所以能够较佳地使生产系统高速化。