控制装置、控制系统以及机器学习装置的制作方法

本发明涉及控制装置、控制系统以及机器学习装置。

背景技术：

在工厂等制造现场设置的机床、注射成形机、机器人等多个工业机械根据来自控制该工业机械的个别控制装置的指令而运转。这些多个工业机械与预定的电源设备连接，消耗从电源设备提供的电力来进行运转(例如，日本特开2017-162300号公报)。这时，如果由工业机械执行大量消耗电力的指令，则会由工业机械消耗很大的电力。为了降低这种情况下的耗电量，例如如图7所示，预先驱动与工业机械的驱动电动机不同的其他的电动机，在工业机械消耗电力的定时使其他电动机减速，产生再生能量，由此抑制电力的消耗。以这种目的而设置的其他电动机在本说明书中称为削峰用电动机。

如上所述，削峰用电动机需要在工业机械消耗电力的定时减速来产生再生能量，所以平时需要以预先决定的预定速度(基速：basespeed)进行旋转。该基速将工业机械的动作，例如工业机械的驱动用电动机的动作模式等作为参考，并由现场的作业人员根据经验来决定。基速倾向于将速度设定得稍高，以防止在峰值切割用电动机减速来产生再生能量时峰值切割用电动机的电动机速度过度下降。

在工业机械的消耗电力最大时，例如在工业机械的驱动电动机的输出最大时，决定了削峰用电动机的基速的情况下，在工业机械的驱动用电动机的输出不大时也要使削峰用电动机高速旋转。但是，如果一律将削峰用电动机的基速设定为较高，则会产生由于铁损增加等原因造成削峰用电动机的电力损失增加，或者削峰用电动机的轴承寿命变短等问题。

因此，希望一种根据工业机械的动作状态来学习并设定适当的削峰用电动机的基速的方法。

技术实现要素：

本发明的一个方式的控制装置根据与工业机械的输出相关的数据，试错地学习该工业机械的各个状态下的适当的削峰用电动机的基速，并根据其学习结果进行基速的调整，从而解决上述问题。

另外，本发明的一个方式是控制装置，控制与至少一个工业机械连接到相同的电力供给路径上的削峰用电动机的削峰动作，具备：数据取得部，其至少取得与上述工业机械的动作状态相关的数据；学习模型存储部，其存储关联了针对上述工业机械的动作状态的上述削峰用电动机的基速的设定行为的价值的学习模型；以及决策部，其使用存储在上述学习模型存储部中的学习模型来决定基于上述数据取得部取得的与上述工业机械的动作状态相关的数据的上述削峰用电动机的基速的设定行为。

本发明的其他方式是控制系统，其是由多个控制装置经由网络相互连接而成的控制系统，能够在多个控制装置之间共享上述学习部的学习结果。

本发明的其他方式是机器学习装置，学习了与至少一个工业机械连接到相同的电力供给路径上的削峰用电动机的削峰动作的控制中的上述削峰用电动机的基速的设定行为，该机器学习装置具备：学习模型存储部，其存储关联了针对上述工业机械的动作状态的上述削峰用电动机的基速的设定行为的价值的学习模型；以及决策部，其使用存储在上述学习模型存储部中的学习模型来决定基于上述数据取得部取得的与上述工业机械的动作状态相关的数据的上述削峰用电动机的基速的设定行为。

根据本发明的一个方式，由于峰值切割用电动机的基速不会高于需要以上，所以除了可以减少削峰用电动机的损失之外，预计还可以使削峰用电动机的轴承寿命延长。

附图说明

通过参照附图说明的以下实施例来明确本发明的上述以及其他目的和特征。这些附图中：

图1是一个实施方式的控制装置的概略硬件结构图。

图2是第一实施方式的控制装置的概略功能框图。

图3说明工业机械的电力消耗和电力再生。

图4概略地表示一个实施方式的控制系统的动作环境。

图5是第二实施方式的控制系统的概略功能框图。

图6概略地表示多个控制系统进行动作的系统。

图7说明使用现有技术的削峰用电动机来降低消耗电力的结构。

具体实施方式

以下，参照附图说明本发明的实施方式。

图1是表示本发明一个实施方式的控制装置的主要部件的概略硬件结构图。本实施方式的控制装置1可以作为控制削峰用电动机的控制装置而安装。另外，控制装置1可以作为设置在工厂中的个人电脑、与工厂的网络连接的单元计算机、雾计算机、云服务器等计算机进行安装。在本实施方式中，表示将控制装置1作为控制削峰用电动机的控制装置而安装的情况的例子。

本实施方式的数值控制装置1所具备的cpu11是整体控制控制装置1的处理器。cpu11读出存储在经由总线20连接的rom12中的系统程序，并按照该系统程序控制控制装置1整体。ram13中存储临时的计算数据、用于显示在显示装置70上的显示数据以及作业人员经由输入装置71输入的各种数据等。

非易失性存储器14例如由通过未图示的电池进行备份的存储器、ssd(solidstatedrive固态驱动器)等构成，即使控制装置1的电源被切断也保持存储状态。非易失性存储器14中存储有保存与控制装置1的动作相关的设定信息的设定区域、经由接口18从输入装置71输入的数据和控制用程序。另外，非易失性存储器14中还存储经由网络5从工业机械2取得的各种数据(在各个工业机械2中执行的控制程序、工业机械2的驱动用电动机的输出计算值、输出测量值以及电动机速度等)、经由未图示的外部存储装置读入的数据、控制用程序等。非易失性存储器14中存储的程序、各种数据可以在执行时/使用时展开于ram13。另外，rom12中被预先写入系统程序，该系统程序包含用于分析各种数据的公知的分析程序等。

控制装置1经由接口16与有线/无线的网络5连接。网络5上连接有与将电力提供给控制装置1的电力供给路径连接的至少一个工业机械2等，可以与控制装置1之间相互进行数据的交换。

被读入到存储器上的各个数据、作为执行了程序等的结果而得到的数据、从后述的机器学习装置100输出的数据等经由接口17被输出到显示装置70并显示。另外，由键盘、指示设备等构成的输入装置71将基于作业人员的操作的指令、数据等经由接口18传递给cpu11。

轴控制电路30接受来自cpu11的轴的移动指令量，并将轴的指令输出给伺服放大器40。伺服放大器40接受该指令，并驱动削峰用伺服电动机50。削峰用伺服电动机50内置位置/速度检测器，将来自该位置/速度检测器的位置/速度反馈信号反馈给轴控制电路30，进行位置/速度的反馈控制。

接口21连接cpu11和机器学习装置100。机器学习装置100包括统一控制机器学习装置100整体的处理器101、存储系统程序等的rom102、用于进行与机器学习相关的各个处理的临时存储的ram103以及用于学习模型等的存储的非易失存储器104。机器学习装置100可以经由接口21观测可通过控制装置1取得的各个信息(在各个工业机械2中执行的控制程序、工业机械2的驱动用电动机的输出计算值、输出测量值、电动机速度等)。

此外，控制装置1接受从机器学习装置100输出的结果，进行对显示装置70的显示、对成为控制对象的削峰用伺服电机50的指令输出等。

图2是第一实施方式的控制装置1和机器学习装置100的概略功能框图。本实施方式的控制装置1具备在机器学习装置100进行学习时所需要的结构和基于机器学习装置100的决策的处理所需要的结构。图2所示的各个功能块构成为，由图1所示的控制装置1所具备的cpu11以及机械学习装置100的处理器101执行各自的系统程序，控制控制装置1和机械学习装置100的各部的动作。

本实施方式的控制装置1具备控制部32、数据取得部34、预处理部36，控制装置1所具备的机器学习装置100具备学习部110、决策部120。另外，在图1所示的非易失性存储器14上设置有存储从工业机械2等取得的数据的取得数据存储部54。在图1所示的机器学习装置100的非易失性存储器104上设置有学习模型存储部130，该学习模型存储部130存储由学习部110的机器学习构筑的学习模型。

控制部32构成为，图1所示的控制装置1所具备的cpu11执行从rom12读出的系统程序，主要进行使用了cpu11的ram13、非易失性存储器14的运算处理和进行削峰用伺服电机50的轴控制电路30的控制处理。控制部32根据存储在图1所示的非易失性存储器14中的控制用程序52，控制削峰用伺服电机50的动作。控制部32具备为了控制工业机械2各部的动作所需要的一般用于控制的功能，使得通过控制用程序52按每个控制周期对削峰用伺服电动机50输出移动指令等。

控制部32进行控制，使得以在控制用程序52中、或控制装置1的非易失性存储器14上的设定区域中设定的基速来驱动削峰用伺服电机50。另外，控制部32进行控制，使得经由网络5取得工业机械2的动作状态，在工业机械2的耗电量上升时，根据该上升量使削峰用伺服电机50减速而产生再生能量。

图3概略地表示工业机械2所消耗的电力的推移与削峰用伺服电机50的速度控制之间的关系。如图3所示，控制部32通常以设定的基速驱动削峰用伺服电机50。当工业机械2所消耗的电力上升时，控制部32通过使削峰用伺服电机50减速来产生再生电力。而且，在工业机械2中产生再生电力的定时等，将削峰用伺服电机50的速度加速到基速。

工业机械2的耗电量主要在通过工业机械2执行的指令，该工业机械2的驱动用电动机的速度上升的情况下上升，但关于该情况下的耗电上升量，可以根据驱动用电动机的加速度等通过运算来求出。因此，通过依次取得工业机械2的动作状态，可以推定工业机械2的耗电量，因此适当地使削峰用伺服电动机50减速，从而产生适当的再生能量。另外，关于工业机械2的耗电量的上升，也可以将功率计等传感器安装到工业机械2上来直接测量取得。关于为了降低电力峰值而通过控制部32产生再生能量的技术，例如通过日本特开2018-153041号公报等已经公知，因此省略本说明书的详细说明。

当从机器学习装置100输出削峰用伺服电动机50的基速的设定时，控制部32将削峰用伺服电动机50的基速设定为从机器学习装置100输出的基速。

数据取得部34构成为，图1所示的控制装置1所具备的cpu11执行从rom12读出的系统程序，主要由cpu11进行使用了ram13、非易失性存储器14的运算处理以及使用了接口16、18等的输入输出处理。数据取得部34从工业机械2、输入装置71等取得各种数据。数据取得部34例如取得在各工业机械2中执行的控制程序、该控制程序中的当前的执行程序块、工业机械2的驱动用电动机的输出计算值、输出测量值、电动机速度等，并存储在取得数据存储部54中。数据取得部34也可以经由外部存储装置(未图示)或网络5从其他计算机(未图示)取得数据。

预处理部36构成为，由图1所示的控制装置1所具备的cpu11执行从rom12读出的系统程序，主要由cpu11进行使用了ram13、非易失性存储器14的运算处理。预处理部36根据数据取得部34取得的数据，生成用于机器学习装置100进行学习的状态数据。预处理部36生成将数据取得部34取得的数据转换为在机械学习装置100中处理的统一形式(数值化、采样等)后的状态数据。例如，预处理部36在机器学习装置100进行强化学习的情况下，生成该学习中的预定形式的状态数据s以及判定数据d的组。

由预处理部36生成的状态数据s包含工业机械2中的与驱动用电动机相关的数据即驱动用电动机数据s1、表示在通过上述驱动用电动机数据s1表示的工业机械2的动作状态下的基速的设定值的基速数据s2。

驱动用电动机数据s1被定义为表示工业机械2中的驱动用电动机的动作状态的数据。驱动用电动机数据s1也可以包含表示当前工业机械2的驱动用电动机的动作状态的数据。另外，驱动用电动机数据s1也可以包含表示分析工业机械2的控制用程序而得到的数据的取得时以后的预定期间内的工业机械2的驱动用电动机的动作状态的数据。作为表示工业机械2的驱动用电动机的动作状态的数据，例如可以是工业机械2的驱动用电动机的速度及其位移、根据速度及其位移计算出的驱动用电动机的输出值及其位移、通过电力测量器等测量出的驱动用电动机所消耗的电力的测量值等。驱动用电动机数据s1也可以包含速度、输出值、消耗电力值的时间序列数据。

基速数据s2是表示上述驱动用电动机数据s1所示的工业机械2的动作状态下的削峰用伺服电动机50的基速的设定值的数据。基速数据s2在控制装置1的动作开始时，可以使用由控制用程序52设定的基速或在非易失性存储器14的设定区域中设定的基速。另外，在根据从机器学习装置100输出的基速的设定值来设定基速之后，将所设定的基速的值直接用作基速数据s2即可。

由预处理部36生成的判定数据d是在驱动用电动机数据s1所示的消耗电力下的用于判定(评价)基速数据s2所示的基速的设定的妥当性的数据。判定数据d至少包含表示针对工业机械的电力消耗的削峰动作的充足性的削峰动作判定数据d1以及削峰用伺服电动机50的动作成本相关的动作成本判定数据d2。

削峰动作判断数据d1例如可以是表示在工业机械2中电力消耗增加时通过使削峰用伺服电动机50减速而能够进行怎样程度的削峰的值。例如，削峰动作判定数据d1可以是针对在工业机械2中产生的消耗电力量的在削峰用伺服电机50中产生的再生电力量的比率。另外，削峰动作判断数据d1可以是在工业机械2产生的消耗功率量增加时，从公用电源向电力提供路径提供的电力的量。即，削峰动作判定数据d1使用能够判定如何适当地进行削峰动作的数据即可。

动作成本判定数据d2例如可以是表示削峰用伺服电机50的基速本身的值。即，动作成本判定数据d2使用能够判定可以以多低的基速运行削峰用伺服电动机50的数据即可。

学习部110构成为，图1所示的控制装置1所具备的处理器101执行从rom102读出的系统程序，主要由处理器101进行使用了ram103、非易失性存储器104的运算处理。学习部110使用预处理部36生成的数据进行机器学习。学习部110通过公知的强化学习的方法，生成学习了针对工业机械2中的驱动电动机的动作状态的削峰用伺服电动机50的基速的设定行为的学习模型，将所生成的学习模型存储在学习模型存储部130中。强化学习是以试错方式重复在观测存在学习对象的环境的当前状态(即输入)的同时在当前状态下执行预定的行为(即输出)，对该行为给予某些回报这样的循环，而使回报的合计最大化的方法(本申请的削峰用伺服电机50的基速的设定行为)作为更适当的解来学习的方法。作为学习部110进行的强化学习的手法，可以列举q学习等。

关于学习部110的q学习中的回报r，例如在相对于工业机械2的电力消耗而能够充分提供(比率为1.0以上)在削峰用伺服电动机50中产生的再生电力时，判定为“良”，设为正(+)的回报r。另外，在q学习中，相对于工业机械2的电力消耗而不能够充分提供(比率小于1.0)在削峰用伺服电动机50中产生的再生电力时，判定为“否”，设为负(-)回报r。此外，例如在能够将削峰用伺服电动机50的基速设定为比预定阈值低的情况下，可以判定为“良”，设为正(+)的回报r。进而，在将削峰用伺服电动机50的基速设定为比预定阈值高的情况下，可以判定为“否”，设为负(-)的回报r。回报r的值也可以根据比率和阈值之间的差的大小程度而发生变化。

在学习部110的q学习中，可以将状态变量s和判定数据d和回报r与由函数q表示的行为价值(例如数值)相关联地整理后得到的行为价值表用作学习模型。在这种情况下，学习部110进行学习意味着学习部110更新行为价值表的行为。q学习开始时，环境的当前状态与削峰用伺服电动机50的基速的设定之间的相关性是未知的。因此，在行为价值表中，以与随机决定的行为价值的值(函数q)相关联的方式来准备各种状态变量s、判定数据d和回报r。并且，在推进学习时，根据状态变量s和判定数据d以及计算出的回报r来改写行为价值的值(函数q)并更新行为价值表。通过反复该更新，在行为价值表中显示的行为价值的值(函数q)被改写为越是恰当的行为越成为较大的值。并且，在充分推进了学习的时间点，只要参照行为价值表就能够针对当前状态选择更适当的削峰用伺服电动机50的基速的设定行为。

学习部110可以构成为将神经网络用作值函数q(学习模型)，将状态数据s和行为a作为神经网络的输入，输出该状态下的该行为a的价值(结果y)。在这样构成的情况下，作为学习模型可以使用具备输入层、中间层、输出层三层的神经网络。作为另一种方法，可以使用利用了形成三层以上的层的神经网络的所谓深度学习的方法，由此来进行更有效的学习和推论。学习部110生成的学习模型被存储在设置在非易失性存储器104上的学习模型存储部130中，用于决策部120的削峰用伺服电动机50的基速的设定行为的决定处理。

另外，学习部110在学习阶段是必须的结构，但是在学习部110完成了削峰用伺服电动机50的基速的设定行为的学习之后，不一定是必须的结构。例如，在将完成了学习的机器学习装置100发货给顾客等情况下，也可以将学习部110取下来进行发货。

决策部120通过由图1所示的控制装置1具备的处理器101执行从rom102读出的系统程序，并主要由处理器101进行使用了ram103、非易失性存储器104的运算处理来实现。决策部120根据从预处理部36输入的状态数据s，使用存储在学习模型存储部130中的学习模型来求出削峰用伺服电动机50的基速的设定行为的更适当的解，并输出所求出的削峰用伺服电动机50的基速的设定行为。在本实施方式的决策部120中，将从预处理部36输入的状态数据s(驱动用电动机数据s1等)和削峰用伺服电动机50的基速的设定行为作为输入数据输入给通过学习部110的强化学习而生成的(决定了参数的)学习模型，由此可以计算出当前状态下采取了该行为时的回报，但针对当前能够取得的削峰用伺服电动机50的基速的设定行为进行该回报的计算，将计算出的多个回报进行比较，将计算出最大回报的削峰用伺服电动机50的基速的设定行为决定为更适当的解。决策部120决定的削峰用伺服电动机50的基速的设定行为的更适当的解被输出到控制部32而用于基速的设定，除此以外还可以用作例如显示输出到显示装置70，或者经由未图示的有线/无线网络发送输出到主机或云计算机等。

在具备上述结构的控制装置1中，一边观察工业机械2的动作状态，一边变更削峰用伺服电动机50的基速的设定。由此，当每个工业机械的电力消耗增加时，通过使削峰用伺服电动机50减速能够适当地产生再生电力。另外，在工业机械2今后的动作状态下不那么需要再生电力的情况下，将削峰用伺服电动机50的基速动态地设定为较低。因此，与现有那样固定地设定基速的情况相比，可以抑制削峰用伺服电动机50的电力损失，并且可以延长削峰用伺服电动机50的寿命。

下面，说明第二实施例的控制系统，该控制系统安装了控制装置1作为雾计算机和云服务器等计算机。

图4表示第二实施例的控制系统进行动作的环境。如图4所示，本实施方式的控制系统在包括云服务器6、雾计算机7和边缘计算机8的多个装置分别与有线/无线网络连接的系统环境中动作。图4所示的系统构成为被逻辑地分为3个阶层，即包含云服务器6等的层、包含雾计算机7等的层、包含边缘计算机8(对单元(cell)9中包含的机器人进行控制的机器人控制器、控制机床的控制装置、搬运机械等外围机械、电源设备等)等的层。在这样的系统上，本实施方式的控制系统通过在云服务器6和雾计算机7等计算机上安装在第一实施方式说明的控制器1的功能来构成。在第二实施方式的控制系统中，经由网络在与多个装置每一个之间相互共享数据，或者将在边缘计算机8取得的各种数据收集到雾计算机7、云服务器6来进行大规模的分析。另外，控制系统可以根据其分析结果来控制每个边缘计算机8的动作。在图4所示的系统中，在各地的工厂分别设置多个单元9(例如，在工厂每一层设置一个单元9等)，由上层的雾计算机7以预定的单位(工厂单位、同一制造商的多个工厂单位等)管理每个单元9。并且，还可以在更高层的云服务器6中对这些由雾计算机7进行收集和分析的数据进行收集、分析等，并将作为其结果而得到的信息灵活用于各个边缘计算机8中的控制等。

图5是本实施方式的控制系统的概略结构图。本实施方式的控制系统300包含安装在诸如云服务器6、雾计算机7等计算机上的控制装置1’、作为经由网络5与该控制装置1’连接的边缘计算机的多个工业机械2、控制削峰用伺服电动机50的动作的电动机驱动装置3等。本实施方式的控制系统300所具备的控制装置1’除了不具备控制部32外，具有与图2所说明的控制装置1相同的结构。

控制削峰用伺服电动机50的动作的电动机驱动装置3可以控制伺服电动机的动作，使用能够经由网络与其他装置进行数据交换的一般电动机驱动装置即可。电动机驱动装置3根据经由网络取得的工业机械2的电力消耗状态，对削峰用伺服电动机50进行公知的削峰动作控制。另外，当经由网络5从控制装置1’指示了基速的设定时，电动机驱动装置3变更该削峰动作中的基速。

在本实施方式的控制系统300中，控制装置1’对电动机驱动装置3进行基速的设定。控制装置1’所具备的机器学习装置100学习在管理下的工业机械2处于怎样的动作状态时，如何设定削峰用伺服电动机50的基速才能进行妥当的削峰动作。并且，能够针对工业机械2的动作状态输出并设定更适当的基速的设定解。

图6表示针对图4所示的系统环境引入多个控制系统300的例子。图6所示的系统具备在雾计算机7上安装了控制装置1’的多个控制系统300(未图示)，每个控制装置1’分别管理多个边缘计算机8，并且根据从管理下的工业机械(边缘计算机8)收集到的数据进行学习。并且，每个控制装置1’构成为可以在与其他控制装置1’之间直接或经由云服务器6相互交换作为各自学习结果的学习模型。

在具有这样的结构的控制系统300中，例如可以从配置有与管理下的工业机械类似的工业机械的其他控制系统300取得学习模型而使用。因此，对于设置了新工厂的情况等，从以类似的工业机械的组合来运用的控制系统300转用(流用)学习模型，由此可以大幅度地节省建立工厂时用于构筑学习模型的试验性运用作业的时间。

以上，对本发明的实施方式进行了说明，但本发明不限于上述实施方式的例子，可以通过适当的变更以各种方式来实施。

例如在上述实施方式中，控制装置1和机器学习装置100作为具有不同的cpu(处理器)的装置进行了说明，但是机器学习装置100可以通过控制装置1所具备的cpu11和存储在rom12中的系统程序来实现。