控制装置以及机器学习装置的制作方法

本发明涉及控制装置以及机器学习装置，特别是涉及能够通过机器学习来预测状态量的变化对加工结果产生的影响的控制装置和机器学习装置。

背景技术：

往往使用加工机械(切削加工机等机床、注塑成型机、进行精加工的机器人等)，对同种工件反复进行加工。此时，即便加工条件相同，被加工的工件的形状也因除加工条件以外的状态量(周边温度、电动机电流值、电动机的负载、声音、光等)的变化而变化。例如，往往加工机械因周边温度的变化、电动机的发热而产生热膨胀，对加工精度产生影响。这样的影响的结果，也往往无法实现被要求的尺寸，产生加工不良。于是，不但材料等产生浪费，还额外需要返工用的作业工时。

在日本专利第2566345号中记载了如下方法：预先将与在加工时产生的热量、应力对加工精度产生的影响相关的理论知识保持于数据库，将在加工中途由传感器检测出的状态量与数据库进行参照，预测加工结束后的工件的形状。另外，也公开了通过对被预测出的加工形状与目标形状进行比较，由此修正来自数值控制装置的指令的方法。

另外，在日本特开2008－027210号公报中记载了如下方法：预先定义对加工精度产生影响的外部干扰，若检测出超过被设定的阈值的外部干扰，则中断加工。由此，能够在制造出废品前中断加工，能够防止材料和工时的浪费。

然而，在日本专利第2566345号所记载的方法中，需要预先准备具有理论知识的数据库。特别是，在实际的加工中，多个状态量复杂地产生影响，因此难以将状态量与加工结果之间的关系理论上定型化。另外，在日本专利第2566345号所记载的方法中，通过对nc的指令值进行补正，来修正因状态量的变化而产生的偏差，由于并非解决根本上的偏差的原因，所以仍然存在产生相同的偏差的可能性。

另外，在日本特开2008－027210号公报所记载的方法中，需要预先设定阈值。因设定而可能招致如下不适当的动作，例如：尽管不是对加工结果的合格与否产生影响的程度的外部干扰，但仍使加工中断等，反而使工时增加。

技术实现要素：

本发明是为了解决这样的问题点而完成的，目的在于提供一种能够通过机器学习预测状态量的变化对加工结果产生的影响的控制装置和机器学习装置。

本发明的一个实施方式的控制装置预测加工机械对工件进行加工的结果，该控制装置具备学习表示加工状态的状态量的变化与加工结果之间的关系的机器学习装置，上述机器学习装置具备：状态观测部，其将包含上述加工机械的状态和周边环境的状态中的至少任一方的上述状态量的时间序列数据作为表示环境的当前状态的状态变量进行观测；判定数据取得部，其取得表示上述加工结果的判定数据；及学习部，其使用上述状态变量与上述判定数据，将表示加工状态的状态量的变化与加工结果关联起来进行学习。

对于本发明的一个实施方式的控制装置而言，上述判定数据包含被加工出的上述工件的检查结果。

对于本发明的一个实施方式的控制装置而言，上述学习部通过多层构造运算上述状态变量与上述判定数据。

对于本发明的一个实施方式的控制装置而言，还具备判定输出部，该判定输出部基于上述学习部的学习结果，预测与上述工件的加工中的上述状态量对应的上述加工结果，在预测上述加工结果成为不良的情况下，输出促使加工中断的通知。

对于本发明的一个实施方式的控制装置而言，上述判定输出部除了上述通知之外，或者代替上述通知，输出用于避免加工不良的对策。

对于本发明的一个实施方式的控制装置而言，上述学习部使用针对多个上述加工机械的每一个而得的上述状态变量和上述判定数据，学习表示上述加工机械的加工状态的状态量的变化与加工结果之间的关系。

对于本发明的一个实施方式的控制装置而言，上述机器学习装置配置在云计算、雾计算、边缘计算环境内。

本发明的一个实施方式的机器学习装置学习表示加工机械对工件进行加工的加工状态的状态量的变化与加工结果之间的关系，上述机器学习装置具备：状态观测部，其将包含上述加工机械的状态和周边环境的状态中的至少任一方的上述状态量的时间序列数据作为表示环境的当前状态的状态变量进行观测；判定数据取得部，其取得表示上述加工结果的判定数据；及学习部，其使用上述状态变量与上述判定数据，将表示加工状态的状态量的变化与加工结果关联起来进行学习。

根据本发明，能够提供能够通过机器学习来预测状态量的变化对加工结果产生的影响的控制装置和机器学习装置。

附图说明

本发明的上述及其他的目的和特征，能够通过参照附图的以下的实施例的说明而明确。其中：

图1是表示控制装置的结构的框图。

图2是表示控制装置的结构的框图。

图3是表示控制装置的结构的框图。

图4a是对神经元进行说明的图。

图4b是对神经网络进行说明的图。

图5是表示控制装置的结构的框图。

图6是表示控制系统的结构的框图。

图7是表示控制装置的动作的流程图。

图8是表示控制装置的结构的流程图。

具体实施方式

使用附图对本发明的实施方式进行说明。

本发明的实施方式的控制装置100是信息处理装置，收集工件的加工中的状态量的变化与加工结果，进行通过机器学习使两者之间的关系模型化的处理(学习过程)。另外，使用在学习过程中制作的模型，进行观测工件的加工中的状态量的变化来预测加工结果的处理(预测过程)。控制装置100也可以是控制加工机械(例如，包括切削加工机等机床、注塑成型机、进行精加工的机器人等用于加工工件的所有的机械)的装置(数值控制装置、机器人控制装置等)。或者，也可以是与加工机械的控制装置独立的信息处理装置。

图1是表示控制装置100的主要部分的概要性的硬件结构图。cpu11是在整体上控制控制装置100的处理器。cpu11经由总线20读出储存于rom12的系统、程序，根据该系统、程序来控制控制装置100整体。在ram13临时储存有临时的计算数据、显示数据和从外部被输入的各种数据等。

非易失性存储器14构成为例如通过由未图示的电池支持等，即使切断控制装置100的电源也保持存储状态的存储器。存储经由未图示的接口而输入的各种程序、数据。存储于非易失性存储器14的程序、数据也可以在执行时/利用时在ram13中展开。另外，在rom12预先写入各种系统、程序。

状态量测定装置60以规定的时间间隔计测、输出加工中的各种状态量。状态量是指表示加工状态的信息，包含加工机械的周边环境的信息与加工机械的状态。状态量例如是，加工中的周边温度、加工机械的温度、倍率量、电动机电流值、电动机的负载、输入电源的电压或者电流、在加工时产生的声音、光、振动等的测定值。状态量测定装置60例如能够通过温度传感器或热成像仪、话筒、光传感器或拍摄装置、加速度传感器等，取得周边温度、声音、光、振动的测定值。另外，状态量测定装置60能够从加工机械的控制装置取得表示电动机电流值、电动机的负载、输入电源的电压或者电流等的值。状态量测定装置60能够同时取得多种状态量s1、s2、s3···。控制装置100经由接口18从状态量测定装置60接收状态量，并将该状态量交至cpu11。

加工结果输入装置70生成加工完毕工件的加工结果的评价值。加工结果输入装置70例如是检查装置，计测加工完毕工件的各个位置的尺寸，与所要求的尺寸进行比较，将合格与否判定的结果作为加工结果进行输出。或者，加工结果输入装置70也可以是输入装置，直接或者经由外存储器等接受熟练的检查人员等检查加工完毕工件而得的合格与否判定结果的输入，并且作为加工结果进行输出。控制装置100经由接口19从加工结果输入装置70接收加工结果，并将该加工结果交至cpu11。

接口21是用于连接控制装置100与机器学习装置300的接口。机器学习装置300具备：统治机器学习装置300整体的处理器301、存储了系统、程序等的rom302、用于进行机器学习的各处理的临时存储的ram303和使用于学习模型等的存储的非易失性存储器304。机器学习装置300能够观测能够由控制装置100经由接口21取得的各信息(状态量、加工结果等)。

图2是控制装置100与机器学习装置300的概略性的功能框图。机器学习装置300包含用于通过所谓的机器学习而对状态量的变化与加工结果的相关关系进行自主学习的软件(学习算法等)和硬件(处理器301等)。控制装置100具备的机器学习装置300进行学习，相当于表示状态量的变化与加工结果的相关性的模型构造。

如图2中由功能模块表示的那样，控制装置100具备的机器学习装置300具备：状态观测部306，其将状态量的时间序列数据作为表示环境的当前状态的状态变量s进行观测；判定数据取得部308，其将加工结果作为判定数据d进行取得；学习部310，其使用状态变量s与判定数据d，将状态量的变化与加工结果关联起来进行学习。

状态观测部306例如能够构成为处理器301的一个功能。或者，状态观测部306例如能够构成为用于使处理器301发挥功能的存储于rom302的软件。状态观测部306观测的状态变量s、即状态量的时间序列数据能够取得状态量测定装置60输出的值。状态量测定装置60从以规定的取样周期取得的状态量的时间序列数据，提取在规定的时间段内取得的1个以上的状态量的时间序列数据，作为状态变量s，输出至状态观测部306。例如状态量测定装置60将数据集(矢量)作为状态变量s进行输出，该数据集通过对加工开始至n分钟内取得的状态量的取样数据在时间序列上进行整序而成。另外，在状态量测定装置60取得多个状态量s1、s2、s3···的情况下，将这些多个状态量的时间序列数据的集合作为状态变量s进行输出。

判定数据取得部308例如能够构成为处理器301的一个功能。或者，判定数据取得部308例如能够构成为用于使处理器301发挥功能的存储于rom302的软件。判定数据取得部308观测的判定数据d、即加工结果能够取得加工结果输入装置70输出的值。

学习部310例如能够构成为处理器301的一个功能。或者，学习部310例如能够构成为用于使处理器301发挥功能的存储于rom302的软件。学习部310根据总称为机器学习的任意的学习算法，学习状态量的变化与加工结果的相关关系。学习部310能够反复执行基于包含上述的状态变量s与判定数据d的数据集合的学习。

通过反复这样的学习循环，学习部310能够自动地识别示意状态量的变化与加工结果的相关性的特征。在学习算法的开始时，状态量的变化与加工结果的相关性实际上是未知的，但学习部310伴随着学习进展，逐渐识别特征，解释相关性。状态量的变化与加工结果的相关性若被解释到某一程度能够信赖的水准，则学习部310反复输出的学习结果能够使用于进行加工结果相对于当前状态(状态量的变化)应该成为怎样的结果的推定。换句话说，学习部310伴随着学习算法的进行，能够使状态量的变化与加工结果的相关性逐渐接近最佳解。

如上所述，控制装置100具备的机器学习装置300使用状态观测部306观测到的状态变量s与判定数据取得部308取得的判定数据d，使学习部310根据机器学习算法，学习加工结果。状态变量s由不易受外部干扰的影响的数据构成，另外，判定数据d能够单值地求得。因此，根据控制装置100具备的机器学习装置300，能够使用学习部310的学习结果，自动并且正确地求得与状态量的变化对应的加工结果，而不进行运算、估算。

在具有上述结构的机器学习装置300中，学习部310执行的学习算法不被特别地限定，作为机器学习，能够采用公知的学习算法。图3表示图2所示的控制装置100的一个方式，表示作为学习算法的一个例子而具备执行监督学习的学习部310的结构。监督学习是，预先被大量给予输入和与其对应的输出的已知的数据集(称为监督数据)，根据这些监督数据，识别示意输入与输出的相关性的特征，由此对用于推断相对于新的输入的所需的输出(相对于状态量的变化的加工结果)的相关性模型进行学习的的方法。

在图3所示的控制装置100具备的机器学习装置300中，学习部310具备：误差计算部311，其计算从状态变量s导入加工结果的相关性模型m与从预先准备的监督数据t识别的相关性特征之间的误差e；和模型更新部312，其以误差e变小的方式更新相关性模型m。学习部310通过模型更新部312反复进行相关性模型m的更新，从而学习状态量的变化与加工结果的相关关系。

相关性模型m能够由回归分析、强化学习、深层学习等构建。相关性模型m的初始值例如，作为将状态变量s与形状数据的相关性简化而表现的值，在监督学习的开始前被提供给学习部310。监督数据t例如，能够由通过记录过去的状态量的变化与加工结果的对应关系而被积蓄的经验值(状态量的变化与加工结果的已知的数据集)构成，在监督学习的开始前被提供给学习部310。误差计算部311根据被提供给学习部310的大量的监督数据t来识别示意状态量的变化与加工结果之间的相关性的相关性特征，求得该相关性特征和与当前状态下的状态变量s对应的相关性模型m的之间的误差e。模型更新部312例如根据预先决定的更新规则，向误差e变小的方向更新相关性模型m。

在下一学习循环中，误差计算部311使用根据更新后的相关性模型m执行工件的加工行程和检查行程而得的状态变量s和判定数据d，针对与这些状态变量s和判定数据d对应的相关性模型m求得误差e，模型更新部312再次更新相关性模型m。这样，未知的环境的当前状态(状态量的变化)和与其对应的状态(加工结果)的相关性逐渐明朗。换句话说，通过相关性模型m的更新，状态量的变化与加工结果之间的关系逐渐接近最佳解。

在进行上述的监督学习时，例如能够使用神经网络。图4a示意性地表示神经元的模型。图4b示意性地表示组合图4a所示的神经元而构成的三层的神经网络的模型。神经网络例如，能够由模仿了神经元的模型的运算装置、存储装置等构成。

图4a所示的神经元用于输出相对于多个输入x(这里，作为一个例子，输入x1～输入x3)的结果yk。各输入x1～x3被施加与该输入x对应的权重w(w1～w3)。由此，神经元输出由接下来的数式1表现的输出y。此外，在数式1中，输入x、输出y和权重w全部为矢量。另外，θ为偏置，fk为激活函数。

【数式1】

图4b所示的三层的神经网络从左侧输入多个输入x(这里，作为一个例子，为输入x1～输入x3)，从右侧输出结果y(这里，作为一个例子，为结果y1～结果y3)。在图示的例子中，向输入x1、x2、x3分别乘以对应的权重(由矢量w1表示)，各个输入x1、x2、x3均被输入三个神经元n11、n12、n13。

在图4b中，由矢量z1表示神经元n11～n13的各自的输出。z1能够看成是提取了输入矢量的特征量的特征矢量。在图示的例子中，向特征矢量z1分别乘以对应的权重(由矢量w2表示)，各个特征矢量z1均被输入两个神经元n21、n22。特征矢量z1表示权重w1与权重w2之间的特征。

在图4b中，由矢量z2表示神经元n21～n22的各自的输出。z2能够看成是提取了特征矢量z1的特征量的特征矢量。在图示的例子中，向特征矢量z2分别乘以对应的权重(由矢量w3表示)，各个特征矢量z2均被输入三个神经元n31、n32、n33。特征矢量z2表示权重w2与权重w3之间的特征。最后，神经元n31～n33分别输出结果y1～y3。

在控制装置100具备的机器学习装置300中，将状态变量s作为输入x，学习部310进行根据上述的神经网络的多层构造的运算，由此能够将加工结果作为推断值(结果y)进行输出。此外，在神经网络的动作模式中，存在学习模式与判定模式，例如在学习模式下，使用学习数据集来学习权重w，能够使用学习出的权重w在判定模式下进行形状数据的判定。此外，在判定模式下，也能够进行检测、分类、推理等。

上述的控制装置100和机器学习装置300的结构能够作为cpu11或者处理器301执行的机器学习方法(或者软件)进行叙述。该机器学习方法是学习与状态量的变化对应的加工结果的机器学习方法，具有：cpu11或者处理器301将状态量的变化作为表示环境的当前状态的状态变量s进行观测的步骤、将加工结果作为判定数据d进行取得的步骤、和使用状态变量s与判定数据d，将状态量的变化与加工结果关联起来进行学习的步骤。

根据本实施方式，机器学习装置300生成表示状态量的变化与加工结果之间的相关性的模型。由此，若一旦制作学习模型，则即便在加工中途，也能够基于能够在该时刻之前取得的状态量的变化，预测加工结果。

图5表示第2实施方式的控制装置100。控制装置100具备机器学习装置300和数据取得部330。数据取得部330从状态量测定装置60或加工结果输入装置70取得状态量的时间序列数据和加工结果。

控制装置100具有的机器学习装置300除了第1实施方式的机器学习装置300具备的结构之外，还包含判定输出部320，其判定输出部320将学习部310基于状态量的变化而推定出的加工结果输出为文字、图像、声音或者语音等、或任意的形式的数据。

判定输出部320例如能够构成为处理器301的一个功能。或者，判定输出部320例如能够构成为用于使处理器301发挥功能的软件。判定输出部320将学习部310基于状态量的变化而推定出的加工结果作为文字、图像、声音或者语音等、或任意的形式的数据输出至外部。例如，判定输出部320在加工结果被推定为不合格的情况下，向用户输出促使加工中断的通知。或者，也可以仅进行预测出不合格的主旨的通知。

具有上述结构的控制装置100所具备的机器学习装置300起到与上述的机器学习装置300同等的效果。特别是，第2实施方式的机器学习装置300能够根据判定输出部320的输出使环境的状态变化。另一方面，在第1实施方式的机器学习装置300中，能够在外部装置中求得与用于使学习部110的学习结果反映于环境的判定输出部320相当的功能。

图6表示具备了多个加工机械的控制系统200。控制系统200具备：控制装置100、具有相同的机械结构的多个加工机械、和将各加工机械与控制装置100相互连接的网络201。加工机械可以分别独立地具备控制装置，多个加工机械也可以共享一个控制装置(例如控制装置100)。

具有上述结构的控制系统200能够使控制装置100基于针对多个加工机械的每一个而得的状态变量s和判定数据d，学习在全部的加工机械中共用的状态量的变化与加工结果的相关性。

控制系统200能够使控制装置100具有存在于网络201所准备的云服务器等的结构。或者也可以在雾计算、边缘计算环境等中配置控制装置100。根据该结构，能够与多个加工机械分别存在的场所、时期无关地，在必要时将所需的个数的加工机械连接于控制装置100。

＜实施例1＞

作为实施例1，对控制装置100生成状态量的变化与加工结果的相关关系的学习模型(学习过程)，使用该学习模型在加工中途中预测加工结果(预测过程)的处理进行说明。

使用图7的流程图，对控制装置100的学习过程中的动作进行说明。

s1：加工机械开始工件的加工。控制装置100与加工开始同时，在规定的取样周期内开始状态量的测定。控制装置100在预先设定的时机内，经过规定的时间内，取得并存储状态量。

s2：测定机检查加工完毕工件。控制装置100从测定机取得、存储加工结果。

s3：控制装置100将在步骤s1中取得的状态量的时间序列数据作为状态变量s，将在步骤s2中取得的加工结果作为判定数据d，输入机器学习装置300，制作表示状态变量s与判定数据d的相关关系的学习模型。

控制装置100反复步骤s1～s3的处理，直至能够获得为了获得所希望的精度的学习模型所需的充分个数的状态变量s与判定数据d。此外，在该学习过程中，每加工一个工件，实施1次学习循环(步骤s1～s3的处理)。

接着，使用图8的流程图，对控制装置100的预测过程中的动作进行说明。

s11：加工机械开始工件的加工。此外，若加工结束，则预测过程的处理也结束。

s12：控制装置100与加工开始同时地在规定的取样循环内开始状态量的测定。控制装置100在预先设定的时机内，经过规定的时间，取得并存储状态量。

s13：控制装置100将在步骤s12中取得的状态量的时间序列数据作为状态变量s输入机器学习装置300。机器学习装置300将状态变量s输入学习完毕模型，将与状态变量s对应的判定数据d作为预测值进行输出。

s14：在预测值为合格的情况下，返回步骤s11，继续加工。在预测值不合格的情况下，移至步骤s15。

s15：控制装置100向用户输出促使加工中断的通知。

s16：在加工已被中断的情况下，结束处理。在继续进行加工的情况下，返回步骤s11，继续处理。

在实施例1中，控制装置100的机器学习装置300生成学习了加工开始后经过恒定时间的状态量的变化与加工结果的相关关系的学习模型。使用该学习模型，由此，控制装置100能够基于直至加工中途的状态量的变化，预测加工结果，将预测结果通知给用户。

＜实施例2＞

作为实施例2，控制装置100表示在预测出加工结果为不合格的情况下，在促使中断加工的基础上或者代替该动作，为了避免加工不良而提示适当的对策的结构。为了简化说明，仅提及与实施例1的不同点。

在图7的流程图的步骤s1中，控制装置100设置多个状态量的取得时间。例如，分别取得加工开始1分钟、5分钟、10分钟的状态量的时间序列数据。

在步骤s3中，控制装置100将在步骤s1中取得的多个时间序列数据分别与判定数据d形成集合并输入到机器学习装置300。即，将加工开始1分钟的状态量的时间序列数据设为状态变量s，将加工开始5分钟的状态量的时间序列数据设为状态变量s，将加工开始10分钟的状态量的时间序列数据设为状态变量s，将3种学习用数据集机器提供给学习装置300。

即使在图8的流程图的步骤s12中，也与步骤s1相同，设置多个状态量的取得时间。例如控制装置100分别取得加工开始1分钟、5分钟、10分钟的状态量的时间序列数据。

在步骤s13中，控制装置100将在步骤s12中取得的多个时间序列数据分别输入机器学习装置300。即，将加工开始1分钟的状态量的时间序列数据设为状态变量s，将加工开始5分钟的状态量的时间序列数据设为状态变量s，将加工开始10分钟的状态量的时间序列数据设为状态变量s，将3种推断用数据集机器提供给学习装置300。

在步骤s14和步骤s15中，控制装置100针对全部的推定用数据集，在预测结果为不合格的情况下，促使用户中断加工。另一方面，当通过某推断用数据集，预测结果为不合格，但通过其他的推断用数据集，预测结果为合格的情况下，控制装置100将预测结果为合格的推断用数据集的状态量的动作提示给用户。

例如，将加工开始1分钟的状态量的时间序列数据作为状态变量s的情况下的预测结果为不合格(作为方案a)，但将加工开始5分钟的状态量的时间序列数据作为状态变量s的情况下的预测结果为合格(作为方案a’)。这示出了若在方案a的状态下继续加工则成为加工不良的可能性较高，但例外如方案a’那样若状态量推移则加工结果转为良好的可能性也较高。因此，本实施例的控制装置100将方案a’的状态量的推移的特征作为用于避免加工不良的对策提示给用户。例如，能够显示表示状态量的时间的变化的图表、显示方案a’的状态量的统计量(平均值、中央值、最大值、最小值等)。此时，当在方案a’的状态变量s包含有多个状态量s1、s2、s3···的情况下，也可以确定其中支配性的状态量sx，仅将状态量sx的推移的特征提示给用户。此外，支配性的状态量的提取能够通过公知技术实现，因此这里省略详细的说明。

以上，对本发明的实施方式进行了说明，但本发明不只限定于上述的实施方式的例子，能够施加适当的变更，由此以各种方式实施。

例如，在上述的实施方式中，控制装置100使用在对同种工件连续地进行加工时而得的状态量和检查结果进行了学习。这里同种工件，也可以不必是相同形状的工件。例如丝锥直径不同等类似形状的工件也可以为学习对象。此外，虽为相同或者类似的形状但材料不同的工件、形状本身差异较大的工件等不是同种工件，但在该情况下，能够将用于识别材料、形状的变量等作为状态变量s之一进行输入。由此，针对材料、形状不同的工件，也能够在一系列的学习过程中，利用一个模型进行学习。

以上，对本发明的实施方式进行了说明，但本发明不限定于上述的实施方式的例子，能够通过施加适当的变更，以其他方式进行实施。