机械学习方法及机械学习装置、以及故障预知装置及系统与流程

本发明涉及一种学习故障条件的机械学习方法及机械学习装置、以及具备该机械学习装置的故障预知装置及故障预知系统。

背景技术：

在工业机械中，为了提高成品率或防止发生严重的事故，有时要求事先检测结构部件的异常。例如，已知将传感器的输出值与预先决定的阈值进行比较，根据其结果检测异常的方法。在这里，“工业机械”不仅是指工业用机器人或通过计算机数值控制(CNC：Computer Numerical Control)装置进行控制的机械，还意味着包含服务用机器人或各种各样的机械装置的机械。

在日本特开昭63-123105号公报中公开了将正常状态的机器人的标准动作模式与动作中的机器人的动作模式进行比较来预知机器人故障的故障预知诊断方法。

在日本特开平10-039908号公报中公开了将基于驱动轴的实际的动作状态的负载侧功率与基于对驱动轴的动作指令的驱动侧功率之间的差与判定值进行比较，由此来评价机器人结构部有无恶化以及恶化等级的故障预知方法。

然而，随着工业机械的复杂化或升级，造成故障的原因也复杂化。因此，按照一定的标准执行的现有的故障预知方法无法适用于实际状况，或缺乏正确性。因此，寻求根据状况能够进行正确的故障预知的故障预知装置。

技术实现要素：

根据本申请的第一发明，提供了一种机械学习装置，其学习与工业机械的故障相关联的条件，其具备：状态观测部，其在所述工业机械动作中或静止中观测状态变量，该状态变量包含检测所述工业机械或周围环境的状态的传感器的输出数据、控制所述工业机械的控制软件的内部数据、以及基于所述输出数据或所述内部数据得到的计算数据中的至少一个；判定数据取得部，其取得判定了所述工业机械有无故障或故障程度的判定数据；学习部，其按照基于所述状态变量以及所述判定数据的组合生成的训练数据组，学习与所述工业机械的故障相关联的条件。

根据本申请的第二发明，在第一发明的机械学习装置中，所述学习部构成为按照针对多个工业机械生成的所述训练数据组来学习所述条件。

根据本申请的第三发明，在第一发明或第二发明的机械学习装置中，所述学习部构成为只在某个固定期间学习正常状态，之后基于所述判定数据取得部检测故障发生。

本申请的第四发明是在第一发明至第三发明中的任意一个发明的机械学习装置中，所述学习部构成为在所述判定数据取得部取得了表示所述工业机械的故障的判定数据时，对应于从故障发生时开始追溯到取得所述判定数据时的时间长度，对所述训练数据组中包含的所述判定数据进行加权来更新所述条件。

根据本申请的第五发明，提供了一种故障预知装置，其具备第一发明至第四发明中的任意一发明的机械学习装置，预知所述工业机械故障，该故障预知装置还具备故障信息输出部，其基于所述学习部按照所述训练数据组进行学习的结果，对当前的所述状态变量的输入进行响应来输出表示所述工业机械有无故障或故障程度的故障信息。

根据本申请的第六发明，在第五发明的故障预知装置中，所述学习部构成为按照基于所述当前的状态变量以及所述判定数据的组合生成的追加的训练数据组来再次学习所述条件。

根据本申请的第七发明，在第五发明或第六发明的故障预知装置中，构成为所述机械学习装置经由网络与所述工业机械连接，所述状态观测部经由所述网络来取得所述当前的状态变量。

根据本申请的第八发明，在第七发明的故障预知装置中，所述机械学习装置存在于云服务器上。

根据本申请的第九发明，在第五发明至第八发明中的任意一发明的故障预知装置中，将所述机械学习装置内置在控制所述工业机械的控制装置中。

根据本申请的第十发明，在第五发明至第九发明中的任意一发明的故障预知装置中，由多个所述工业机械共享所述机械学习装置的学习结果。

根据本申请的第十一发明，提供了一种故障预知系统，其具备：第五发明至第十发明中的任意一发明的故障预知装置；输出所述输出数据的传感器；向操作者通知所述故障信息的故障信息通知部。

根据本申请的第十二发明，在第十一发明的故障预知系统中，通过所述故障信息通知部向操作者通知所述故障信息的时期满足从故障发生的时期开始进行追溯在通过第一预定期间决定的时期之前，以及从故障发生的时期开始进行追溯在通过第二预定期间决定的期间之后中的至少一方。

根据本申请的第十三发明，提供了一种机械学习方法，其学习与工业机械的故障相关联的条件，其在所述工业机械动作中或静止中观测状态变量，该状态变量包含检测所述工业机械或周围环境的状态的传感器的输出数据、控制所述工业机械的控制软件的内部数据、以及基于所述输出数据或所述内部数据得到的计算数据中的至少一个，取得判定了所述工业机械有无故障或故障程度的判定数据，按照基于所述状态变量以及所述判定数据的组合生成的训练数据组，学习与所述工业机械的故障相关联的条件。

附图说明

通过参照以下的附图，会更明确地理解本发明。

图1是表示一个实施方式的故障预知系统的一个例子的框图。

图2是表示机械学习装置的学习过程的流程的一个例子的流程图。

图3表示神经网络的结构例子。

图4是用于说明无教师的学习方法的学习期间的一个例子。

图5是用于说明循环型神经网络的一个例子。

图6是表示其他的实施方式的故障预知系统的一个例子的框图。

图7用于说明实施方式的故障预知系统的表示故障程度的指标值的例子(其1)。

图8用于说明实施方式的故障预知系统的表示故障程度的指标值的例子(其2)。

图9是表示利用了学习结果的故障预知的流程的一个例子的流程图。

具体实施方式

以下，参照附图来说明本发明的机械学习方法及机械学习装置，以及具备该机械学习装置的故障预知装置及故障预知系统的实施方式。然而，希望理解本发明并不限于附图或以下说明的实施方式。为了帮助理解本发明，对于图示的实施方式的结构要素，适当变更了比例尺。另外，对于相同或对应的结构要素使用相同的参照符号。

图1是表示一实施方式的故障预知系统的一个例子的框图。故障预知系统1能够使用具有机械学习功能的机械学习装置5来学习与工业机械的故障相关联的条件(以下称为“故障条件”)。另外，故障预知系统1能够基于机械学习装置5进行学习的结果来生成与工业机械及其周围环境的状态对应的故障信息。

在本说明书中，“工业机械”意味着包含工业用机器人、服务用机器人以及由计算机数值控制(CNC)装置控制的机械在内的各种各样的机械。另外，在本说明书中，“工业机械的故障”包含工业机械的结构部件的故障。即，“工业机械的故障”并不限于无法执行意图的工业机械功能的状态，例如，还包含无法暂时或恒久地再现正常时的动作这样的状态。

通过故障预知系统1生成的“故障信息”包含表示工业机械有无故障的信号或表示“故障的程度”的信息。“故障信息”也可以包含表示工业机械为正常状态的信息。“故障的程度”意味着故障的严重性。“故障的程度”也可以限制最大值或最小值中的任意一方。“故障的程度”可以是连续量也可以是离散量。操作者能够根据“故障的程度”判断是应该直接进行对象的结构部件的更换或修理、或是应该在下次的维护作业时进行对象的结构部件的更换或修理。

在以下的说明中，说明为了预知机器人2的故障所使用的故障预知系统1。然而，本领域的人员应该认识到对于其他任意的工业机械也能够同样地应用本发明。

图1所示的机器人2是通过电动机驱动各个关节的六轴垂直多关节机器人。机器人2通过公知的通信单元与机器人控制装置3相连接。机器人控制装置3按照控制程序生成针对机器人2的指令。

机器人控制装置3是具备CPU、ROM、RAM、非易失性存储器以及与外部装置相连接的接口的数字计算机。机器人控制装置3如图1所示，具备故障判定部31。

故障判定部31利用公知的故障诊断方法来判定机器人2的故障。故障判定部31与通过故障预知系统1生成的故障信息相独立，判定机器人2有无故障或故障的程度。例如，在通过扭矩传感器检测的干扰扭矩、或传感器的输出数据的振动的振幅超过预先决定的阈值时，故障判定部31判定为发生了故障。或者，故障判定部31也可以基于在机器人控制装置3中存储的控制软件的内部数据来判定机器人2发生了故障。如此，故障判定部31判定基于各种原因的故障。向后述的机械学习装置5的判定数据取得部51输入故障判定部31的判定结果。

在其他的实施方式中，机械学习装置5也可以构成为对发现或已得知机器人2的故障的操作者的输入操作进行响应，向判定数据取得部51输入故障信息。

故障预知系统1还具备检测机器人2或周围环境的状态的传感器11。传感器11可以包含力传感器、扭矩传感器、振动传感器、集音传感器、拍摄传感器、距离传感器、温度传感器、湿度传感器、流量传感器、光量传感器、pH传感器、压力传感器、粘度传感器以及气味传感器中的至少一个。把从传感器11输出的数据(以下简称为“输出数据”)输入到机械学习装置5的状态观测部52。

机械学习装置5学习机器人2的故障条件。在一实施方式中，机械学习装置5也可以是与经由网络与机器人2连接的机器人控制装置3不同的数字计算机。

在其他的实施方式中，机械学习装置5也可内置在机器人控制装置3中。此时，机械学习装置5利用机器人控制装置3的处理机来执行机械学习。另外在其他的实施方式中，机械学习装置5也可以存在于云服务器上。

如图1所示，机械学习装置5具备判定数据取得部51、状态观测部52、学习部53。

判定数据取得部51从故障判定部31取得判定数据。将判定数据从判定数据取得部51输入到学习部53，该判定数据在机械学习装置5学习故障条件时使用。判定数据是判定了有无故障或故障程度的数据。判定数据也可以不包含表示有故障的情况、即表示机器人2处于异常状态的数据。

状态观测部52在机器人2动作中或静止中观测作为机械学习的输入值的状态变量。在机械学习装置5经由网络与机器人2以及传感器11相连接的实施方式中，状态观测部52经由网络取得状态变量。

状态变量可以包含传感器11的输出数据。状态变量也可以包含控制机器人2的控制软件的内部数据。内部数据可以包含扭矩、位置、速度、加速度、加加速度、电流、电压以及推定干扰值中的至少任意一个。推定干扰值例如是基于扭矩指令以及速度反馈通过观测器推定的干扰值。

状态变量也可以包含基于输出数据或内部数据得到的计算数据。可以利用频率解析、时间频率解析以及自我相关解析中的至少一个来取得计算数据。当然，也可以利用更简单的计算，例如系数乘法运算或微分积分运算来取得计算数据。

学习部53按照基于从状态观测部52输出的状态变量、以及从判定数据取得部51输出的判定数据的组合而生成的训练数据组，来学习故障条件。训练数据组是将状态变量以及判定数据相互关联起来的数据。

参数图2对机械学习装置5中的学习过程的一个例子进行说明。当开始学习时，在步骤S201中，状态观测部52取得包含输出数据、内部数据或计算数据等的状态变量。在步骤S202中，判定数据取得部51基于故障判定部31的判定结果来取得判定数据。

在步骤S203中，学习部53按照训练数据组来学习故障条件，训练数据组基于在步骤S201取得的状态变量与在步骤S202取得的判定数据的组合而生成。在机械学习装置5充分学习故障条件之前重复执行步骤S201～S203的处理。

在一个实施方式中，机械学习装置5的学习部53也可以按照神经网络模型来学习故障条件。图3表示神经网络模型的例子。神经网络由包含l个神经元x₁、x₂、x₃、…、x_l的输入层、包含m个神经元y₁、y₂、y₃、…、y_m的中间层()、包含n个神经元z₁、z₂、z₃、…、z_n的输出层构成。此外，在图3中，只表示了一层的中间层，但是也可以设置两层以上的中间层。此外，机械学习装置5(神经网络)可以使用通用的计算机或处理器，但是在使用GPGPU(General-Purpose computing on Graphics Processing Units通用计算图形处理单元)或大规模PC集群等时，能够更高速地进行处理。

神经网络学习与机器人2的故障相关联的故障条件。神经网络按照训练数据组，通过所谓的有教师学习来学习状态变量与故障发生之间的关系性，即故障条件，其中，训练数据组是基于状态观测部52观测到的状态变量以及判定数据取得部51取得的判定数据的组合而生成的。有教师学习是指通过向学习装置大量地提供某个输入和结果(标签)的数据组，从而能够学习在这些数据组中具有的特征，归纳性地获得根据输入推定结果的模型，即其关系性。

或者，神经网络还能够只积蓄无故障的状态，即机器人2正在正常进行动作时的状态变量，通过所谓的无教师学习来学习故障条件。例如，无教师学习的方法在机器人2的故障频率极低时是有效的。无教师学习是指以下的方法：通过只将输入数据大量地提供给学习装置，来学习输入数据进行了怎样的分布，即使不提供对应的教师输出数据，也会学习针对输入数据进行压缩/分类/整形等处理的装置。能够将这些数据组中具有的特征以彼此相似的方式进行类聚。使用该结果，设置某种基准来进行使其最优的输出分配，由此能够实现输出的预测。另外，作为无教师学习和有教师学习的中间的问题设定，还有被称为半教师学习的学习，只存在一部分的输入和输出的数据的组合，除此之外只是输入的数据的情况相当于该半教师学习。

图4用于说明无教师的学习方法的学习期间的一个例子。在这里，横轴表示时间(时间的经过)，纵轴表示故障的程度。如图4所示，上述的无教师的学习方法将以机器人2刚出厂后或刚进行维护后等为起点的某个固定期间，例如将数周时间设为学习期间，只在此时更新状态变量，并定义为正常状态。然后，此后不进行状态变量的更新，根据从神经网络输出的输出结果基于与正常模型的距离来输出“故障的程度”从而仅进行异常判定，由此能够实现异常检测。

另外，在本实施方式中，例如，因为将时间上具有相关性的时间序列数据进行模型化，因此使用被称为循环型的神经网络也是有效的。循环神经网络(RNN：Recurrent Neural Network)并非仅使用当前时刻的状态来形成学习模型，也使用到此为止的时刻的内部状态。针对循环神经网络，通过将时间轴的网络展开来进行考虑，能够与一般的神经网络同样地进行处理。在此，循环神经网络也具有多种，作为一个例子说明简单递归网络(Elman网络)。

图5用于说明循环型神经网络的一个例子。图5(a)表示Elman网络的时间轴展开，图5(b)表示误差反向传播算法(反向传播算法：Backpropagation)的沿时间反向传播(BPTT：Back Propagation Through Time)。在这里，如果是图5(a)所示的Elman网络的结构，则能够应用反向传播算法。

但是，在Elman网络中，与通常的神经网络不同，如图5(b)所示，误差以追溯时间的方式传播，将这样的反向传播算法称为沿时间反向传播(BPTT)。通过应用这样的神经网络结构，能够推定出考虑了到目前为止的输入的迁移的输出模型，例如，能够将该推定的输出值是否为某个异常值用作与故障发生具有关系。

在进行后述的故障预知时，对向神经网络的输入层输入的状态变量进行响应，输出层输出表示有无与上述的故障信息对应的故障的信息或“故障的程度”。此外，“故障的程度”的可取值可以是将最大值和最小值中的任意一个进行了限制的值，或者是连续量或离散量。

通过上述实施方式的机械学习装置以及机械学习方法，与基于从判定数据取得部51输出的判定数据的故障条件相比，能够学习与实际的使用状况对应的正确的故障条件。由此，即使在造成故障的原因复杂，难以预先设定故障条件的情况下，也能够实现高精度的故障预知。

在一实施方式中，在判定数据取得部51取得了表示机器人2的故障的判定数据时，学习部53可以根据从故障发生时开始追溯到取得各个判定数据时的时间长度，分别对判定数据进行加权来更新故障条件。在此，取得判定数据后到实际发生故障为止的时间越短，则推定越接近直接关系到故障发生的状态。因此，如果根据从取得训练数据组开始的经过时间对判定数据进行加权，能够有效地学习故障条件。

在一实施方式中，学习部53可以按照针对多个机器人2生成的训练数据组来学习故障条件。学习部53可以从在同一现场使用的多个机器人2取得训练数据组，或者可以使用从在不同的现场独立进行运转的多个机器人2收集的训练数据组来学习故障条件。另外，也可以在途中在对象中追加收集训练数据组的机器人2或者反之从对象中进行删除。

接着，作为共享(共用)多个机器人2的训练数据组的方法，列举了以下三个例子，但是自不必说也可以应用除此以外的方法。首先，作为第一个例子，是共享神经网络的模型使其相同的方法，例如，对于网络的各权重系数，使用通信单元发送并反映各机器人2之间的差异。另外，作为第二个例子，通过共享神经网络的输入和输出的数据组，能够共享学习装置5的权重等。并且，作为第三个例子，准备某个数据库，通过访问该数据库加载更适当的神经网络的模型来共享(设为相同的模型)状态。

图6是表示其他的实施方式的故障预知系统的一个例子的框图。故障预知系统1具备故障预知装置4，该故障预知装置4利用机械学习装置5进行学习而得到的结果来生成机器人2的故障信息。

故障预知装置4具备状态观测部41、故障信息输出部42。状态观测部41具有与参照图1说明的状态观测部52相同的功能，取得反映了机器人2以及周围环境的状态的状态变量。故障信息输出部42基于上述机械学习装置5的学习部53按照训练数据组进行学习而得到的结果，对经由状态观测部41的状态变量的输入进行响应来输出机器人2的故障信息。

如图6所示，机器人控制装置3能够具备通知部(故障信息通知部)32。通知部32向操作者通知故障信息输出部42输出的故障信息。只要操作者可以得知，通知故障信息的方式没有特别的限定。例如，可以在未图示的显示装置中显示已预知的有无故障或故障的程度，或者也可以根据故障信息的内容产生警告音。

图7以及图8用于说明实施方式的故障预知系统的表示故障程度的指标值的例子(第一例～第四例)。在这里，在图7(a)、图7(b)、图7(c)以及图8中，横轴表示时间，纵轴表示故障的程度。首先，如图7(a)所示，例如在第一例中可构成为：以随着故障的临近而变大的方式来决定表示“故障的程度”的指标值，故障信息输出部42将通过学习而得到的指标值直接作为故障信息进行输出。另外，如图7(b)所示，例如在第二例中可构成为：对所述指标值设置阈值，如果在阈值以上则为异常，如果不到阈值则为正常，故障信息输出部42输出以如此方式表示有无故障的信息来作为故障信息。并且，如图7(c)所示，例如在第三例中可构成为：对上述指标值设置多个阈值(阈值1～阈值3)，故障信息输出部42输出按照各阈值划分的等级(故障等级1～故障等级4)来作为故障信息。

如图8所示，例如在第四例中，基于多个导致故障的数据(教师数据)，求出上述指标值与直到导致故障为止的时间之间的关系，根据该关系求出第一阈值，该第一阈值用于满足从发生故障的时期开始进行追溯在通过第一预定期间决定的时期之前的情况。另外，决定第二阈值，该第二阈值用于满足从发生故障的时期开始进行追溯在通过第二预定期间决定的时期之后的情况。然后，在满足指标值不满第一阈值的情况和指标值为第二阈值以上的情况中的至少一个情况时，故障信息输出部42能够将指标值本身作为故障信息进行输出，或者将通过阈值对指标值进行划分后的等级作为故障信息进行输出。关于此时的阈值的决定方法，例如能够设置阈值以使过去的教师数据全部满足条件，另外，也可以根据需要设置裕度来设定阈值，并且，在概率论方面，还能够设置阈值从而允许某一定概率内的判定错误。

接着，参照图9对使用机械学习装置进行学习而得到的结果而执行的故障预知的一个例子进行说明。在步骤S501中，状态观测部41例如取得包含来自传感器11的输出数据的当前状态变量。在步骤S502中，故障信息输出部42基于上述的机械学习装置5的学习结果来输出与在步骤S501取得的状态变量对应的故障信息。在故障预知系统1具备通知部32时，可以在步骤S502后执行向操作者通知故障信息的工序。

可以在机器人2执行预先决定的特定的动作时进行参照图9说明的故障预知装置4的故障预知。或者也可以在机器人2动作中或静止中并行地继续执行步骤S501～S502的处理。或者，也可以在预先决定的时刻定期地执行故障预知。

在一实施方式中，可以与故障预知装置4执行的故障预知并行地由机械学习装置5执行机械学习。此时，在故障预知装置4生成故障信息的同时，基于经由故障判定部31或操作者的操作取得的判定数据以及该时间点的状态变量，由机械学习装置5的学习部53再次学习故障条件。

说明了利用神经网络进行机械学习的实施方式，但是也可以根据其他公知的方法，例如遗传编程、功能逻辑编程、支持向量机等来执行机械学习。另外，再次重复说明，与上述相同，在本说明书中，“工业机械”意味着包含工业用机器人、服务用机器人以及由计算机数值控制(CNC)装置控制的机械在内的各种各样的机械。

本发明的机械学习装置以及机械学习方法按照基于状态变量以及判定数据的组合生成的训练数据组来学习与工业机械的故障相关联的条件。因为一边使工业机械实际进行动作一边学习故障条件，所以能够学习与实际的使用状况对应的正确的故障条件。另外，通过本发明的故障预知装置以及故障预知系统，因为具备能够机械学习故障条件的机械学习装置，所以能够进行与实际的使用状况对应的正确的故障预知。

以上，对本发明的各种实施方式进行了说明，但是本领域的人员应该认识到通过其他的实施方式也能够实现本发明意图的作用效果。特别是能够在不脱离本发明的范围内删除或替换上述实施方式的结构要素，或者能够进一步添加公知的手段。另外，通过任意组合在本说明书中明示或暗示公开的多个实施方式的特征也能够实施本发明，这对于本领域的人员来说是显而易见的。