故障预测装置以及机器学习装置的制作方法

本发明涉及故障预测装置以及机器学习装置，特别是涉及对构成数值控制装置的印刷电路板、部件的故障进行预测的控制装置以及机器学习装置。

背景技术：

为了避免数值控制装置、机床等机械由不良状况引起的生产性下降，强烈要求在发生不良状况之前进行机械维修。典型地，在预定的日期作为定期检查来实施这种事前维修。另外，近年来，还提出了以下技术等：利用某一装置所发生的不良状况的信息，事前预测其它相同类型装置也会发生相同的不良状况的可能性。

作为与预测机械故障有关的现有技术，例如在日本特开2002-090266号公报中公开了一种技术，通过使用了神经网络的学习来诊断机床寿命。另外，在日本特开平07-051993号公报中公开了一种技术，通过干扰负载力矩的累加来推定cnc的机械元件的寿命。

通常，在使用组装了数值控制装置的机床的生产线上，当装置突然发生故障时对生产线的影响较大。因此，为了将生产线的运转率维持为较高状态，要求考虑了机械运转环境的高精度的寿命预测。然而，在日本特开2002-090266号公报、日本特开平07-051993号公报所公开的技术中，按照特定的推定模型来进行故障预测，并不是进行考虑了机械所运转的各种环境因素的故障预测，因此存在以下问题：在预想以外的模式下导致发生故障的情况下，无法进行高精度的故障预测。

另外，在维护机械时，必须决定构成机械的哪一个印刷电路板(主板、cpu卡、伺服卡等)进行作业，但是在日本特开2002-090266号公报、日本特开平07-051993号公报所公开的技术中，由于相对于机械所运转的环境因素，并不是对预测出构成机械的哪一个印刷电路板、部件的故障的情况进行输出，因此并非是有利于消减维护时的作业时间、费用的技术。

技术实现要素：

因此，本发明的目的在于，提供能够对每个构成机械的印刷电路板、部件进行高精度的故障预测的故障预测装置以及机器学习装置。

本发明的故障预测装置通过对机械运转的环境所涉及的信息与构成机械的印刷电路板、部件的故障的相关性进行机器学习来解决上述问题。

而且，本发明的一个方式是一种故障预测装置，其预测构成管理对象设备的印刷电路板的故障时期，其具备：机器学习装置，其学习构成该管理对象设备的印刷电路板相对于上述管理对象设备的运转状况的故障时期，上述机器学习装置具备：状态观测部，其将表示上述管理对象设备的运转状况的运转状况数据以及表示上述管理对象设备的设备结构的设备结构数据作为表示环境当前状态的状态变量来进行观测；标签数据获取部，其将表示上述管理对象设备的维修历史记录的维修历史记录数据作为标签数据来进行获取；以及学习部，其使用上述状态变量和上述标签数据，将构成上述管理对象设备的印刷电路板的故障时期与上述运转状况数据和上述设备结构数据关联起来进行学习。

本发明的其它方式是一种机器学习装置，其对构成管理对象设备的印刷电路板相对于该管理对象设备的运转状况的故障时期进行学习，其具备：状态观测部，其将表示上述管理对象设备的运转状况的运转状况数据以及表示上述管理对象设备的设备结构的设备结构数据作为表示环境当前状态的状态变量来进行观测；标签数据获取部，其将表示上述管理对象设备的维修历史记录的维修历史记录数据作为标签数据来进行获取；以及学习部，其使用上述状态变量和上述标签数据，将构成上述管理对象设备的印刷电路板的故障时期与上述运转状况数据和上述设备结构数据关联起来进行学习。

在本发明的故障预测装置中，故障推定模型通过机器学习而随时进行更新，由此能够进行高精度的故障预测。另外，在本发明的故障预测装置中，以印刷电路板/部件单位进行故障预测，因此能够消减维护时的作业时间、费用。

附图说明

通过参照附图来说明以下的实施例，能够更加明确本发明的上述和其它目的以及特征。在这些图中：

图1是第一实施方式的控制装置的概要硬件结构图。

图2是第一实施方式的控制装置的概要功能框图。

图3是表示第一实施方式的故障预测装置所获取的状态变量s和标签数据l的示例的图。

图4是表示学习部使用状态变量s和标签数据l进行机器学习的示例的图。

图5是表示控制装置的一个方式的概要功能框图。

图6a是说明神经元的图。

图6b是说明神经网络的图。

图7是第二实施方式的控制装置的概要功能框图。

具体实施方式

以下，说明本发明的实施方式和附图。

图1是表示第一实施方式的故障预测装置以及由该故障预测装置控制的机床的主要部分的概要硬件结构图。故障预测装置1能够安装为例如管理对配置于工厂等的现场的多个机床(未图示)进行控制的控制装置(未图示)、控制机械人(未图示)的控制器(未图示)等管理对象设备的上位装置(主计算机、单元控制器等)。本实施方式的故障预测装置1所具备的cpu11为整体地控制故障预测装置1的处理器。cpu11经由总线20读取存储于rom12的系统/程序，按照该系统/程序来控制故障预测装置1整体。在ram13中暂时存储有临时计算数据、显示数据。

非易失性存储器14构成为例如使用未图示的电池进行备份等，并且即使故障预测装置1的电源被关闭也保持存储状态的存储器。在非易失性存储器14中除了存储有经由未图示的键盘等输入设备而输入的数据、经由未图示的接口而输入的动作用程序以外，还存储有与管理对象设备有关的用于管理的数据(管理对象设备的种类、结构、网络上的地址、所设置的当前位置等信息)。存储于非易失性存储器14的程序、各种数据也可以在执行时/使用时被展开到ram13。另外，在rom12中预先被输入有用于执行针对管理对象设备的指令的各种系统/程序(包括用于控制与后述的机器学习装置100之间的交换的系统/程序)。

故障预测装置1能够经由通过有线通信接口15或者无线通信接口16的有线/无线通信，而在与管理对象设备之间进行指令和数据交换。如果在与管理对象设备之间能够进行指令和数据交换，则这些通信接口也可以使用任意的通信协议。

接口21为用于连接故障预测装置1与机器学习装置100的接口。机器学习装置100具备用于控制机器学习装置100整体的处理器101、存储有系统/程序等的rom102、用于进行机器学习所涉及的各处理的临时存储的ram103、以及用于存储学习模型等的非易失性存储器104。机器学习装置100可以经由接口21观测由故障预测装置1所能够获取的各信息(管理对象设备的运转状况等)。

另外，故障预测装置1接收从机器学习装置100输出的构成管理对象设备的印刷电路板、部件等的故障预测结果，经由有线通信接口15或者无线通信接口16发出促使对该故障预测结果进行对应的指令。

图2是第一实施方式的故障预测装置1和机器学习装置100的概要功能框图。机器学习装置100包括通过所谓机器学习用于自己学习相对于管理对象设备的运转环境的、构成该管理对象设备的印刷电路板和部件的故障时期(哪一个印刷电路板、哪一个部件从什么时候起发生故障)的软件(学习算法等)和硬件(处理器101等)。故障预测装置1所具备的机器学习装置100进行学习的结构相当于表示管理对象设备的运转环境与构成该管理对象设备的印刷电路板和部件的故障时期(哪一个印刷电路板、哪一个部件从什么时候起发生故障)的相关性的模型结构。

如图2的功能块所示，故障预测装置1所具备的机器学习装置100具备：状态观测部106，其观测包括表示管理对象设备的运转状况的运转状况数据s1以及表示该管理对象设备的结构的设备结构数据s2的状态变量s；标签数据获取部108，其获取包括表示过去的维修历史记录的维修历史记录数据l1的标签数据l；以及学习部110，其使用状态变量s和标签数据l，将机械的运转状况与管理对象设备所具备的印刷电路板的故障时期(哪一个印刷电路板从什么时候起发生故障)关联起来进行学习。

状态观测部106例如能够构成为处理器101的一个功能。或者，状态观测部106例如能够构成为用于使处理器101发挥功能的存储于rom102的软件。在由状态观测部106观测的状态变量s中，运转状况数据s1能够获取为表示管理对象设备的运转状况的数据组。作为运转状况数据s1，例如可举出管理对象设备的累积运转时间、累积耗电、输入电压/电流、输出电压/电流、环境温度、环境湿度、振动、切削液的使用状况以及冷却风扇的转速等等。累积运转时间、累积耗电、输入电压/电流、输出电压/电流、环境温度、环境湿度、振动等各数据也可以对构成管理对象设备的每个印刷电路板获取。关于运转状况数据s1，在管理对象设备中能够经由有线或者无线通信网络来获取并使用由未图示的数据记录器等记录的上述各数据。

例如能够从预先存储于非易失性存储器14的管理对象设备的管理用数据中获取状态变量s中的设备结构数据s2。也可以经由有线或者无线通信网络从管理对象设备获取设备结构数据s2。

标签数据获取部108例如能够构成为处理器101的一个功能。或者，标签数据获取部108例如能够构成为用于使处理器101发挥功能的存储于rom102的软件。标签数据获取部108获取的标签数据l所包含的维修历史记录数据l1例如能够使用由已进行维护的操作员报告的与维修有关的数据。维修历史记录数据l1例如也可以包括针对管理对象设备的印刷电路板的更换历史记录(故障时刻、更换对象印刷电路板等)、管理对象设备的不良状况发生历史记录、管理对象设备通过更换印刷电路板而不良状况现象是否得到改善的信息等。标签数据获取部108获取的标签数据l为表示在状态变量s下进行了维护时的结果的指标。

图3示出本实施方式的故障预测装置1所获取的设备结构数据s2和维修历史记录数据l1的示例。故障预测装置1所管理的管理对象设备如图3所示具备多个印刷电路板，在各印刷电路板上安装有多个部件。

作为印刷电路板的示例可举出主板、cpu卡、伺服卡、gui卡、后板、from/sram模块、各种选项板、i/o板等。另外，作为安装于印刷电路板上的部件的示例可举出asic(lsi)、cpu、ic、存储器、电阻、电容器、线圈、风扇、电池、连接器等。设备结构数据s2即可以包括这些印刷电路板的种类、印刷电路板图号、印刷电路板综合版本号等信息，另外，还可以包括这些部件的部件图号、制造商名称、批号、参考编号等。另外，对维修历史记录数据l1可举出印刷电路板的不良状况发生机型、印刷电路板的不良状况发生日期、印刷电路板的更换历史记录、印刷电路板图号、印刷电路板综合版本号、由于更换印刷电路板而不良状况现象是否得到改善等。

学习部110例如能够构成为处理器101的一个功能。或者，学习部110例如能够构成为用于使处理器101发挥功能的存储于rom102的软件。学习部110按照被总称为机器学习的任意学习算法，学习针对管理对象设备的运转状况的标签数据l。学习部110能够反复执行基于包括上述状态变量s和标签数据l的数据集合的学习。

图4是表示学习部110使用状态变量s和标签数据l进行机器学习的示例的图。学习部110在管理对象设备发生故障而进行维护的情况下，将在该故障以前管理对象设备所具备的未图示的数据记录器等所存储的表示运转状况的信息作为运转状况数据s1来进行获取，并且将在维护作业中由维护操作员输入的与维修有关的信息作为维修历史记录数据l1来进行获取。学习部110从在管理对象设备进行维护的时刻以前获取的运转状况数据s1中提取表示预定的预定时间t1、t2、t3…前的运转状况的数据，将提取出的各数据中的每个数据以及设备结构数据s2设为输入，作为分别在预定时间t1、t2、t3…后发生相当于维修历史记录数据l1的故障的情况而进行机器学习。通过进行这种学习，在具备预定的机械结构的管理对象设备处于预定的运转环境的情况下，能够对在经过什么程度的时间之后哪一个印刷电路板发生故障进行学习。此外，在表示进行了维护的时刻的预定时间t1、t2、t3…前的运转状况的数据中，例如表示累积运转时间、累积耗电等的在该时刻的值的数据也可以使用在各个时刻获取的值，另外，对于表示输入电压/电流、输出电压/电流、环境温度、环境湿度、振动、切削液的使用状况、冷却风扇的转速等的值的变化的数据，也可以使用以预定周期对各个时刻以前的预定期间内检测出的值进行采样而得到的系列值。

通过重复进行这种学习循环，学习部110能够自动地识别对管理对象设备的运转状况(运转状况数据s1)和机械结构信息(设备结构数据s2)、与相对于该状态的该管理对象设备所具备的印刷电路板的故障时期的相关性进行暗示的特征。在学习算法开始时，运转状况数据s1和设备结构数据s2与管理对象设备所具备的印刷电路板的故障时期的相关性实质上是未知的，但是，学习部110随着进行学习而逐渐识别特征并解释相关性。

当运转状况数据s1和设备结构数据s2与管理对象设备所具备的印刷电路板的故障时期的相关性被解释为某种程度可信赖的水准时，学习部110反复进行输出的学习结果就是，相对于当前状态(即管理对象设备的运转状况和机械结构信息)，能够以高精度进行预测管理对象设备所具备的印刷电路板的故障时期。即，学习部110随着学习算法的推进，能够使管理对象设备的运转状况和机械结构信息、与相对于该状态管理对象设备所具备的某个印刷电路板在哪种程度的时期发生故障这样的预测的相关性逐渐接近最佳解。

如上所述，故障预测装置1所具备的机器学习装置100使用状态观测部106观测到的状态变量s以及标签数据获取部108获取到的标签数据l，学习部110按照机器学习算法，学习构成管理对象设备的印刷电路板的故障时期。状态变量s由运转状况数据s1、设备结构数据s2这样的难以受到干扰影响的数据构成，另外，能够从维护操作员所输入的维护信息中获取标签数据l。因而，根据故障预测装置1所具备的机器学习装置100，通过使用学习部110的学习结果，能够不依赖于运算或估算，自动地且正确地求出与管理对象设备的运转状况和机械结构信息相应的、构成管理对象设备的印刷电路板的故障时期。

而且，如果不依赖于运算、推定就能够自动地求出构成管理对象设备的印刷电路板的故障时期，则仅掌握管理对象设备的运转状况(运转状况数据s1)和机械结构信息(设备结构数据s2)，就能够高精度地预测构成管理对象设备的印刷电路板的故障时期(哪一个印刷电路板从什么时候起发生故障)。因而，掌握了预测故障的印刷电路板和故障时期的维护操作员能够高效率地进行管理对象设备的维护作业。

作为故障预测装置1所具备的机器学习装置100的一个变形例，标签数据获取部108还可以获取表示发生故障而更换的印刷电路板上的部件所涉及的信息的不良状况部件数据l2来作为标签数据l，来用于学习部110的机器学习。维护操作员对维护时更换的印刷电路板进行解析，将其解析结果作为图3所例示的不良状况部件信息而输入到管理对象设备、故障预测装置1等，由此能够获取不良状况部件数据l2。不良状况部件数据l2例如可以包括引起不良状况的部件的部件图号、制造商名称、制造商类型、批号、印刷电路板上的参考编号、不良状况内容等。

根据上述变形例，机器学习装置100在进行构成管理对象设备的印刷电路板相对于管理对象设备的运转状况和机械结构信息的故障时期的学习时，还能够对印刷电路板上的哪一个部件发生故障进行学习。

作为故障预测装置1所具备的机器学习装置100的其它变形例，学习部110可以使用针对多个管理对象设备中的每个设备所得到的状态变量s和标签数据l，来学习这些管理对象设备中的印刷电路板的故障时期。根据该结构，由于能够增加以一定时间得到的包括状态变量s和标签数据l的数据集合的量，因此可以将更多种数据集合作为输入，从而提高构成管理对象设备的印刷电路板的故障时期的学习速度、可靠性。

在具有上述结构的机器学习装置100中，由学习部110执行的学习算法并不特别进行限定，作为机器学习能够采用公知的学习算法。图5是图2示出的故障预测装置1的其它方式，表示作为学习算法的其它例子而具备执行监督学习的学习部110的结构。监督学习是被赋予输入以及与其对应的输出的已知的数据组(被称为教师数据)，根据这些教师数据来识别对输入与输出的相关性进行暗示的特征，由此学习用于对针对新输入的所需要的输出进行推定的相关性模型。

在图5示出的故障预测装置1所具备的机器学习装置100中，学习部110具备：误差计算部112，其计算根据状态变量s来预测管理对象设备所具备的印刷电路板(和部件)的故障时期的相关性模型m、与从预先准备的教师数据t中识别的相关性特征的误差e；以及模型更新部114，其以缩小误差e的方式更新相关性模型m。学习部110通过模型更新部114重复更新相关性模型m，由此学习管理对象设备所具备的印刷电路板(和部件)相对于该管理对象设备的运转状况的故障时期。

相关性模型m的初始值例如为使状态变量s与管理对象设备所具备的印刷电路板(和部件)的故障时期的相关性简化(例如用一次函数)表现而得到的值，在监督学习开始前赋予学习部110。教师数据t例如能够由过去的管理对象设备的运转状况以及维护操作员的维修历史记录而累积的经验值构成，在监督学习开始前赋予学习部110。误差计算部112从赋予学习部110的大量教师数据t中识别暗示管理对象设备的运转状况与该管理对象设备所具备的印刷电路板(和部件)的故障时期的相关性的相关性特征，求出该相关性特征、与对应于当前状态下的状态变量s和标签数据l的相关性模型m的误差e。模型更新部114例如按照预定的更新规则，向误差e变小的方向更新相关性模型m。

在下一学习循环中，误差计算部112按照更新后的相关性模型m，使用状态变量s来预测管理对象设备所具备的印刷电路板(和部件)的故障时期，求出该预测的结果与实际获取到的标签数据l的误差e，模型更新部114再次更新相关性模型m。这样，未知的环境当前状态与针对该状态的预测的相关性逐渐变得清楚。

在进行上述监督学习时，可以使用神经网络。

图6a示意性地示出神经元的模型。图6b示意性地示出将图6a示出的神经元进行组合而成的三层神经网络的模型。神经网络例如能够由模仿神经元的模型的运算装置、存储装置等构成。

图6a示出的神经元输出针对多个输入x(在此，作为一例，输入x1～输入x3)的结果y。对各输入x1～x3施加与该输入x对应的权重w(w1～w3)。由此，神经元输出由以下数学式2表现的输出y。此外，在数学式2中，输入x、输出y以及权重w全部为矢量。另外，θ为偏压，fk为激活函数。

[数学式2]

图6b示出的三层神经网络从左侧输入多个输入x(在此，作为一例，输入x1～输入x3)，从右侧输出结果y(在此，作为一例，结果y1～结果y3)。在图示的示例中，乘以与输入x1、x2、x3各自对应的权重(总称地用w1表示)，各个输入x1、x2、x3均被输入到三个神经元n11、n12、n13。

在图6b中，将神经元n11～n13的各输出总称表示为z1。z1能够视为提取了输入矢量的特征量的特征矢量。在图示的示例中，乘以与特征矢量z1各自对应的权重(总称表示为w2)，各特征矢量z1均被输入到两个神经元n21、n22。特征矢量z1表示权重w1与权重w2之间的特征。

在图6b中，将神经元n21～n22的各输出总称表示为z2。z2能够视为提取了特征矢量z1的特征量的特征矢量。在图示的示例中，乘以与特征矢量z2各自对应的权重(总称表示为w3)，各个特征矢量z2均被输入到三个神经元n31、n32、n33。特征矢量z2表示权重w2与权重w3之间的特征。最后，神经元n31～n33分别输出结果y1～y3。

此外，还能够使用利用了形成三层以上的层的神经网络的、所谓深度学习的方法。

在故障预测装置1所具备的机器学习装置100中，将状态变量s设为输入x，学习部110按照上述神经网络进行多层结构的运算，由此能够对构成管理对象设备的印刷电路板(和部件)中哪一个印刷电路板从什么时候起发生故障(结果y)进行输出。此外，神经网络的动作模式存在学习模式和价值预测模式，例如在学习模式下使用学习数据组来学习权重w，使用学习到的权重w在价值预测模式下能够进行行动的价值判断。此外，在价值预测模式下还能够进行检测、分类、推论等。

上述故障预测装置1的结构可以记述为处理器101执行的机器学习方法(或者软件)。该机器学习方法对构成管理对象设备的印刷电路板的故障时期进行学习，其包括以下步骤：计算机的cpu将运转状况数据s1、设备结构数据s2作为表示当前状态的状态变量s来进行观测的步骤；获取表示进行维护作业的结果的标签数据l的步骤；以及使用状态变量s和标签数据l，使运转状况数据s1和设备结构数据s2与构成管理对象设备的印刷电路板的故障时期关联起来进行学习的步骤。

图7示出第二实施方式的故障预测装置2。故障预测装置2具备：机器学习装置120；以及状态数据获取部3，其将状态观测部106观测的状态变量s的运转状况数据s1、设备结构数据s2作为状态数据s0来进行获取。状态数据获取部3根据存储于故障预测装置2的存储器的数据、管理对象设备所具备的各种传感器、维护操作员的适当数据输入等，能够获取状态数据s0。

故障预测装置2所具有的机器学习装置120除了包括用于通过机器学习来对构成管理对象设备的印刷电路板的故障时期进行自己学习的软件(学习算法等)和硬件(处理器101等)以外，还包括用于将基于学习结果预测出的构成管理对象设备的印刷电路板的故障时期作为向故障预测装置2的预测值而进行输出的软件(运算算法等)和硬件(处理器101等)。故障预测装置2所包括的机器学习装置120还能够具有一个共通处理器执行学习算法、运算算法等所有软件的结构。

预测部122例如能够构成为处理器101的一个功能。或者，预测部122例如能够构成为用于使处理器101发挥功能的存储于rom102的软件。预测部122基于学习部110学习到的结果，生成表示相对于管理对象设备的运转状况的、构成管理对象设备的印刷电路板的故障时期的预测的预测值p，输出所生成的预测值p。

具有上述结构的故障预测装置2所具备的机器学习装置120起到与上述机器学习装置100同等的效果。特别是，机器学习装置120可以通过预测部122的输出并经由故障预测装置2对各管理对象设备、维护操作员等进行通知。除此以外，在机器学习装置100中，能够向外部装置请求相当于将基于学习部110的学习结果的预测输出到外部的预测部的功能。

以上，说明了本发明的实施方式，但是本发明并不仅限于上述实施方式的示例，可以通过施加适当的变更以各种方式来实施。

例如，机器学习装置100、120执行的学习算法、机器学习装置120执行的运算算法、故障预测装置1、2执行的控制算法等并不限定于上述算法，可以采用各种算法。

另外，在上述实施方式中，说明了故障预测装置1(或者2)和机器学习装置100(或者120)具有不同的cpu的装置，但是，机器学习装置100(或者120)也可以通过存储于故障预测装置1(或者2)所具备的cpu11和rom12的系统和程序来实现。

并且，在上述实施方式中，示出机器学习装置120(或者100)处于故障预测装置2(或者1)上的示例，但是还可以设为机器学习装置120(或者100)存在于在网络中准备的云服务器等的结构。

以上，说明了本发明的实施方式，但是本发明并不限定于上述实施方式的示例，通过施加适当的变更，能够以其它方式来实施。