机器学习装置及方法以及寿命预测装置及电动机驱动装置与流程

本发明涉及一种学习功率元件的预测寿命的机器学习装置及方法以及具备该机器学习装置的寿命预测装置及电动机驱动装置。

背景技术：

在驱动机床、锻压机械、注射成型机、工业机械或各种机器人内的交流电动机的电动机驱动装置中，通过逆变器将直流电力变换为交流电力来供给用于驱动交流电动机的驱动电力。逆变器例如由PWM逆变器等这样的具有功率元件(半导体开关元件)以及与该功率元件逆并联连接的二极管的开关部的电桥电路构成，通过对功率元件进行接通关断驱动来将直流电力变换为交流电力来输出到交流电动机侧。

在使用这样的电动机驱动装置的领域中，为了防止作业效率降低或发生严重事故，预测功率元件的寿命，基于该预测结果，在功率元件由于达到寿命而无法运转之前更换功率元件。

例如，如在日本特开2011-196703号公报中记载的那样，已知如下的方法：将由功率半导体元件构成的半导体装置的整个动作温度范围划分为多个温度区域，在该温度区域内使用针对分别设定的基准温度差中的功率循环数进行加权后的值来计算循环数，在该划分后的温度区域之间基于各个计算出的循环数并使用次要规则(minor rule)来计算累计伤害从而预测寿命。

电动机驱动装置中的逆变器内的功率元件的寿命由于电动机驱动装置的运行条件、周围温度等环境条件而发生变化，所以难以正确地进行预测。如果无法正确地预测功率元件的寿命，则有可能错过功率元件更换定时从而作业效率降低或者导致发生严重事故。因此，重要的是能够正确地掌握功率元件的寿命从而确切地判断是否达到寿命。

技术实现要素：

鉴于上述问题，本发明的目的在于提供一种能够正确且容易地预测功率元件的预测寿命的机器学习装置及方法以及具备该机器学习装置的寿命预测装置及电动机驱动装置。

为了实现上述目的，机器学习装置学习电动机驱动装置的功率元件的预测寿命，电动机驱动装置通过功率元件的开关动作将直流电力变换为交流电力来提供给交流电动机，该机器学习装置具备：状态观测部，其观测状态变量，该状态变量由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、以及与功率元件有无故障相关的数据构成；以及学习部，其按照基于状态变量而生成的训练数据集来学习功率元件的预测寿命。

在此，可以基于对功率元件进行冷却的散热片的温度、电动机驱动装置的周围温度、从电动机驱动装置向交流电动机供给的电流的值、以及从电动机驱动装置向交流电动机施加的电压的值来计算功率元件的结温。

另外，学习部可以具备回报计算部，其基于功率元件的开关次数以及功率元件有无故障来计算回报；函数更新部，其基于状态变量以及回报来更新用于计算功率元件的预测寿命的函数。

另外，回报计算部可以在功率元件的开关次数超过规定次数时减少回报。

另外，回报计算部可以在功率元件的开关次数未超过规定次数的情况下，在发生了功率元件的故障时减少回报。

另外，函数更新部可以基于状态变量以及回报，按照神经网络模型来更新用于计算功率元件的预测寿命的函数。

另外，学习部可以具备：误差计算部，其基于状态变量来计算误差；学习模型更新部，其基于状态变量以及误差来更新用于计算功率元件的预测寿命的学习模型。

另外，学习部可以构成为按照针对多个电动机驱动装置取得的训练数据集来学习功率元件的预测寿命。

另外，一种电动机驱动装置内的功率元件的寿命预测装置，其具备上述的机器学习装置，该寿命预测装置还具备意图决定部，该意图决定部基于学习部按照训练数据集进行学习的结果，对当前的状态变量的输入进行响应，来计算功率元件的预测寿命。

另外，寿命预测装置可以进一步具备通知部，该通知部向作业者通知由意图决定部计算出的预测寿命。

另外，寿命预测装置可以进一步具备通知部，该通知部基于意图决定部计算出的预测寿命，向作业者通知用于催促更换功率元件或更换电动机驱动装置的信息。

学习部可以构成为按照由当前的状态变量构成的追加的训练数据集，重新学习并更新功率元件的预测寿命。

另外，电动机驱动装置具备：上述的寿命预测装置；电力供给部，其通过功率元件的开关动作将直流电力变换为交流电力来提供给交流电动机；开关次数取得部，其基于针对功率元件的开关指令，来取得与开关次数相关的数据；故障判定部，其基于针对功率元件的开关指令和从电力供给部输出的交流电力来取得与功率元件有无故障相关的数据。

在此，电动机驱动装置可以进一步具备温度计算部，该温度计算部基于对功率元件进行冷却的散热片的温度、电动机驱动装置的周围温度、从电动机驱动装置向交流电动机供给的电流的值、以及从电动机驱动装置向交流电动机施加的电压的值来计算功率元件的结温。

另外，电动机驱动装置可以进一步具备温度传感器，该温度传感器测定功率元件的结温。

另外，一种机器学习方法，其学习电动机驱动装置的功率元件的预测寿命，该电动机驱动装置通过功率元件的开关动作将直流电力变换为交流电力来提供给交流电动机，机器学习方法具备：状态观测步骤，其观测状态变量，该状态变量由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、以及与功率元件有无故障相关的数据构成；以及学习步骤，其按照基于状态变量而生成的训练数据集来学习功率元件的预测寿命。

附图说明

通过参照一下的附图，能够更加明确地理解本发明。

图1是实施例的机器学习装置的原理框图。

图2是表示实施例的机器学习方法的动作流程的流程图。

图3是实施例的应用强化学习的机器学习装置的原理框图。

图4是表示实施例的应用强化学习的机器学习方法的动作流程的流程图。

图5是表示实施例的具备应用强化学习的机器学习装置的寿命预测装置以及具备该寿命预测装置的电动机驱动装置的原理框图。

图6是表示计算某个电动机施加电压时的功率元件的结温的温度计算部的框图。

图7是表示实施例的具备应用强化学习的机器学习装置的寿命预测装置的动作流程的流程图。

图8是表示神经元模型的示意图。

图9是表示具有D1～D3的三层权重的神经网络的示意图。

图10是表示实施例的具备应用有教师学习的机器学习装置的寿命预测装置以及具备该寿命预测装置的电动机驱动装置的原理框图。

具体实施方式

以下，参照附图对学习功率元件的预测寿命的机器学习装置及方法以及具备该机器学习装置的寿命预测装置以及电动机驱动装置进行说明。然而，希望理解本发明并不限于附图或以下说明的实施方式。

图1是实施例的机器学习装置的原理框图。以下，在不同的附图中赋予相同参照符号的部分意味着具有相同功能的结构要素。

在驱动交流电动机的电动机驱动装置中，通过逆变器将直流电力变换为交流电力后来供给用于驱动交流电动机的驱动电力。逆变器例如由PWM逆变器等这样的具有功率元件(半导体开关元件)以及与该功率元件逆并联连接的二极管的开关部的电桥电路构成，通过对功率元件进行接通断开驱动来将直流电力变换为交流电力后输出到交流电动机侧。实施例的机器学习装置1构成为学习电动机驱动装置的功率元件的预测寿命，该电动机驱动装置通过功率元件的开关动作将直流电力变换为交流电力后提供给交流电动机。功率元件的寿命(开关次数)由功率元件动作时结温和基础温度之间的差(功率循环)来决定。功率元件的结温是指功率元件内的功率半导体芯片与焊接部之间的接合部分的温度。另外，基础温度是指为了冷却功率元件与外部进行热连接的部分的温度，也称为散热片温度。结温与基础温度之间的差根据电动机驱动装置的运行条件和周围温度而发生变化。因此，在本发明中，通过机器学习装置1观测功率元件的开关次数、功率元件的结温以及功率元件有无故障，并将它们作为行为价值表来形成数据库，由此根据与过去的结温与基础温度之间的差相关的数据或故障数据来预测功率元件的寿命。

机器学习装置1具备状态观测部11以及学习部12。在这里，机器学习装置1可以内置在驱动控制交流电动机的电动机驱动装置中，此时，利用该电动机驱动装置的处理器来执行机器学习。又或者，机器学习装置1也可以构成为经由网络与电动机驱动装置相连接的数字计算机。又或者，机器学习装置1也可以设置在云服务器上，此时经由网络与电动机驱动装置相连接。

状态观测部11观测状态变量，该状态变量由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、与功率元件有无故障相关的数据构成。

根据由电动机驱动装置生成的用于对功率元件进行接通断开驱动的开关指令(例如PWM开关信号)来生成与功率元件的开关次数相关的数据。

另外，根据对功率元件进行冷却的散热片的温度、电动机驱动装置的周围温度、从电动机驱动装置向交流电动机供给的电流的值以及从电动机驱动装置向交流电动机施加的电压的值，通过计算来求出与功率元件的结温相关的数据。功率元件的结温的计算方法如后所述。又或者，也可以通过在功率元件附近设置的温度传感器来取得与功率元件的结温相关的数据。

另外，例如在向功率元件赋予了由电动机驱动装置生成的开关指令的情况下，能够通过监视是否从电动机驱动装置内的电力供给部输出了与该开关指令相对应的交流电力来取得与功率元件有无故障相关的数据。例如，还可以通过电流检测部检测从电动机驱动装置内的电力供给部流入到交流电动机的电流，如果电流检测值是与从电动机驱动装置输出的开关指令相对应的电流检测值，则判定为“功率元件无故障”，在尽管存在该开关指令但电流检测值为接近于零的值时或者为根据该开关指令无法想到的异常大的值时判定为“功率元件有故障”。又或者，也可以通过发现或者得知了功率元件的故障的作业者自己操作输入装置，向状态观测部输入表示功率元件发生故障的数据。

如此，状态观测部11观测由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、与功率元件有无故障相关的数据构成的状态变量。此外，在机器学习装置1经由网络与电动机驱动装置相连接时或设置在云服务器上时，状态观测部11经由网络观测状态变量。又或者，在机器学习装置1内置在电动机驱动装置中时，基于在该电动机驱动装置中存储的控制软件的内部数据、从与该电动机驱动装置相连接的各种传感器输出的数据来观测状态变量。

学习部12按照基于由状态观测部11观测到的状态变量而生成的训练数据集来学习功率元件的预测寿命。此外，也可以关于多个电动机驱动装置来取得训练数据集，此时，学习部12根据针对多个电动机驱动装置取得的训练数据集来学习功率元件的预测寿命。

图2是表示实施例的机器学习方法的动作流程的流程图。学习电动机驱动装置的功率元件的预测寿命的机器学习方法具备状态观测步骤S101和学习步骤S102，其中，电动机驱动装置通过功率元件的开关动作将直流电力变换为交流电力后提供给交流电动机。

状态观测步骤S101通过状态观测部11来执行，即，观测由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、与功率元件有无故障相关的数据构成的状态变量。

学习步骤S102通过学习部12来执行，即，按照基于状态观测部11观测到的状态变量而生成的训练数据集来学习功率元件的预测寿命。

学习部12使用的学习算法可以使用任意的算法。机器学习装置1具有如下功能：通过解析从在装置中输入的数据的集合中抽出其中有用的规则和知识表现、判断基准等，输出其判断结果，并且进行知识的学习。该方法有各种各样，但是大致分为“有教师学习”、“无教师学习”、“强化学习”。并且，在实现这些方法的基础上，具有对特征量自身的抽出进行学习的被称为“深层学习(深度学习：Deep Learning)”的方法。此外，这些机器学习(机器学习装置1)例如通过应用GPGPU(General-Purpose computing on Graphics Processing Units通用计算图形处理器)或大规模PC集群等来实现。

以下，作为一个例子，参照图3以及图4对使用了强化学习的情况进行说明。“有教师学习”、“无教师学习”等如后所述。

图3是实施例的采用了强化学习的机器学习装置的原理框图。学习部12具备回报计算部21和函数更新部22。此外，因为回报计算部21以及函数更新部22以外的结构要素与图1所示的结构要素相同，所以对相同的结构要素赋予相同的符号，并省略该结构要素的详细说明。

回报计算部21基于由状态观测部11观测到的功率元件的开关次数以及功率元件有无故障来计算回报。例如，回报计算部21可以在通过状态观测部11观测到的功率元件的开关次数超过了规定次数时减少回报。又例如回报计算部21可以在功率元件的开关次数没有超过上述规定次数时而发生了功率元件的故障时减少回报。在这里，上述规定次数是与功率元件的寿命相当的“耐用开关次数”，是对每个功率元件规定的次数。

函数更新部22基于由状态观测部11观测到的状态变量以及由回报计算部21计算出的回报，来更新用于计算功率元件的预测寿命的函数(行为价值表)。函数(行为价值表)的更新方法如后所述。

学习部12可以通过多层构造来运算由状态观测部11观测到的状态变量，并实时更新函数(行为价值表)。例如，函数更新部22可以基于由状态观测部11观测到的状态变量以及由回报计算部21计算出的回报，按照神经网络模型来更新用于计算功率元件的预测寿命的函数(行为价值表)。在这里，作为通过多层构造运算状态变量的方法，例如能够使用后述的图9所示的多层神经网络。

图4是表示实施例的应用了强化学习的机器学习方法的动作流程的流程图。

首先，在状态观测步骤S101中，状态观测部11观测由与功率元件的开关次数相关的数据、与功率元件的结温相关的数据、与功率元件有无故障相关的数据构成的状态变量。

其次，在回报计算步骤S102-1中，回报计算部21基于由状态观测部11观测到的功率元件的开关次数以及功率元件有无故障来计算回报。

其次，在函数更新步骤S102-2中，函数更新部22基于由状态观测部11观测到的状态变量以及由回报计算部21计算出的回报来更新用于计算功率元件的预测寿命的函数(行为价值表)。

接下来，对具备上述机器学习装置的功率元件的寿命预测装置以及具备该寿命预测装置的电动机驱动装置进行说明。

图5是表示实施例的具备应用了强化学习的机器学习装置的寿命预测装置以及具备该寿命预测装置的电动机驱动装置的原理框图。在这里，对通过电动机驱动装置1000控制交流电动机2的情况进行说明。在本发明中并不限定交流电动机2的种类，可以是感应电动机也可以是同步电动机。

电动机驱动装置1000内的功率元件的寿命预测装置100具备机器学习装置1、意图决定部13、通知部14。另外，电动机驱动装置1000具备寿命预测装置100、电力供给部31、开关次数取得部32、故障判定部33、温度计算部34、电动机控制部50。此外，虽然在这里没有图示，但是也可以另外设置数据输出部，该数据输出部输出与意图决定部13决定的预测寿命相关的数据。

电动机控制部50基于在其内部存储的控制软件，使用预定的速度指令、用于交流电动机2的动作程序、从电力供给部31输出的交流电流以及/或交流电压、交流电动机2的转子转速以及/或转子位置等信息来生成用于控制交流电动机2的速度、扭矩或转子位置的开关指令。本发明并不特别限定电动机控制部50生成开关指令的方法，可以使用公知的生成方法，例如有三角波比较PWM方式等。

电力供给部31基于在电动机控制部50中生成的开关指令来控制功率元件的开关动作，从而将直流电力变换为交流电力后提供给交流电动机。作为电力供给部31，例如有PWM逆变器。PWM逆变器由功率元件以及与其逆并联连接的二极管的电桥电路组成，基于在电动机控制部50中生成的开关指令来对功率元件的开关动作进行PWM控制。此外，虽然在此没有图示，但是在由PWM逆变器构成的电力供给部31的直流侧即DC链路，设置了将从交流电源侧供给的交流电力变换为直流电力后输出给DC链路的整流器。电力供给部31内的逆变器基于从电动机控制部50接收到的开关指令使内部功率元件进行开关动作，从而将从DC链路侧供给的直流电力变换为用于驱动交流电动机2的期望电压以及期望频率的三相交流电力。由此，交流电动机2基于被供给的电压可变以及频率可变的三相交流电力来进行动作。

开关次数取得部32基于由电动机控制部50生成的用于对功率元件进行接通断开驱动的开关指令，来取得与开关次数相关的数据。

故障判定部33基于由电动机控制部50生成的针对功率元件的开关指令和从电力供给部31输出的交流电力，来取得与功率元件有无故障相关的数据。更具体来说，故障判定部33可通过监视是否从电力供给部31输出了与该开关指令相对应的交流电力来判定功率元件有无故障。例如，可以通过电流检测部(未图示)检测从电力供给部31流入到交流电动机2的电流，在电流检测值是与从电动机控制部50输出的开关指令相对应的电流检测值时判定为“功率元件无故障”，在尽管存在该开关指令但是电流检测值为接近于零的值时或者为根据该开关指令无法想到的异常大的值时判定为“功率元件有故障”。又或者，也可以通过发现或者得知了功率元件的故障的作业者自己操作输入装置，不经由故障判定部33，向状态观测部11直接输入表示功率元件发生故障的数据。

温度计算部34基于对功率元件进行冷却的散热片温度、电动机驱动装置1000的周围温度、从电动机驱动装置1000向交流电动机2供给的电流的值、以及从电动机驱动装置1000向交流电动机2施加的电压的值来计算功率元件的结温，对此，参照图6来进行说明。

图6是表示计算某个电动机施加电压时的功率元件的结温的温度计算部的框图。在从电动机驱动装置1000对交流电动机2施加的电压(来自电力供给部31的输出电压)发生变化时，功率元件的散热(损失)变化，即散热系数变化。在此，说明用于计算在向交流电动机2施加了某个电压Vx[V]时的结温的计算方法。

温度计算部34由芯片温度计算部34-1和散热器温度计算部34-2构成。通过电流检测部(未图示)检测从电动机驱动装置向交流电动机供给的电流的值，并将其表示为电流反馈值Ir[Arms]。在这里[rms]意味着有效值。通过设置在电动机驱动装置1000附近的温度传感器(未图示)来检测电动机驱动装置1000的周围温度T_a。

在温度计算部34内的芯片温度计算部34-1，将芯片侧时间常数设为T₁，来针对电流反馈值Ir[Arms]乘以电源频率系数K_ω以及散热系数K₁[℃/Arms]后的值进行积分，由此得到芯片相对于散热片(散热器)的上升温度T_upc[℃]。在此，电源频率系数K_ω是取决于电源频率的固定值，举一个例子，是“1.55”～“2.00”等值。另外，散热系数K₁[℃/Arms]是取决于输出电流以及输出电压的值，举一个例子，是每次最大额定电流Imax时40～60[℃]的上升率。另外，芯片侧时间常数T₁是取决于功率元件的值，举一个例子，是100～300[ms]。

在温度计算部34内的散热器温度计算部34-2，将散热片侧时间常数设为T₂，来对电流反馈值Ir[Arms]乘以散热系数K₂[℃/Arms]后的值进行积分，由此得到散热片(散热器)相对于外部空气的上升温度T_UPF[℃]。通过对散热片(散热器)相对于外部空气的上升温度T_UPF[℃]相加电动机驱动装置1000的周围温度Ta，得到散热片温度(散热器的温度)T_FIN[℃]。在此，散热系数K₂[℃/Arms]是取决于构成电力供给部31的逆变器(放大)的形式以及PWM频率的值，举一个例子，是每30分钟额定电流I₃₀时65～100[℃]的上升率。散热片侧时间常数T2是取决于电力供给部31内的逆变器的放大结构的值，举一个例子，是70～150[sec]。

然后，通过将芯片温度计算部34-1计算出芯片相对于散热片(散热器)的上升温度T_upc[℃]与散热器温度计算部34-2计算出的散热片温度(散热器温度)T_FIN[℃]相加，得到功率元件的结温T_CHIP[℃]。

在这样的本实施例中，通过温度计算部34计算功率元件的结温。作为其代替例子，也可以通过设置在功率元件附近的温度传感器来直接测定功率元件的结温。当采用通过温度计算部34计算功率元件的结温的方法时，对于功率元件的散热系数和芯片的热时间常数这样的特性数据无法考虑功率元件的个体偏差，但是如果通过温度传感器直接测定功率元件的结温，则能够进一步提升温度的精度。

机器学习装置1内的状态观测部11观测状态变量，该状态变量由从开关次数取得部32取得的与功率元件的开关次数相关的数据、与从温度计算部34取得的功率元件的结温相关的数据、与从故障判定部33取得的功率元件有无故障相关的数据构成。

机器学习装置1内的学习部12具备回报计算部21和函数更新部22，按照基于状态观测部11观测到的状态变量而生成的训练数据集来学习功率元件的预测寿命。

学习部12内的回报计算部21基于由状态观测部11观测到的功率元件的开关次数以及功率元件有无故障来计算回报。例如，回报计算部21在由状态观测部11观测到的功率元件的开关次数超过规定次数时，因为超过了与功率元件具有的寿命相当的“耐用开关次数”，所以减少回报。另外，回报计算部21在功率元件的开关次数没有超过上述规定次数时而发生了功率元件的故障时，也减少回报。

学习部12内的函数更新部22基于由状态观测部11观测到的状态变量以及由回报计算部21计算出的回报，更新用于计算功率元件的预测寿命的函数(行为价值表)。

意图决定部13基于学习部12按照训练数据集进行学习的结果，对当前的状态变量的输入进行响应，计算功率元件的预测寿命。如上所述，功率元件的寿命(开关次数)由功率元件动作时的结温与基础温度之间的差(功率循环)来决定，该结温与基础温度之间的差根据电动机驱动装置的运行条件和周围温度而变化。因此，意图决定部13从基于状态观测部11观测到的功率元件的开关次数、功率元件的结温以及功率元件有无故障而在函数更新部22中生成(更新)后的函数(行为价值表)中，参考与过去的结温与基础温度之间的差相关的数据或故障数据来决定功率元件的预测寿命。在本实施例中，作为一个例子使用强化学习来作为学习算法，因此学习部12内的函数更新部22基于由学习部12内的回报计算部21计算出的回报，更新用于计算预测寿命的函数，意图决定部13基于更新后的函数，选择得到最多回报的预测寿命，并将其输出。将意图决定部13决定的预测寿命输出到通知部14。

通知部14向作业者通知由意图决定部13计算出的预测寿命。并且，通知部14也可以基于意图决定部13计算出的预测寿命，向作业者通知用于催促更换功率元件的信息。通过通知部14，作业者能够得知功率元件的预测寿命，所以能够在功率元件无法运转之前更换功率元件。由于能够在适当的时期更换功率元件，能够消除不需要的设计余量，并且能够减少功率元件的库存。又或者，作为通知部14的通知内容，也可以一并通知在计算预测寿命时得到的对功率元件的寿命造成大的影响的运转状态。由此，作业者能够采取措施，来变更对功率元件的寿命造成影响的运转状态。例如，设计者能够采取对电动机驱动装置1000的周围环境进行调整从而成为延长功率元件的寿命的适当温度的措施、或者采取对输出电压、输出电流或开关频率这样的运行条件进行变更的措施。

作为通知部14，例如是个人电脑、便携终端、触摸屏等显示器或电动机驱动装置1000所附带的显示器等，例如能够通过字符或图案在显示器上显示预测寿命。此外，例如也可以将通知部14通过扬声器、蜂鸣器、铃等可发出声音的音响设备来实现。又或者，关于通知部14，还可以采取使用打印机打印到纸面等来进行显示的方式。又或者，也可以将它们适当组合来实现通知部14。

图7是表示实施例的具备应用了强化学习的机器学习装置的寿命预测装置的动作流程的流程图。

一般在强化学习中随机选择行为的初始值。在本实施例的步骤S201中，随机选择作为行为的预测寿命。

在步骤S202中，电动机控制部50基于在其内部存储的控制软件，使用预定的速度指令、用于交流电动机2的动作程序、从电力供给部31输出的交流电流以及/或者交流电压、交流电动机2的转子转速以及/或者转子位置等这样的信息，来生成用于控制交流电动机2的速度、扭矩或转子位置的开关指令。电力供给部31基于在电动机控制部50中生成的开关指令来控制功率元件的开关动作，从而将直流电力变换为交流电力后提供给交流电动机。由此，交流电动机2基于供给的电压可变以及频率可变的三相交流电力来进行动作。在此期间，开关次数取得部32基于由电动机控制部50生成的用于对功率元件进行接通断开驱动的开关指令，来取得与开关次数相关的数据，故障判定部33基于由电动机控制部50生成的针对功率元件的开关指令和从电力供给部31输出的交流电力，来取得与功率元件有无故障相关的数据。另外，温度计算部34基于用于冷却功率元件的散热片的温度、电动机驱动装置1000的周围温度、从电动机驱动装置1000向交流电动机2供给的电流的值、以及从电动机驱动装置1000向交流电动机2施加的电压的值，来计算功率元件的结温T_CHIP，但是作为其代替，也可以通过温度传感器测定功率元件的结温。

在步骤S203中，状态观测部11观测状态变量，该状态变量由从开关次数取得部32取得的与功率元件的开关次数相关的数据、从温度计算部34取得的与功率元件的结温相关的数据、从故障判定部33取得的与功率元件有无故障相关的数据构成。

其次，在步骤S204中，状态观测部11判断观测到的功率元件的开关次数是否超过了规定次数α。在判定为功率元件的开关次数超过了规定次数α时，在步骤S207中回报计算部21减少回报。另一方面，在判定为功率元件的开关次数没有超过规定次数α时，向步骤S205前进。

在步骤S205中，状态观测部11基于与功率元件有无故障相关的数据，辨别功率元件是否发生了故障。在判定为功率元件没有发生故障时，在步骤S206中回报计算部21增加回报。另一方面，在判定为功率元件发生了故障时，在步骤S207中回报计算部21减少回报。

在步骤S208中，函数更新部22基于由状态观测部11观测到的状态变量以及由回报计算部21计算出的回报来更新用于计算功率元件的预测寿命的函数(行为价值表)。

接着在步骤S209中，意图决定部13基于在步骤S208中更新后的函数来选择得到最多回报的功率元件的预测寿命，并将其输出。将意图决定部13决定的预测寿命输出给通知部14。

在步骤S210中，向作业者通知由意图决定部13计算出的预测寿命。又或者，通知部14基于由意图决定部13计算出的预测寿命，向作业者通知用于催促更换功率元件的信息。

然后，返回到步骤S202。在此之后，直到作业者更换功率元件为止，重复执行步骤S202～S209的处理。由此，机器学习装置1学习功率元件的预测寿命。此外，也可以从多个电动机驱动装置取得训练数据集，此时，学习部12根据针对多个电动机驱动装置取得的训练数据集来重复执行步骤S202～S210的处理，来学习预测寿命。在针对多个电动机驱动装置取得了训练数据集时，机器学习装置1的学习精度提高。

其次，对机器学习装置1进行更详细的说明。机器学习装置1具有从装置中输入的数据的集合中，通过解析抽出其中有用的规则和知识表现、判断基准等，输出其判断结果，并且进行知识学习的功能。如上所述，作为机器学习装置1的学习算法，大致分为“有教师学习”、“无教师学习”、“强化学习”。并且，在实现这些方法的基础上，具有对特征量自身的抽出进行学习的被称为“深层学习”的方法。此外，这些机器学习(机器学习装置1)例如通过应用GPGPU(General-Purpose computing on Graphics Processing Units通用计算图形处理器)或大规模PC集群等来实现。

“有教师学习”是通过向机器学习装置1大量地赋予某个输入和结果(标签)的数据组合，学习这些数据集中具有的特征，可归纳性地获得根据输入推定结果的模型，即其关系性。当在本实施方式中应用该有教师学习时，可以在计算功率元件的预测寿命的部分等中使用。可以使用后述的神经网络等的算法来实现。

“无教师学习”是以下的方法：通过大量地向机器学习装置1仅赋予输入数据，来学习输入数据怎样分布，即使不赋予对应的教师输出数据，也可学习针对输入数据进行压缩、分类、整形等的装置。例如，能够按照彼此相似来对这些数据集所具有的特征进行分类。使用该结果，设置某种基准来进行使该基准成为最佳的输出的分配，由此能够实现输出的预测。

另外，作为“无教师学习”和“有教师学习”中间的问题设定，具有被称为“半有教师学习”的方法，仅存在一部分的输入和输出的数据的组合，除此之外仅为输入的数据(例如仿真的数据)的情况相当于该“半有教师学习”。在本实施方式中，能够通过无教师学习来使用即使不实际使电动机驱动装置进行动作也能够取得的数据，并高效地进行学习。

首先说明使机器学习装置1的学习算法为强化学习的例子。

作为强化学习的问题设定，如下那样考虑。

·电动机驱动装置观测环境的状态，并决定行为。

·环境按照某种规则进行变化，并且有时自己的行为对环境赋予变化。

·每次行为时返回回报信号。

·期望最大化的是将来的(折扣)回报的总和。

·从完全不知道或者不完全知道行为引起的结果的状态起开始学习。即，电动机驱动装置实际开始进行动作从而能够得到其结果来作为数据。即，需要一边试错一边探索最佳的行为。

·能够将以模仿人的动作的方式进行了事先学习(上述的有教师学习、或称为逆强化学习的方法)的状态作为初始状态，从好的开始地点起开始进行学习。

在此，“强化学习”是指如下的方法：不仅学习判定和分类，还学习行为，由此基于行为对环境赋予的相互作用来学习适当的行为，即进行用于使将来得到的回报成为最大的学习。这种情况在本实施方式中，表示为能够正确地计算功率元件的预测寿命获得对未来产生影响的行为。例如在为Q学习的情况下继续进行说明，但是并不限于此。

Q学习是在某环境状态s下，对选择行为a的价值Q(s、a)进行学习的方法。即，在某状态s时，选择价值Q(s、a)最高的行为a来作为最佳的行为即可。但是，最初对于状态s和行为a的组合，完全不知道价值Q(s、a)的正确值。因此，智能体(行为主体)在某状态s下选择各种行为a，针对此时的行为a赋予回报。由此，智能体学习了更好的行为选择，即学习了正确的价值Q(s、a)。

并且，作为行为的结果，期望使将来得到的回报的总和最大化，因此以最终成为Q(s，a)＝E[Σγ^tr_t]为目标。在此，对于按照最佳的行为进行了状态变化的时候得到期待值。因为不清楚这些，所以必须一边探索一边学习。这样的价值Q(s、a)的更新式例如能够通过下式来表示。

[式1]

在上述的式1中，s_t表示时刻t的环境状态，a_t表示时刻t的行为。通过行为a_t，状态变化为s_t+1。r_t+1表示通过该状态的变化而得到的回报。另外，带有max的项是在状态s_t+1下，在选择了此时知道的Q值最高的行为a时的Q值乘以γ的项。γ是0＜γ≤1的参数，被称为折扣率。a是学习系数，范围是0＜α≤1。

式1表示基于作为尝试a_t的结果而返回的回报r_t+1，对状态s_t下的行为a_t的评价值Q(s_t、a_t)进行更新的方法。表示了与状态s下的行为a的评价值Q(s_t、a_t)相比，如果回报r_t+1+基于行为a的下一个状态下的最佳的行为max a的评价值Q(s_t+1、max a_t+1)大，则增大Q(s_t、a_t)，反之如果小，则减小Q(s_t、a_t)。即，使某种状态下的某种行为的价值接近作为结果立即返回的回报和基于该行为的下一个状态下的最佳的行为的价值。

在这里，关于Q(s、a)在计算机上的表现方法，具有针对全部的状态行为对(s、a)，将其值作为表(行为价值表)进行保存的方法、准备对Q(s、a)进行近似的函数的方法。在后者的方法中，上述的更新式能够通过使用随机梯度下降法等方法调整近似函数的参数来实现。作为近似函数，能够使用后述的神经网络。

另外，作为有教师学习、无教师学习、以及强化学习中的价值函数的近似算法，能够使用神经网络。神经网络例如由实现神经网络的运算装置以及存储器等构成，该神经网络模拟图8所示的神经元模型。

如图8所示，神经元输出与多个输入x(在图8中，作为一个例子为输入x₁～输入x₃)相对的输出y。对各输入x₁～x₃乘以与该输入x对应的权重w(w₁～w₃)。由此，神经元输出式2表现的输出y。此外，输入x、输出y以及权重w全是矢量。另外，在下式2中，θ为偏置，f_k为激活函数。

[式2]

其次，参照图9对具有将上述神经元进行组合后的三层的权重的神经网络进行说明。图9是表示具有D1～D3的三层权重的神经网络的示意图。

如图9所示，从神经网络的左侧输入多个输入x(在此作为一个例子，输入x1～输入x3)，从右侧输出结果y(在此作为一个例子，结果y1～结果y3)。

具体来说，针对三个神经元N11～N13，将输入x1～输入x3分别乘以对应的权重后进行输入。将这些输入乘以的权重统一标记为w1。

神经元N11～N13分别输出z11～z13。在图9中，将这些z11～z13统一标记为特征矢量z1，能够视为抽出了输入矢量的特征量的矢量。该特征矢量z1是权重w1和权重w2之间的特征矢量。针对两个神经元N21、N22，将z11～z13分别乘以对应的权重后进行输入。将这些特征矢量乘以的权重统一标记为w2。

神经元N21、N22分别输出z21、z22。在图9中，将这些z21、z22统一标记为特征矢量z2。该特征矢量z2是权重w2和权重w3之间的特征矢量。针对三个神经元N31～N33，将特征矢量z21、z22乘以对应的权重后进行输入。将这些特征矢量乘以的权重统一标记为w3。

最后，神经元N11～N13分别输出结果y1～结果y3。

在神经网络的动作中，具有学习模式和价值预测模式。例如，在学习模式中使用学习数据集来学习权重w，使用其参数在预测模式中进行电动机驱动装置的行为判断。为了方便记载为预测，但是能够进行检测、分类、推论等多种多样的任务。

在此，既能够即时学习在预测模式中实际使电动机驱动装置进行动作而得到的数据，并将该数据反映到下次的行为中(在线学习)，也能够使用预先收集的数据群来进行总结学习，以后一直使用该参数进行检测模式(批量学习)。或者，在这中间，能够在每次积累了一定程度数据时间隔学习模式。

另外，权重w1～w3能够通过误差逆传播法(反向传播)进行学习。误差的信息从右侧进入流向左侧。误差逆传播法是如下方法：针对各神经元调整(学习)各个权重，从而减小输入了输入x时的输出y和真实的输出y(教师)之间的差。

这样的神经网络可以在三层以上进一步增加层(称为深层学习)。能够一步一步地进行输入的特征抽出，仅从教师数据自动地获得返回结果的运算装置。

在此，本实施方式的机器学习装置1为了实施上述的Q学习，例如如图5所示，具备状态观测部11、学习部12以及意图决定部13。但是，用于本发明的机器学习方法并不限于Q学习，可以采用如上所述的方法。即，能够采用可在机器学习装置中使用的方法，即“有教师学习”、“无教师学习”、“半有教师学习”以及“强化学习”等各种各样的方法。这些的机器学习(机器学习装置1)例如能够通过应用GPGPU或大规模PC集群等来实现。例如在应用有教师学习时，价值函数与学习模型相对应，回报与误差相对应。此外，作为其行为价值表，能够采用使用上述的神经网络进行近似的函数，这在s以及a的信息量巨大时特别有效。

接下来，说明将机器学习装置1的学习算法设为有教师学习的例子。

图10是表示实施例的具备应用了有教师学习的机器学习装置的寿命预测装置以及具备该寿命预测装置的电动机驱动装置的原理框图。通过将图10与上述的图5进行比较可知，图10所示的具备电动机控制装置(在该电动机控制装置中具备应用了有教师学习的机器学习装置)的电动机驱动装置相对于图5所示的具备应用了Q学习(强化学习)的机器学习装置的电动机控制装置，还具备结果(标签)提供部40。另外，图10中的机器学习装置1具备状态观测部11、包含误差计算部23以及学习模型更新部24的学习部15、以及意图决定部16。

在图10所示的具备应用了有教师学习的机器学习装置的电动机控制装置中，误差计算部23以及学习模型更新部24分别与图5所示的应用了Q学习的电动机控制装置中的回报计算部21以及函数更新部22相对应。但是，从结果提供部40向误差计算部23输入结果(标签)。其他的结构与上述的图5相同，在此省略其说明。

结果提供部40向学习部15的误差计算部23提供(输入)附带标签的数据(结果)，误差计算部23取得来自状态观测部11的信号，并且取得来自结果提供部40的附带标签的数据从而进行误差计算，并且，学习模型更新部24进行学习模型的更新。在此，结果提供部40例如在电动机驱动装置1000的处理相同时，例如能够保存直到使电动机驱动装置1000进行驱动的预定日的前一日为止得到的附带标签的数据，并在该预定日向误差计算部23提供该结果提供部40保存的附带标签的数据。

或者，能够通过存储卡或通信线路向该电动机驱动装置1000的误差计算部23提供通过在电动机驱动装置1000外部进行的仿真等得到的数据、或者其他电动机驱动装置的附带标签的数据。并且，能够通过闪速存储器(Flash Memory)等非易失性存储器构成结果提供部40，将结果提供部(非易失性存储器)40内置在学习部15中，由学习部15直接使用在该结果提供部40中保存的附带标签的数据。

关于图10所示的电动机驱动装置1000中具备的机器学习装置1的动作，为了取得功率元件的预测寿命，例如，误差计算部23根据从结果提供部40输入的结果，基于状态变量来计算误差，并更新学习模型更新部24中的学习模型。

此外，作为机器学习装置1，并不限于应用上述的强化学习(例如Q学习)或有教师学习，能够应用各种各样的机器学习的算法。

此外，上述的状态观测部11、学习部12和15以及意图决定部13和16例如可以由软件程序形式来构筑，或者也可以通过各种电子电路和软件程序的组合来构筑。例如在将它们由软件程序形式来构筑时，能够按照该软件程序来使电动机驱动装置1000内所具有的运算处理装置进行动作，或者通过在云服务器上运行该软件程序来实现上述各部位的功能。又或者，也可以将具备状态观测部11以及学习部12、15的机器学习装置1作为写入了用于实现各部功能的软件程序的半导体集成电路来实现。又或者，可以通过不仅包含具备状态观测部11以及学习部12、15的机器学习装置1，还包含意图决定部13、16的形式，来实现写入了用于实现各部功能的软件程序的半导体集成电路。

另外，因为使用电动机驱动控制装置1000为了驱动控制交流电动机2而原本具备的传感器所检测的数据来执行机器学习处理1，因此不需要另外设置新的硬件装置，所以能够在之后安装到既有的电动机驱动装置中来应用。此时，可以在该既有的电动机驱动装置中安装写入了用于实现机器学习装置1和意图决定部13、16的各部功能的软件程序的半导体集成电路，或者可以在该既有的电动机驱动装置内的运算处理装置中追加安装用于实现机器学习装置1和意图决定部13、16的各部功能的软件程序自身。另外，也可以将针对某个电动机驱动装置内的功率元件学习了预测寿命的机器学习装置1安装到与之不同的其他电动机驱动装置中，针对该其他的电动机驱动装置内的功率元件再次学习预测寿命来进行更新。

通过本发明，能够实现能够正确且容易地预测功率元件的预测寿命的机器学习装置及方法以及具备该机器学习装置的寿命预测装置及电动机驱动装置。

通过本发明的机器学习装置及其方法，能够一边实际地使电动机驱动装置进行动作一边学习电动机驱动装置中的电力供给部内的功率元件的预测寿命，所以能够学习与实际的使用状况相应的正确的预测寿命。另外，通过本发明的具备机器学习装置的寿命预测装置以及电动机驱动装置，能够容易计算与实际的使用状况相应的正确的预测寿命。由此，作业者因为能够得知功率元件的正确的预测寿命，所以能够在功率元件无法运转之前更换功率元件，不会超出功率元件的更换定时，因此能够事先防止功率元件的故障或由于达到寿命而引起的重大事故。如此能够在适当的时期进行功率元件的更换，从而能够消减不需要的设计余量，并且能够减少功率元件的库存。另外，因为能够得知在计算预测寿命时得到的对功率元件的寿命造成大的影响的运转状态，所以能够采取措施来变更对功率元件的寿命造成影响的运转状态。例如，设计者能够采取对电动机驱动装置的周围环境进行调整从而成为延长功率元件的寿命的适当温度这样的措施，或者采取变更输出电压、输出电流或开关频率这样的运转条件的措施。