机械学习装置、主轴更换判定装置、控制装置、机床的制作方法

本发明涉及一种能够判定是否需要更换主轴的机械学习装置。本发明还涉及一种能够判定是否需要更换主轴的主轴更换判定装置。本发明还涉及一种能够判定是否需要更换主轴的控制装置。本发明还涉及一种能够判定是否需要更换主轴的机床。本发明还涉及一种能够判定是否需要更换主轴的生产系统。本发明还涉及一种能够判定是否需要更换主轴的机械学习方法。

背景技术：

机床(例如加工中心、车床等)的主轴的动作异常(例如振动、旋转不均匀等)直接影响工件的加工精度，因此在动作异常的程度超出允许范围时要求更换主轴。以往，操作员感知在主轴动作的过程中产生的异常噪声、振动或者对使用主轴加工后的已加工工件的实际尺寸与尺寸目标值之间的差进行测定，由此由操作员按照经验规则来进行主轴的动作异常程度是否超出允许范围的判定。另外，例如像在日本特开平5-052712号公报(JPH5-052712A)中记载的那样，已知以下装置：作为生产机械的故障预测装置，将设置于生产机械中的振动传感器的检测值即振动模式与预定的正常时的基准振动模式进行比较，由此预测生产机械的故障。

技术实现要素：

希望不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，能够正确地判定机床主轴的动作异常程度是否超出允许范围，从而是否需要更换主轴。

本发明的一个方式是一种机械学习装置，其学习与机床的主轴的更换相关联的条件，其具备：状态观测部，其在机床连续运转中，观测表示使用主轴进行加工后的已加工工件的总数的加工个数数据、表示已加工工件的实际尺寸与尺寸目标值之间的差的加工精度数据、表示将机床的运转中断的时间的中断时间数据以及表示是否需要更换主轴的判定结果的更换判定数据，来作为表示主轴的当前状态的状态变量；以及学习部，其持有通过生产已加工工件而可产生的每单位时间的利益或损失以及通过更换主轴而可产生的每单位时间的损失来作为损益数据，并且使用该损益数据和状态变量，学习与主轴的更换相关联的条件。

本发明的另一方式是一种主轴更换判定装置，其判定是否需要更换机床的主轴，其具备：方式的机械学习装置；以及意图决定部，其根据学习部的学习结果，输出表示在当前状态下需要更换主轴的意图和在当前状态下不需要更换主轴的意图中的某个意图的行为指标，状态观测部观测与意图决定部输出的行为指标对应地进行变化后的状态变量，学习部使用变化后的状态变量来学习条件，意图决定部输出在所学习的条件下与状态变量对应地进行最优化后的行为指标。

本发明的另一方式是一种控制装置，其是具备主轴的机床的控制装置，该控制装置具备：方式的主轴更换判定装置；以及数据取得部，其取得加工个数数据、加工精度数据、中断时间数据以及更换判定数据。

本发明的另一方式是一种机床，其具备：主轴；以及方式的主轴更换判定装置或方式的控制装置。

本发明的另一方式是一种生产系统，其具备多个机床，其中的各个机床具有主轴；以及网络，其将多个机床相互连接，多个机床中的至少一个机床由方式的机床构成。

本发明的另一方式是一种生产系统，其具备多个机床，其中的各个机床具有主轴；方式的机械学习装置；以及网络，其将多个机床与机械学习装置相互连接。

本发明的另一方式是一种机械学习方法，其学习与机床的主轴的更换相关联的条件，在该机械学习方法中，电子计算机的CPU在机床连续运转中，观测表示使用主轴进行加工后的已加工工件的总数的加工个数数据、表示已加工工件的实际尺寸与尺寸目标值之间的差的加工精度数据、表示将机床的运转中断的时间的中断时间数据以及表示是否需要更换主轴的判定结果的主轴更换数据，来作为表示主轴的当前状态的状态变量，准备通过生产已加工工件而可产生的每单位时间的利益或损失以及通过更换主轴而可产生的每单位时间的损失，来作为损益数据，使用状态变量和损益数据，学习与主轴的更换相关联的条件。

根据一个方式的机械学习装置，通过使用学习部的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，能够正确地判定机床主轴的动作异常程度是否超出允许范围，从而是否需要更换主轴。

根据其它方式的主轴更换判定装置、控制装置、机床、生产系统以及机械学习方法，均起到与机械学习装置起到的上述效果相同的效果。

附图说明

通过说明与附图关联的以下的实施方式，本发明的目的、特征以及优点更加明确。在该附图中：

图1是表示一个实施方式的机械学习装置的功能框图。

图2是表示另一实施方式的机械学习装置的功能框图。

图3是表示学习部进行的学习方法的一例的流程图。

图4是表示一实施方式的主轴更换判定装置的功能框图。

图5是表示一实施方式的控制装置的功能框图。

图6是表示一实施方式的机床的功能框图。

图7是表示一实施方式的生产系统的功能框图。

图8是表示另一实施方式的生产系统的功能框图。

具体实施方式

以下，参照附图说明本发明的实施方式。在整个附图中，针对对应的结构要素赋予通用的附图标记。

图1表示一实施方式的机械学习装置10。机械学习装置10包含用于通过所谓的机械学习来自身学习与机床(例如加工中心、车床等)的主轴(未图示)的更换相关联的条件C的软件(学习算法等)和硬件(电子计算机的CPU(中央处理装置)等)。机械学习装置10学习的条件C相当于表示连续运转中的机床主轴的当前状态与在当前状态下更换主轴的行为或不更换主轴的行为之间的相关性的模型结构。或者，还能够考虑为条件C相当于决定该模型结构的各种参数。此外，在本申请中，关于主轴的更换，定义为在主轴的动作异常(例如振动、旋转不均匀等)的程度超出了允许范围时，在中断机床的连续运转之后实施的行为。根据该定义，关于与主轴的更换相关联的条件C，换一种说法能够说是与主轴的动作异常程度超出了允许范围的状态(即主轴的故障)相关联的条件。另外，关于判定是否需要更换主轴，能够视为与主轴实际发生故障前预测故障这一情况大致相同的意思。

如在图1中用功能块所示，机械学习装置10具备：状态观测部12，其在机床的连续运转中，观测表示使用主轴加工后的已加工工件的总数的加工个数数据S1、表示已加工工件的实际尺寸与尺寸目标值之间的差的加工精度数据S2、表示将机床的运转中断的时间的中断时间数据S3以及表示是否需要更换主轴的判定结果的更换判定数据S4，来作为表示主轴的当前状态的状态变量S；以及学习部14，其持有通过生产已加工工件而可产生的每单位时间的利益B1或损失B2以及通过更换主轴而可产生的每单位时间的损失B3，来作为损益数据B。学习部14按照被总称为机械学习的任意的学习算法，使用其自身所持有的损益数据B和由状态观测部12观测到的状态变量S，学习与主轴的更换相关联的条件C。

例如能够作为电子计算机的CPU的一个功能来构成状态观测部12。关于状态观测部12观测的状态变量S中的加工个数数据S1，例如能够通过机床的控制装置(未图示)所具备的个数计数功能，作为每当针对一个工件的加工工序结束时增加1的数值数据来取得。以往，在操作员的经验规则中，加工个数越增加，预测主轴的动作异常的程度越高。

另外，每当针对一个工件的加工工序结束时，例如附设在机床中的尺寸测定装置以二维或三维方式对已加工工件的尺寸进行实际测量，由此能够取得加工精度数据S2。加工精度数据S2可以是已加工工件的实际尺寸与该已加工工件的预定的尺寸目标值之间的差本身，也可以是该差相对于尺寸目标值的比例，也可以将该差按等级分为不同的任意的范围(例如大中小的三个阶段的范围)来表示。另外，在考虑了尺寸公差的情况下，也可以将已加工工件的实际尺寸与尺寸目标值之间的差与该已加工工件的预定公差进行比较而得到的结果，以数值、比例、等级等形式作为加工精度数据S2。以往，在操作员的经验规则中，加工精度越差，预测主轴的动作异常的程度越高。

另外，例如通过机床的控制装置中设置的计时器功能，在每次将连续运转中的机床的运转中断时能够取得中断时间数据S3。状态观测部12不掌握机床的运转中断的原因，将全部的中断时间视为伴随着主轴的更换作业而产生的中断时间来进行观测。也就是说，中断时间的产生具有与进行主轴的更换这一情况相同的含义。以往，在操作员的经验规则中，在判定为在主轴的动作中产生的异常噪声、振动的程度超出了允许范围时，进行主轴的更换。

另外，作为进行了是否需要更换主轴的判定后的结果，例如通过确认在机床的控制装置中设置的警报功能是否进行了主轴更换请求的通知，能够取得更换判定数据S4。

例如，能够作为电子计算机的CPU的一个功能构成学习部14。使用由状态观测部12观测的状态变量S的数据，进行预定的运算，由此能够取得学习部14所持有的损益数据B。例如，能够使用实际尺寸与尺寸目标值之间的差在允许范围内(例如公差以内)的已加工工件(在本申请中还称为合格工件)在商务交易中的预定的每一个的收益I、从加工精度数据S2得到的该合格工件的完成度系数(例如实际尺寸与尺寸目标值之间的差相对于尺寸目标值的比例)f、从加工个数数据S1得到的每单位时间的已加工工件(合格工件)的个数n，通过以下式1求出损益数据B中的通过生产已加工工件而可产生的每单位时间的利益B1。

B1(工件利益)＝I×f×n···式1

另外，例如能够使用通过加工实际尺寸与尺寸目标值之间的差超出了允许范围(例如公差)的已加工工件(在本申请中还称为不良工件)而产生的损失(不良工件的加工费Pc和材料费Mc)的总和、从加工个数数据S1得到的每单位时间的已加工工件(不良工件)的个数n，通过以下式2求出通过生产已加工工件而可产生的每单位时间的损失B2。能够通过对加工所消耗的时间、电力、工具磨损量等进行成本换算来求出不良工件的加工费Pc。

B2(工件损失)＝(Pc+Mc)×n···式2

另外，例如，能够使用主轴的更换费用(部件费、人工费等)Ec、与假设在更换主轴所需要的整个时间(即机床的运转中断时间)h中不更换主轴而继续生产合格工件时的利益相当的费用(即h×I×f×n)，通过以下式3求出通过更换主轴而可产生的每单位时间的损失B3。

B3(主轴损失)＝Ec/时间+h×I×f×n/时间···式3

学习部14在机床通过连续运转使用主轴对很多工件进行加工的期间，根据包含针对各个工件得到的损益数据B和状态变量S的数据集，一边参照在该当前状态下主轴所产生的损益(损益数据B)，一边识别暗示了主轴的当前状态(状态变量S)与是否需要更换主轴之间的相关性的特征。在学习算法的开始时，主轴的当前状态与是否需要更换之间的相关性是未知的，但是随着以增加损益数据B中的利益B1另一方面减少损失B2或B3为目标来进行学习，逐渐识别特征来解释相关性。当达到某种程度可信赖的水准解释主轴的当前状态与是否需要更换之间的相关性时，关于学习部14反复输出的学习结果，以不产生损失B2或B3而产生利益B1为前提，能够用于进行应该将当前状态的主轴在下一加工开始之前进行更换，还是不进行更换而应该继续进行下一加工这样的行为的选择(即意图决定)。即，学习部14随着学习算法的推进，能够使条件C逐渐接近最佳解，该条件C表示连续运转中的机床的主轴的当前状态与在该当前状态下更换主轴这样的行为以及不更换主轴这样的行为之间的相关性。

如上所述，在机械学习装置10中，学习部14使用由状态观测部12观测的状态变量S和学习部14所持有的损益数据B，按照机械学习算法，学习与主轴的更换相关联的条件C。状态变量S由加工个数数据S1、加工精度数据S2、中断时间数据S3以及更换判定数据S4这样的不容易受到干扰的影响的数据构成，另外，使用状态变量S的数据，通过预定的运算来唯一地求出损益数据B。关于加工精度数据S2，例如与尺寸测定装置的能力即针对已加工工件的尺寸测定精度相关，期望能够观测自身高精度的加工精度数据S2。因此，根据机械学习装置10，通过使用学习部14的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，并且不依赖于操作员的经验规则，能够正确地判定机床主轴的动作异常程度是否超出了允许范围，从而是否需要更换主轴。

还可将具有上述结构的机械学习装置10构成为：学习部14使用针对具有相同机械结构的多个机床分别得到的状态变量S和损益数据B，学习这些机床共同的条件C。根据该结构，能够增加包含在一定时间得到的状态变量S和损益数据B的数据集的量，因此能够将更多样的数据集作为输入，提高条件C的学习速度和可靠性。

在具有上述结构的机械学习装置10中，学习部14执行的学习算法并不特别进行限定，例如能够采用有教师学习、无教师学习、强化学习、神经网络等公知的学习算法。图2表示另一实施方式的机械学习装置10’，其具备作为学习算法的一例执行强化学习的学习部14’。

在图2表示的机械学习装置10’中，学习部14’具备：回报计算部16，其根据状态变量S计算损益数据B，由此求出针对当前状态下的与主轴的更换相关联的行为的回报R；以及函数更新部18，其使用回报R，对表示当前状态下的上述行为的价值的函数Q进行更新。通过函数更新部18反复进行函数Q的更新，学习部14’学习与主轴的更换相关联的条件C。

说明学习部14’执行的强化学习的算法的一例。本例的算法作为Q学习(Q-learning)而公知，是将行为主体的状态s和在该状态s下行为主体可选择的行为a作为独立变量，学习函数Q(s，a)的方法，该函数Q(s，a)表示在状态s下选择了行为a时的行为价值。在状态s下选择价值函数Q成为最高的行为a的情况为最佳解。在状态s与行为a的相关性为未知的状态下开始Q学习，反复进行在任意的状态s下选择各种行为a的试错，由此反复更新价值函数Q而使其接近最佳解。在此，作为在状态s下选择了行为a的结果，环境(即状态s)发生了变化时，得到与该变化对应的回报(即行为a的权重)r，以选择得到更高回报r的行为a的方式引导学习，由此能够使价值函数Q在以较短时间内接近最佳解。

通常，能够以下那样表示价值函数Q的更新式。

在此，s_t和a_t为时刻t的状态和行为，由于行为a_t，状态变化为s_t+1。r_t+1为通过状态从s_t变化为s_t+1而得到的回报。maxQ的项意味着在时刻t+1进行了成为最大价值Q(和在时刻t考虑)的行为a时的Q。α和γ分别为学习系数和折扣率，以0<α≤1、0<γ≤1来任意设定。

在学习部14’执行Q学习的情况下，行为主体为主轴，由状态观测部12观测到的状态变量S相当于更新式的状态s，更换主轴的行为和不更换主轴的行为相当于更新式的行为a，由回报计算部16求出的回报R相当于更新式的回报r。由此，函数更新部18通过使用回报R的Q学习，对表示更换当前状态的主轴的行为的价值的函数Q和表示不更换当前状态的主轴的行为的价值的函数Q反复进行更新。

关于回报计算部16求出的回报R，能够直接使用根据状态变量S计算出的损益数据B。此时，回报R与用状态变量S表示的主轴的当前状态对应，成为通过生产已加工工件而可产生的每单位时间的利益B1、通过生产已加工工件而可产生的每单位时间的损失B2以及通过更换主轴而可产生的每单位时间的损失B3中的某一个值。或者，还能够将损益数据B乘以预定系数而得到的值作为回报R。函数更新部18能够将利益B1作为正回报R进行处理，将损失B2和B3作为负回报R进行处理。

函数更新部18能够具有将状态变量S、损益数据B以及回报R与通过函数Q表示的行为价值(例如数值)关联起来进行整理后的行为价值表。在该情况下，函数更新部18更新函数Q的行为与函数更新部18更新行为价值表的行为为相同的意思。在Q学习的开始时主轴的当前状态与是否需要更换之间的相关性为未知，因此在行为价值表中，通过与随机决定的行为价值的值(函数Q)相关联的方式准备了各种状态变量S以及对应的损益数据B和回报R。如果状态变量S已知，回报计算部16能够立即计算出对应的损益数据B和回报R，将计算出的值B、R写入行为价值表中。

当将损益数据B中的利益B1作为正回报R，将损益数据B中的损失B2或B3作为负回报R来进行Q学习时，向选择可得到更高的回报R的行为的方向引导学习，对应于作为在当前状态下执行所选择的行为的结果而发生变化的环境的状态(即主轴的状态变量S)，改写与在当前状态下进行的行为有关的行为价值的值(函数Q)来更新行为价值表。通过反复进行该更新，以越是不产生损失B2或B3而产生利益B1的行为则成为越大的值的方式，改写在行为价值表中显示的行为价值的值(函数Q)。如此，未知的主轴当前状态与是否需要更换之间的相关性逐渐变得明确，能够使表示连续运转中的机床主轴的当前状态与在该当前状态下更换主轴的行为和不更换主轴的行为之间的相关性的条件C逐渐接近最佳解。

参照图3进一步说明由学习部14’执行的上述Q学习的流程。首先，在步骤U1中，函数更新部18一边参照在该时间点的行为价值表，一边随机选择更换主轴的行为和不更换主轴的行为中的任意一个行为，来作为状态观测部12观测到的状态变量S所示的当前状态下进行的行为。接着，在步骤U2中，函数更新部18从状态变量S提取更换判定数据S4，来判断是否判定为在前一个状态时需要更换当前状态的主轴。在判定为在前一个状态下需要更换主轴时，函数更新部18在步骤U3中，将回报计算部16并行地求出的负的回报R(相当于损益数据B中的B3(主轴损失))用于函数Q的更新式，接着，在步骤U4中，使用当前状态下的状态变量S、损益数据B、回报R以及行为价值的值(更新后的函数Q)来更新行为价值表。

当在步骤U2中判断为未判定在前一状态时需要更换当前状态的主轴的情况下，函数更新部18在步骤U5中从状态变量S提取加工精度数据S2，判断当前状态的主轴在前一状态后开始进行加工从而最近加工完成的已加工工件的实际尺寸与尺寸目标值之间的差是否相当于合格工件。在相当于合格工件时，函数更新部18在步骤U6中，将回报计算部16并行地求出的正的回报R(相当于损益数据B中的B1(工件利益))用于函数Q的更新式，接着，在步骤U4中，使用当前状态下的状态变量S、损益数据B、回报R、行为价值的值(更新后的函数Q)来更新行为价值表。

当在步骤U5中判断为当前状态的主轴最近加工完成的已加工工件不相当于合格工件时，函数更新部18在步骤U3中，将由回报计算部16并行地求出的负的回报R(相当于损益数据B中的B2(工件损失))用于函数Q的更新式，接着，在步骤U4中同样地更新行为价值表。当行为价值表的更新完成时，返回至步骤U1，函数更新部18一边参照更新后的行为价值表，一边随机地选择由于在上一次的步骤U1中选择的行为而发生变化的状态变量S所示的下一状态下进行的行为。学习部14’通过反复进行步骤U1～U6来反复更新行为价值表，从而推进条件C的学习。

能够将上述机械学习装置10或10’的结构记述为由电子计算机的CPU执行的机械学习方法。该机械学习方法学习与机床主轴的更换相关联的条件C，其特征在于，电子计算机的CPU进行如下处理：在机床连续运转中，观测表示使用主轴进行加工后的已加工工件的总数的加工个数数据S1、表示已加工工件的实际尺寸与尺寸目标值之间的差的加工精度数据S2、表示将机床的运转中断的时间的中断时间数据S3以及表示是否需要更换主轴的判定结果的主轴更换数据S4，来作为表示主轴的当前状态的状态变量S，准备通过生产已加工工件而可产生的每单位时间的利益B1或损失B2以及通过更换主轴而可产生的每单位时间的损失B3，来作为损益数据B，使用状态变量S和损益数据B，学习与主轴的更换相关联的条件C。

图4表示具备机械学习装置10或10’的一个实施方式的主轴更换判定装置20。主轴更换判定装置20除了包括用于通过机械学习来自身学习与机床(例如加工中心、车床等)的主轴(未图示)的更换相关联的条件C的软件(学习算法等)和硬件(电子计算机的CPU等)以外，还包括按照学习的条件C判定是否需要更换当前状态的主轴的软件(判定算法等)和硬件(电子计算机的CPU等)。主轴更换判定装置20还能够具有由一个通用的CPU执行学习算法、判定算法等全部软件的结构。

主轴更换判定装置20具备意图决定部22，该意图决定部22根据上述机械学习装置10(或10’)以及学习部14(或14’)的学习结果，输出行为指标A，该行为指标A表示在当前状态下需要更换主轴的意图和在当前状态下不需要更换主轴的意图中的某一个意图。

例如，能够作为电子计算机的CPU的一个功能构成意图决定部22。意图决定部22按照由机械学习装置10(10’)学习的条件C(表示连续运转中的机床主轴的当前状态与在该当前状态下更换主轴的行为和不更换主轴的行为之间的相关性的数据集)，按照任意的判定算法来判定当前状态下是否需要更换主轴，将该判定结果作为行为指标A进行输出。当意图决定部22输出表示需要更换主轴的意图的行为指标A时，与此对应，环境的状态(主轴的状态变量S中的中断时间数据S3和更换判定数据S4)进行变化。当意图决定部22输出表示不需要更换主轴的意图的行为指标A时，与此对应，环境的状态(主轴的状态变量S中的加工个数数据S1和加工精度数据S2)进行变化。

状态观测部12观测与意图决定部22输出的行为指标A相对应地进行了变化的状态变量S。学习部14(14’)使用变化后的状态变量S来更新价值函数Q(即行为价值表)，由此来学习条件C。意图决定部22在学习的条件C下对应于状态变量S输出最佳化的行为指标A。通过反复该循环，主轴更换判定装置20推进机械学习装置10(10’)针对条件C的学习，逐渐提高是否需要更换主轴的判定的可靠性。

当意图决定部22输出表示需要更换主轴的意图的行为指标A时，在该环境下产生实际更换主轴的需要。但是，在机械学习装置10(10’)针对条件C的学习的达成度(即是否需要更换主轴的判定的可靠性)尚未达到要求等级的阶段，当按照意图决定部22输出的行为指标A来更换主轴时有可能产生无用的损失。为了避免学习过程中的阶段的这种无用的主轴更换，例如能够构成为在意图决定部22输出了表示需要更换主轴的意图的行为指标A的情况下，在经过预定的时间(例如几秒钟左右)之后，学习部14(14’)使实际未更换的主轴的状态变量S主动地变化为更换后的状态变量S。能够构成为在意图决定部22输出了表示需要更换主轴的意图的行为指标A时，例如机床的控制装置进行将机床的连续运转中断的控制，但是，还能够构成为在学习部14(14’)使主轴的状态变量S主动地变化为更换后的状态变量S时，由控制装置解除运转中断而再次开始连续运转。此外，关于机械学习装置10(10’)针对条件C的学习的达成度(即是否需要更换主轴的判定的可靠性)是否到达要求等级的判定，可在学习开始后的适当的时期由操作员来进行判定。

在主轴更换判定装置20采用上述强化学习(特别是Q学习)来作为机械学习的算法的情况下，将学习部14’的回报计算部16(图2)求出的回报R在上述价值函数Q的更新式中，作为通过状态从s_t变化为s_t+1而得到的回报r_t+1来使用。此时，关于回报R，针对成为状态s(状态变量S)的变化原因的行为a为按照来自意图决定部22的需要更换主轴的行为指标A的行为(即更换主轴的行为)的情况以及按照来自意图决定部22的不需要更换主轴的行为指标A的行为(即不更换主轴的行为)的情况中的任意一情况，均使用根据变化前的状态变量S，例如通过上述计算式唯一求出的同一值。即，回报R并非是在使主轴的当前状态变化为下一状态时选择的两个行为(更换的行为和不更换的行为)之间赋予权重之差的参数，而是在使主轴的当前状态变化为下一状态时进行的行为(更换的行为或不更换的行为)与使主轴的下一状态变化为再下一个状态时进行的行为(更换的行为或不更换的行为)之间赋予权重之差的参数。

在主轴更换判定装置20采用上述强化学习(特别是Q学习)来作为机械学习的算法的情况下，作为在意图决定部22输出行为指标A时执行的判定算法，例如能够采用作为ε-greedy法而已知的算法。根据ε-greedy法，意图决定部22以1-ε的概率来选择使主轴的当前状态变化为下一状态时选择的两个行为(更换的行为和不更换的行为)中的价值函数Q的值大的行为，并且与价值函数Q的值无关地以ε的概率随机地选择任意一个行为，由此来决定行为指标A。通过这种方法来进行是否需要更换主轴的判定(即决定行为指标A)，由此能够顺利地进行Q学习。

具有上述结构的主轴更换判定装置20通过使用机械学习装置10(10’)的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，此外不依赖于操作员的经验规则，能够正确地判定机床主轴的动作异常程度是否超出允许范围，从而是否需要更换主轴。

如图4所示，主轴更换判定装置20还能够具备比较部24，该比较部24将已加工工件的实际尺寸与尺寸目标值之间的差与已加工工件的预定的公差进行比较。在该情况下，将状态观测部12构成为观测比较部24的比较结果，来作为状态变量S中的加工精度数据S2。如上所述，比较部24的比较结果能够以数值、比例、等级等形式来表现。根据该结构，学习部14(14’)能够根据状态观测部12观测到的比较部24的比较结果，在已加工工件的实际尺寸与尺寸目标值之间的差在公差以下的情况下，判定为加工精度数据S2表示合格工件，例如回报计算部16(图2)求出工件利益B1来作为回报R，另一方面，在已加工工件的实际尺寸与尺寸目标值之间的差超出公差的情况下，判定为加工精度数据S2表示不良工件，例如回报计算部16(图2)求出工件损失B2来作为回报R。

针对已加工工件设定的公差越大(即对已加工工件要求的尺寸精度的水准越低)，带来工件利益B1的合格工件的实际尺寸与尺寸目标值之间的差越大。针对已加工工件设定的公差越小(即对已加工工件要求的尺寸精度的水准越高)，带来工件利益B1的合格工件的实际尺寸与尺寸目标值之间的差越小。因而，学习部14(14’)能够以与已加工工件的公差相对应的最佳解为目标，学习条件C。

图5表示具备主轴更换判定装置20的一实施方式的控制装置30。控制装置30除了包含用于通过机械学习来自身学习与机床(例如加工中心、车床等)的主轴(未图示)的更换相关联的条件C的软件(学习算法等)和硬件(电子计算机的CPU等)、以及按照学习的条件C判定是否需要更换当前状态的主轴的软件(判定算法等)和硬件(电子计算机的CPU等)以外，还包含用于控制机床的动作的软件(控制算法等)以及硬件(电子计算机的CPU等)。控制装置30还能够具有由一个通用的CPU执行学习算法、判定算法以及控制算法等全部软件的结构。

控制装置30具备上述的主轴更换判定装置20和数据取得部32，该数据取得部32取得由状态观测部12观测的状态变量S的加工个数数据S1、加工精度数据S2、中断时间数据S3以及更换判定数据S4。如上所述，数据取得部32能够从控制装置30所具备的个数计数功能、计时器功能、警报功能、附设于机床的尺寸测定装置取得状态变量S的各种数据S1～S4。

具有上述结构的控制装置30通过内置主轴更换判定装置20，使用机械学习装置10(10’)的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，此外不依赖于操作员的经验规则，能够正确地判定机床主轴的动作异常程度是否超出允许范围，从而是否需要更换主轴。

如图5所示，控制装置30还能够具备警报部34，该警报部34在意图决定部22输出的行为指标A表示需要更换主轴的意图的情况下，输出用于通知主轴的更换请求的信号。当警报部34输出主轴更换请求的通知信号时，任意的周边装置能够将主轴更换请求例如变换为声音、光、图像来使操作员得知。控制装置30在警报部34输出主轴更换请求的通知信号时，能够使机床的全部动作紧急停止。

当在控制装置30的控制下一个工件的加工完成时，当警报部34输出了主轴更换请求的通知信号时，与此对应，环境的状态(主轴的状态变量S中的中断时间数据S3和更换判定数据S4)进行变化。另外，在控制装置30的控制下一个工件的加工完成时，当警报部3未输出主轴更换请求的通知信号时，与此对应，环境的状态(主轴的状态变量S中的加工个数数据S1和加工精度数据S2)进行变化。操作员能够按照有无从警报部34输出通知信号，来判定环境的状态(主轴的状态变量S)如何进行变化。

图6表示具备控制装置30的一实施方式的机床40。机床40例如是加工中心、车床等具备主轴的机床，主轴保持工具或工件而使其旋转。机床40例如能够按照控制装置30执行的数控算法，按照指令使主轴42、其它的可动部进行移动。

具有上述结构的机床40通过具备控制装置30，使用机械学习装置10(10’)的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，此外不依赖于操作员的经验规则，能够正确地判定主轴42的动作异常程度是否超出允许范围，从而是否需要更换主轴42。

如图6所示，机床40还能够具备测定装置44，该测定装置44以二维或三维方式测定已加工工件的实际尺寸与尺寸目标值之间的差。测定装置44即可以具备使用探头等的接触式测定机构，也可以具备使用光、声波等的非接触式测定机构。数据取得部32能够根据测定装置44的测定结果，取得状态观测部12观测的状态变量S中的加工精度数据S2。

另外，并未图示，但是作为机床40的变形例，还能够采用具备专门进行机床40的动作控制的控制装置以及具有与该控制装置不同的CPU的主轴更换判定装置20的结构。

图7表示具备机床40的一实施方式的生产系统50。生产系统50具备具有相同机械结构的多个机床40、40’以及将这些机床40、40’相互进行连接的网络52，将多个机床40、40’中至少一个机床构成为具备主轴更换判定装置20(或控制装置30)的机床40。另外，生产系统50能够包含不具备主轴更换判定装置20(或控制装置30)的机床40’。机床40’能够具备主轴42(图6)以及专门进行机床40’的动作控制的控制装置。

在具有上述结构的生产系统50中，多个机床40、40’中的具备主轴更换判定装置20的机床40使用机械学习装置10(10’)的学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，此外不依赖于操作员的经验规则，能够正确地判定自身的主轴42的动作异常程度是否超出允许范围，从而是否需要更换主轴42。另外，可构成为至少一个机床40的主轴更换判定装置20根据针对其它多个机床40、40’分别得到的主轴42的状态变量S，学习对于全部的机床40、40’通用的条件C，全部的机床40、40’共享其学习结果。因而，根据生产系统50，将更多样的数据集(包含状态变量S和损益数据B)作为输入，能够提高条件C的学习速度、可靠性。

图8表示具备机床40’的另一实施方式的生产系统50’。生产系统50’具备机械学习装置10(10’)或主轴更换判定装置20、具有相同机械结构的多个机床40’、将这些机床40’与机械学习装置10(10’)或主轴更换判定装置20相互连接的网络52。

在具有上述结构的生产系统50’中，机械学习装置10(10’)或主轴更换判定装置20根据针对多个机床40’分别得到的主轴42的状态变量S，学习对于全部的机床40’通用的条件C，使用其学习结果，不依赖于振动传感器的检测值那样的容易受到干扰的影响的检测值，此外不依赖于操作员的经验规则，能够正确地判定各个主轴42的动作异常程度是否超出允许范围，从而是否需要更换主轴42。

生产系统50’能够具有机械学习装置10(10’)或主轴更换判定装置20存在于在网络52中准备的云服务器中的结构。根据该结构，与多个机床40’各自所处的场所、时间无关，在需要时能够将所需数量的机床40’与机械学习装置10(10’)或主轴更换判定装置20进行连接。

从事于生产系统50、50’的操作员能够在机械学习装置10(10’)开始学习后的适当的时期，执行机械学习装置10(10’)针对条件C的学习的达成度(即是否需要更换主轴的判定的可靠性)是否到达要求等级的判断。关于该判断，例如在机床40的控制装置30的警报部34输出了主轴更换请求的通知信号时，在学习部14(14’)使主轴的状态变量S主动地变化为更换后的状态变量S的处理之前，由操作员进行用于维持机床40的运转中断状态的操作，针对当前状态的主轴42，实地验证需要更换主轴的判断结果的恰当性，由此能够执行该判断。在生产系统50、50’中，对操作员要求的必须进行的作业为该学习达成度的判断作业，与此相对，在仅借助操作员的经验规则来进行主轴的故障预测的现有技术中，操作员需要对多个机床40、40’随时进行异常噪声、振动的确认、工件的加工精度的检查这样的作业。因而，根据生产系统50、50’，能够消减与操作员相关联的人工费，并且能够提高机床40、40’的运转率。

以上，根据附图说明了本发明的各种实施方式的结构，但是本发明并不限于上述结构。例如，由机械学习装置10(10’)执行的学习算法、由主轴更换判定装置20执行的判定算法、由控制装置30执行的控制算法等并不限于上述算法，能够采用各种算法。

以上说明了本发明的实施方式，但是本领域技术人员可理解不脱离权利要求的公开范围而能够进行各种修正和变更。