本发明涉及对搭建制造单元的多个制造机械进行控制的单元控制装置。
背景技术：
在制造工厂中，通过机床、机器人等制造机械来进行部件的加工、焊接等作业。另外，为了制造产品，通过多个制造机械来构筑生产线、例如制造单元。在这种情况下，构筑制造单元的各制造机械经由网络通信通过单元控制装置而被控制。并且，单元控制装置根据来自作为上位计算机的生产管理装置的指令，驱动各制造机械。
在这样的制造单元中，有时机器人等制造机械发生异常，制造机械不能正常运作，生产力低下。因此，提出了多种及早检测制造机械的异常的方法。
例如，在日本特开2004-202624号公报中，公开有从与网络相连接的多个机器人收集信息的装置。该装置在预定的机器人出现故障时，对预先登记的机器人的信息和实时取得的机器人的个别信息进行比较，由此来预测有可能发生故障的机器人。在专利文献1中还公开了根据已知故障的机器人的信息，提取该机器人在故障时所需部件的候补。
另外，在日本专利第4739556号公报中公开了，具有使用与实际的机器人相同的型号、对该实际的机器人的动作以及状态进行再现的模拟部的异常判断装置。在该装置中，通过对针对动作指令的实际的机器人的动作以及状态与基于模拟部的再现结果进行比较，来判定实际的机器人的动作以及状态中是否存在异常。
为了提高生产力，一般地需要及早探明制造机械发生异常时的异常原因，尽快使该制造机械恢复正常。
然而，当发生的异常是由制造机械的设定错误、操作错误等引起的异常时，存在在查明该异常原因之前需要花费时间的问题。
也就是说，由设定错误、操作错误等引起的异常多数情况是通过将从正常地运行的制造机械获得的信息与从发生异常的制造机械获得的信息进行比较而发现的。但是，由于现状是需要由维护管理人员、制造机械的制造商的技术支持工程师来进行从各个制造机械中取出内部信息并对这些内部信息进行比较这样的一连串的作业，因此需要花费时间来查明异常原因。
因此，期望提供一种及早发现上述那样的可能由设定错误、操作错误等制造机械的内部信息所引起而发生的异常的技术。
此外，在日本特开2004-202624号公报中公开的装置存在如下问题：尽管预知了机器人等制造机械的部件故障，但是无法预测因制造机械的设定错误、操作错误即制造机械的内部信息所引起的异常的发生。该问题也存在于日本专利第4739556号公报中所公开的装置中。日本专利第4739556号公报中所公开的装置中还存在如下问题：当通过模拟部对针对动作指令的实际的机器人的动作以及状态进行再现时，一旦存在模拟误差，则异常判定结果不再正确。
技术实现要素：
本发明提供一种高效地发现因制造机械的内部信息所引起的异常的单元控制装置。
本发明的第一方式提供一种单元控制装置，其控制构筑制造单元的多个制造机械，该单元控制装置具有：
内部信息取得部，其取得所述多个制造机械的内部信息；
比较对象选出部，其当所述多个制造机械中的第一制造机械发生异常时，从所述多个制造机械中选出所述第一制造机械以及具有与该第一制造机械类似的结构要素的正常作业的第二制造机械；
内部信息比较部，其对通过所述比较对象选出部选出的所述第一制造机械以及所述第二制造机械，对通过所述内部信息取得部分别取得的所述第一制造机械的第一内部信息以及所述第二制造机械的第二内部信息进行比较，并提取差异；
异常原因发现部，其根据通过所述内部信息比较部提取出的所述第一内部信息与所述第二内部信息之间的差异，发现在所述第一制造机械发生的异常的原因或者今后可能发生的异常的原因；以及
异常原因通知部，其将通过所述异常原因发现部所发现的异常的原因通知到所述单元控制装置之外。
本发明的第二方式提供一种单元控制装置，其根据上述第一方式的单元控制装置，各所述制造机械的内部信息包含下列信息中的至少一个：与制造机械的驱动相关的驱动参数、与制造机械的功能相关的功能参数；制造机械执行的作业程序、以及以时序记录了制造机械为了进行预定的作业而接收到的作业指令的作业指令日志。
本发明的第三方式提供一种单元控制装置，其根据上述第二方式的单元控制装置，所述单元控制装置还具有异常位置更正部，其当所述驱动参数、所述功能参数、以及所述作业程序中的至少一个成为所述异常的原因时，更正该异常的部位。
本发明的第四方式提供一种单元控制装置，其根据上述第二方式的单元控制装置，所述作业指令日志是以时序记录了通过操作者进行的操作、作业程序执行处理、向外部的信号输入、或者来自外部的信号输入而发生的作业指令的信息。
本发明的第五方式提供一种单元控制装置，其根据上述第二方式的单元控制装置，所述单元控制装置还具有作业指令补充部，其在所述第一内部信息中的作业指令日志和所述第二内部信息中的作业指令日志中的某一个中存在不足这一情况成为所述异常的原因的情况下，对作业指令不足的制造机械补充该不足的作业指令的操作。
本发明的第六方式提供一种单元控制装置，其根据从上述第一方式到第五方式的任一个的单元控制装置，所述比较对象选出部参照表示与各所述制造机械相关联的制造机械的结构要素的装置结构信息，将装置结构信息彼此进行比较，由此来选出所述第一制造机械以及所述第二制造机械。
本发明的第七方式提供一种单元控制装置，其根据从上述第一方式到第五方式的任一个的单元控制装置，所述比较对象选出部根据将类似的所述第一制造机械与所述第二制造机械互相对应起来而预先登记的登记信息，选出所述第一制造机械以及所述第二制造机械。
本发明的第八方式提供一种单元控制装置，其根据从上述第一方式到第七方式的任一个的单元控制装置，所述内部信息取得部以预定的周期取得各所述制造机械的内部信息。
本发明的第九方式提供一种单元控制装置，其根据从上述第一方式到第八方式的任一个的单元控制装置，所述单元控制装置还具有将在各所述制造机械中发生的异常的状态与该异常发生的原因关联起来进行存储的数据库，所述异常原因发现部通过参照该数据库，发现在所述第一制造机械中发生的异常的原因或者今后可能发生的异常的原因。
本发明的第十方式提供一种单元控制装置，其根据上述第九方式的单元控制装置，所述单元控制装置还具有数据库更新部，其在所述数据库中分别反映发生在所述第一制造机械和所述第二制造机械的某一个中的异常的状态，以及成为该异常的原因的通过所述内部信息比较部提取出的所述第一内部信息与所述第二内部信息之间的差异。
本发明的第十一方式提供一种单元控制装置，其根据上述第九方式的单元控制装置，所述单元控制装置包含多个所述单元控制装置，该单元控制装置还具有数据库共享部，其与不同于所述单元控制装置的所述单元控制装置共享所述数据库。
本发明的第十二方式提供一种单元控制装置，其是上述第九方式的单元控制装置，所述单元控制装置还具有学习器，其通过使用所述数据库内存储的信息、取得的各所述制造机械的内部信息、表示各所述制造机械的结构要素的装置结构信息进行机械学习，来更新所述数据库内存储的信息。
附图说明
根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其他的目的、特征和优点会变得更明确。
图1是简略表示具有一个实施方式的单元控制装置的生产系统的框图。
图2是更具体地表示了图1所示的生产系统的单元控制装置的框图。
图3是表示神经元的模型的示意图。
图4是表示3层的神经网络模型的示意图。
具体实施方式
接下来，参照附图对本发明的实施方式进行说明。在所参照的附图中，对于相同的功能部或部件标记相同的参照符号。为了便于理解，这些附图适当地改变了比例尺。另外，附图中所示的方式是用于实施本发明的一个例子，本发明并不限定于被图示的方式。
图1是简略表示具有一个实施方式的单元控制装置生产系统的框图。
参照图1，生产系统10具有至少一个制造单元11、控制制造单元11的单元控制装置12以及生产管理装置13。
制造单元11被配置在制造产品的工厂中。与此相对地，单元控制装置12以及生产管理装置13被配置在不同于工厂的建筑物中。例如，单元控制装置12也可以被配置在位于配置了制造单元11的工厂的场地中的其他建筑物中。对于这种情况，优选的是制造单元11和单元控制装置12经由通信装置31、例如内部网网络而能够通信地互相连接。
生产管理装置13也可以被配置在例如距离工厂较远的办公室中。对于这种情况，优选的是单元控制装置12和生产管理装置13经由通信装置32、例如因特网网络而能够通信地互相连接。此外，对于本实施方式的生产管理装置13，优选的是在上述办公室中使用管理多个制造单元11或者各制造机械的作业状况的上位计算机。
制造单元11是灵活地组合了多个制造产品的制造机械的集合。本实施方式的制造单元11由图1所示的机床m1、机器人r1、机床m2以及机器人r2的多个制造机械构筑而所，但是在制造单元11中不限定制造机械的数量。另外，制造单元11可以是通过多个制造机械依次对某工件进行处理而成为最终的产品的生产线。或者，制造单元11也可以是在制造工序的过程中将由两个以上的制造机械各自所处理而得的两个以上的工件(部件)由另一个制造机械进行组合，由此来完成最终产品的生产线。另外，在本发明中，也可以对由两个以上的制造单元11所处理而得的两个以上的工件进行组合，由此来完成最终的产品。
另外，用于本发明的各制造机械不限定于nc机床或工业用机器人。作为各制造机械，可以是例如plc、搬运机、测量器、试验装置、压力机、压入装置、印刷机、压铸机、注塑成型机、食品机械、包装机、焊接机、清洗机、涂装机、组装装置、安装机、木材加工机械、密封装置或切割机等。
另外，优选的是，上述的单元控制装置12以及机床m1、机器人r1、机床m2以及机器人r2等制造机械的各自是使用经由总线互相连接的计算机系统(未图示)而构成的，该机器人系统具有rom、ram等存储器、cpu以及通信控制部。通过这些通信控制部来控制单元控制装置12与上述各制造机械之间的数据的接收发送。另外，优选的是，对于单元控制装置12以及上述制造机械的各个功能、动作，通过各个cpu执行存储在各个制造机械所具有的rom中的程序来实现的。
进一步，对单元控制装置12的结构进行描述。图2是更加具体地表示了图1所示的生产系统10的单元控制装置12的框图。
如图2所示，本实施方式的单元控制装置12具有作为基本的组成要素的内部信息取得部14、内部信息比较部15、异常原因发现部16以及异常原因通知部17。
内部信息取得部14在任意的定时分别取得构筑了制造单元11的多个制造机械25～28的内部信息。此外，图1所示的机床m1、机器人r1、机床m2以及机器人r2分别对应制造机械25～28。
各制造机械25～28的内部信息是保存在制造机械内的存储器中的信息，包含驱动参数、功能参数、作业程序以及作业指令日志中的至少一项。但是，保存上述内部信息的存储器不必如本实施方式那样存在于制造机械内部，可以位于制造机械外部，也可以位于单元控制装置12内部。
内部信息比较部15针对从多个制造机械25～28中选出的第一制造机械以及第二制造机械，将由内部信息取得部14分别取得的第一内部信息以及第二内部信息进行比较，提取这些内部信息的差异。
异常原因发现部16根据由内部信息比较部15提取出的上述第一内部信息与第二内部信息之间的差异，发现在第一制造机械或第二制造机械中发生的异常的原因、或者发现今后可能发生的异常的原因。然后，异常原因通知部17将由异常原因发现部16发现的异常原因通知到单元控制装置12之外。对于通知方法，有使用显示器、印刷装置等进行通知的方法。
在这里，对于作为如上所述的制造机械的内部信息而取得的驱动参数、功能参数、作业程序以及作业指令日志，作为代表示例列举了如下信息。
驱动参数是直接关系到制造机械的驱动的参数。例如，在以伺服电动机作为驱动源进行动作的多关节机器人的情况下，驱动参数中包含机器人各轴的主控(mastering)位置的脉冲计数、伺服控制参数等。另外，机器人的控制装置有时控制由伺服电动机所驱动的机械手、点焊枪等外围设备，因此驱动参数中也包含与这些外围设备的驱动有关的参数。
功能参数是为了使搭载在制造机械中的预定功能运行而应设定的参数。例如，是经由现场网络而将制造机械与单元控制装置以及外围设备相连接时的网络设定信息以及信号的分配信息、能够从软件功能以及作业程序而访问的计数器(counter)等。进一步，功能参数还包含搭载在制造机械中的异常判定功能的判定阈值，例如，用于判定以伺服电动机作为驱动源而动作的多关节机器人受到了过负载这一情况的、伺服电动机的转矩的上限值等。
作业程序是对用于供制造机械进行预定作业的命令处理进行编程而得的信息。例如，在多关节机器人的情况下，作业程序中包含用于使臂部移动到作业位置的动作命令、将任意的信号向外部进行通知的命令、读取任意的信号的状态的命令等信息。另外，作业程序还包含作业位置的位置信息、要操作的信号的编号。当然，可以是任何能够在程序上登记的命令。也就是说，本发明不限定于在这里示例的编程信息。
作业指令日志(也称为操作日志。)是当操作者操作了制造机械、或者制造机械自身执行了任意作业时，按照时间序列对接收到的关键事件(keyevent)进行记录而得的信息。例如是，操作者通过制造机械的操作盘输入的关键操作的日志信息、显示到显示器中的画面信息等。另外，也可以是按照时间序列对执行作业程序时所实施的命令处理进行并排地整理而得的信息。
以上，对于本实施方式的单元控制装置12的基本结构要素进行了说明，优选的是本发明还具备以下的各种结构要素。即如图2所示，优选的是在单元控制装置12内还具备异常部位更正部18、作业指令补充部19、比较对象选出部20、异常检测部21、数据库22、数据库更新部23以及学习器24。以下、按顺序说明这些结构要素的功能。
当如上所述的驱动参数、功能参数以及作业程序中的至少一个成为异常的原因时，异常位置更正部18更正该异常部位。另外，当对制造机械的作业指令中存在不足而成为异常的原因时，作业指令补充部19对该不足的作业指令进行补充。例如，当如上所述的第一内部信息中的作业指令日志与如上所述的第二内部信息中的作业指令日志之间的差异，导致某一方中发生作业指令的不足时，作业指令补充部19对该不足的作业指令进行补充。
比较对象选出部20从多个制造机械25～28中选出应该在内部信息比较部15进行比较的第一制造机械以及第二制造机械。例如，比较对象选出部20参照与各个制造机械相关联的、表示制造机械的结构要素的装置结构信息，比较这些装置结构信息。由此，比较对象选出部20选出发生了异常的第一制造机械和具有与其相似的结构要素的第二制造机械。或者，比较对象选出部20也可以根据对类似的第一制造机械以及第二制造机械进行互相关联而预先登记的登记信息，来选出应该进行比较的第一制造机械以及第二制造机械。
异常检测部21一边监控多个制造机械25～28各自的状态一边检测异常的发生。此外，异常检测部21还将在哪个制造机械中发生了异常通知到比较对象选出部20。像这样检测异常发生的功能也可以不单独设置为异常检测部21，而是包含在比较对象选出部20的功能中。此外，优选的是在各个制造机械25～28中对每个制造机械设置多个传感器(未图示)以便能够检测各种各样的状态。
数据库22将在各制造机械中发生的异常的状态与该异常发生的原因相关联地进行存储。由此，异常原因发现部16能够参照异常原因管理数据库，发现在第一制造机械或第二制造机械的某一个中发生的异常的原因，或者今后可能发生的异常的原因。
数据库更新部23更新所述数据库22内存储的信息。数据库更新部23将在第一制造机械或者所述第二制造机械的某一个中发生的异常的状态、和当时成为原因的、由内部信息比较部15得到的第一内部信息与第二内部信息之间的差异，输入到数据库22中。此外，优选的是，当本实施方式的生产系统10具有多个单元控制装置12时，设置有使与不同于某单元控制装置12的另一个单元控制装置12共享数据库22的数据库共享部(未图示)、例如服务器。
学习器24被设置在数据库更新部23中。并且，学习器24对应该在数据库22内存储的、在各制造机械中发生的异常的状态与该异常发生的原因的组合进行学习。
但是，在本发明的单元控制装置中，不一定具有如上所述那样的异常部位更正部18、作业指令补充部19、比较对象选出部20、异常检测部21、数据库22、数据库更新部23以及学习器24。
接下来，一边参照图2一边对本实施方式的单元控制装置12的动作进行说明。
设在多个制造机械25～28中的制造机械26(即图1所示的机器人r1)中发生了异常。该异常发生的检测由异常检测部21进行。因此，比较对象选出部20从多个制造机械25～28中选出具有与制造机械26类似的结构要素的制造机械28(即图1所示的机器人r2)。
特别是，在选出与制造机械26类似的制造机械时，比较对象选出部20使用在各制造机械内登记的识别信息、例如装置的型号名称，来判别制造机械的类似。例如，确认机器人r1的型号名称与机器人r2的型号名称是否相同。或者，也可以预先在单元控制装置12内存储制造机械26与制造机械28是类似结构的内容的信息，根据该存储信息进行制造机械的类似的判别。例如，在比较对象选出部20中预先登记了机器人r1与机器人r2是类似结构的内容。
接下来，单元控制装置12的内部信息比较部15对于从制造机械26取得的第一内部信息a与从制造机械28取得的第二内部信息b的相同种类的信息进行比较，并提取其差异。此外，通过内部信息取得部14预先取得了制造机械26以及制造机械28的各自的内部信息。
对于内部信息的取得定时，在异常发生时也可以，但是优选的是，以预定的周期取得未发生异常时的内部信息。这在制造机械的系统中发生严重异常，在异常发生时内部信息的取得变得困难的状态中是有效的。另外，在以预定的周期取得制造机械的内部信息时，优选的是内部信息比较部15使用在异常发生之前的预定时间中所取得的内部信息。
接下来，单元控制装置12的异常原因发现部16分析由内部信息比较部15提取的所述第一内部信息a与第二内部信息b之间的差异，决定异常的原因的候补。此时，优选的是根据可通过以下示例而比较的信息，来决定异常原因的候补。
例如，设作为制造机械26的机器人r1发生了移动到与原来的作业位置不同的位置的异常动作。在这种情况下，比较从制造机械26即机器人r1取得的第一内部信息a中的作业程序与从制造机械28即机器人r2取得的作为第二内部信息b的作业程序。其结果，如果在作业程序内所登记的作业位置不同，则将该作业位置的差异作为异常动作的原因。
另外，设在第一内部信息a中的作业指令日志中剩余的作业程序的执行顺序是，从执行开始、作业程序no.1、作业程序no.2以及作业程序no.3的顺序。另一方面，在第二内部信息b中的操作日志中剩余的作业程序的执行顺序是，从指令开始、作业程序no.2、作业程序no.1以及作业程序no.3的顺序。这种情况下，作业程序的执行顺序的差异是异常动作的原因。
除此之外，对于应该比较的作业指令日志的内容，可以是哪个制造机械的操作盘的操作的内容、来自外部的信号的输出等使制造机械的状态发生某种变化的内容。
另外，对所述第一内部信息a中的驱动参数与所述第二内部信息b中的驱动参数进行比较，其结果为，某轴的一个驱动参数即伺服控制参数不同。在这种情况下，认为该控制参数的差异是异常动作的原因。此外，驱动参数是指例如多关节机器人的各关节轴的电动机的控制增益、主控计数(masteringcount)、加减速时间常数等。
此外，异常原因发现部16在如上所述决定异常原因的候补时，也可参照在各制造机械25～28中发生的异常的状态与该异常发生的原因相关联地进行存储的数据库22。优选的是，该数据库22不仅供单一的单元控制装置12，还可以经由网络而共用多个单元控制装置12的各个数据库22。
接下来，单元控制装置12的异常原因通知部17将由异常原因发现部16所发现的异常原因通知到单元控制装置12之外。此时，异常原因被通知到与单元控制装置12相连接的显示器、印刷装置等输出部(未图示)。另外，异常原因被通知到经由通信装置31与单元控制装置12相连接的各个制造机械25～28、经由通信装置32与单元控制装置12相连接的生产管理装置13等。
操作者根据从异常原因通知部17通知的异常原因的信息，使发生异常的制造机械26恢复。
当该制造机械26恢复时，也可以不是由操作者而是由单元控制装置12的异常部位更正部18访问制造机械26，来更正成为异常原因的参数等。或者，也可以当制造机械26的操作步骤中存在缺陷(故障)时，单元控制装置12的作业指令补充部19自动地补充该操作。
例如，设在两个类似的机器人r1、r2中需要定期地启动维护程序。在这种情况下，存在尽管是对于其中一个机器人r1启动了维护程序，但是另一个机器人r2有时会保持原样地继续生产。此时，本实施方式的内部信息比较部15以及异常原因发现部16在那样的机器人r2继续进行生产前对两个机器人r1、r2的操作日志进行比较，来发现忘记启动维护程序这一情况。然后，在机器人r2继续进行生产前，作业指令补充部19自动地启动机器人r2的维护程序。
此外，优选的是，作为与所述制造机械26的恢复相关的作业，将本次在制造机械26中发生的异常的状态以及成为该异常原因的所述第一内部信息a与第二内部信息b之间的差异分别反映到数据库22中。像这样的数据库22的信息更新既可以由操作者的输入来进行，也可以由数据库更新部23自动进行。
进一步，优选的是，在由数据库更新部23自动更新数据库22内的信息时、通过学习器24进行机械学习。学习器24使用在数据库22内所存储的信息、由内部信息取得部14取得的内部信息、表示制造机械的结构要素的装置结构信息来进行机械学习、例如无教师学习。然后，数据库更新部23根据该学习结果，重新生成没有登记在数据库22中的未发生的异常与其原因之间相对应的关系，并更新数据库22。
例如，设在过去发生了6轴多关节机器人即机器人r1的第一轴不正常动作的异常情况，机器人r1和与其具有相同结构要素的机器人r2进行了比较。作为当时的比较结果，第一轴的伺服控制参数中存在差异，将该差异设为异常的原因。学习器24从那样的差异信息、以及制造机械是6轴多关节机器人的装置结构信息，得到了除了第一轴以外也可能发生同样的异常情况的学习结果。根据该学习结果，数据库更新部23重新在数据库22中登记如下这样的信息：第二轴不正常动作的异常情况所对应的原因是在于第二轴的伺服控制参数。
进一步，进行还包含机器人r1的内部信息中的作业指令日志的机械学习，设存在操作者在过去对所述第一轴的伺服控制参数进行改写操作的踪迹。在这种情况下，能够得到异常动作的直接原因不仅是伺服控制参数，异常动作的根本原因是操作者的错误操这样的学习结果。因此，数据库更新部23将该错误操作的信息重新登记到数据库22中。如上所述，通过机械学习来对多个信息进行多角度的分析，由此能够扩充数据库22内的信息。
像以上所说明的那样、本实施方式的单元控制装置12通过与多个制造机械25～28进行网络通信，来取得制造机械的参数、操作日志等制造机械的各种内部信息。然后，对于发生了异常的制造机械26和与其类似的正常地运行的制造机械28，对各种内部信息进行比较，并分析该差异。进一步，从该分析结果及早发现异常原因，对发生了异常的制造机械26进行用于迅速恢复的辅助、例如对外部的通知、异常部位的更正、作业指令的补充等。通过这样的方法，能够高效地发现在制造机械中发生的异常的原因、或者今后可能发生的异常的原因，特别是由制造机械的内部信息所引起的异常的原因。
特别是，内部信息取得部14以预定周期取得没有发生异常时的制造机械25～28的内部信息，进一步，内部信息比较部15逐个比较类似的两个制造机械26、28的定期取得的内部信息。然后，在即使还未发生异常，但当通过内部信息比较部15发现了今后很有可能发生异常的差异点时，将该差异点通知到单元控制装置12之外。由此，能够将由于制造机械的内部信息所引起的异常的发生防患于未然。
在这里，对如上所述的学习器24(以下称为机械学习装置)进行详细地说明。机械学习装置具有如下功能：通过解析从输入装置的数据的集合中提取其中有用的规则、知识表现、判断基准等，输出该判断结果，并且进行知识学习。其方法多种多样，大致可分为“有教师学习”、“无教师学习”、“强化学习”。进一步，在实现这些方法的基础上，存在有学习提取特征量本身的、被称为“深层学习”的方法。
“有教师学习”是指，通过将某输入和结果(标签)的数据集大量地提供到机械学习装置中，来学习这些数据集中的特征，能够归纳地获得从输入来推定结果的模型、即其关联性。这能够使用后面描述的神经网络等算法而实现。
“无教师学习”是指如下方法：通过仅将输入数据大量的提供到机械学习装置中，来学习输入数据如何进行了分布，即使不提供所对应的教师输出数据，也对输入数据进行压缩、分类、整形等的装置进行学习。能够将这些数据集中的特征在相似者之间进行聚类等。通过使用该结果设置某基准来进行使其最佳化的输出分配，能够实现输出预测。另外，作为“无教师学习”与“有教师学习”之间的中间性的问题设定，还有被称为“半有教师学习”的方法，其对应于仅存在一部分输入和输出的数据的组合，除此之外仅有输入的数据的情况。
对强化学习的问题进行如下设定。
·机械学习装置观测环境状态，并决定行为。
·环境根据某规则进行变化，自己的行为还可能给环境带来变化。
·每次行动时都返回回报信号。
·想要最大化的是将来的(折扣)回报的合计。
·从完全不了解或不完全了解行为引起的结果的状态开始学习。机械学习装置能够实际上首次动作，得到其结果而作为数据。也就是说，需要一边试错一边探索最佳行为。
·能够像模拟人的动作那样，以事先进行了学习(如所述的有教师学习、反向强化学习的方法)的状态作为初始状态，从良好的开始地点开始学习。
“强化学习”是指，不仅通过判定、分类，并且还通过对行为进行学习，在行为对于环境的相互作用的基础上对适当的行为进行学习，即，为了使将来能够得到的回报最大化的学习方法。这表示在本实施方式中，能够获得对未来产生影响的行为。例如在q学习的情况下，继续进行说明，但是不限定于此。
q学习是在某环境状态s下，学习选择行为a的价值q(s，a)的方法。也就是说，在某状态s时，选择价值q(s，a)最高的行为a作为最佳行为即可。但是，最初对于状态s和行为a的组合，完全不了解价值q(s，a)的正确的值。因此，智能体(行为主体)在某状态s下选择各种各样的行为a，对于当时的行为a给与回报。由此，智能体不断选择更好的行为，即学习正确的价值q(s，a)。
行为的结果，由于希望使将来所能够得到的回报的合计最大化，因此目标是最终使q(s，a)＝e[σγtrt](期待值是根据最佳行为在状态发生了变化时取得的值。当然，这也是不知道的，所以必须一边探索一边学习)。像这样的价值q(s，a)的更新式，能够通过以下式来表示。
在这里，st表示在时间t时的环境状态，at表示在时间t时的行为。通过行为at，状态变为st+1。rt+1表示由该状态变化所获得的回报。另外，带有max的项是，在状态st+1下，选择了当时所知的q值为最高的行为a时的q值乘以γ后得出的值。γ是0＜γ≤1的参数，被称为折扣率。α是学习系数，范围是0＜α≤1。
该式表示根据试行at的结果所返回的回报rt+1，更新状态st的行为at的评价值q(st，at)的方法。表示，如果根据回报rt+1+行为a的下一状态的最佳的行为maxa的评价值q(st+1，maxat+1)大于状态s的行为a的评价值q(st，at)，则增大回报q(st，at)，相反地如果小，则缩小q(st，at)。也就是说，使某状态的某行为的价值，接近于基于作为结果即时返回的回报、和该行为的下一个状态下的最佳行为的价值。
q(s、a)在计算机上的表现方法，有针对全部的状态行为对(s、a)作为表格(行为价值表)预先保持该值的方法、以及准备对q(s、a)进行近似的函数的方法。后者的方法，通过利用随机梯度下降法等方法调整近似函数的参数，能够实现上述更新式。作为近似函数，可以使用后述的神经网络。
作为在有教师学习、无教师学习以及强化学习中的价值函数的近似算法，能够使用神经网络。神经网络由实现如图3所示的模拟了神经元的模型的神经网络的运算装置以及存储器等构成。图3表示神经元模型的示意图。
如图3所示，神经元对于多个输入x(在这里作为一个例子是输入x1～输入x3)来输出输出y。对于各输入x1～x3，乘以该输入x所对应的权重w(w1～w3)。由此，神经元输出由下面的式所表现的输出y。此外，输入x、输出y以及权重w全是矢量。
在这里，θ是偏置(bias)，fk是激活函数。
接下来，参照图4对具有组合了如上所述的神经元的具有3层的权重的神经网络进行说明。图4是表示具有d1～d3的3层权重的神经网络的示意图。
如图4所示，从神经网络左侧输入多个输入x(在这里作为一个例子是输入x1～输入x3)，从右侧输出结果y(在这里作为一个例子是结果y1～结果y3)。
具体地，输入x1～输入x3是对于3个神经元n11～n13的每一个乘以所对应的权重而进行输入。这些输入所乘的权重汇总地标记为w1。
神经元n11～n13分别输出z11～z13。这些z11～z13汇总地标记为特征矢量z1，能够看作是提取出输入矢量的特征量而得的矢量。该特征矢量z1是权重w1与权重w2之间的特征矢量。
z11～z13是对于2个神经元n21、n22的每一个乘以所对应的权重而进行输入。这些特征矢量所乘的权重汇总地标记为w2。
神经元n21、n22分别输出z21、z22。其被汇总地标记为特征矢量z2。该特征矢量z2是权重w2与权重w3之间的特征矢量。
特征矢量z21、z22是对于3个神经元n31～n33的每一个乘以所对应的权重而进行输入。这些特征矢量所乘的权重汇总地标记为w3。
最后，神经元n31～n33分别输出结果y1～结果y3。
神经网络的动作有学习模式和价值预测模式，在学习模式中使用学习数据集来学习权重w，在预测模式中使用该参数来进行加工机的行为判断(为了方便写的是预测，也能够是检测、分类、推论等多种任务)。
可以对在预测模式下实际上使加工机动作而得的数据进行即时学习，并反映到接下来的行为中(在线学习)；也可以使用预先收集到的数据组而进行汇总的学习，以后一直利用该参数来进行检测模式(批量学习)。或者，也可以是中间性的，每当数据以某程度发生积存时插入学习模式。
可以通过误差反传播法(误差反向传播法：backpropagation)来学习权值w1～w3。误差信息从右侧输入并流向左侧。误差反传播法是为了针对各神经元使输入了输入x时的输出y与真实的输出y(教师)之间的差值变小，对各自的权值进行调整(学习)的方法。
这样的神经网络可以在三层以上进一步增加层(称为深层学习)。还可以仅根据教师数据自动地获得阶段性地进行输入的特征提取并对结果进行回归的运算装置。
此外，图2所示的学习器24是一种机械学习方法，采用了无教师学习。当然，能够应用于学习器24的机械学习方法不限定于无教师学习。例如对学习器24应用有教师学习时，所述价值函数对应于学习模型、回报对应于误差。
以上，使用典型的实施方式对本发明进行了说明，本领域技术人员能够在不脱离本发明范围地对上述实施方式进行改变以及进行各种其他的改变、省略、追加进行理解。
发明效果
根据本发明的第一方式，能够高效地发现在制造机械中发生的异常的原因、或者今后可能发生的异常的原因，特别是由制造机械的内部信息所引起的异常的原因。进一步，根据本发明的第二方式，能够取得用于发现异常原因的有力的信息。进一步，根据本发明的第三方式以及第四方式，当发现了异常原因时，能够自动地更正成为异常原因的部位。
进一步，根据上述第五方式，当发现了与操作日志有关的异常原因时，能够自动地补充不足的操作。进一步，根据本发明的第六方式以及第七方式，能够简单地选出作为比较对象的制造装置。
进一步，根据本发明的第八方式，即使当制造机械中发生严重异常，从而内部信息取得部不能从制造机械得到信息时，也能够使用在异常发生之前的预定时间中所取得的信息。
进一步，根据本发明的第九方式，通过参照数据库的信息，能够提高发现异常原因时的精度。进一步，根据本发明的第十方式，通过更新数据库，更加提高发现异常原因时的精度。另外，根据本发明的第十一方式，通过在多个单元控制装置之间共享数据库内的信息，能够更加提高发现异常原因时的精度。进一步，根据本发明的第十二方式，通过将从使用机械学习的结果所得的、制造机械的异常与其原因之间的对应关系反映到数据库中，能够自动地进行数据库内的信息的扩充。