能够计算出最佳操作条件的注射成形系统及其机械学习的制作方法

本发明涉及一种注射成形系统，特别是涉及一种不需要操作员的调整而能够计算出最佳的操作条件的注射成形系统。

背景技术：

在制作用于成形新成形品的金属模具的情况下，在开始基于该金属模具进行成形品的批量生产之前，需要计算出包含成形条件的操作条件的最佳的值。操作员在计算出注射成形机的最佳的操作条件的操作条件提取作业中，需要根据经验大致设定成为其基准的操作条件而进行成形作业，同时上述操作员参照工序监视数据、成形品重量计测，目视检查成形品等来确认成形状态的同时调整各种操作条件，调整为最佳的操作条件。因此，操作员需要将各种操作条件的调整、在各操作条件下成形的成形品进行比较，同时花费时间来计算出最佳的操作条件。

另一方面，作为辅助上述操作员进行成形条件的设定作业的现有技术，公开了将成形条件、成形数据存储在非易失性存储器中进行比较显示的技术、根据上述操作员的请求来读出过去的成形条件而使用的技术等(例如参照日本特开平06-039889号公报、日本特开平11-333899号公报等)。

在上述操作员进行的操作条件提取作业中，由于进行作业的操作员的技能不同，直到计算出最佳的操作条件为止费时或由于操作员不同而最佳的操作条件的水平(质量)出现差别，从而存在难以每次以相同的基准来计算出操作条件这种问题。

另外，在上述操作条件提取作业中，根据批量生产时的成形品的制造成本的观点，导出能够抑制成形时的消耗电力的操作条件也是重要的观点。但是，存在导出将成形品的质量保持得高的同时抑制消耗电力而成形的操作条件即使是熟练的操作员也较困难这种问题。

而且，关于这种问题，如日本特开平06-039889号公报、日本特开平11-333899号公报所公开那样，仅存储成形条件的历史记录而利用无法解决。

技术实现要素：

因此，本发明的目的在于提供一种能够在短时间内进行包括成形条件的操作条件的调整并且能够在消耗电力更小的条件下进行成形的注射成形系统。

本发明的注射成形系统至少具有一个注射成形机，具有进行机械学习的人工智能，该注射成形系统具备：状态观测部，其在执行由上述注射成形机进行的注射成形时，对与执行中的注射成形有关的物理量进行观测；物理量数据存储部，其存储由上述状态观测部观测到的物理量数据；回报条件设定部，其设定上述机械学习中的回报条件；回报计算部，其根据由上述状态观测部观测到的上述物理量数据和在上述回报条件设定部中设定的上述回报条件来计算回报；操作条件调整学习部，其根据由上述回报计算部计算出的上述回报、在上述注射成形系统中设定的操作条件和上述物理量数据，进行操作条件调整的机械学习；学习结果存储部，其存储由上述操作条件调整学习部进行机械学习的学习结果；以及操作条件调整量输出部，其根据由上述操作条件调整学习部进行的学习结果，决定操作条件调整的对象和调整量并输出。

也可以是，上述注射成形系统将存储在上述学习结果存储部中的学习结果用于上述操作条件调整学习部的学习。

也可以是，在上述注射成形系统中，还具备计测单元，由上述状态观测部观测的上述物理量数据包含由上述计测单元计测到的成形品的重量、尺寸、根据成形品的图像数据计算出的外观、长度、角度、面积、体积、光学成形品的光学检查结果、成形品强度计测结果中的至少一个，与其它上述物理量数据一起在上述物理量数据存储部中作为一个成形品的物理量数据而存储。

也可以是，在上述注射成形系统中，能够从上述注射成形机所具备的显示器向上述回报条件设定部输入回报条件。

也可以是，在上述注射成形系统中，当有助于物理量数据的稳定化、周期缩短、节能化中的至少一个时，上述回报计算部根据其程度赋予正的回报。

也可以是，在上述注射成形系统中，如果产生物理量数据不稳定、周期延长、消耗能量增大中的至少一个现象，则上述回报计算部根据其程度赋予负的回报。

也可以是，在上述注射成形系统中，针对上述物理量数据预先设定允许值，当上述物理量数据在上述允许值内时，上述回报计算部赋予正的回报。

也可以是，在上述注射成形系统中，针对上述物理量数据预先设定允许值，当上述物理量数据从上述允许值偏离时，上述回报计算部根据其偏离量来赋予负的回报。

也可以是，在上述注射成形系统中，针对上述物理量数据预先设定目标值，当上述物理量数据接近上述目标值时，上述回报计算部根据上述目标值与上述物理量数据的偏离量来赋予正的回报。

也可以是，在上述注射成形系统中，针对上述物理量数据预先设定目标值，当上述物理量数据偏离上述目标值时，上述回报计算部根据上述目标值与上述物理量数据的偏离量来赋予负的回报。

也可以是，在上述注射成形系统中，如果产生表示成形缺陷的状态，则上述回报计算部根据其程度来赋予负的回报。

也可以是，在上述注射成形系统中，上述成形缺陷为毛刺、气孔、翘曲、气泡、缩痕(short)、流痕、熔接痕、银纹、颜色不均匀、变色、碳化、杂质混入、透镜成形品的光轴向允许值外的偏离、成形品厚度缺陷中的至少一个。

也可以是，在上述注射成形系统中，上述操作条件调整学习部进行机械学习的操作条件为合模条件、顶出条件、注射保压条件、计量条件、温度条件、喷嘴接触条件、树脂供给条件、模厚条件、成形品取出条件、热流道条件中的至少一个。

也可以是，在上述注射成形系统中，还具备设定上述成形品取出条件的作为成形品取出单元的机器人。

也可以是，在上述注射成形系统中，使上述操作条件中的至少一个在预定范围内变动而使上述操作条件调整学习部学习。

也可以是，在上述注射成形系统中，多个上述注射成形系统还分别具备与外部的通信单元，将收发各上述物理量数据存储部存储的物理量数据、学习结果存储部存储的学习结果进行共享。

而且，本发明的机械学习器，对注射成形机的操作条件调整进行机械学习，该机械学习器具备：学习结果存储部，其存储上述操作条件调整的学习结果；状态观测部，其在执行由上述注射成形机进行的注射成形时，对与执行中的注射成形有关的物理量进行观测；以及操作条件调整量输出部，其根据存储在上述学习结果存储部中的学习结果来决定操作条件调整的对象和调整量并输出。

在本发明中，通过在最佳的操作条件的计算中采用机械学习，在短时间内进行各种操作条件调整、能够进行更稳定的成形。另外，能够在消耗电力更小的条件下进行成形。并且，将多个注射成形系统中的调整过程中的成形数据、学习数据共享并用于机械学习，由此能够按注射成形系统来实现得到更好的结果的机械学习。

附图说明

通过与附图关联的以下的实施例的说明，能够更加明确本发明的上述和其它目的以及特征。在这些图中：

图1是说明强化学习算法的基本的概念的图。

图2是本发明的实施方式中的注射成形系统的概要结构图。

图3是将一次发射期间的注射保压压力数据作为压力波形而显示的示例。

具体实施方式

以下，根据附图说明本发明的实施方式。

在本发明中，对注射成形系统导入成为人工智能的机械学习器，进行与关于注射成形的操作条件有关的机械学习，由此进行注射成形中的各种操作条件的调整。由此，提出一种能够在短期间内计算出最佳的操作条件并使成形更稳定化或更有助于节能的注射成形系统。

<1.机械学习>

通常，在机械学习中，有教师学习、无教师学习等根据其目的、条件分类为各种算法。在本发明中，以针对金属模具的操作条件提取作业的学习为目的。考虑到在上述注射成形系统中存在无法在注射环境下直接进行测量的参数等以及难以明确表示对注射的结果即成形品的状态进行什么样的行动(操作条件的调整)是正确的，而采用通过仅赋予回报，机械学习器自动地学习为了达到目标的上述行动的强化学习的算法。

图1是说明强化学习算法的基本的概念的图。在强化学习中，通过将成为学习主体的智能体(机械学习器)与成为控制对象的环境(控制对象系统)进行交换，推进智能体学习和行动。更具体地说，(1)智能体观测某一时间点的环境的状态s_t；(2)根据观测结果和过去的学习来选择自己能够采取的行动a_t而执行行动a_t；(3)通过执行行动a_t而环境的状态s_t向下一状态s_t+1变化；(4)智能体根据作为行动a_t的结果的状态的变化来接受回报r_t+1；以及(5)智能体根据状态s_t、行动a_t、回报r_t+1和过去的学习的结果来推进学习这种交换在智能体与环境之间进行。

在上述(5)的学习中，作为用于判断将来能够获取的回报的量的基准的信息，智能体获得观测到的状态s_t、行动a_t、回报r_t+1的映射(mapping)。例如当将各时刻中取得的状态的个数设为m、将取得的行动的个数设为n时，通过反复行动得到存储对状态s_t与行动a_t的组的回报r_t+1的m×n的二维排列。

然后，使用根据上述得到的映射，表示当前的状态、行动好到什么程度的函数即价值函数(评价函数)，在反复行动的过程中更新价值函数(评价函数)，由此学习针对状态的最佳行动。

状态价值函数为表示某一状态s_t为好到什么程度的状态的价值函数。状态价值函数表现为以状态为自变量的函数，在反复行动的过程中的学习中，根据对某一状态下的行动得到的回报、通过该行动而转变的未来的状态的价值等进行更新。状态价值函数的更新式根据强化学习的算法来定义，例如在强化学习算法之一的TD学习中，状态价值函数用以下式1来定义。此外，在式1中，α被称为学习系数，γ被称为折扣率，在0<α≤1、0<γ≤1的范围内进行定义。

[式1]

V(s_t)←V(s_t)+α[r_t+1+γV(s_t+1)-V(s_t)]

另外，行动价值函数为表示在某一状态s_t下行动a_t为好到什么程度的行动的价值函数。行动价值函数表现为将状态和行动设为自变量的函数，在反复行动过程中的学习中，根据对某一状态下的行动得到的回报、通过该行动而转变的未来状态下的行动的价值等进行更新。行动价值函数的更新式根据强化学习的算法而定义，例如在代表性强化学习算法之一的Q学习中，行动价值函数用以下式2来定义。此外，在式2中，α被称为学习系数，γ被称为折扣率，在0<α≤1、0<γ≤1的范围内定义。

[式2]

此外，作为存储该价值函数(评价函数)的方法，除了使用近似函数的方法、使用排列的方法以外，也可以使用例如在状态s采用很多的状态的情况下将状态s_t、行动a_t作为输入而输出价值(评价)的多值输出的SVM、神经网络等有教师学习器。

而且，在上述(2)中的行动的选择中，使用通过过去的学习制作的价值函数(评价函数)，选择在当前的状态s_t下将来回报(r_t+1+r_t+2+…)变得最大的行动a_t(在使用状态价值函数的情况下，用于转变为价值最高的状态的行动、在使用行动价值函数的情况下在该状态下价值最高的行动)。此外，在智能体的学习中以学习的进展为目的在(2)中的行动的选择中还以一定的概率来选择随机的行动(ε贪心法)。

这样，通过反复(1)～(5)来推进学习。在某一环境下结束学习之后，即使放置在新的环境的情况下也进行追加的学习，由此能够以适应于该环境的方式推进学习。因而，如本发明那样通过应用于操作条件提取作业，即使在新制作成形品的金属模具时，也在过去的操作条件提取作业的学习中，进行将新成形品的金属模具设为新环境的追加的操作条件提取作业的学习，由此能够在短时间内进行各种条件调整。

另外，在强化学习中，设为将多个智能体经由网络等进行连接的系统，在智能体之间共享状态s、行动a、回报r等信息并使用于各自的学习，由此各智能体进行还考虑其它智能体的环境来进行学习的分散强化学习，由此能够进行有效的学习。在本发明中，在控制多个环境(成为控制对象的注射成形机)的多个智能体(机械学习器)经由网络等进行连接的状态下进行分散强化学习，能够有效地进行对金属模具的操作条件提取作业的学习。

此外，作为强化学习的算法，Q学习、SARSA法、TD学习、AC法等各种方法是公知的，但是作为应用于本发明的方法也可以采用任意的强化学习算法。此外，各强化学习算法是公知的，因此省略本说明书中的各算法的详细说明。

以下，根据具体的实施方式说明导入了机械学习器的本发明的注射成形系统。

<2.实施方式>

图2是表示本发明的一个实施方式中的注射成形系统的概要结构的图。本实施方式的注射成形系统1由注射成形机2、金属模具3、其它外围装置等控制对象、进行机械学习的人工智能的机械学习器20等构成。当将图2示出的结构与图1示出的强化学习中的要素进行对比时，机械学习器20与智能体对应，包括注射成形机2、金属模具3、其它外围装置等控制对象的整体与环境对应。

注射成形系统1由各种装置构成，有时分别具备控制装置、传感器等。

作为注射成形机2所具备的控制装置，除了合模力控制装置7、用于对模开闭、模厚调整、顶出、螺杆旋转、螺杆前进后退、注射单元前进后退等进行驱动的控制装置9、控制用于供给适量的供给装置的旋转量的注射单元关系装置的控制装置10以外，还存在喷嘴、缸、料斗下部的温度控制装置、压力控制装置、喷嘴接触力控制装置等。

在金属模具3关系中，存在金属模具温度控制装置、热流道温度和喷嘴开闭控制装置、注射压缩用可动部件控制装置、芯安装和芯拔出控制装置、多色成形等的滑动台和转台用控制装置、多色成形用材料流路切换装置、金属模具振动装置等。

作为外围装置，除了由控制装置8进行控制的成形品取出装置(机器人)5以外，还存在嵌入物插入装置、模具镶块插入装置、模内成形的送箔装置、环箍成形用环箍进给装置、气体辅助成形用注气装置、使用超临界流体的发泡成形用注气装置、长纤维注入装置、LIM成形用两种材料混合装置、成形品的去毛刺装置、流道切断装置、成形品重量计、成形品强度测试机、成形品的光学检查装置、成形品摄像装置和图像处理装置、成形品搬运用机器人等。

在这些装置中还存在具备传感器并进行闭环的反馈控制、前馈控制的控制装置。另外，还存在仅输出数据的装置。

另外，进行机械学习的机械学习器20具备状态观测部21、物理量数据存储部22、回报条件设定部23、回报计算部24、操作条件调整学习部25、学习结果存储部26以及操作条件调整量输出部27。上述机械学习器20即可以设置于注射成形机2内，也可以设置于注射成形机2外的个人计算机等。

状态观测部21是对从上述注射成形系统1的各装置输出的与注射成形有关的物理量数据进行观测并在机械学习器20内获取的功能单元。作为物理量数据，存在温度、位置、速度、加速度、电流、电压、压力、时间、图像数据、图像分析数据、扭矩、力、变形、消耗电力、开模量、回流量、连接杆变形量、加热器加热率、成形品的重量、成形品的强度、成形品的尺寸、根据成形品的图像数据计算出的外观、成形品各部的长度、角度、面积、体积、光学成形品的光学检查结果、成形品强度计测结果、透明成形品的光轴偏离量、以及将各物理量进行运算处理而计算出的计算值等。根据这些物理量数据的组，对用于机械学习的环境的状态s进行定义。

物理量数据存储部22是输入并存储物理量数据并将所存储的该物理量数据输出到回报计算部24、操作条件调整学习部25的功能单元。物理量数据存储部22将在注射成形时，由状态观测部21观测的物理量数据作为通过上述注射成形而成形的一个成形品的物理量数据而进行存储。被输入的物理量数据可以是通过最新的成形运转而获取的数据，也可以是通过过去的成形运转而获取的数据。另外，还能够输入并存储或输出在其它注射成形系统1、集中管理系统30中存储的物理量数据。

回报条件设定部23是在机械学习中用于设定赋予回报的条件的功能单元。在回报中存在正的回报和负的回报，能够适当地进行设定。并且，向回报条件设定部23的输入也可以从在集中管理系统中使用的个人计算机、平板终端等进行，但是能够经由注射成形机2所具备的显示器6来输入，由此能够更简单地进行设定。

回报计算部24根据由回报条件设定部23设定的条件，对从状态观测部21或物理量数据存储部22输入的物理量数据进行分析，将计算得到的回报输出到操作条件调整学习部25。回报计算部24所输出的回报相当于用于机械学习的回报r。

以下，示出本实施方式中的回报条件设定部23所设定的回报条件的示例。

[回报1：当有助于物理量数据的稳定化、周期缩短、节能化中的至少一个时赋予正的回报的事例]

关于物理量数据的稳定化的判断，对物理量数据进行统计处理的结果是，在有助于偏差降低的情况下，也可以根据其程度赋予正的回报。作为波动的指标，通常使用标准偏差。

关于周期缩短的判断，在周期缩短的情况下，根据其程度赋予正的回报。

关于节能化，将注射成形机单体的消耗电力、注射成形系统整体的消耗电力、多个注射成形系统的全部消耗电力等作为指标，在这些指标消减的情况下，根据其程度赋予正的回报。

相反，在物理量数据的不稳定、周期延长、消耗能量增大的情况下，根据其程度赋予负的回报。

[回报2：针对物理量数据预先设定允许值，当物理量数据在允许值内时，回报计算部赋予正的回报的事例]

在已知当最大注射压力超过200MPa时成形品产生毛刺并当低于190MPa时成形品产生缩痕(short)的情况下等，将注射工序中的注射压力设定为最大200MPa且最小190MPa的允许值，在物理量数据在允许值内的情况下，赋予正的回报。另外，在偏离上述允许值的情况下，也可以根据其偏离量来赋予偏离量越大则越大的负的回报。

另外，如图3所示，具有在注射成形机的画面上以横轴(时间或螺杆位置)、纵轴(压力)的压力波形来显示一次发射期间的注射保压压力数据的功能，已知在该压力波形的多个区间设置上限、下限，并在波形偏离这些上限和下限的情况下显示报警消息或辨别好坏的功能。还能够将设定于该压力波形的上限和下限作为由上述回报条件设定部23设定的允许值，对压力波形赋予回报。

[回报3：针对物理量数据预先设定目标值，当物理量数据接近目标值时回报计算部根据目标值与物理量数据的偏离量来赋予正的回报的事例]

也可以在成形品重量中根据金属模具设计和树脂选定来设定目标值，赋予越接近目标值则越大的正的回报。

相反地，当物理量数据偏离目标值时也可以根据上述目标值与上述物理量数据的偏离量来赋予负的回报。另外，当在偏离量的变化率增加的情况下根据该变化率来进一步赋予负的回报时，在偏离量以加速度地增加的情况下能够赋予更大的负的回报。

另外，也可以将上述回报2的允许值的设定与回报3的目标值的设定进行组合，将目标值设定为允许值内的上限附近。注射成形使用的树脂具有即使是同一等级也由于批次不同而分子量分布、熔融时的粘度发生变动的因素，因此即使在允许值内进行成形有时在允许值的下限附近发生缩痕概率也增加。在避免这种风险的情况下，将目标值设定为允许值的上限以下且上限附近。由此，在允许值范围内且允许值的上限附近成形变得稳定，能够降低缩痕发生概率。这样还能够组合使用多个回报条件。

[回报4：如果产生表示成形缺陷的状态则赋予负的回报的事例]

如果产生拍摄成形品而获取的图像或对图像进行分析而得到的图像分析数据、由光学检查装置等检测出的毛刺、气孔、翘曲、气泡、缩痕、流痕、熔接痕、银纹、颜色不均匀、变色、碳化、杂质的混入、透镜成形品的光轴向允许值外的偏离、成形品厚度缺陷等成形缺陷，则赋予负的回报。

另外，也可以根据这些缺陷的程度来使负的回报的大小变化。例如在颜色发生变化的情况下，根据色差计、拍摄得到的图像的图像分析等使变色的程度数值化，根据其变色的程度使负的回报的大小变化。

返回至图2，操作条件调整学习部25根据物理量数据以及自己进行的包括注射成形系统的成形条件的操作条件的调整和由上述回报计算部24计算出的回报来进行机械学习(强化学习)。另外，此时也可以使用在后述的学习结果存储部26中存储的学习结果来进行机械学习(强化学习)。

而且，后述的操作条件调整量输出部27根据操作条件调整学习部25的学习结果，输出合模条件、顶出条件、注射保压条件、计量条件、温度条件、喷嘴接触条件、树脂供给条件、模厚条件、成形品取出条件、热流道条件、各外围装置的控制装置等的设定条件等注射成形系统的操作条件的调整量。在此所指的操作条件的调整相当于用于机械学习的行动a。

在此，在操作条件调整学习部25所进行的机械学习中，根据某一时刻t的物理量数据的组合来定义状态s_t，将对定义的状态s_t进行的注射成形系统的操作条件进行调整并通过后述的操作条件调整量输出部27输出该调整结果这一情况成为行动a_t，而且，上述回报计算部24根据作为基于调整结果进行注射成形的结果而得到的数据计算出的值成为回报r_t+1。根据所应用的学习算法来决定用于学习的价值函数。例如在使用Q学习的情况下，按照上述式2来更新行动价值函数Q(s_t，a_t)而推进学习即可。

另外，在学习时，也可以将各操作条件预先决定为初始值之后，在预定的范围内使至少一个操作条件变动，由此进行学习。例如捕捉使计量时的螺杆旋转数从初始值100rpm每次10rpm地自动上升而进行成形或使背压从初始值5MPa每次1MPa地自动上升而进行成形时的各物理量来进行学习，由此在不会产生成形缺陷而能够使合格品稳定成形的范围内，能够学习使消耗电力最小的螺杆转速与背压的组合。

并且，也可以采用上述ε贪心法，以预定的概率选择随机的行动来实现学习的进展。

此外，也可以将设定了上述成形品取出条件的成形品取出装置5设为多关节机器人。在金属粉末成形等成形品(生坯体)非常脆弱的情况下，无法通过一般的取出机取出成形品，因此通过机器人将把持力抑制为所需最低限度而以低速进行取出即可。然而，成形品取出速度周期地带来大影响，因此以在不会损坏成形品的范围内尽可能提高速度而进行成形品取出的方式进行学习即可。成形品有无损坏，通过成形品重量计测、图像分析等能够作为物理量数据而输出和判断。

学习结果存储部26存储由上述操作条件调整学习部25学习的结果。另外，在操作条件调整学习部25再次使用学习结果时，将所存储的学习结果输出到操作条件调整学习部25。在学习结果的存储中，如上所述，通过近似函数、排列或多值输出的SVM、神经网络等有教师学习器等来存储与所使用的机械学习算法相应的价值函数即可。

此外，还能够在学习结果存储部26中输入并存储由其它注射成形系统1、集中管理系统30存储的学习结果或将由学习结果存储部26存储的学习结果输出到其它注射成形系统1、集中管理系统30。

操作条件调整量输出部27根据由上述操作条件调整学习部25学习的操作条件的学习结果来决定并输出操作条件调整的对象和调整量。在调整量的决定中，例如关于在当前状态下取得的操作条件调整的对象与调整量的组合，根据操作条件调整学习部25的学习，通过评价函数进行评价，决定评价最高的操作条件调整的对象与调整量的组。然后，在操作条件调整量输出部27输出调整量之后，再次使用被输入到上述状态观测部21的物理量数据来反复进行学习，由此能够得到更佳的学习结果。另外，也可以如上所述以预定的概率选择随机的行动来实现学习的进展。

另外，为了回报变得最大能够使用以自变量表现物理量数据和操作的评价函数来进行机械学习。机械学习可以一边获取最新成形的物理量数据一边实施，也可以通过由物理量数据存储部存储的已获取的物理量数据来实施。

在进行机械学习时，能够使上述操作条件中的至少一个在预定的范围内变动而使上述操作条件调整学习部25进行学习。预期地附加变动而使其进行学习，由此能够高效率地实施对变动的影响的学习。

另外，当多个上述注射成形系统1还分别具备与外部的通信单元时，能够收发并共享各物理量数据存储部22存储的物理量数据、学习结果存储部26存储的学习结果，能够更高效率地进行机械学习。例如在预定的范围内使操作条件变动来进行学习时，在多个注射成形系统1中使不同的操作条件在预定的范围内分别变动而成形的同时，在各注射成形系统1之间交换物理量数据、学习数据而并行地推进学习，由此能够有效地进行学习。

此外，在多个注射成形系统1之间交换时，通信即使经由集中管理系统30等主计算机，也可以直接在注射成形系统1之间进行通信，也可以使用云端，但是有时处理大量的数据，因此优选使用通信速度尽可能快的通信单元。

以上，说明了本发明的实施方式，但是本发明并不限定于上述实施方式的示例，通过施加适当的变更能够以各种方式实施。