机械学习装置、电弧焊接控制装置及电弧焊接机器人系统的制作方法

本发明涉及一种决定至少一个电弧焊接条件的机械学习装置、电弧焊接控制装置、电弧焊接机器人系统以及焊接系统。

背景技术：

一般，在使用机器人对工件进行电弧焊接的系统中，通过预先生成的程序中记载的焊接条件来执行电弧焊接。这些焊接条件的决定几乎是根据操作者的经验和直觉来进行的。并且，提高电弧焊接的质量以及操作性在很大程度上依赖于操作者的焊接技术相关的知识。所以，进行焊接条件的调整的操作者的技术水平会左右电弧焊接的质量、操作性。

另一方面，近年来，在电弧焊接的现场，对电弧焊接技术熟练的操作者不足。在无法确保电弧焊接的技术者的现场，也有即使导入了电弧焊接机器人系统也无法确保充分的质量和操作性的情况。

针对这样的状况，提出了几个用于自动调整焊接条件的方案。在日本特开2000-351071号公报中公开以下技术：将通过红外线摄像机拍摄到的熔融池进行图像处理后得到的实际测量值与预先生成的目标值进行比较，操作至少一个焊接条件。在专利第3200102号公报中公开一种通过神经网络决定焊接速度、电弧电流、电弧电压这样的焊接条件的方法。

技术实现要素：

日本特开2000-351071号公报中的目标值是在预先进行理想的焊接时形成的熔融池的特征数据。换句话说，在日本特开2000-351071号公报中需要预先进行理想的焊接。为了进行理想的焊接需要熟练的操作者，因此，会发生无法在希望的时候生成目标值的情况。另外，在专利第3200102号公报中，通过学习而构成神经网络时需要对多个板厚度预先求出最佳的热输入以及焊接速度，需要焊接相关的专业知识。

本发明是鉴于这样的情况而作出的，其目的在于，提供一种不需要熟练的操作者或专业知识地，能够自动生成最佳的焊接条件的机械学习装置、电弧焊接控制装置、电弧焊接机器人系统以及焊接系统。

为了达成上述目的，根据第一个发明提供一种机械学习装置，在学习决定至少一个电弧焊接条件的机械学习装置中，具备：状态观测部，其观测状态变量，该状态变量由在电弧焊接执行中或电弧焊接执行后的至少一方中与电弧焊接相关的至少一个物理量、和上述至少一个电弧焊接条件构成；以及学习部，其将通过上述状态观测部观测到的至少一个物理量的变化与上述至少一个电弧焊接条件关联起来进行学习。

根据第二个发明，在第一个发明中，上述学习部包括：回报计算部，其根据通过上述状态观测部观测到的上述至少一个物理量来计算回报；以及函数更新部，其根据通过该回报计算部计算出的回报，更新从当前的上述函数变量决定上述至少一个电弧焊接条件的函数。

根据第三个发明，在第二个发明中，上述回报计算部包括设定回报条件的回报条件设定部，上述回报计算部根据通过上述回报条件设定部设定的回报条件来计算回报。

根据第四个发明，在第三个发明中，上述学习部以使通过上述回报计算部计算出的回报成为最大的方式将上述至少一个物理量的变化与上述至少一个电弧焊接条件关联起来进行机械学习。

根据第五个发明，在第二个至第四个发明中的任意一个发明中，上述学习部还包括：学习结果存储部，其存储由上述函数更新部进行了学习的结果。

根据第六个发明，提供一种电弧焊接控制装置，其具备：根据第一个至第五个发明中的任意一个的机械学习装置；以及意图决定部，其根据上述学习部的学习结果，根据当前的上述状态变量来决定上述至少一个电弧焊接条件和该至少一个电弧焊接条件的最佳调整量。

根据第七个发明，在第六个发明中，上述学习部在电弧焊接执行中学习或重复学习上述至少一个电弧焊接条件的调整。

根据第八个发明，在第六个或第七个发明中，还具备执行部，其根据通过上述机械学习装置输出的结果执行电弧焊接。

根据第九个发明，提供一种电弧焊接机器人系统，其具备：机器人，其执行电弧焊接；物理量测量部，其在基于该机器人的电弧焊接的执行中或执行后的至少一方测量与电弧焊接相关的至少一个物理量；以及第六个至第八个发明中的任意一个的电弧焊接控制装置。

根据第十个发明，在第九个发明中，上述电弧焊接机器人系统还包括变更应该焊接的工件的姿势的定位器(转动换位器、位置控制器)，上述机器人以及定位器一边进行协同动作一边执行电弧焊接。

根据第十一个发明，提供一种焊接系统，其具备：第九个或第十个发明的多个电弧焊接机器人系统以及相互连接该多个电弧焊接机器人系统的通信部，上述通信部在上述多个电弧焊接机器人系统之间发送接收通过至少一个上述状态观测部观测到的至少一个物理量和通过至少一个上述学习结果存储部存储的学习结果中的至少一个。

根据第十二个发明，在第十一个发明中，还具备与上述通信部连接的上位计算机，通过至少一个上述状态观测部观测到的至少一个物理量和通过至少一个上述学习结果存储部存储的学习结果中的至少一个被保存到上述上位计算机中。

根据附图所示的本发明典型的实施方式的详细说明，能够更加了解本发明的这些目的、特征以及优点还有其他目的、特征以及优点。

附图说明

图1是包括本发明一个实施方式的电弧焊接机器人系统的正面图以及右侧视图的图。

图2是扩大地表示机械学习器等的图。

图3是表示机械学习器的动作的流程图。

图4是焊接系统的概略图。

具体实施方式

以下，参照附图说明本发明的实施方式。在以下的附图中对相同的部件赋予相同的参照标记。为了容易理解，适当变更这些附图的比例尺。

图1是包括本发明一个实施方式的电弧焊接机器人系统的正面图以及右侧视图的图。如图1所示，本实施方式的电弧焊接机器人系统5主要包括：机器人10，其具备针对应该焊接的工件(未图示)进行电弧焊接的焊枪18；保持工件来变更其姿势的定位器19；以及控制这些的控制装置20。另外，也可以为如下结构：定位器19上具备焊枪18，电弧焊接机器人10把持工件。

机器人10例如是垂直多关节型机器人。定位器19能够在将工件固定在其上面的同时，能够围绕与设置面G平行的第一轴线12旋转地并能够围绕与第一轴线12垂直的第二轴线14旋转地定位工件。另外，作为机器人10的附加轴，来控制围绕第一轴线12以及第二轴线14的旋转运动。因此，包括机器人10以及定位器19的电弧焊接机器人系统5整体的控制变得更加简单。设机器人10以及定位器19一边进行协同动作一边执行电弧焊接。

控制装置20是数字计算机，包括物理量测量部21，其在基于机器人的电弧焊接的执行中或执行后的至少一个中测量与电弧焊接相关的至少一个物理量。

与电弧焊接相关的物理量包括：例如从电弧焊接机器人系统5的电流电压测量部得到的焊接电流波形、焊接电压波形。此外，与电弧焊接相关的物理量包括：例如通过摄像部拍摄到的焊接部位的摄像数据以及通过处理摄像数据而得到的焊接焊缝的外观、焊缝的堆高高度、焊缝宽度、溅射产生量。另外，能够根据在焊接时在工件上形成的溅射痕取得溅射产生量。此外，与电弧焊接相关的物理量包括：例如从熔透测量装置得到的熔透量、从声音收集装置得到的电弧音波形。这些物理量是通过变更至少一个电弧焊接条件而发生变化的物理量。

另外，电弧焊接条件包括：例如焊接方法、焊接电流、焊接电压、焊接线进给速度、焊接速度、焊接波形调整量、(焊丝)外伸长度、焊枪的前进角/后退角、瞄准角、瞄准位置、保护气体流量、(横向)摆动条件、电弧传感器条件、多层焊缝焊接时的焊接位置偏移量中的至少一个。分别通过预定的测量单元测量这些物理量。另外，通过后述的机械学习器30来决定这些电弧焊接条件的各自的调整量。另外，电弧焊接条件有时也包括在与电弧焊接相关的物理量中。

如图1所示，控制装置20还包括机械学习器30。该机械学习机30也可以作为机械学习装置外接于控制装置20上。参照扩大表示机械学习器的图2时，则机械学习器30包括观测状态变量的状态观测部31，该状态变量由在电弧焊接执行中或电弧焊接执行后的至少一方中与电弧焊接相关的至少一个物理量、和至少一个电弧焊接条件构成。

状态观测部31将这样的物理量和电弧焊接条件与保护气体种类、接头形状、板厚度、母材姿势、间隙量、焊接线种类、焊接线径(直径)中的至少一个焊接施工条件以及观测到的时间一起进行存储。

进一步地，机械学习器30还包括学习部35，该学习部35将通过状态观测部31观测到的至少一个物理量的变化与至少一个电弧焊接条件关联起来进行学习。

这里，学习部35可以进行有教师学习、无教师学习、半有教师学习、强化学习、转导(Transduction)、多任务学习等各种机械学习。以下，学习部35作为通过Q学习(Q-learning)进行强化学习的单元继续说明。

这里，参照图2可知，机械学习器30相当于强化学习中的智能体。另外，状态观测部31检测环境的状态。

进行强化学习的学习部35包括：回报条件设定部39，其设定回报条件；回报计算部32，其根据通过状态观测部31观测到的至少一个物理量和回报条件来计算回报；以及函数更新部33(人工智能)，其根据通过回报计算部32计算出的回报，更新从当前的状态变量决定至少一个电弧焊接条件的函数、例如行为价值函数(行为价值表)。当然，函数更新部33也可以更新其他的函数。进一步地，学习部35还包括存储有由函数更新部33进行了学习的结果的学习结果存储部38。

例如根据物理量的稳定度、周期时间、溅射产生量、焊接质量、焊接线消耗量、能量消耗量的程度来决定通过回报条件设定部39设定的回报条件。例如，如果判断为物理量稳定即物理量的变动小，则回报增加，如果不是的话则回报减少。进而，如果周期时间长则回报减少，如果周期时间短则回报增加。进而，如果溅射产生量少则回报增加，如果溅射产生量多则回报减少。如果焊接质量高则回报增加，如果焊接质量低则回报减少。进而，如果焊接线消耗量和/或能量消耗量多则回报减少，如果消耗量少则增加。针对这样的判定，设置取得各个数据的单元，针对各个数据预先设定各自的阈值等。

进一步地，机械学习器30还包括意图决定部34，其根据学习部35的学习结果，根据当前的状态变量来决定至少一个电弧焊接条件、和该至少一个电弧焊接条件的最佳调整量。意图决定部34学习更佳的行为的选择(意图决定)。另外，意图决定部34可以不包括在机械学习器30中而包括在控制装置20中。进一步地，机械学习器30还包括根据通过机械学习装置输出的结果来执行电弧焊接的电弧焊接执行部37。

图3是表示机械学习器的动作的流程图。以下，一边参照图1～图3一边说明机械学习器30的动作。每次在机器人10进行电弧焊接时实施图3所示的动作。

首先，在图3的步骤S11中，选择至少一个电弧焊接条件以及其内容(值等)。从各自的预定范围中随机地选择至少一个电弧焊接条件的内容。

或者，可以针对某个电弧焊接条件，首先选择该预定范围内的最小值，接着，在下一个周期时选择增加了少量后的值。关于其他的电弧焊接条件也一样。可以重复图3的处理，以便选择所有的电弧焊接条件的所有组合。

接着，在步骤S12中，选择至少一个物理量，对该物理量检测连续的多个数据，并判定这些多个数据的变动是否大。在变动小的情况下、即物理量稳定的情况下，在步骤S13中回报增加。与此相对地，当变动大时，判断为物理量不稳定，在步骤S20中回报减少或保持原样。

接着，在步骤S14中，检测出周期时间和/或溅射产生量，将这些与各自的规定值进行比较。然后，当周期时间和/或溅射产生量小于各自的规定值时，在步骤S15中回报增加，当周期时间和/或溅射产生量不小于各自的规定值时，在步骤S20中回报减少或保持原样。

接着，在步骤S16中，判定焊接质量是否高。然后，当焊接质量高时，在步骤S17中回报增加，当焊接质量不高时，在步骤S20中回报减少或保持原样。

另外，可以通过焊接的图像等判断焊接质量是否高。或者，可以通过有无焊接不良来判断焊接质量是否高。当焊接的图像包括例如坑、烧穿、咬边、焊瘤(overlap)、焊缝宽度不均匀、焊缝曲折、预先设定的要求焊脚长度不足、预先设定的堆高高度的不足、超过预先设定的容许变形等时，判断为焊接不良。

接着，在步骤S18中，检测出焊接线消耗量和/或能量消耗量，将这些与各自的规定值进行比较。然后，当焊接线消耗量和/或能量消耗量小于各自的规定值时，在步骤S19中回报增加，当焊接线消耗量和/或能量消耗量不小于各自的规定值时，在步骤S20中回报减少或保持原样。

通过回报计算部32计算出这样的回报的增减。另外，关于回报增减的量，可以设定为该值根据步骤而不同。另外，也能够省略步骤S12、S14、S16、S18中的至少一个判定步骤以及相关联的回报增加的步骤。

之后，在步骤S21中，函数更新部33更新行为价值函数。这里，学习部35所实施的Q学习是，在某个环境状态s下学习选择行为a的价值(行为的价值)Q(s、a)的方法。并且，在Q学习中，在某个状态s时，选择Q(s、a)最高的行为a。在Q学习中，通过试错，在某个状态s下采取各种行为a，使用此时的回报来学习正确的Q(s、a)。通过以下式(1)表示行为价值函数Q(s、a)的更新式。

这里，s_t、a_t表示时刻t的环境和行为。通过行为a_t，环境变化为s_t+1，根据该环境的变化来计算回报r_t+1。另外，带有max的项是，在环境s_t+1下使选择了(此时了解到的)Q值最高的行为a时的Q值乘以γ后的项。这里γ是0<γ≤1(通常是0.9～0.99)的折扣率，α是0<α≤1(通常是0.1左右)的学习系数。

该更新式表示，如果基于a的下一个环境状态的最佳行为的评价值Q(s_t+1、max a_t+1)大于状态s的行为a的评价值Q(s_t、a_t)，则增大Q(s_t、a_t)，相反如果小于，则减小Q(s_t、a_t)。即，使某个状态的某行为的价值接近基于其的下一个状态的最佳行为的价值。换句话说，学习部35更新最适合于执行电弧焊接的状态，即至少一个最佳的电弧焊接条件。

这样，在步骤S21中，函数更新部33使用上述式(1)来更新行为价值函数。然后，返回到步骤S11，选择至少一个电弧焊接条件的其他内容，同样地更新行为价值函数。另外，也可以代替行为价值函数而更新行为价值表。

在强化学习中，作为智能体的学习部35根据环境的状况来决定行为。该情况下的行为是指，意图决定部34选择至少一个电弧焊接条件及其内容(值等)，电弧焊接执行部37按照该内容使机器人10等进行动作。并且，图2所示的环境，例如物理量的稳定度、周期时间等，根据由这些内容进行调整后的至少一个电弧焊接条件而发生变化。随着这样的环境变化，如上述那样对机械学习器30赋予回报，机械学习器30的意图决定部34例如为了得到更高的回报而学习更佳的行为的选择(意志决定)。在学习结果存储部38中如上述那样存储上述学习结果。

因此，多次地重复进行图3所示的处理，从而提高行为价值函数的可靠度。并且，在步骤S11中，根据可靠性高的行为价值函数，例如能够更合适地决定至少一个电弧焊接条件的内容，从而使得Q值变高。

这样，能够将通过本发明的机械学习部30的函数更新部33进行更新后的内容自动决定为执行电弧焊接时的更合适的电弧焊接条件的内容。并且，通过将这样的机械学习部30导入电弧焊接机器人系统5和/或其控制装置20中，能够自动生成最佳的焊接条件。其结果是提高了生产效率。

通过机械学习器30决定的物理量中可以包括定位器19围绕第一轴线12以及第二轴线14的移动量。此时，机械学习器30最佳地决定了定位器19的移动量，所以能够更合适地进行基于机器人10和定位器19的电弧焊接的协同动作。

图4是焊接系统1的概略图。如图4所示的焊接系统1包括多个电弧焊接机器人系统5、5a～5n。各个电弧焊接机器人系统5、5a～5n分别包括机械学习器30、30a～30n，各机械学习器30、30a～30n与上述情况同样地分别包括状态观测部31、31a～31n以及学习结果存储部38、38a～38n等。从图4可知，这些的各电弧焊接机器人系统5、5a～5n通过通信部40而相互连接。通信部40是网络，可以是有线或无线的任一种。

通过重复实施机械学习，在电弧焊接机器人系统5的状态观测部31中存储有各种物理量和各种电弧焊接条件。同样，在电弧焊接机器人系统5的学习结果存储部38中存储有机械学习器30的学习结果。

因此，即使是在例如另一个电弧焊接机器人系统5a的机械学习器30a没有进行机械学习的情况下，也能够通过通信部40将电弧焊接机器人系统5的状态观测部31和学习结果存储部38的存储内容组入到另一个电弧焊接机器人系统5a的状态观测部31a和学习结果存储部38a中。因此，电弧焊接机器人系统5a的机械学习器30a能够不实际进行机械学习，而使用可靠性高的学习结果等。其他的电弧焊接机器人系统5n等也同样。

进而，图4中具备存储部51的上位计算机50例如服务器通过有线或无线与通信部40连接。另外，上位计算机50例如也可以与一个电弧焊接机器人系统5直接连接。

并且，也可以通过通信部40将电弧焊接机器人系统5的状态观测部31中存储的物理量等以及电弧焊接机器人系统5的学习结果存储部38中存储的学习结果存储到上位计算机50的存储部51中。此时，另一个电弧焊接机器人系统5a访问上位计算机50的存储部51，将上述的物理量等以及学习结果分别组入到状态观测部31a和学习结果存储部38a中。即，可知，即使在一个电弧焊接机器人系统5暂时脱离网络的情况下，另一个电弧焊接机器人系统5a也能够取得上述物理量等以及学习结果。

发明的效果

在第一个至第五个发明中，能够提供一种能够自动决定更佳的至少一个电弧焊接条件的机械学习装置。

在第六个至第十个发明中，由于将机械学习导入到电弧焊接控制装置或电弧焊接机器人系统，因此能够自动决定更佳的至少一个电弧焊接条件。因此不需要预先进行理想的焊接来决定目标值。

在第十一个至第十二个发明中，能够经由上位计算机和/或通信部将通过某个机械学习装置得到的学习结果组入其他的机械学习装置中，能够利用可靠性高的学习结果等。

使用典型的实施方式说明了本发明，但是如果是本领域技术人员则能够理解在不脱离本发明的范围的情况下可以进行上述变更以及各种其他的变更、省略、追加。