通过机器学习提高了外力的检测精度的人协作机器人系统的制作方法

本发明涉及一种通过机器学习提高了外力的检测精度的人协作机器人系统。

背景技术：

以前，在机器人系统中，在机器人动作的期间为了确保人的安全，采取了不让人进入机器人的作业区域这样的安全对策。例如，在机器人的周边设置安全栏，在机器人的动作期间中禁止人进入安全栏的内部。

近年来，研究以及开发人与机器人协同(协作)进行作业的机器人(人协作机器人)，并到达实用化。在这样的人协作机器人(人协作机器人系统)中，例如，在机器人的周边不设置安全栏的状态下，机器人与人(作业者、用户)协作来进行一个作业。

可是，在人协作机器人中重要的是当机器人与人(人)发生了接触时，不对人给与预先决定的力以上的力，并停止或回避以及进行后退。另外，在与人进行协作(协同动作)作业时，还能够通过正确地了解由人作用的力来进行更高精度的作业。即，外力检测精度(检测能力)的提高关系到人协作机器人的能力的提高。

另一方面，在将外力以外的力误识别为外力时，例如，在将外来噪声或周围的振动等误识别为外力时，有可能产生机器人的误停止或误动作。因此，从内力或噪声正确地分离外力，可以提高外力的检测精度从而提高机器人的能力。

在这里，作为进行检测的力，主要能够分为外力、内力以及噪声这三个成分。首先，外力是从外部对机器人赋予的力，主要是人对机器人作用的力。另外，内力是由机器人的动作产生的力，也包含自身动作导致的振动成分。然后，噪声是由于电气噪声或周围的振动而产生的不需要检测的外力成分。

作为外力的计算方法，例如，能够从力传感器检测到的力减去根据机器人的动作指令值等计算出的理论上的内力来求出。然而，在这种情况下，在外力中包含噪声。另外，因为力传感器检测由于机器人自身的动作导致的振动而产生的力，所以在计算出的外力中包含由于机器人的振动而产生的力。

在这里，机器人例如在外力超过预定的阈值时停止。然后，如上所述，因为在计算出的外力中包含噪声或由于机器人的振动而产生的力，所以例如有可能产生机器人的误停止。

以往例如欧洲专利申请公开第2324967号说明书公开了一种系统，其通过在j1基座(j1轴的基部)设置的力传感器来检测xyz方向的力和力矩，利用该检测出的xyz方向的力和力矩来控制机器人(人协作机器人)。另外，以往例如日本专利第5356527号公报提出了一种信号分类装置，其采用声音的基于机器学习的信号分离方法，能够提高对每个场景分类声音信号的分类精度。

如上所述，以往提出了一种利用在j1基座上设置的力传感器检测到的xyz方向的力和力矩来控制机器人的系统以及采用机器学习来提高声音信号的分类精度的信号分类装置。

另外，在人协作机器人系统中，因为在计算出的外力中包含噪声或由于机器人的振动而产生的力，所以外力的检测精度降低，例如，有可能导致机器人的误停止。

技术实现要素：

本发明鉴于上述课题，其目的在于提供一种能够提高外力的检测精度的人协作机器人系统。

通过本发明的第一实施方式，提供了一种人协作机器人系统，其包含人与机器人协作来进行作业的人协作机器人，具有检测力的功能，该人协作机器人系统具备学习部，该学习部把用于计算所述力的传感数据、控制所述人协作机器人的控制软件的内部数据、以及基于所述传感数据和所述内部数据中的一方的数据得到的计算数据作为输入，把从外部对所述人协作机器人施加的第一力成分、通过所述人协作机器人的动作而产生的第二力成分、以及被分类为噪声的第三力成分作为输出，使用使预先取得的所述输入和正确标签成为组的有教师数据来进行学习，通过从外部向所述人协作机器人作用力、使所述人协作机器人在多个路径进行动作、以及使噪声作用于所述人协作机器人来取得所述有教师数据的正确标签，基于所述学习部输出的所述第一力成分来控制所述人协作机器人的动作。

能够针对在多个姿势下停止的所述人协作机器人，使多个大小和多个方向的力作用于所述人协作机器人的多个部位，使所述作用的力和向所述学习部的输入成为组来收集所述第一力成分的有教师数据。能够使力成分与向所述学习部的输入成为组来收集所述第二力成分的有教师数据，所述力成分是通过使所述人协作机器人抓持多个种类的工件，并且使所述人协作机器人进行多个路径的动作而产生的力成分。能够使噪声源作用于在多个姿势下停止的所述人协作机器人，使通过该噪声源产生的第四力成分与向所述学习部的输入成为组来收集所述第三力成分的有教师数据。

可以准备能够示教所述第一力成分以及所述第二力成分中的至少一方的模式。所述人协作机器人能够具有：从收集到的所述有教师数据的模型集合中选择使所述学习部学习的模型要素的功能，或者从已记录的力的模型集合中推荐根据应用而使用的力的模型要素的功能。所述学习部能够为了抽出所述检测出的力的特征量而进行在线学习，基于抽出的所述特征量，分离为所述第一力成分、所述第二力成分以及所述第三力成分。所述人协作机器人能够设定为不与所述人共有作业区域的非协作动作模式，在所述非协作动作模式下，所述学习部可以将所述第一力成分的正确标签设定为0来进行在线学习。

所述人协作机器人的控制装置具有在分离后的所述第一力成分超过了预定的阈值时，停止所述人协作机器人的功能，能够在所述人协作机器人停止后，在输入了表示所述学习部误检测所述第一力成分从而已停止的第一输入信号时，使所述人协作机器人停止紧前的输入数据与被设为小于所述预定的阈值的预定值的外力的正确标签成为组来进行所述学习部的在线学习。所述人协作机器人的控制装置具有在分离后的所述第一力成分超过了预定的阈值时，停止所述人协作机器人的功能，能够在所述人协作机器人停止后，在输入了表示所述学习部正确地检测所述第一力成分从而已停止的第二输入信号时，将所述人协作机器人停止紧前的向所述学习部的输入信号和输出信号作为有教师数据存储到存储器中，并在之后的在线学习中使用在所述存储器中存储的所述有教师数据。所述第一输入信号以及所述第二输入信号可以兼作所述人协作机器人的动作重新开始信号。可以由所述人生成所述第二输入信号，或者使用能够拍摄所述人协作机器人的照相机的图像识别结果或接近传感器的信号来生成所述第二输入信号。

所述人协作机器人系统具有在分离后的所述第一力成分超过了预定的阈值时，停止所述人协作机器人的功能、以及在所述人对所述人协作机器人施加外力而使所述人协作机器人停止时检测紧急度大的力的模式的功能，能够在检测出所述紧急度大的力的模式时，使检测出所述紧急度大的力的模式紧前的输入数据与被设定为大于所述预定的阈值的预定值的外力的正确标签成为组来进行所述学习部的在线学习。能够设置多台所述人协作机器人，多台所述人协作机器人分别单独进行学习，多台所述人协作机器人能够经由网络相互交换或共享通过各个所述人协作机器人单独进行学习而得到的多个学习结果。所述第一力成分是所述人对所述人协作机器人施加的外力，所述第二力成分是由于所述人协作机器人的动作而产生的内力，所述第三力成分是针对所述人协作机器人的噪声，或者，所述人协作机器人能够保存在被示教的动作程序的一个循环的期间所述人协作机器人检测到的力的日志，并且保存对于多次的所述循环检测到的力的日志，对在多次的所述循环中检测到的力的日志进行合成，或者进行信号处理，由此来抽出由于所述人协作机器人的动作而产生的力成分，将抽出的通过所述人协作机器人的动作而产生的力成分设定为正确标签来进行所述学习部的在线学习。

附图说明

通过参照以下的附图，能够更加明确地理解本发明。

图1是表示本发明的一个实施方式的机器人系统的框图。

图2a、图2b、图2c以及图2d示意性地表示通过图1所示的机器人系统中的机器学习装置分离后的力的各成分。

图3表示各力成分与输入信号的特征量之间的关系的例子。

图4用于说明各种力的模型集合(其1)。

图5用于说明各种力的模型集合(其2)。

图6用于说明各种力的模型集合(其3)。

图7用于说明力模型的选择功能的一个例子。

图8用于说明为了抽出特征量而使用无教师学习用神经网络的一个例子。

图9用于说明机器人的非协作动作模式的一个例子。

图10是表示图1所示的机器人系统的变形例的框图。

图11用于说明在图10所示的机器人系统中机器人停止后的处理(其1)。

图12用于说明在图10所示的机器人系统中机器人停止后的处理(其2)。

图13是表示图1所示的机器人系统的进一步的变形例的框图。

图14用于说明在图13所示的机器人系统中将机器人紧急停止后的处理。

图15用于说明在本发明的一个实施方式的机器人系统中正确标签的求出方法的一个例子(其1)。

图16用于说明在本发明的一个实施方式的机器人系统中正确标签的求出方法的一个例子(其2)。

图17是表示作为关联技术的机器人系统的一个例子的框图。

具体实施方式

首先，在详细叙述机器人系统的实施例之前，参照图17来说明人协作机器人系统的一个例子以及其课题。图17是作为关联技术表示人协作机器人系统的一个例子的框图。在图17中，参照符号200表示人协作机器人系统，201表示人协作机器人(机器人)，然后，202表示控制装置。

如图17所示，人协作机器人系统200例如包含人(作业者、用户，未图示)与机器人协作(协同动作)来进行作业的机器人201、以及控制机器人201的控制装置202。控制装置202包含伺服控制部221、力控制部222、阈值设定部223、力(合力)变换部224、力(内力)变换部225以及加法运算部226。

伺服控制部221控制机器人201的多个电动机，对各电动机赋予电动机动力来进行伺服控制。在伺服控制部221中例如输入机器人201的编码器输出、力控制部222的输出信号以及来自阈值设定部的停止指令等。合力变换部224例如将来自设置在机器人201的j1基座上的力传感器的信号变换为合力后输出到加法运算部226，内力变换部225将机器人201的编码器输出变换为内力后输出到加法运算部226。

在这里，外力是从外部向机器人赋予的力，主要是人对机器人作用的力。另外，内力是由于机器人的动作而产生的力，也包含由于机器人201自身的动作导致的振动成分。合力是对外力、内力以及噪声计算总和而得到的力。此外，关于噪声，能够考虑为由于电气噪声或周围的振动而产生的不需要检测的外力成分。另外，合力变换部224的输入信号并不限于来自在机器人201的j1基座上设置的力传感器的信号，也可以是在机器人201的各轴或预定位置设置的用于计算力的传感数据(例如，应变仪数据等)。

加法运算(减法运算)部226从合力变换部224的输出(合力)减去内力变换部225的输出(内力)来求出外力，并将该外力输出到力控制部222以及阈值设定部223。力控制部222基于从加法运算部226供给的外力，向伺服控制部221输出用于进行反馈控制的信号，伺服控制部221还接收上述的其他信号，对机器人201的各电动机赋予动力。在这里，在阈值设定部223中设定预定的阈值，例如，在来自加法运算部226的外力超过了该预定的阈值时，向伺服控制部221输出停止指令来使机器人201停止。

在图17所示的机器人系统(人协作机器人系统)200中，例如，从力传感器检测到的力(合力)减去根据机器人的动作指令值等计算出的理论上的内力来求出外力。然而，在这种情况下，在外力中包含噪声，另外，在合力(外力)中例如包含由于机器人的振动而产生的力。

即，在人协作机器人系统200中，由于在从加法运算部226输出的外力中包含噪声和由于机器人201的振动等产生的力，因此外力的检测精度降低。另外，由于阈值设定部223在从加法运算部226输出的外力超过预定的阈值时输出停止机器人201的指令，因此有可能导致机器人的误停止。

以下，参照附图来详细叙述本发明的人协作机器人系统的实施例。图1是表示本发明的一个实施方式的机器人系统的框图。在图1中，参照符号100表示人协作机器人系统，1表示人协作机器人(机器人)，2表示控制装置，然后，3表示机器学习装置。

如图1所示，本实施方式的人协作机器人系统100例如包含人(作业者、用户，未图示)与机器人协作(协同动作)来进行作业的机器人1、控制机器人1的控制装置2、以及对控制装置2赋予应用机器学习而分离后的外力的机器学习装置3。控制装置2包含伺服控制部21、力控制部22以及阈值设定部23。伺服控制部21控制机器人1的多个电动机，对各电动机赋予电动机动力来进行伺服控制。在伺服控制部21中，例如也输入机器人1的编码器输出、力控制部22的输出信号以及来自阈值设定部的停止指令等。

机器学习装置3包含学习部31、显示部32、各种力(外力、包含机器人的振动的内力以及噪声)的集合模型33、力(合力)变换部34以及逻辑内力计算部35。此外，在图1的机器学习装置3中，除了学习部31以外还设置了显示部32、各种力的集合模型33、合力变换部34以及逻辑内力计算部35，但是也可以设置在机器学习装置3的外部，另外，各种力的集合模型33也能够从外部赋予。并且，机器学习装置3也能够内置于控制装置2中，或者也能够经由通信线路设置在雾服务器或云服务器上。

逻辑内力计算部35从伺服控制部21例如取得示教程序、动作指令值、编码器输出值(位置信息)、速度、工件的形状以及工件的重量等各种信息(数据)，计算由于机器人的动作而产生的内力并将其输出到学习部31。合力变换部34从机器人1取得用于计算力的传感数据(例如，应变仪数据等)，计算合力后将合力输出到学习部31。此外，在学习部31中，例如还输入来自伺服控制部21的示教程序、动作指令值、编码器输出值(位置信息)、速度、工件的形状以及工件的重量等各种数据、以及来自机器人1的传感数据。

在这里，作为输入给合力变换部34的传感数据，也可以是来自机器人1的j1基座上设置的力传感器的信号、或者来自在机器人1的各轴或预定部位设置的用于计算力的传感器的数据。另外，合力例如能够表示为[合力]＝[外力]+[内力(包含机器人振动在内的内力)]+[噪声]。

学习部31例如执行有教师学习(supervisedlearning)，从外部取得有教师数据(superviseddata)来进行学习。在这里，作为有教师数据，例如对应各种力(外力、包含机器人的振动的内力以及噪声)的模型集合33。此外，对于模型在之后进行详细叙述。

通过学习部31分离后的外力被输出给控制装置2中的力控制部22以及阈值设定部23。并且，在图1所示的例子中，通过学习部31分离后的外力、内力以及噪声被输出到显示部32，在显示部32中进行预定的显示。此外，显示部32中的外力、内力以及噪声的显示可以使用各种显示方法，例如也可以采用发出警报等显示以外的方法。此外，并非必须设置显示部32，但是如上所述，显示部32也能够设置在机器学习装置3的外部，或者设置在控制装置2。

力控制部22取得从学习部31(机器学习装置3)输出的分离后的外力，基于该分离后的外力向伺服控制部21输出用于进行反馈控制的信号。另外，在阈值设定部23中设定预定的阈值，例如，在从机器学习装置3输出的分离后的外力超过了预定的阈值时，向伺服控制部21输出停止指令来使机器人1停止。

图2a、图2b、图2c以及图2d示意性地表示通过图1所示的机器人系统中的机器学习装置分离出的力的各成分。在这里，图2a表示检测出的力成分(合力：合力变换部34的输出)l0，在图2b中与l0一起表示了分离出的外力(从学习部31向力控制部22、阈值设定部23以及显示部32输出的外力)l1。另外，在图2c中与l0一起表示了分离出的内力(从学习部31向显示部32输出的内力)l2，在图2d中与l0一起表示了分离出的噪声(从学习部31向显示部32输出的噪声)l3。

如图2a～图2d所示，可知通过图1所示的机器人系统100的机器学习装置3，能够将图2a所示的合力l0分离为图2b所示的外力l1、图2c所示的内力l2以及图2d所示的噪声l3。

在上述的人协作机器人系统100中，机器学习装置3例如可以使用通用的计算机或处理器，在应用gpgpu(general-purposecomputingongraphicsprocessingunits通用计算图形处理单元)或大规模pc集群等时，能够更高速地进行处理。另外，如上所述，能够在机器人控制装置(控制装置2)中组入机器学习装置3，并且，也能够在经由以太网(注册商标)等通信线路的网络上的服务器中设置机器学习装置3。

另外，作为一个例子，能够使用神经网络来构筑学习部31。并且，例如预先通过实验来收集输入和外力的分离结果。然后，能够通过大量地准备该输入和结果的数据组合并提供给学习部31来进行无教师学习，即学习这些数据集中具有的特征，归纳性地获得根据输入推定结果的模型，即得到其关系性。此外，在本实施方式中，例如为了将具有时间相关的时间序列数据模型化，应用被称为循环型的神经网络是有用的。

并且，例如，在向学习部31输入传感数据之前，或者作为学习部31的功能之一，可以通过信号处理来进行预处理。特别是作为在分离力成分的方面有用的方法，举出了通过fft(fastfouriertransform快速傅里叶变换)等进行的向频率区域的变换。机器学习装置的设计者可以在机器学习装置3中装入这样的数据的特征量。另外，示教程序和动作指令值不仅用于求出机器人1的理论上的内力，而且还能够用于学习力的特征量与机器人1的姿势之间的相关关系。

如此，本实施方式的机器人系统(人协作机器人系统)100包含人与机器人协作来进行作业的人协作机器人1，并具有检测力的功能。机器学习装置3的学习部31将用于计算力的传感数据、控制人协作机器人的控制软件的内部数据、以及基于传感数据及内部数据中的一方的数据得到的计算数据作为输入，将从外部向人协作机器人施加的第一力成分、由于人协作机器人的动作而产生的第二力成分、以及被分类为噪声的第三力成分作为输出，使用使预先取得的输入与正确标签成为组的有教师数据来进行学习。在这里，通过从外部对人协作机器人作用力、通过使人协作机器人在多个路径进行动作、以及使噪声作用于人协作机器人来取得有教师数据的正确标签，并由学习部31进行输出。然后，基于针对人协作机器人1的第一力成分(人对人协作机器人施加的外力)来控制人协作机器人的动作。由此，例如能够高精度地检测将包含机器人振动的内力和噪声分离后的外力。

图3表示各力成分与输入信号的特征量之间关系的例子。一般来说，在各力成分与输入信号的特征量之间，具有图3所示的关系。即，关于外力，频率相对低，与机器人的姿势和速度的相关性小，不是每隔一定时间发生。另外，关于包含有机器人振动的内力，频率相对为中等程度，与机器人的姿势和速度的相关性大，不是每隔一定时间发生。并且，关于噪声，频率相对高，与机器人的姿势和速度的相关性为中等程度，具有每隔一定时间发生的情况。学习部31可以通过学习来自动地获得这样的关系性，例如，也能够由机器学习装置3的设计者明确地装入这样的关系。

对于来自学习部31的输出信号(分离后的外力、内力以及噪声：分离结果)的后处理，在本实施方式的说明中，说明力的分离结果直接为神经网络的输出结果。但是，作为其他的实施例，还能够通过多种频率与强度的组合来赋予学习部31的输出结果，并通过将基于该结果的自适应陷波滤波器作用于传感器检测出的合力来分离外力。

接着，对于向学习部31赋予的各种力(外力、包含机器人振动的内力以及噪声)的模型集合33，说明外力模型、包含机器人振动的内力模型以及噪声模型。图4～图6用于说明各种力的模型集合，图4用于说明外力模型。另外，图5用于说明包含机器人振动的内力模型(内力模型)，图6用于说明噪声模型。

首先，如图4所示，关于外力模型，作为神经网络的输入x，例如赋予传感数据、动作指令(无)、机器人姿势、工件(无)以及力计算值，作为输出y(5)得到外力。在此，作为作用于机器人的力＝外力，并且包含机器人振动的内力＝0、噪声＝0，生成正确标签。准备多个输入x与正确标签的组合来作为有教师数据。

a.外力模型

特别是，根据情况区分人对机器人作用力的状况，预先将各个模式的力模型化为力的模型。

·与机械或墙碰撞时的力的模型

·在人进行作业时，机器人接近，不经意碰到时的力的模型

·人被夹入到机器人与周边装置之间时的力的模型

·在车身上用螺栓紧固工件时施加的螺丝刀的按压或振动等的力的模型

·在机器人和作业者支撑细长的工件时作用的力的模型

接着，制作能够产生模型化的外力的夹具等，作用于已停止的机器人。根据力的模型，使机器人的姿势为多个模式，并且对机器人的多个部位作用力。此时，优选例如在机器人201的各轴或预定部位设置力传感器，能够识别作用了力的部位。并且，将传感器数据、计算出的合力以及机器人姿势作为输入，将作用的力作为外力，将包含机器人振动的内力和噪声设为“0”来制作正确标签。然后，准备输入和正确标签的多个组合作为有教师数据来进行机器学习。此外，“作用的力”可以使用输入的力计算值。

另外，如图5所示，对于内力模型，作为神经网络的输入x，例如赋予传感数据、动作指令、位置和速度、工件种类以及力计算值，作为输出y(5)，得到包含机器人振动的内力。在这里，作为包含机器人振动的内力＝“力计算值”、外力＝0、噪声＝0，制作正确标签。准备输入x和正确标签的多个组合来作为有教师数据。

b.内力模型

关于通过机器人的动作而产生的力，如果正确地知晓机器人持有的工件的重量和重心位置，则能够根据机器人的动作指令值计算机器人自身的加速度，并能够由此计算基于动作指令值的理论上的内力。然而，由于机器人的动作会使机器人自身摆动(特别是手部)，因此会产生振动。对于由于该机器人的振动而产生的力，因为力传感器也进行检测，所以难以根据动作指令计算基于振动的力成分。

因此，在本实施方式中，对于包含机器人振动的内力也与外力模型相同，预先进行各种动作，并制作包含机器人振动的内力模型。另外，通过抓持多个工件来进行动作，能够制作包含抓持了工件的状态下的机器人振动的内力模型。此外，包含机器人振动的内力模型针对机器人的每个机种不同。

作为上述的包含机器人振动的内力测定时的问题，具有对于内力难以通过测压元件等机器人系统的外部设备来测定力。作为其替代，通过学习部的预处理部，将计算出的理论上的合力作为包含机器人振动的内力的正确标签来进行学习。即，作为计算出的理论上的合力＝包含机器人振动的内力、外力＝0、噪声＝0来制作正确标签。准备输入和正确标签的多个组合作为有教师数据来进行机器学习。

并且，如图6所示，对于噪声模型，作为神经网络的输入x，例如赋予传感数据、动作指令(无)、机器人姿势、工件种类以及力计算值，作为输出y(5)得到噪声。在这里，作为噪声＝“力计算值”、外力＝0、包含机器人振动的内力＝0，制作正确标签。准备输入x和正确标签的多个组合来作为有教师数据。

c.噪声模型

将噪声分类为各个种类。

·由外部振动导致的噪声中的周期性噪声/非周期性噪声

·由电气噪声导致的噪声中的周期性噪声/非周期性噪声

模型例

·叉车通过附近时的振动

·冲击性地施加的周边设备的瞬间的振动

·对机器人施加风时的力的误检测

对于噪声，也与上述的外力模型以及包含机器人振动的内力模型相同，预先使各种噪声作用于机器人来制作模型。使噪声作用于已停止的机器人。另外，在多个机器人姿势下使噪声作用于机器人。作为由于噪声导致的力成分测定时的问题，具有针对由于噪声导致的力成分难以通过测压元件等机器人系统的外部设备来测定力。作为其替代，通过学习部的预处理部，将计算出的理论上的合力作为噪声的正确标签来进行学习。即，作为计算出的合力＝噪声、外力＝0、包含机器人振动的内力＝0来制作正确标签。准备输入与正确标签的多个组合作为有教师数据来进行机器学习。

此外，表示上述神经网络的图4～图6中的输出y(5)分割为每个外力、包含机器人振动的内力以及噪声来进行记载，将它们结合后成为实际的神经网络。在这里，向神经网络输入的力与输出的各力成分具有以下的制约。

[计算出的合力(输入部)]＝[外力]+[包含机器人振动的内力]+[噪声]

例如使噪声源(未图示)作用于在多个姿势下停止的机器人1，使通过该噪声源产生的力的成分(第四力成分)与向学习部31的输入成为组来收集噪声(第三力成分)的有教师数据。另外，当然也能够采用其他的各种方法来收集噪声的有教师数据。

接着，对于外力、噪声的用户(人、作业者)的示教模式进行说明。关于外力和噪声，能够设置可由用户进行示教的示教模式。在该指导模式中，例如，在示教前设定表示是什么种类的力的名称，并在停止了机器人的状态下开始指导。机器人的姿势尽可能多，这样会认为学习结果会变得良好，所以改变姿势来重复进行赋予相同的力的示教。该作业也可以通过交互式引导功能来进行。如此，例如通过准备能够针对从外部对机器人1施加的外力(人对机器人施加的外力：第一力成分)以及通过机器人1的动作而产生的内力(第二力成分)中的至少一方进行示教的模式，能够通过与用户的环境相对应的力的模型来进行学习。

图7用于说明力模型的选择功能的一个例子，在用户(人)与人协作机器人1协作来进行轮胎搬运、沙发安装、焊接、去除毛刺以及螺钉紧固这样的作业(应用)时，关注于轮胎搬运来说明力模型的选择功能。首先，在大致区分力模型时，分为上述的“外力”、“内力(包含机器人振动的内力)”以及“噪声”。关于“外力”作为小分类，例如分为“人的碰撞”、“人的夹入”以及“人安装工件的作业”。关于“内力”作为小分类，例如分为“动作速度”、“动作范围”以及“工件种类”，关于“噪声”作为小分类，例如分为“叉车的振动”、“周边设备的周期性振动”以及“电气噪声”。

此时，在作为应用进行轮胎搬运时，例如，作为“外力”的小分类选择“人的碰撞”以及“人的夹入”，作为“内力”的小分类选择“动作速度”、“动作范围”以及“工件种类”，然后，作为“噪声”的小分类选择“叉车的振动”以及“电气噪声”。在这里，关于协作(协同动作)机器人1(人协作机器人系统100)，用户能够从已登记的力的模型中选择使用的模型，并且，能够具有根据应用向机器人示教者推荐力模型的外力/内力/噪声的各推荐模型的功能。

即，针对机器人1(机器人系统100)，具有从收集到的有教师数据的模型集合中选择使学习部31学习的模型要素的功能、或者从所记录的力的模型集合中基于应用推荐使用的力的模型要素的功能。由此，能够通过与用户的应用相对应的力的模型来进行学习，并且，能够容易地选择与用户的应用相对应的力的模型。

图8用于说明为了抽出特征量而使用无教师学习用神经网络的一个例子。如图8所示，本实施例的机器学习装置3包含特征量抽出用神经网络(无教师学习/在线学习)3a以及力分离用神经网络(有教师学习)3b，将通过特征量抽出用神经网络3a得到的特征量赋予给力分离用神经网络3b。

如图8所示，在本实施例中，为了抽出特征量而准备无教师学习用的神经网络3a。无教师学习是通过向学习部仅大量地赋予输入数据来学习输入数据进行怎样的分布，即使不赋予相对应的教师输出数据，也针对输入数据进行压缩、分类、整形等的学习方法。能够将这些数据组所具有的特征的相似者相互聚集起来。

在这里，因为无教师学习可以没有教师输出数据，所以在机器人的实际运行时，能够始终实时地进行学习。作为学习用数据，能够一个接一个赋予新的样本，并在赋予新的学习用数据样本时，进行学习的更新。该学习方法被称为在线学习，能够一边持续学习一边利用学习结果。即，学习部31能够为了抽出检测到的力的特征量而进行在线学习，并基于抽出的特征量，分离为外力(第一力成分)、内力(第二力成分)以及噪声(第三力成分)。

另外，作为其他的实施例，作为无教师学习与有教师学习的中间问题设定具有被称为半有教师学习，并将其用于学习。在这里，半有教师学习是在仅存在一部分输入和输出的数据组合，除此之外，仅为输入的数据时使用的学习方法。

图9用于说明机器人的非协作动作模式的一个例子。如图9所示，作为神经网络的输入x，例如赋予传感数据、动作指令值、位置和速度、工件种类以及力计算值，作为输出y(5)得到外力。在这里，非协作动作模式(非协作动作模式时)，例如能够始终使用输入y(5)＝0这样的正确标签来进行在线学习。

即，人协作机器人1能够设定为不与作业者(人)共有作业区域的非协作动作模式。具体来说，能够通过向控制装置(机器人控制装置)2输入表示作业者已从机器人1进行动作的安全栏内出来的信号、或者作为信号通过扫描传感器输入人不在机器人1附近，来设定为非协作动作模式。

在该非协作动作模式中，例如由神经网络构成的学习部31将从机器人的外部施加的力成分的正确标签设定为“0”来进行在线学习。即，机器人1能够设定为不与人共有作业区域的非协作动作模式，在非协作动作模式中，学习部31将外力(第一力成分)的正确标签设定为“0”来进行在线学习。由此，能够逐次更新神经网络的加权w，结果，能够提高分离外力的精度。

图10是表示图1所示的机器人系统的变形例的框图，图11以及图12用于说明在图10所示的机器人系统中机器人停止后的处理。在这里，图11是用于说明机器人停止后的处理的流程图，图12用于说明此时的神经网络的在线学习。

根据图10与上述的图1的比较可知，在本实施例的机器人系统中，设置了用于进行机器人停止后的恢复处理的两个开关(动作重新开始按钮)sw1以及sw2。在这里，动作重新开始按钮sw1是机器人误停止后的动作重新开始按钮，动作重新开始按钮sw2是机器人正常停止后的动作重新开始按钮。此外，将这两个动作重新开始按钮sw1以及sw2的输出输入到伺服控制部21以及学习部31。

如图11所示，在步骤st1中，当外力超过了阈值从而机器人已停止时，在判定为机器人正常停止的情况下，前进到步骤st2，按压表示“正常地检测外力并停止”的按钮来重新开始动作，即，将机器人正常停止后的动作重新开始按钮sw2开启。接着，前进到步骤st3，将机器人停止紧前的学习部的输入数据和输出数据的组合作为将来的示教数据存储到存储器，并前进到步骤st6来重新开始机器人动作。

另外，在步骤st1中，当外力超过了阈值从而机器人已停止时，在判定为机器人误停止的情况下，前进到步骤st4，按压表示“没有施加外力而停止”的按钮来重新开始动作，即，将机器人误停止后的动作重新开始按钮sw1开启。接着，前进到步骤st5，针对机器人停止紧前的学习部的输入数据，将阈值减去预定值后的外力设定为正确标签，并进行在线学习。然后，根据基于新设定的正确标签的在线学习的结果，前进到步骤st6来重新开始机器人动作。

如此，机器人1的控制装置2具有在分离后的外力(第一力成分)超过了预定的阈值时，停止机器人1的功能，在该机器人停止后，在输入了表示学习部31误检测外力从而停止的信号(第一输入信号)时，将机器人停止紧前的输入数据与设定为小于阈值的预定值的外力的正确标签进行组合来进行在线学习。由此，在外力的分离中有错误，从而误停止的情况下，例如通过用户输入误停止的情况来进行在线的有教师学习，能够谋求改善外力分离能力。

另外，机器人1的控制装置2具有在分离后的外力(第一力成分)超过了预定的阈值时，停止机器人1的功能，在该机器人的停止后，在输入了表示学习部31正确检测外力而停止的信号(第二输入信号)时，将机器人停止紧前向学习部31的输入信号和输出信号作为有教师数据存储到存储器(未图示，例如为学习部31中内置的存储器、或者设置在控制装置2中的存储器等)，在以后的在线学习中，使用在该存储器中存储的有教师数据。由此，例如在用户输入了外力的分离正常而停止时，将此时的数据存储为有教师数据，将来，通过使用该数据来进行有教师学习，能够谋求改善外力分离能力。

在这里，第一输入信号以及第二输入信号也可以兼作机器人1的动作重新开始信号。由此，能够同时进行人(用户)的判断和机器人的重新开始，能够减少用户的负担。此外，用户(人)还能够进行机器人是正常停止还是误停止的判定，但是例如也能够由机器学习装置3或控制装置2基于预定的条件自动进行判定。即，能够使用可拍摄机器人的照相机(未图示)的图像识别结果、或者接近传感器(未图示)的信号等来生成第二输入信号。由此，能够使人进行的判断自动化。

如图12所示，作为神经网络的输入x，例如赋予传感器数据、动作指令值、位置和速度、工件种类以及力计算值，作为输出y(5)得到外力。在这里，针对机器人停止紧前的输入x，设定正确标签y(5)＝n－α来进行在线学习。此外，n表示阈值，α表示系统决定的正值。即，如上所述，将阈值n减去预定值α后的外力设定为正确标签来进行在线学习。

图13是表示图1所示的机器人系统的进一步的变形例的框图。图14用于说明在图13所示的机器人系统中使机器人紧急停止后的处理，并用于说明此时的神经网络的在线学习。

根据图13与上述的图1的比较可知，在本进一步的实施例的机器人系统中，针对机器学习装置3设置了紧急度大的力的模式检测部36，在检测出紧急度大的力的模式时，向伺服控制部21输入该紧急度大的力的模式检测信号，来使机器人1紧急停止。

如图14所示，作为神经网络的输入x，例如赋予传感器数据、动作指令值、位置和速度、工件种类以及力计算值，作为输出y(5)得到外力。在这里，当检测到紧急度大的力的模式时，针对在此紧前的输入数据x，设定正确标签y(5)＝n+β来进行在线学习。此外，n表示阈值，β表示系统决定的正值。即，将阈值n加上预定值β后的外力设定为正确标签来进行在线学习。

也就是说，在参照图13以及图14说明的机器人系统中，例如，优选将作业者针对未正常地检测外力，未发生所期待的机器人停止的情况的反应(强力拉动机器人等)作为特征性的“紧急度大”力的模式，并将力的波形存储在机器学习装置3中。为了检测该模式，可以进行减去理论上的内力，或者计算频率成分等数值运算。或者，还能够使从检测出的力分离外力的学习部和其他的学习部预先进行学习。

在检测出该“紧急度大”力的模式时，因为能够解释为没有很好地分离外力，所以针对检测出“紧急度大”力的模式紧前的输入数据，如上所述，将外力的正确标签设定为阈值+β(β是系统决定的正值)来进行在线学习。通过该学习，在此之后，当在机器人系统中发生了同样的状况时，能够在“紧急度大”力的模式产生之前，通过外力检测的阈值来提高能够停止机器人的可能性。

即，机器人系统100具有在分离出的外力(第一力成分)超过了预定的阈值时停止机器人1的功能，以及在用户对机器人1施加外力来停止机器人1时检测紧急度大的力的模式的功能，在检测出紧急度大的力的模式时，将检测出该紧急度大的力的模式紧前的输入数据和设定为大于阈值的预定值的外力的正确标签进行组合来进行学习部31的在线学习。由此，作为在外力的分离中具有错误，即使施加外力也不停止时的对策，具备检测紧急度大的力的模式的功能，在检测出紧急度大的力的模式时，能够进行在线的有教师学习来谋求改善外力分离能力。

在这里，例如也可以构成为设置多台机器人1，并且该多台机器人1分别独立地进行学习，多台机器人1经由网络(通信线路)相互地交换或共享各个机器人1独立进行学习得到的多个学习结果。

图15以及图16用于说明在本发明的一个实施方式的机器人系统中正确标签的求出方法的一个例子。在这里，图15是用于说明正确标签的求出方法的一个例子的流程图，图16用于说明此时的神经网络的在线学习。

如图15所示，在步骤st11中，对于动作程序的一个循环，测定力并保存日志，前进到步骤st12，对于多次的循环保存日志。并且，前进到步骤st13进行合成或信号处理。接着，在步骤st14中，抽出包含机器人振动的内力，并且前进到步骤st15作为正确标签来使用。

如图16所示，作为神经网络的输入x，例如赋予传感数据、动作指令值、位置和速度、工件种类以及力计算值，作为输出y(5)，得到包含机器人振动的内力。在这里，将从多次循环中抽出的包含机器人振动的内力的值设定为输出y(5)的正确标签来进行在线学习。

在这里，在参照图15以及图16说明的机器人系统中，例如，对于外力导致的停止或噪声的影响，通过记录多次的循环并进行平均化等处理能够减少影响。通过将这样得到的包含机器人振动的内力数据设定为正确标签，能够对于包含机器人振动的内力进行在线学习。但是，在工件种类改变，或者工件的抓持位置改变从而重心位置改变时，由于一个循环的平均处理没有意义，因此在具有这样的变更时，需要废弃到此为止的正确标签，并重新记录多次的循环。

即，机器人1保存在所示教的动作程序的一个循环期间机器人1检测出的力的日志，并且对于多次的循环保存检测出的力的日志，对于在该多次的循环中检测出的力的日志进行合成或信号处理，由此来抽出通过机器人1的动作而产生的力成分，将该抽出的通过人协作机器人的动作而产生的力成分设定为正确标签来进行学习部31的在线学习。由此，能够提高从机器人检测的力中分离包含机器人振动的内力的能力，与此相伴，还能够提高分离外力的精度。

通过本发明的人协作机器人系统，能够起到提高外力检测精度这样的效果。

以上，说明了实施方式，但是在这里记载的全部例子和条件只是以有助于理解在发明以及技术中使用的发明概念的目的所记载的内容，而不是特别希望使记载的例子和条件限制发明的范围。另外，说明书这样的记载也并不表示发明的优先以及缺点。虽然详细地记载了发明的实施方式，但是应该理解在不脱离本发明的精神以及范围内能够进行各种的变更、替换、变形。