机器人系统的制作方法

本发明涉及具备机器人的机器人系统，所述机器人从收容有多个工件的容器等取出所述工件并进行搬送。

背景技术：

作为从收容有呈散堆状态的多个工件的容器中取出该工件的系统，已知有例如专利文献1所公开的通过具备手部的机器人来取出工件的机器人系统。该机器人系统根据三维测量装置所测定的散堆工件的表面位置，确定处于最上层的工件，并设定能够取出该工件的手部的目标位置以及手部的目标姿势，且根据该目标位置及目标姿势来控制手部。

在采用专利文献1那样的以往的机器人系统的情况下，即使从容器中成功地取出了工件，在工件的搬运中也有可能发生因手部的抓持部分而导致受损或变形的情况。因此，从包含工件的品质的角度而言，这难以说得上进行了恰当的工件的取出及搬运，在这一点还存在改善的余地。

现有技术文献

专利文献

专利文献1：日本专利公报第5642738号

技术实现要素：

本发明鉴于上述一样的情况而作，其目的在于提供一种如下的机器人系统：能够从收容有多个工件的容器中在保持更良好的品质的情况下取出工件并搬运到指定位置。

本发明的一个方面所涉及的机器人系统包括：机器人，具备从收容有多个工件的收容部中通过抓持来取出所述工件并搬运到指定位置的手部；机器人控制部，控制从所述收容部取出所述工件并搬运到所述指定位置的所述机器人的搬送动作；以及搬送条件设定部，设定搬送条件，该搬送条件是与所述搬送动作有关的条件，且至少包含所述工件中禁止被所述手部抓持的抓持禁止区域；其中，所述机器人控制部根据所述搬送条件设定部所设定的搬送条件控制所述机器人。

附图说明

图1是表示本发明的一实施方式所涉及的机器人系统的结构的方块图。

图2是表示机器人系统所具备的机器人的一个例子的侧视图。

图3是用于说明机器人系统的基本动作的流程图。

图4a是工件的俯视图。

图4b是工件的剖视图(图4a的iv-iv线剖视图)。

图5是表示收容在第一容器内的工件的一个例子的简略平面图。

图6是表示收容在第一容器内的工件的一个例子的简略平面图。

图7是表示收容在第一容器内的工件的一个例子的简略平面图。

图8是表示报酬表的一个例子的图表。

图9a是表示图8的报酬表中的具体报酬的一个例子的图表。

图9b是表示图8的报酬表中的具体报酬的一个例子的图表。

图10a是表示图8的报酬表中的具体报酬的一个例子的图表。

图10b是表示图8的报酬表中的具体报酬的一个例子的图表。

图11是表示搬送条件的学习动作的一个例子的流程图。

图12是表示搬送条件的学习动作的一个例子的流程图(图11的延续)。

图13是表示变形例所涉及的机器人系统的结构的图。

图14是表示变形例所涉及的机器人系统的结构的图。

具体实施方式

以下，根据附图对本发明的实施方式所涉及的机器人系统进行说明。

[机器人系统的整体结构]

图1是表示本发明的一实施方式所涉及的机器人系统1的结构的方块图。机器人系统1具备机器人2、第一摄像机3a(第一、第三摄像部)、第二摄像机3b(第二摄像部)、控制机器人2及各摄像机3a、3b的控制部4。该机器人系统1是用于从收容有呈散堆状态的多个工件的容器中取出工件并搬送到所希望的目的位置(指定位置)的系统。

图2是表示机器人系统1所具备的机器人2的一个例子的侧视图。机器人2是从收容有呈散堆状态的多个工件w的第一容器30(收容部)中取出(拾取)该工件w，并搬运到别的第二容器32的机器人。各容器30、32是上侧开口的俯视下呈矩形的有底容器。第二容器32是内部被划分为多个收纳区域33的碟形容器。机器人2经由第一容器30的开口而取出工件w，并且经由第二容器32的开口而将工件w载置到其中任一个收纳区域33内。作为如此从第一容器30取出工件w并搬运到第二容器32的各收纳区域33的情形，例如可设想如下的情形：在机械制造的现场，从散装堆放有多个零部件的容器中取出该零部件并配置到配置盘上。

机器人2是具备基部21、机身部22、第一臂23、第二臂24、腕部25、手部26的六轴垂直多关节机器人。基部21被固定地设置在地板或工作台等上。机身部22以能够绕沿着铅锤方向(上下方向)延伸的第一轴2a向正反两方向转动的方式而被配置在基部21的上侧面。第一臂23是具有指定的长度的臂构件，其的长边方向的一端部经由沿水平方向延伸的第二轴2b而被安装于机身部22。第一臂23能够绕第二轴2b向正反两方向转动。

第二臂24包含臂底座24a和臂部24b。臂底座24a是第二臂24的底座部分，其经由相对于第二轴2b平行且沿着水平方向延伸的第三轴2c而被安装于第一臂23的长边方向的另一端部。臂底座24a能够绕第三轴2c向正反两方向转动。臂部24b是具有指定的长度的臂构件，其的长边方向的一端部经由相对于第三轴2c垂直的第四轴2d而被安装于臂底座24a。臂部24b能够绕第四轴2d向正反两方向转动。

腕部25经由相对于第二轴2b及第三轴2c平行且沿着水平方向延伸的第五轴2e而被安装于臂部24b的长边方向的另一端部。腕部25能够绕第五轴2e向正反两方向转动。

手部26是机器人2中从第一容器30取出工件w的部分，其经由相对于第五轴2e垂直的第六轴2f而被安装于腕部25。手部26能够绕第六轴2f向正反两方向转动。手部26只要是能够保持第一容器30内的工件w的结构，则没有特别的限定，例如其可以是具备多个通过抓持来保持工件w的爪部的结构，也可以是具备产生吸引工件w的吸引力的电磁体或负压发生装置的结构。本实施方式中，手部26采用了具备一对可以接离的爪部的结构，其通过一对爪部抓持(夹持)第一容器30内的工件w来取出该工件w。

机器人2的机身部22、第一臂23、第二臂24(臂底座24a、臂部24b)、腕部25及手部26分别被图外的驱动马达驱动而工作。

另外，机器人2的轴数并不仅限于六轴，其也可以是六轴以外的轴数。此外，机器人2并不特别限于具备能够从第一容器30取出工件w的手部的机器人，例如，其也可以采用垂直多关节机器人、水平多关节机器人或双臂型多关节机器人。

第一摄像机3a是拍摄包含被收容于第一容器30的工件w的图像的摄像机，其被配置在第一容器30的上方。此外，第一摄像机3a为了确认从第一容器30的工件w的取出是否成功而拍摄包含在工件w的取出动作后的手部26的图像。第二摄像机3b是拍摄包含被收容于第二容器32的工件w的图像的摄像机，其被配置在第二容器32的上方。上述的第一、第二摄像机3a、3b与后述的摄像机控制部41一起构成三维测量仪。

如上所述，控制部4统一地控制机器人2及各摄像机3a、3b。控制部4具备摄像机控制部41、机器人控制部42、搬送条件设定部43、存储部44以及学习部45。

摄像机控制部41使第一摄像机3a及第二摄像机3b执行拍摄动作，其具备摄像控制部41a和图像处理部41b。在通过手部26取出工件w时，摄像控制部41a使第一摄像机3a执行拍摄第一容器30内部的动作，并且使之执行拍摄包含在工件w的取出动作后的手部26的图像的动作。此外，在确认被搬送到第二容器32的工件w时，摄像控制部41a使第二摄像机3b执行拍摄第二容器32内部的动作。

图像处理部41b通过对各摄像机3a、3b所拍摄的图像进行图像处理来生成包含工件w的三维位置信息的图像数据。工件w的三维位置信息例如以利用了xyz正交坐标系的坐标值(x，y，z)来表示。

机器人控制部42根据搬送条件设定部43所设定的搬送条件，使机器人2(手部26)执行工件w的搬送动作。机器人控制部42控制机器人2的所述驱动马达，以使之依照所述搬送条件来执行工件w的搬送动作，亦即执行工件w的取出(拾取)动作和该工件w的搬运及载置动作(有时会将搬运动作和载置动作统称为放置动作)。此外，在学习部45中，在执行与工件w的搬送动作有关的机器学习的情况下，与机器人控制部42如何使机器人2工作有关的信息被输出到学习部45。

搬送条件设定部43根据工件w来设定搬送条件例如搬送工件w时的机器人2的动作、应该禁止的事项等。例如对工件w上应该禁止被手部26抓持的区域等的规定。关于这一点将在后面进行详述。该搬送条件也可以是由操作人员经由图外的输入部指教而成的条件，也可以是作为后述的机器学习的结果而获取的条件。

存储部44更新存储搬送条件设定部43所设定的搬送条件。存储部44中存储有针对多个(种类)的工件w将后述基本信息与搬送条件对应关联而成的表数据。

学习部45执行学习机器手10的动作的学习处理。在基于机器学习来设定所述搬送条件的情况下，学习部45按每一学习周期来获取机器人控制部42控制机器人2的控制信息和从摄像机控制部41输入的图像数据。而且，学习部45从这些信息学习搬送工件w时的最优的机器人2的行动模式及搬送条件。所述行动模式例如是与在进行工件w的拾取动作时被手部26以哪种程度的力抓持工件w的哪个位置(抓持力)或在进行工件w的拾取、搬运及放置动作时以哪种程度的速度使手部26移动(搬运速度)等有关的机器人2的行动。此外，如后所述，搬送条件中也可以包含上述的行动要素。学习部45包含品质观测部46、报酬设定部47及价值函数更新部48。关于这些部，将在后面进行详细说明。

[工件w的搬送动作]

图3是用于说明机器人系统1的基本动作的流程图。首先，控制部4获取工件w的形状等基本信息(步骤s1)。该基本信息是工件w的类别、形状、尺寸、表面状态等信息，控制部4基于经由图外的输入部的操作人员的输入操作或第一摄像机3a的拍摄结果而获取该基本信息。所述表面状态是指被施加于工件w的表面处理等。

其次，搬送条件设定部43根据所述基本信息来设定工件w的搬送条件(步骤s3)。该搬送条件如上所述可以是由操作人员经由图外的输入部指教而成的条件或者也可以是作为机器学习的结果而获取的条件。

接着，摄像机控制部41使第一摄像机3a拍摄第一容器30内部，由机器人控制部42根据所获得的图像数据来确定成为取出对象的工件w(相应地将之称为对象工件w)(步骤s5)。

而且，机器人控制部42驱动机器人2，使之执行将对象工件w从第一容器30取出并搬送到第二容器32的搬送动作(步骤s7)。机器人控制部42在步骤s5、s7中根据搬送条件设定部43所设定的搬送条件，确定成为取出对象的工件w并且执行上述搬送动作。

在搬送动作结束后，摄像机控制部41使第二摄像机3b拍摄第二容器32内部，由此，基于所获得的图像数据，识别工件w的状态(步骤s9)。此时，若存在着在收纳区域33中未收容有工件w等被认为搬送动作不恰当的情况时，机器人控制部42通过控制图外的通报部来执行对操作人员通知异常的动作。

其次，机器人控制部42判断是否已将指定数量n的工件w从第一容器30被搬送到第二容器32(步骤s11)，在未有搬送的情况下，使处理转移到步骤s5，让机器人2对下一工件w执行搬送动作。另一方面，若已有指定数量n的工件w从第一容器30被搬送到第二容器32，则机器人控制部42结束本流程。

[搬送条件的具体例]

根据图4a、4b来说明搬送条件设定部43所设定的搬送条件的具体例。图4a、4b是用于说明搬送条件的一个例子的图，图4a是工件w的俯视图，图4b是工件w的剖视图(图4a的iv-iv线剖视图)。

图4a所示的工件w例如是带孔的六角螺栓(盖螺栓)。该工件w(相应地称为螺栓w)包括具备让扳手插入的孔部的头部50、以及螺杆部52。螺杆部52包含远端侧的螺纹部52a和头部侧的非螺纹部(称为圆筒部52b)。搬送条件设定部43设定既能够确保螺栓w的品质又能够通过手部26来抓持螺栓w并进行搬送的搬送条件。

具体而言，将螺栓w中的螺纹部52a设定为禁止被手部26抓持的抓持禁止区域aa，将其余的部分设定为容许被手部26抓持的可抓持区域ab。即，在进行工件w的搬送时，让手部26抓持可抓持区域ab。由此，来防止因手部26抓持到螺纹部52a而导致螺牙被压溃等问题。

搬送条件设定部43还将可把持区域ab中与圆筒部52b对应的部分设定为在附带条件下容许被抓持的带条件区域ab1。即，使头部50优先地被抓持，而仅在满足了指定条件的情况下使圆筒部52b被手部26抓持。指定条件是指例如由于头部50位于第一容器30的角部而不能被手部26抓持等情形，在此情况下，使圆筒部52b作为被手部26抓持的区域。这样做是因为：由于圆筒部52b与螺纹部52a相邻接，若容许其与头部50等同地被抓持，有可能会因机器人2的动作误差等而令螺纹部52a的局部被手部26抓持而导致螺牙受损。此外，在螺杆部52上被施加了特殊的表面处理那样的的情况下，还可以尽可能地抑制因手部26损伤圆筒部52b的表面处理等问题。

此外，螺纹部52a既是抓持禁止区域aa同时也是接触禁止区域ba。此外，头部50及圆筒部52b既是可抓持区域ab同时也是可接触区域bb。即，在某一螺栓w为搬送对象物的情况下，该某一螺栓w的螺纹部52a为抓持禁止区域aa，其余的部分为可抓持区域ab。另一方面，对于作为搬送对象物的该某一螺栓w以外的螺栓w而言，螺纹部52a是禁止手部26接触的接触禁止区域ba，其余的部分是禁止手部26接触的接触禁止区域ba。也就是说，在由手部26进行螺栓w的取出时，由手部26抓持该螺栓w的可抓持区域ab中不与位于周边的螺栓w的螺纹部52a(接触禁止区域ba)接触的位置。由此，在进行螺栓w的取出时，抑制处于取出对象的螺栓w周边的螺栓w的螺纹部52a被手部26损伤的情况。因此，可以说搬送条件设定部43既设定抓持禁止区域aa及可抓持区域ab又设定接触禁止区域ba及接触禁止区域ba。

搬送条件设定部43还将包含从圆筒部52b的远端部分至螺纹部52a的远端的螺栓w周边的规定的空间(圆筒状的空间)设定为进入禁止区域bc(参照图4a、4b)。该区域bc是禁止手部26进入的区域。也就是说，禁止手部26接近处于作为取出对象的螺栓w周边的螺栓w的螺纹部52a。由此，更高水准地抑制螺纹部52a被手部26损伤的情况。

除了上述的搬送条件之外，在存在多个螺栓w相互重叠的情况时，搬送条件设定部43设定优先地从位于最上层的螺栓w起进行取出这样的搬送条件。此外，作为搬送条件，搬送条件设定部43根据螺栓w的形状及表面处理的状态来设定能够让螺栓w可靠地被抓持并被搬送的抓持位置、抓持力、以及搬运速度。此时，以尤其是抓持圆筒部52b(带条件区域ab1)时的抓持力及搬运速度比抓持其余的部分(头部50)时的抓持力及搬运速度小的方式来设定搬送条件。

此处，利用图5至图7对基于上述搬送条件的、机器人2进行的螺栓(工件)w的取出动作的例子进行说明。图5至图7是表示被收容在第一容器30内的螺栓w的简略平面图。

在图5的例子中，多个螺栓w1至w3处于相互离开间隔的状态。详细而言，各螺栓w1至w3隔开如下那样的距离地相互离开：均能够被手部26抓持头部50，而且即使在螺栓w1至w3中的任一螺栓w的头部50被抓持的情况下，该手部26也不会进入到其它的螺栓w的进入禁止区域bc内。因此，在这样的情况下，机器人2能够将螺栓w1至w3中的任一者通过手部26抓持其头部50而从第一容器30取出。

在图6的例子中，螺栓w1、w2处于相互重叠的状态。具体而言，在一方的螺栓w2的螺纹部52a上，重叠着另一方的螺栓w1的头部50。此情况下，若利用手部26来抓持位于上方的螺栓w1的螺纹部52a，手部26会进入到位于下方的螺栓w2的进入禁止区域bc而有可能接触到其螺纹部52a(接触禁止区域ba)。因此，在这样的情况下，机器人2通过手部26来抓持螺栓w2的圆筒部52b(可抓持区域ab1)而进行从第一容器30的取出。此时，机器人2以搬送条件中设定的抓持力亦即以比抓持头部50时的抓持力小的抓持力抓持圆筒部52b。

在图7的例子中，虽然螺栓w1、w2没有重叠，但其中一方的螺栓w1的头部50和圆筒部52b接触到另一方的螺栓w2的圆筒部52b和螺纹部52a。此情况下，若利用手部26来抓持一方的螺栓w1的头部50和圆筒部52b(带条件区域ab1)，该手部26有可能进入到另一方的螺栓w2的进入禁止区域bc内。而另一方面，另一方的螺栓w2的头部50的周围却存在宽阔的开放空间。因此，在这样的情况下，机器人2通过手部26来抓持螺栓w2的头部50而进行从第一容器30的取出。

图4a至图7只不过是在工件w为带孔的六角螺栓的情况下的抓持禁止区域aa(接触禁止区域ba)、可抓持区域ab、ab1(可接触区域bb)、以及进入禁止区域bc的例示。因此，若工件w的种类或尺寸不同，则这些区域的位置或宽度等便无容置疑地有所不同。此外，对于例如被实施了镜面处理等表面处理的工件w，搬送条件设定部43根据该表面处理的种类或位置等来设定抓持禁止区域aa(接触禁止区域ba)及进入禁止区域bc。

[关于机器学习]

其次，对所述学习部45的结构进行说明，并且对搬送条件设定部43基于学习部45的机器学习来设定搬送条件的例子进行说明。

＜学习部的结构＞

学习部45根据执行某一搬送动作时的机器人2的控制信息和被执行了该搬送动作的工件w的品质信息，来学习搬送工件w时的最优的机器人2的行动模式及搬送条件。此处，“品质信息”是主要表示被搬送后的工件w的表面(外观)的状态的信息。由学习部34所获取的学习结果被反映到搬送条件设定部43所设定的搬送条件中。

此外，作为学习的方法，并没有特别的限定，例如可以采用“监督学习”、“无监督学习”以及“强化学习”等。在本实施方式中，作为学习部45中的学习的方法而采用了作为强化学习的q学习的方法。q学习是如下的方法：将机器人2的连续的动作划分为多个状态，对于状态被依次进行时的机器人2的行动，学习能够获到报酬的价值高的行动。此外，作为学习部45所执行的强化学习的q学习例如可以利用神经网络(neuralnetwork)来实现。神经网络采用模仿了人的大脑构造的结构，其通过将模仿了人的大脑中的神经元(神经细胞)的功能的逻辑电路层叠为多层而被构成。

学习部45如上所述(图1)其包含品质观测部46、报酬设定部47以及价值函数更新部48。

品质观测部46对搬送前的工件w的图像数据(以下称作搬送前图像数据)和搬送后的工件w的图像数据(以下称作搬送后图像数据)进行比较，评价工件w的品质(以下称作工件品质评价)。搬送前图像数据是包含作为对象的工件w的三维位置信息(x，y，z坐标值)的图像数据，其采用事先在与该机器人系统1不同的其它的机器人系统中拍摄工件w而获取的数据，或者采用由第一摄像机3a拍摄第一容器30内部而获取的数据。

具体而言，品质观测部46对搬送前后的图像数据进行对比，确定在搬送中有无形成抓持痕或损伤(以下简称作损伤)、损伤的位置、损伤的大小等，并且根据损伤的状态来进行三个等级的评价(a至c评价)(参照图8)。例如，在搬送中未形成有损伤的情况下，工件品质评价为“a”，在形成有大的损伤的情况下，工件品质评价为“c”。此外，即使是小的损伤，但其的位置是在工件w的螺纹部52a(抓持禁止区域aa)时，工件品质评价为“c”。

此外，品质观测部46根据包含刚从第一容器30取出工件后的手部26的图像数据(以下称作取出后图像数据)来评价手部26的拾取动作是否良好(以下称作拾取评价)，并且根据所述搬送后图像数据来评价工件w的放置动作是否良好(以下称作放置评价)。作为取出后图像数据而采用在手部26进行了工件w的取出动作后通过第一摄像机3a拍摄包含手部26的区域而获得的数据。

具体而言，品质观测部46根据取出后图像数据，确定手部26抓持工件w的抓持位置及抓持姿势，作为拾取评价而进行三个等级的评价(a至c评价)(参照图8)。例如，在手部26在可抓持区域ab恰当地抓持着工件w的情况下，拾取评价为“a”，在手部26以进入到抓持禁止区域aa的状态抓持着工件w的情况下，按照其进入程度而将拾取评价设为“b”或“c”。

此外，品质观测部46根据搬送后图像数据，确定搬送后的工件w的位置、姿势，作为放置评价而进行三个等级的评价(a至c评价)(参照图8)。例如，在工件w以规定的姿势载置在第二容器32的收纳区域33内的情况下，品质观测部46将放置评价设为“a”，在工件w以与所规定的姿势不同的姿势被配置或者处于从收纳区域33突出的状态等情况下，将放置评价设为“b”或“c”。

此外，本实施方式中，品质观测部46作为拾取评价、放置评价、工件品质评价而分别进行三个等级的评价，但是，各评价并不仅限于三个等级。

报酬设定部47执行如下处理：使机器人2所执行的搬送动作(行动模式)与基于该行动模式而被搬送的工件w的品质对应关联，并且对该行动模式给予报酬r。具体而言，报酬设定部47从机器人控制部42获取在进行某一工件w的搬送时让机器人2执行的行动模式的控制数据。此外，报酬设定部47针对基于该行动模式而被搬送的工件w，获取由品质观测部46导出的评价结果的数据。根据所述行动模式的控制数据和所述评价结果的数据，对该行动模式给予报酬r。详细而言，按构成该行动模式的每一行动要素来给予报酬r。行动要素中包含有“抓持位置”、“抓持力”、以及“搬运速度”。“抓持位置”是手部26抓持工件w时手部26对该工件w的位置，“抓持力”是手部26抓持工件w时的力的大小，“搬运速度”是搬运取出后的工件w时的手部26的移动速度。这些行动要素如上所述也是搬送条件。

报酬r以拾取评价、放置评价、以及工件品质评价越高而赋予越大的值的方式而被设定。在本例中，报酬r根据例如图8所示的报酬表而被赋予。拾取评价、放置评价、以及工件品质评价如上所述分别被设为三个等级的评价(a评价至c评价)，报酬表由以拾取评价及放置评价作为纵项并且以工件品质评价作为横项的矩阵表而被规定。也就是说，报酬r通过拾取评价及放置评价与工件品质评价的组合而被决定。

更详细而言，如图8所示，基于拾取评价和工件品质评价的组合来决定对由手部26进行的拾取动作中的机器人2的行动模式的报酬(ra11至ra33)，基于放置评价和工件w的品质评价的组合来决定对放置动作中的机器人2的行动模式的报酬(rb11至rb33)。

对拾取动作的行动模式的报酬(ra11至ra33)例如如图9a、9b所示那样，针对构成该行动模式的每一行动要素亦即“把持力”及“抓持位置”各者而被设定。图9a是拾取评价及工件品质评价均为a评价时的各行动要素的报酬r的例示，图9b是拾取评价为a评价而工件品质评价为c评价时的各行动要素的报酬r的例示。

放置动作的行动模式的报酬(rb11至rb33)例如如图10a、10b所示那样，针对构成该行动模式的每一行动要素亦即“把持力”、“抓持位置”及“搬送速度”各者而被设定。图10a是放置评价及工件品质评价均为a评价时的各行动要素的报酬r的例示，图10b是放置评价为a评价而工件品质评价为c评价时的各行动要素的报酬r的例示。

各行动要素的报酬r如上所述以拾取评价、放置评价及工件品质评价越高而赋予越大的值的方式而被设定，此外，以工件w的搬运速度越大而被赋予越大的值的方式而被设定。由此，学习部45便学习到搬运速度尽可能大的机器人2的搬送动作的行动模式。

价值函数更新部48根据由报酬设定部47所设定的报酬r来更新规定机器人2的行动模式的价值q(s，a)的价值函数。价值函数更新部48使用以下式(1)所示的价值q(s，a)的更新式来更新价值函数。

[式1]

上式(1)中，“s”表示机器人2的状态，“a”表示依照行动模式的机器人2的行动。基于行动“a”，机器人2的状态从状态“s”过渡到状态“s’”。r(s，a)表示基于该状态的过渡而获得的报酬r。附有“max”的项是选择了状态“s’”中价值最高的行动“a’”时的价值q(s’，a’)乘以“γ”而成的项。“γ”是被称作衰减率的参数，其被设定在0<γ≤1的范围(例如0.9)。此外，“α”是被称作学习率的参数，其被设定在0<α≤1的范围(例如0.1)。

上式(1)表示根据由报酬设定部47对行动“a”设定的报酬r(s，a)来更新状态“s”中的行动“a”的价值q(s，a)的更新式。即，上式(1)表示：如果状态“s’”中的行动“a’”的价值q(s’，a’)和报酬r(s，a)的合计值大于状态“s”中的行动“a”的价值q(s，a)，则增大价值q(s，a)，相反，如果小则减小价值q(s，a)。也就是说，价值函数更新部48通过利用上式(1)所表示的更新式来更新价值函数，从而使某一状态“s”中的某一行动“a”的价值q(s，a)接近对该行动“a”设定的报酬r、以及基于该行动“a”的下一状态“s’”中的最佳的行动“a’”的价值q(s’，a’)。

＜机器学习处理＞

图11及图12是表示搬送条件的学习动作的一个例子的流程图。首先，控制部4的搬送条件设定部43判定存储部44中是否已存储有与对象工件w有关的搬送条件的数据(步骤s21)。在存储有该数据的情况下，搬送条件设定部43将所存储的已有的数据初始设定为搬送条件(步骤s51)。作为这样的情形是预想到重新学习由以前的学习所获得的对象工件w的已有的搬送条件的情况、或利用原本存储在控制部44中的搬送条件的默认数据来进行初始设定并进行学习等的情况。

在存储部44中未存储有已有的数据的情况下(步骤s21中为“否”)，搬送条件设定部43判定存储部44中是否存储有与类似工件有关的搬送条件的数据(步骤s23)。在存储有该数据的情况下，搬送条件设定部43根据与类似工件w有关的搬送条件的数据，初始设定对象工件w的搬送条件。类似工件w是指形状与对象工件w共通的工件w。搬送条件设定部43将对象工件的上述基本信息和存储在存储部44中的工件w的基本信息进行比较，将双方的形状满足预先设定的共通点的工件w确定为类似工件w，并且根据该类似工件的搬送条件，来推定对象工件w的搬送条件。例如，在对象工件w为上述的带孔的六角螺栓的情况下，与该螺栓在长度上不同的螺栓或者在直径上不同的螺栓等被确定为类似工件。在该机器人系统1中，由于如此利用类似工件w的已有的搬送条件来初始设定对象工件w的搬送条件，因而能够节省从头开始编写搬送条件这样的劳力和时间。

在存储部44中未存储有与类似工件有关的搬送条件的数据的情况下(步骤s23中为“否”)，搬送条件设定部43获取对象工件w的图像数据(步骤s51)，并且根据该图像数据，初始设定对象工件w的搬送条件(步骤s55)。例如，搬送条件设定部43根据图像数据(包含三维位置信息的图像数据)的点群密度等来确定工件w的形状，而且根据该形状来推测抓持禁止区域aa、可接触区域bb及进入禁止区域bc，并且推测手部26对该工件w的“抓持位置”、“抓持力”、“搬运速度”。由此，初始设定搬送条件。此外，在图像数据由操作人员经由图外的输入部而被事先输入的情况下，则使用该图像数据，在未有输入的情况下，通过摄像机控制部41来使第一摄像机3a拍摄第一容器30a的内部，从而获取图像数据。

这样，通过步骤s25、s51、s55中的任一处理来初始设定对象工件w的搬送条件。即，决定对象工件w的抓持禁止区域aa(接触禁止区域ba)、可抓持区域ab(可接触区域bb)及进入禁止区域bc，并且决定手部26对该工件w的“抓持位置”、“抓持力”、“搬运速度”。以上的步骤s21至s25、s51至s55的处理是进行学习处理时的事先准备，在步骤s25、s51、s55中被初始设定的搬送条件根据步骤s27以后的学习处理的学习结果而被修正。

在学习处理中，首先，由第一摄像机3a获取第一容器30内的图像数据，并且通过图像处理部41b的物体识别处理来获取工件w的三维位置信息(步骤s27)。由此，获取今后被取出的工件w的在所述第一容器30a内的位置信息(坐标值)，该位置信息被给予机器人控制部42。此外，学习部45的品质观测部46从摄像机控制部41获取包含这样的工件w的三维位置信息的图像数据来作为上述的搬送前图像数据。

机器人控制部42根据搬送条件设定部43所设定的搬送条件及通过所述物体识别而获取的工件w的位置信息，来使机器人2工作，而且还对各禁止区域aa、bb、bc等的搬送条件加以考虑，来从第一容器30取出工件w(步骤s29)。而且，摄像机控制部41使第一摄像机3a拍摄被机器人2的手部26抓持的工件w，控制部4根据该图像数据来判定工件w是否被手部16抓持着(步骤s31、s33)。此外，学习部45的品质观测部46从摄像机控制部41获取工件w如此被抓持的图像数据来作为上述的取出后图像数据。

在工件w被抓持着的情况下(步骤s33中为“是”)，机器人控制部42驱动机器人2，使所取出的工件w搬运到第二容器32，并且在指定的xyz位置处使工件w被释放(解除抓持)(步骤s35)。由此，完成从第一容器30往第二容器32的工件w的搬送。

完成了工件w的搬送后，通过第二摄像机3b来获取第二容器32内的图像数据，并且通过图像处理部41b的物体识别处理来获取包含工件w的三维位置信息的图像数据(步骤s37)。学习部45的品质观测部46从摄像机控制部41获取包含这样的工件w的三维位置信息的图像数据来作为上述的搬送后图像数据。此外，在工件w未被抓持着的情况下(步骤s33中为“否”)，处理转移到后述的步骤s41。

其次，品质观测部46根据在步骤s31中所获取的取出后图像数据来进行上述的拾取评价，并且根据在步骤s37中所获取的搬送后图像数据来进行上述的放置评价，而且对在步骤s37中所获取的搬送后图像数据和在步骤s27所获取的搬送前图像数据进行比较，来进行上述的工件品质评价(步骤s39)。

接着，报酬设定部47根据拾取动作的成功与否和品质观测部46的评价结果，并且根据此次的机器人2的行动模式来给予报酬r。报酬r基于上述的图8的报酬表而被决定。此情况下，对拾取动作的行动模式的报酬(ra11至ra33)按构成该行动模式的每一行动要素来进行给予。具体而言，参照图9a、9b，在拾取评价及工件品质评价均为a评价的情况下，报酬设定部47对该行动模式的“抓持力”及“抓持位置”给予报酬“100”。此外，在拾取评价为a评价而工件品质评价为c评价的情况下，报酬设定部47对该行动模式的“抓持力”给予报酬“0；零”，并且对“抓持位置”给予报酬“60”。

同样地，对放置动作的行动模式的报酬(rb11至rb33)按构成该行动模式的每一行动要素来进行给予。具体而言，参照图10a、图10b，在放置评价及工件品质评价均为a评价的情况下，报酬设定部47对该行动模式的“抓持力”、“搬运速度”及“抓持位置”分别给予报酬“100”。此外，在放置评价为a评价而工件品质评价为c评价的情况下，报酬设定部47对该行动模式的“抓持力”及“搬运速度”分别给予报酬“0”，并且对“抓持位置”给予报酬“60”。

此外，在步骤s33，在工件w未被抓持着的情况下，不论图8的报酬表如何，报酬设定部47均对拾取动作的行动模式的“抓持力”及“抓持位置”分别给予报酬“0”，均对放置动作的行动模式的“抓持力”、“搬运速度”及“抓持位置”分别给予报酬为“0”的报酬。

此后，价值函数更新部48利用上述式(1)的更新式来更新规定机器人2的行动模式的价值q(s，a)的价值函数(步骤s43)。详细而言，根据对拾取动作的行动模式的各行动要素的报酬(ra11至ra33)来更新规定拾取动作的行动模式的各行动要素的价值q(s，a)的价值函数，并且根据对放置动作的行动模式的各行动要素的报酬(rb11至rb33)来更新规定放置动作的行动模式的各行动要素的价值q(s，a)的价值函数。

上述的步骤s27至s43中所表示的各处理是在学习部45进行的学习处理的一循环中被执行的处理。学习部45判定学习次数是否已达到指定次数n(步骤s45)。在未达到指定次数n的情况下(步骤s45中为“否”)，学习部45使处理转移到步骤s27，使之执行从第一容器30中的下一工件w的取出，反复进行学习处理。另一方面，在已达到指定次数n的情况下(步骤s45中为“是”)，学习部34结束学习处理，搬送条件设定部43将学习结果亦即最终所获得的搬送条件的数据存储于存储部44(步骤s47)，结束本流程。此时，在存储部44中未存储有对象工件w的搬送条件的数据的情况下，搬送条件设定部43根据学习结果来修正初始设定的搬送条件，然后将该搬送条件与对象工件w的上述基本信息一起全新地存储于存储部44，而在存储部44中已存储有对象工件w的搬送条件的数据的情况下，通过修正后的搬送条件的数据来盖写已有的数据。

＜基于学习的作用效果＞

如上所述，通过由学习部45执行学习处理，来探求能够执行更理想的工件搬送动作的搬送条件，步骤s49、s25、s55中初始设定的搬送条件，通过搬送条件设定部43而被修正。例如，在存在着在初始设定的“抓持位置”处重复发生手部26的工件w取出失败而不能得到高的拾取评价及放置评价那样的情况下，通过学习处理，便能够探求到能够得到更高的拾取评价的“抓持位置”。此情况下，搬送条件设定部43例如扩大修正初始设定的“抓持位置”，以使初始设定的“抓持禁止区域aa”包含在抓持禁止区域aa中。由此，便能够设定出难以发生工件w的取出失败的更理想的搬送条件。

此外，如上所述，工件w的搬运速度越大，则价值函数更新部48给予越大值的报酬r。也就是说，学习部45在可抓持区域ab内学习到使搬运速度尽可能地大的抓持力及抓持位置。由此，便能够设定出能够更迅速地将工件w从第一容器30搬送到第二容器32那样的搬送条件。例如，在某一学习周期中，在作为放置动作的行动模式的行动要素的“抓持力”及“搬运速度”分别被设定为最大值但工件w上发现有较深的抓持痕而获得较低的工件品质评价的情况下，学习部45在下一学习周期中将“抓持力”设定为低于上次的抓持力。其结果，没有发现工件w上的抓持痕但是却发生了例如在第二容器32内的工件w的位置偏移那样的情况，亦即基于与“把持力”之间的关系而导致“搬运速度”太大，在该情况下，学习部45在下一学习周期中进一步将“搬运速度”设定为低于上次的搬运速度。此处，虽然叙述了“抓持力”和“搬运速度”的关系，但是，学习部45同样地对“抓持位置”进行学习。其结果，学习部45在可抓持区域ab内学习到能够在恰当地搬送工件w的范围内使搬运速度尽可能地大的抓持力及抓持位置。

[变形例等]

上述的机器人系统1只是本发明所涉及的机器人系统的优选实施方式的例示，其的具体结构是可以在不脱离本发明的主旨的范围内进行变更的。例如，其还可以采用以下的技术方案。

(1)机器人2也可以是能够从多个用于抓持工件w的手部26的工具(实施方式中为一对爪部)中有选择地自动交换该工具的机器人。此情况下，搬送条件设定部43设定使用哪一个工具来作为搬送条件，能够根据学习部45进行的机器学习而学习到最优的工具。根据这样的结构，通过最优的工具来执行工件w的搬送动作，由此，能够在更高水准地确保该工件w的品质的情况下搬送该工件w。

(2)上述实施方式中，搬送条件设定部43根据工件w的已有数据、类似工件w的已有数据、以及通过第一摄像机3a而获取的工件w的图像数据中的任一数据来进行搬送条件的初始设定(图11的步骤s49、s25、s55)。但是，也可以根据除此以外的信息来设定搬送条件。例如，在工件w的上述基本信息由操作人员经由图外的输入部进行指教且被存储于控制部40等搬送条件设定部43能够获取该基本信息的情况下，也可以根据该基本信息来设定搬送条件。尤其是所述基本信息中的与施加于工件w的表面处理等表面状态有关的信息难以从图像数据中进行识别。因此，与该表面状态有关的信息被事先存储于控制部40，设定搬送条件设定部43根据与该表面状态有关的信息来设定抓持禁止区域aa(接触禁止区域ba)及进入禁止区域bc。

(3)上述实施方式中，对拾取动作及放置动作的各行动模式的报酬(ra11至ra33)按构成该行动模式的每一行动要素来进行给予。但是，对各行动模式的报酬(ra11至ra33)也可以是将构成该行动模式的每一行动要素的报酬合计而成的报酬。具体而言，参照图9a、9b，在拾取评价及工件品质评价均为a评价的情况下，报酬设定部47也可以对该行动模式给予报酬“200”，在拾取评价为a评价而工件品质评价为c评价的情况下，报酬设定部47也可以对该行动模式给予报酬“60”。同样地，对放置动作的行动模式的报酬(rb11至rb33)也可以是构成该行动模式的每一行动要素的报酬合计而成的报酬。具体而言，参照图10a、图10b，在放置评价及工件品质评价均为a评价的情况下，报酬设定部47也可以给予报酬“300”，在放置评价为a评价而工件品质评价为c评价的情况下，报酬设定部47也可以给予报酬“60”。

(4)上述实施方式中，作为为了进行搬送条件的初始设定而获取工件w的图像数据的摄像部，亦即作为本发明的第一摄像部，而应用了被配置(固定)在第一容器30上方的第一摄像机3a。但是，也可以如图14所示那样，作为第一摄像部而在手部26等机器人2的可动部分上设置摄像机3c，从而通过该摄像机3c来拍摄被执行搬送动作之前的第一容器30内的工件w。此外，也可以如图14所示那样，作为第一摄像部而在第一容器30和第二容器32之间的位置上朝上地配置(固定)摄像机3d，从而通过该摄像机3d来拍摄从第一容器30被取出且处于被手部26抓持的状态的工件w。

此外，上述实施方式中，作为拍摄第二容器32中的搬送后的工件w的摄像部亦即本发明的第二摄像部，而应用了被配置(固定)在第二容器32上方的第二摄像机3b。但是，作为第二摄像部，也可以是图14所示那样的摄像机3c，由此，来拍摄被执行了搬送动作后的第二容器32内的工件w。

(5)也可以使用第一摄像机3a(第三摄像部)来拍摄被手部26取出工件后的第一容器30的内部，并根据该图像数据(称作其它工件图像数据)或根据该图像数据和上述取出后图像数据来评价手部26的拾取动作是否良好。也就是说，在手部26取出作为对象的工件w时，也可以考虑其对处于该对象工件w周边的其它的工件带来的影响。在此情况下，根据由第一摄像机3a拍摄第一容器30内部而获取的上述搬送前图像数据和其它工件图像数据，由品质观测部46确定手部26对其它工件w的影响具体而言为其它的工件w的位移或形成在该其它的工件w上的伤痕等来进行拾取评价。根据这样的方案，能够探求到既能够保持作为对象的工件w的品质又能够保持在该取出时的其它的工件w的品质那样的搬送条件。

该结构中，作为拍摄被手部26取出工件后的第一容器30内部的摄像部，亦即作为本发明的第三摄像部，而应用了被配置(固定)在第一容器30上方的第一摄像机3a。第一摄像机3a兼备本发明的第一摄像部和第三摄像部的功能。但是，作为第三摄像部，也可以采用图14所示的摄像机3c来拍摄第一容器30内的工件w。此情况下，摄像机3c也可以是兼备本发明的第一摄像部和第三摄像部的功能的摄像机。

在该变形例(4)中，还可以由搬送条件设定部43设定在从第一容器30取出工件w时的手部26相对于该工件w的接近或离开等的接近方法来作为搬送条件，由存储部44存储其它工件图像数据、拾取动作的成功与否以及拾取评价(以下称作拾取动作结果)，由学习部45根据第一摄像机3a所拍摄的第一容器30内部的图像(包含作为取出对象的对象工件w的图像)和过去的拾取动作结果来学习最优的接近方法。接近方法是指使手部26相对于取出对象亦即对象工件w接近或离开等时的移动速度或以xyz正交坐标系确定的移动方向等。也就是说，在第一摄像机3a拍摄的图像数据与存储于存储部44的过去的拾取动作结果的图像数据中被认定为搬送动作失败的图像数据相类似的情况下，也可以变更所述接近方法。搬送动作失败是指例如拾取动作失败的情形(未能够抓持到工件w的情形或者在取出过程中工件w脱落等图11的步骤s33的处理中被判定为“否”那样的情形)，或拾取评价为低评价(c评价)那样的情形。根据这样的方案，在工件w的取出时，便能够探求到能够以更高水准保持其它的工件w的品质那样的接近方法。在该方案中，存储部44作为本发明的第一、第二存储部发挥作用，第一摄像机3a作为本发明的第一、第三摄像部发挥作用。第一、第三摄像部并不仅限于第一摄像机3a，也可以是图14所示的摄像机3c。此外，在本例中，作为本发明所涉及的“工件配置信息”而使用了图像数据，但是，工件配置信息并不仅限于图像数据，只要是能够确定第一容器30内的各工件w的配置的信息，也可以是图像数据以外的信息。例如，工件配置信息也可以是第一容器30内的各工件w的三维位置信息。也就是说，在从第一摄像机3a拍摄的图像数据获取的各工件w的三维位置信息与存储于存储部44的过去的各工件w的三维位置信息中被认定为搬送动作失败的各工件w的三维位置信息相类似的情况下，也可以变更所述接近方法。当然，也可以将二维位置信息用作工件配置信息，以替代三维位置信息。

(6)上述实施方式的机器人系统1中，作为用于获取所述搬送后图像数据的摄像部而具备专用的摄像部(第二摄像机3b)。但是，例如也可以如图13所示那样，在机器人系统1包含具备拍摄工件收纳后的第二容器32的三维测量装置5a的检查装置5的情况下，作为用于获取所述搬送后图像数据的摄像部而兼用该检查装置5(三维测量装置5a)，并从该检查装置获取所述搬送后图像数据。

[上述实施方式中所包含的发明]

上述的实施方式主要包含具有以下技术方案的发明。

本发明的一个方面所涉及的机器人系统包括：机器人，具备从收容有多个工件的收容部中通过抓持来取出所述工件并搬运到指定位置的手部；机器人控制部，控制从所述收容部取出所述工件并搬运到所述指定位置的所述机器人的搬送动作；以及搬送条件设定部，设定搬送条件，该搬送条件是与所述搬送动作有关的条件，且至少包含所述工件中禁止被所述手部抓持的抓持禁止区域；其中，所述机器人控制部根据所述搬送条件设定部所设定的搬送条件控制所述机器人。

根据该机器人系统，对应于工件来设定禁止被手部抓持的抓持禁止区域。也就是说，在由手部进行工件的搬送动作时，工件中的抓持禁止区域以外的部分被手部抓持。因此，基于工件中的在形状上易变形的部分或易受损的部分被预先设定为把持禁止区域，在工件的搬送时抑制该工件的品质受损。

该机器人系统中，较为理想的是所述搬送条件设定部设定除了所述抓持禁止区域之外还至少包含进入禁止区域的所述搬送条件，所述进入禁止区域是所述工件周边的空间且是禁止所述手部接近所述工件的区域。

根据该机器人系统，在由手部进行工件的取出时，该手部被禁止进入到处于作为取出对象的对象工件的周边的其它工件的进入禁止区域内。换言之，以不让手部进入到其它的工件的进入禁止区域内的方式来由该手部进行对象工件的取出。因此，基于工件中的包含在形状上易变形的部分或易受损的部分的规定区域被预先设定为进入禁止区域，在进行从收容部中的工件取出时抑制处于对象工件周边的工件的品质受损。

所述机器人系统中，较为理想的是还包括：存储部，存储所述工件的所述搬送条件；其中，在所述存储部中已经存储有形状与应该新设定搬送条件的对象工件相类似的类似工件的搬送条件时，所述搬送条件设定部根据该类似工件的搬送条件设定所述对象工件的搬送条件。

根据该机器人系统，由于利用类似工件的已有的搬送条件来设定对象工件的搬送条件，因此，能够节省按每一工件从头开始编写搬送条件这样的劳力和时间。

所述一个方面所涉及的机器人系统中，较为理想的是所述搬送条件设定部根据所述工件的图像设定所述搬送条件。

根据该机器人系统，由于根据工件的图像数据来设定所述搬送条件，因此，能够节省一边输入用于确定工件的形状的各个数值等数据一边编写搬送条件这样的劳力和时间。

此情况下，所述机器人系统较为理想的是还包括：第一摄像部，能够拍摄被执行所述搬送动作前的所述收容部内的所述工件或从所述收容部被取出且处于被所述手部抓持着的状态的所述工件；其中，所述搬送条件设定部根据所述第一摄像部拍摄的所述工件的图像设定所述搬送条件。

根据该机器人系统，能够在该系统中获取工件的图像数据，并且利用该图像数据来设定搬送条件。因此，无需另行准备工件的图像数据便能够设定搬送条件。

此外，上述各机器人系统中较为理想的是还包括：第二摄像部，能够拍摄被执行所述搬送动作后的位于所述指定位置的所述工件；以及学习部，获取被执行所述搬送动作时的所述机器人控制部的控制信息和基于所述第二摄像部拍摄的图像的所述工件的外观品质信息，并且根据这些信息来学习所述搬送条件；其中，所述搬送条件设定部初始设定所述搬送条件，并且根据所述学习部的学习结果来修正所述搬送条件。

根据该机器人系统，由搬送条件设定部初始设定搬送条件，该搬送条件根据学习部进行的机器学习而被修正。因此，即使初始设定的搬送条件不一定能够实现理想的工件的搬送动作，但是通过机器学习，便能够探求到能够实现理想的工件的搬送动作的搬送条件。

该机器人系统中，较为理想的是还包括：第三摄像部，能够拍摄被执行所述搬送动作后的所述收容部内的所述工件；其中，所述学习部除了所述控制信息及所述指定位置上的所述工件的品质信息之外还获取基于所述第三摄像部拍摄的图像的所述收容部内的所述工件的外观品质信息，并且根据这些信息来学习所述搬送条件。

根据该机器人系统，在搬送条件的机器学习中，考虑了工件取出后的收容部内的工件的品质信息。也就是说，能够对手部对处于作为取出对象的工件的周边的工件产生的影响加以考虑。因此，能够探求到不仅能够保持作为取出对象的工件的品质而且还能够保持在该取出时的其它的工件的品质那样的搬送条件。

上述机器人系统中，较为理想的是所述搬送条件还包含所述手部抓持所述工件的抓持力、所述工件的搬运速度、以及所述手部抓持所述工件的抓持位置中的至少一者。

根据该机器人系统，基于机器学习，能够探求到既能够保持工件的品质又能够在该工件的取出时或搬运途中实现不会让该工件脱落的理想的工件搬送动作的搬送条件。

该机器人系统中，较为理想的是所述搬送条件包含所述工件的搬运速度及所述手部抓持所述工件的抓持位置，所述学习部在所述工件的所述抓持禁止区域以外的区域内学习尽可能增大所述搬运速度的所述抓持位置。

根据该机器人系统，基于机器学习，能够探求到既能够保持工件的品质又能够以更高速来搬运工件那样的搬送条件。

上述机器人系统中，在所述存储部被定义为第一存储部的情况下，较为理想的是还包括：第二存储部，存储过去的所述收容部内的工件配置信息和过去的所述收纳部内的所述工件的品质信息；其中，所述第一摄像部能够拍摄被执行所述搬送动作前的所述收容部内的所述工件，所述搬送条件包含从所述收容部取出所述工件时的所述手部的相对于该工件的接近方法，在从所述第一摄像部拍摄的图像获取的工件配置信息与所述过去的工件配置信息中根据所述收容部内的所述工件的品质信息而被认定为搬送动作失败的工件配置信息相类似的情况下，所述学习部以采用与所述搬送条件不同的接近方法的方式来进行学习。

根据该机器人系统，基于机器学习，能够探求到特别是在工件的取出时能够更高水准地保持工件的品质那样的搬送条件(接近方法)。

上述机器人系统中，较为理想的是所述搬送条件设定部获取与所述工件的表面状态有关的信息，并且根据与该表面状态有关的信息设定所述禁止区域。

根据该机器人系统，能够探求到考虑了工件的表面处理等表面状态的更优异的搬送条件。

此外，上述的机器人系统中，较为理想的是包括：至少一个摄像部，兼备多个所述摄像部的功能。

根据该机器人系统，能够实现兼作多个摄像部的一部分来拍摄工件这样的合理的结构。

此情况下，较为理想的是所述一个摄像部设置于所述机器人的可动部分。

根据该机器人系统，能够通过共用的摄像部而良好地拍摄被执行搬送动作之前的收容部内部、被执行了搬送动作之后的收容部内部、以及处于被执行了搬送动作之后的指定位置的工件。