对装载盘配置零部件的零部件配置装置的制作方法

本发明涉及将尺寸不同的多种零部件配置到具备多个收容部的装载盘的零部件配置装置。

背景技术：

装载盘是用于收容例如在一个机械产品的组装时所使用的零部件群组的料盘，所述零部件群组包括螺钉、螺栓及垫圈等紧固件和o形环及垫片等密封件等。专利文献1中公开了通过机器手从这样的装载盘对零部件进行的拾取、以及为了恰当地进行所述拾取的机器学习的应用。

装载盘具备由框格划分而成的多个收容区间。零部件从收容有各种零部件的保管料盘中分别被配置到所述多个收容区间。对于不能被所述收容区间容纳的大型零部件，有时会将其立靠或载置于所述框格的上缘。对于对这样的装载盘进行的零部件配置，较为理想的是也通过机器手来实现自动化。专利文献1只公开了与零部件的拾取有关的技术，并没有提及到对装载盘的零部件配置。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2017-30135号

技术实现要素：

本发明的目的在于提供一种能够利用机器手将各种零部件恰当地配置到装载盘的零部件配置装置。

本发明的一个方面所涉及的对装载盘配置零部件的零部件配置装置是将尺寸不同的多种零部件配置到具备多个收容部的装载盘的装置，其包括：机器手，具有能够进行所述零部件的拾取和释放的头部，并且进行通过该头部在所述零部件的保管位置处从所述多种零部件中拾取对象零部件并搬运该对象零部件且将该对象零部件从所述头部释放到所述装载盘的配置动作；以及控制部，控制所述机器手的动作；其中，所述控制部包括：规则设定部，根据所述多种零部件及所述多个收容部的形态，设定所述零部件配置到所述装载盘的配置规则；以及驱动控制部，根据所述配置规则来使所述机器手执行所述配置动作。

附图说明

图1是表示对本发明的实施方式所涉及的装载盘配置零部件的零部件配置装置的结构的方块图。

图2的(a)是表示被配置了零部件的装载盘的一个例子的俯视平面图，图2的(b)是图2的(a)的iib-iib线剖视图。

图3是表示零部件配置装置的动作的流程图。

图4的(a)至(d)是用于说明配置规则的一个例子的图。

图5的(a)、(b)是用于说明配置规则的一个例子的图。

图6的(a)至(d)是用于说明配置规则的一个例子的图。

图7的(a)至(d)是用于说明配置规则的一个例子的图。

图8的(a)至(c)是用于说明配置规则的一个例子的图。

图9是表示配置规则的学习动作的一个例子的流程图。

图10是表示配置规则的学习动作的一个例子的流程图。

图11的(a)、(b)是用于说明配置规则的一个例子的图。

具体实施方式

[零部件配置装置的整体结构]

以下参照附图详细地说明本发明的实施方式。首先，参照图1的方块图来说明对本发明的实施方式所涉及的装载盘(kittingtray)配置零部件的零部件配置装置1的结构。零部件配置装置1是将尺寸不同的多种零部件配置到装载盘40的装置，其具备：进行零部件的配置动作的机器手10；拍摄零部件的三维图像的三维测量装置20(摄像装置)；统一地控制机器手10及三维测量装置20的动作的控制部30。

机器手10是从分别收纳尺寸不同的多种零部件wa、wb···的零部件收纳盘ta、tb···将对象零部件拾取并且移载到装载盘40的机器人装置。零部件收纳盘ta、tb···是成为各零部件wa、wb···的个别的保管位置的料盘，各种零部件wa、wb···以散堆或整齐排列的状态而被收容。装载盘40是能够让多种零部件wa、wb、wc、wd···个别地收容在被预先划分而成的多个收容部中的料盘。机器手10进行将对象零部件拾取并搬运且将该所拾取的对象零部件释放到所述收容部的配置动作。

机器手10是具备基部11、机身部12、第一臂13、第二臂14、头部15及手部16的多轴多关节机器人。基部11是被固定地设置在地板面或基座等上的箱体。机身部12以能够绕沿着铅锤方向延伸的第一轴1a的轴心向正反两方向转动的方式而被设置在基部11的上侧面。第一臂13是具有指定长度的臂构件，其以基端部能够绕沿着水平方向延伸的第二轴1b的轴心转动的方式而被安装于机身部12。第二臂14是连续地设置于第一臂13的臂构件，其以基端部能够绕沿着水平方向延伸的第三轴1c的轴心转动的方式而被安装于第一臂13的远端部。

头部15以能够绕沿着水平方向延伸的第四轴1d的轴心转动的方式而被安装于第二臂14的远端侧。手部16经由相对于第四轴1d垂直的第五轴1e而被安装于头部15。手部16能够从零部件收纳盘ta、tb···个别地拾取零部件wa、wb···，并且能够将其释放到装载盘40。手部16包括一对抓持片，其能够绕第五轴1e的轴心自如地转动，并且为了进行所述拾取及释放而能够自如地调整所述一对抓持片的间隔。只要在头部15上具备能够进行零部件的拾取及释放的机构便可，例如也可以取代手部16而在头部15上具备产生吸引零部件的吸引力的电磁体或负压发生装置等。

三维测量装置20包含第一摄像机21、第二摄像机22及摄像机控制部23。第一摄像机21被配置在零部件收纳盘ta、tb···的上方空间，拍摄包含被收纳于这些料盘的零部件wa、wb···的图像。第二摄像机22被配置在装载盘40的上方空间，拍摄包含被收纳于该装载盘40的零部件wa、wb、wc、wd的图像。此外，三维测量装置20或第一、第二摄像机21、22也可以搭载在机器手10上。

摄像机控制部23是使第一、第二摄像机21、22执行拍摄动作并且根据所获得的图像执行零部件的三维测量的部分，其包含摄像控制部24和图像处理部25。在进行零部件wa、wb···的拾取时，摄像控制部24使第一摄像机21执行拍摄零部件收纳盘ta、tb···的动作。此外，在进行装载盘40的收纳部的位置确认时或者在获取零部件配置后的装载盘40的信息等时，摄像控制部24使第二摄像机22执行拍摄装载盘40的动作。

图像处理部25通过对第一、第二摄像机21、22所获取的图像进行图像处理来生成包含各零部件的三维位置信息的图像数据。各零部件的三维位置信息例如用采用xyz正交坐标系的坐标值(x，y，z)来表示。根据第一摄像机21所获取的图像来获取被收纳于零部件收纳盘ta、tb···的零部件wa、wb···的位置信息。该位置信息在由机器手10拾取零部件wa、wb···时被利用。此外，根据第二摄像机22所获取的图像来获取被配置于装载盘40的零部件wa、wb、wc、wd的位置信息。根据该位置信息，能够进行零部件配置状态的评价。

控制部30包括驱动控制部31、规则设定部32、信息获取部33及学习部34。驱动控制部31根据规则设定部32设定的配置规则，使机器手10执行零部件的配置动作。驱动控制部31控制机器手10所具备的驱动马达(未图示)的动作，以便按照所述配置规则来依次执行零部件的拾取、该零部件的保持及搬运、以及该零部件的释放。在学习部34中执行与配置动作有关的机器学习时，关于驱动控制部31在所述拾取及释放中如何使机器手10动作的信息被输出到学习部34。

规则设定部32根据多种零部件wa、wb···的尺寸、形状等形态及装载盘40的收容部的宽度及深度等形态，设定零部件wa、wb···对装载盘40的配置规则。该配置规则是与零部件配置到装载盘40时应该优先的事项、应该避忌的事项等配置理念有关的规定。例如配置规则是如下那样的规则：尺寸小的零部件优先配置到小的收容部；零部件以在上下方向重叠的方式配置时，先配置哪一个零部件(在后面根据图4至图8进行详述)。该配置规则可以是操作者经由输入部26等所教导的配置规则或根据配置结果对所教导的配置规则进行评价后修订而成的配置规则，也可以是作为学习部34进行的机器学习的结果而被生成或被修订而成的配置规则。

信息获取部33从输入部26获取操作者输入的信息，从摄像机控制部23获取三维测量信息。从输入部26输入的是例如零部件的尺寸、形状等属性信息、与装载盘40的形状有关的信息等。从摄像机控制部23输入的是零部件收纳盘ta、tb···内的零部件wa、wb···的三维位置信息、装载盘40的收容部的三维位置信息、装载盘40内的零部件wa、wb、wc、wd的三维位置信息等。规则设定部32根据被给予信息获取部33的各种信息来设定或修订所述配置规则。

学习部34是执行学习机器手10的动作的学习处理的功能部。在根据机器学习来设定所述配置规则的情况下，学习部34按每一学习周期来取得驱动控制部31控制机器手10的控制信息、从摄像机控制部23输入的表示装载盘40上的配置结果的三维测量信息。而且，学习部34根据这些信息来学习配置各个零部件时的最优的机器手10的行动模式，并且将其反映到配置规则中。所述行动模式是与例如如下等有关的机器手10的行动：在哪一个位置用哪种程度的抓持力抓持零部件来进行拾取；在装载盘40的哪一个三维位置释放该零部件；以哪样的顺序来配置各种零部件。学习部34包含位移量观测部35、报酬设定部36及价值函数更新部37。有关这些部，在后面说明应用机器学习的实施方式时进行详细说明。

[装载盘]

图2的(a)是表示配置有零部件的装载盘40的一个例子的俯视平面图，图2的(b)是图2的(a)的iib-iib线剖视图。装载盘40是收容例如进行一个机械产品的组装时所使用的包括螺钉、螺栓、垫圈等紧固件、o形环及垫片等密封件等的零部件群组的料盘。装载盘40是上面开口的比较底浅的长方体形状的容器，其具备形成外形部的外框部41、设置在外框部41内侧的内框部42、形成装载盘40底面的底板43。

外框部41在图2的(a)的俯视下具有矩形形状，此外，如图2的(b)的剖视图所示，其的上端缘41t是装载盘40中处于最高位置的侧板。内框部42是在俯视下在外框部41内纵横地延伸且划分多个收容部a1、a2、a3的框板。此处，表示了通过内框部42而划分有一个具有最大的收容空间的大收容部a1、四个具有第二大的收容空间的中收容部a2、以及八个具有最小的收容空间的小收容部a3的例子。内框部42的上端缘42t的高度处于比外框部41的上端缘41t低的位置。由此，而形成以上端缘42t作为底面且以外框部41作为间隔壁的上层收容部a0。

各收容部a1、a2、a3中分别配置有相同的零部件。此处，表示了在大收容部a1中收容有由大口径的密封件构成的大型零部件w1、在中收容部a2中收容有中口径的c形环等中型零部品w21、w22、在小收容部a3中收容有螺栓及螺母等小型零部件w31、w32的例子。这些零部件w1、w21、w22、w31、w32以与底板43面接触的形态而被收容于各收容部a1、a2、a3。此外，还表示了不能被收容部a1至a3的任一者收纳的垫片等超大型零部件w0被收容于上层收容部a0的例子。超大型零部件w0与内框部42的上端缘42t面接触。

配置有零部件w0至w32的装载盘40通过作业者或通过搬运机器人等而被搬运到指定的作业区。或者，有时会通过其它的机器手从该装载盘40取出零部件w0至w32。此处，作为零部件而例示了机械零部件，但是，收容于装载盘40的零部件没有特别的限定。例如，也可以将电力·电子用零部件、材料片及材料杆、工具类等作为零部件而收容于装载盘40。

[配置动作的基本流程]

图3是表示零部件配置装置1的基本动作的流程图。首先，控制部30的信息获取部33获取与装载盘40及零部件w0至w32有关的信息(步骤s1)。该信息是与装载盘40的形状、收容部a1至a3的形态(开口尺寸、深度、配置位置等)、相对于机器手10的配置位置等、零部件w0至w32的类别、形状、尺寸、相对于机器手10的配置位置等有关的信息。信息获取部33基于经由输入部26的输入操作或三维测量装置20的测量结果而获取上述的信息。

其次，规则设定部32根据信息获取部33获取的上述信息，设定被收容到装载盘40的对象零部件w0至w32的配置规则(步骤s2)。所述配置规则的几个具体例将在后面进行说明。如上所述，作为配置规则，可以采用根据信息获取部33所获取的信息来制定的规则，或采用通过机器学习而制定的规则，该机器学习是通过三维测量装置20的测量对实际的配置执行结果进行评价的机器学习。

接着，驱动控制部31按照所设定的配置规则来驱动机器手10，使之执行将对象零部件w0至w32配置到装载盘40的收容部a1至a3的配置动作(步骤s3)。即，驱动控制部31通过使机器手10绕第一轴1a的轴心转动并且使第二轴1b至第五轴1e相应地工作，来执行使手部16去往零部件收纳盘ta、tb···且个别地拾取所被收纳的零部件wa、wb···并将其搬运到装载盘40的指定的收容部a1至a3且予以释放的动作。驱动控制部31确认预定对一个装载盘40进行的所有的零部件w0至w32的配置是否已结束(步骤s4)，若配置未结束(步骤s4中为“否”)，则继续步骤s3的配置动作。

若配置已结束(步骤s4中为“是”)，则控制部30判定是否执行配置的结果评价(步骤s5)。在执行结果评价的情况下(步骤s5中为“是”)，信息获取部33使三维测量装置20的第二摄像机22拍摄配置后的装载盘40的图像，以获取所配置的零部件w0至w32的三维测量结果。而且，规则设定部32根据基于所述三维测量结果的装载盘40内的零部件w0至w32的状态信息来评价配置结果(步骤s6)。

规则设定部32根据所述评价结果来判定是否需要修改现时的配置规则(步骤s7)。在评价结果为超出了预先决定的阈值的水准的情况下，规则设定部32判定为需要修正配置规则(步骤s7中为“是”)而修正所述配置规则(步骤s8)。作为此处的修改，可例示手部16对零部件w0至w32的拾取位置、抓持力、抓持方向、释放的高度位置、配置顺序的修正等。

另一方面，在上述的配置不良为所述阈值以下的情况下，规则设定部32判定为不需要修改配置规则(步骤s7中“否”)而结束处理。此外，在步骤s5中判定为不执行配置的结果评价(步骤s5中为“否”)的情况下也结束处理。另外，步骤s5至s8可以由操作者手动执行，也可以按照预先决定的修改规则来执行。而且，可以将与步骤s5至s8实质上相同流程取代为由学习部34进行的机器学习。有关该机器学习的例子，在后面根据图9图10进行叙述。

[配置规则的具体例]

以下，根据图4至图8来说明规则设定部32设定的配置规则的具体例。图4的(a)至(d)是用于说明配置规则的一个例子的图，是表示进行发生零部件w11、w12彼此在上下方向重叠的配置时的配置规则的图。图4的(a)是表示零部件w11、w12在装载盘40上的理想的配置状态的俯视图，图4的(b)是图4的(a)的箭头a方向的侧视图。

零部件w11是如密封垫那样的环状零部件，零部件w12是如螺栓那样的长形的棒状零部件。零部件w11以排列成2个×3个的矩阵状的形态而被配置在由装载盘40的内框部42划分而成的收容部a11的底板43上。另一方面，零部件w12以在划分收容部a11的内框部42的上端缘42t上被该上端缘42t支撑的形态而被配置。

形成图4的(a)及(b)所示的配置状态时，规则设定部32设定使配置位置位于下方的零部件w11先行地被配置的配置规则。即，如图4的(c)所示，首先使机器手10将各零部件w11配置到收容部a11内的指定位置。此时，为了能够充分地利用收容部a11的区间，在零部件为环状的零部件w11的情况下，较为理想的是如图4的(a)所例示的那样使之排列配置成矩阵状。

预定配置到收容部a11的所有的零部件w11的配置结束后，接着，如图4的(d)所示那样，使机器手10配置棒状的零部件w12。此时，以使零部件w12的一端侧和另一端侧被彼此相向的一对内框部42的上端缘42t分别支撑的方式来使零部件w12从手部16被释放。由此，以零部件w12重叠在零部件w11的上方的形态，来使两零部件配置在装载盘40内。基于采用图4的(c)及(d)的配置规则，能够防止配置位置应该在下方的零部件w11被配置在配置位置位于上方的零部件w12之上或零部件w12妨碍零部件w11的配置等问题。

图5的(a)、(b)、图6的(a)至(d)是用于说明配置规则的一个例子的图，是表示尽可能减少被收容到相同的收容部中的零部件相互重叠的配置规则的图。在能够在装载盘40中执行使零部件在水平方向上排列的配置和在上下方向上重叠的配置这两者的情况下，规则设定部32设定相对于零部件在上下方向上重叠的配置而优先地执行零部件在水平方向排列的配置的配置规则。

图5的(a)及(b)表示了在由内框部42划分的收容部a12中均收容有六个剖面六角形的零部件w21的例子。对于收容部a12，六个零部件w21既可以如图5的(a)所示那样采用在水平方向上排列成一列的配置，也可以如图5的(b)所示那样在上下方向上多层(两层)地重叠而配置成品字型。也就是说，基于零部件w21的尺寸、易于堆积的剖面六角形的形状，而能够采用平面式配置和立体式配置这两方的配置。

在这样的情况下，规则设定部32优先图5的(a)平面式配置。即，并非随意地进行使零部件w21在上下方向上堆积那样的配置，而是有效地利用收容部a12的水平方向的空间来进行均衡的配置。此外，即使在零部件w21的个数较多而需要在上下方向上重叠地进行配置的情形下，先在收容部a12内的底板43紧上方配置数量尽可能多的零部件w21，然后在其上方进行第二层的配置。由此，能够提高多个零部件w21在收容部a12中的收容稳定性。此外，在以品字型来配置零部件w21的情况下，会存在被配置在离底面43比较高的位置上的零部件w21，从而形成在进行配置后的装载盘40的搬运等时使零部件w21容易从收容部a12掉出的状态。鉴于这样的情况，图5的(a)平面式配置比图5的(b)的立体式配置更为有利。

图6的(a)至(d)也表示与图5同样的事例。图6的(a)是表示螺栓状的零部件w31至w34在装载盘40的收容部a13中的较理想的配置状态的俯视图，图6的(b)是图6的(a)的箭头b方向的侧视图。此处，零部件w31至w34以螺栓头交替地互成反向的方式沿水平方向排列配置成一列。基于如此配置零部件w31至w34，能够有效地利用收容部a13的水平方向的空间，并且能够抑制零部件w31至w34在收容部a13内的配置高度(重心位置的高度)。

另一方面，图6的(c)是表示比较例所涉及的零部件w31至w34的配置状态的俯视图，图6的(d)是图6的(c)的箭头c方向的侧视图。此处，表示了如下的例子：四个零部件w31至w34中的零部件w33、w34被配置在底板43上，零部件w31、w32以乘载在w33、w34上侧的方式而被配置，由此而被重叠配置为格子状。这样，在将零部件w31至w34配置到收容部a13时，能够立体式地配置为格子状，而并非平面式地进行配置。然而，规则设定部32设定优先图6的(a)及(b)所示那样的平面式配置的配置规则。由此，能够提高零部件w31至w34在收容部a13内的收容稳定性，能够抑制零部件w31至w34的掉出。

图7的(a)至(d)是用于说明配置规则的一个例子的图，是表示根据外形面积来设定配置顺序的配置规则的图。其与图4所示的配置规则相类似，但是在装载盘40中进行产生使零部件相互在上下方向上重叠的配置时，规则设定部32设定先行地配置俯视下占有面积小的零部件的配置规则。此处的占有面积是指基于俯视下的外形轮廓而确定的面积，即使在该外形轮廓内存在空间，该空间也包含在该面积内。

图7的(a)表示占有面积彼此不同的零部件w41、w42被配置在装载盘40上的状态的俯视图。零部件w41是螺栓状的零部件，其被配置在由内框部42划分而成的收纳部a14中。也就是说，零部件w41具备能够被一个收纳部a14收容的程度的、小的占有面积。另一方面，零部件w42是如垫片那样的大型的环状零部件，其具备不能够被由内框部42划分而成的任一收容部收容的大的占有面积。因此，零部件w42以被内框部42的上端缘42t支撑的方式而被配置。

在这样的情形下，规则设定部32使占有面积小的零部件w41先行地配置到收纳部a14内，其次，使占有面积大的零部件w42被配置。即，如图7的(b)所示那样，首先使机器手10将零部件w41配置到收纳部a14内，使之与底板43面接触。如果还存在应该收容到其它的收容部的区间中的其它的零部件，也使该其它的零部件被配置。此后，如图7的(c)所示那样，使占有面积大的零部件w42配置到与内框部42的上端缘42t面接触的指定的位置上。

若先行地配置占有面积大的零部件w42，该零部件w42会堵住收纳部a14的上侧开口部。由此，会产生导致不能配置占有面积小的零部件w41的问题、以及如图7的(d)所示那样导致零部件w41被配置在零部件w42之上的问题。通过设定图7的(b)、(c)所示那样的配置规则，能够防止这样的问题。

图8的(a)至(c)是用于说明配置规则的一个例子的图，是表示以使零部件的重心成为尽可能低的状态来使装载盘40收容零部件的配置规则的图。在作为零部件在装载盘40中的配置状态而能够采取使该零部件的重心的高度位置成为第一位置的第一配置状态和使该零部件的重心的高度位置成为比所述第一位置高的第二位置的第二配置状态的情况下，规则设定部32以使该零部件采取所述第一配置状态的方式来设定上述配置规则。

图8的(a)是表示零部件w51、w52在由内框部42划分而成的收容部a15上的配置状态的俯视下的平面图。零部件w51、w52是具有螺栓头b1和螺栓主体b2的相同的螺栓零部件，具有零部件整体不能被收容部a15的区间完全容纳的长度。零部件w51以螺栓头b1的一侧被收容在收容部a15内(与底板43面接触)而螺栓主体b2的一侧搭载在内框部42的上端缘42t上的状态而被配置。相反，零部件w52以螺栓主体b2的一侧被收容在收容部a15内而螺栓头b1的一侧从相对于内框部42的上端缘42t向上方突出的状态而被配置。图中的符号g1、g2表示零部件w51、w52各自的重心位置。由于零部件w51、w52中螺栓头b1是重量大的部分，因此，重心g1、g2便位于螺栓主体b2上靠近螺栓头b1的位置。

图8的(b)是表示零部件w51在收容部a15上的收容状态的侧视图。零部件w51以螺栓头b1的一侧位于下方而螺栓主体b2的远端侧附近被上端缘42t抬起而倾斜的状态而被配置在收容部a15上(第一配置状态)。零部件w51的重心g1相对于底板43而位于由螺栓头b1的尺寸所确定的高度h1(第一位置)上。

对此，图8的(c)是表示零部件w52在收容部a15上的收容状态的侧视图。零部件w52以螺栓主体b2的远端位于下方而螺栓主体b2的靠近螺栓头b1的基端部附近被上端缘42t抬起而倾斜的状态而被配置在收容部a15上(第二配置状态)。此情况下，由于螺栓头b1的一侧为上方，因此，零部件w52的重心g2便位于比零部件w51的重心g1高δh的高度h2(第二位置)上。

在这样的情形下，规则设定部32以能够获得对图8的(b)的零部件w51所采用的配置状态的方式来设定配置规则。即，以能够进行在收容在收容部a15的状态下使重心g1的高度位置成为最低的配置的方式来设定配置规则。如图8的(c)所示，在采用重心g2存在于比较高的位置的零部件w52那样的收纳形态的情况下，该零部件w52容易从收容部a15掉下。对此，如图8的(b)所示那样，通过采用使重心g1成为更低的状态的零部件w51那样的收纳形态，零部件w51难以从收容部a15掉下。

[机器学习的具体例]

接着，说明规则设定部32基于学习部34(评价部)进行的机器学习来设定配置规则的例子。此处表示了如下例子：由三维测量装置20(摄像装置)获取机器手10执行配置动作之后的装载盘40的三维图像，学习部34根据该三维图像进行评价。

＜学习部的结构＞

在执行机器学习时，学习部34根据执行某一配置动作时的机器手10的控制信息和被执行了该配置动作的装载盘40中的零部件的位置信息，来学习配置各个零部件时的最优的机器手10的行动模式。由学习部34获取的学习结果被反映到规则设定部32设定的配置规则中。如上所述，学习部34包含位移量观测部35、报酬设定部36以及价值函数更新部37(图1)。

位移量观测部35对配置有零部件的比较源的装载盘40的三维图像数据(以下称作基础图像数据)和重新配置了零部件的比较对象的装载盘40的三维图像数据(以下称作比较图像数据)进行比较。而且，位移量观测部35导出比较对象的零部件的三维位置的相对于比较源的零部件的三维位置的位移量。基础图像数据例如是包含有关对象零部件的三维位置信息(x，y，z坐标值)的图像数据，该三维位置信息是通过三维测量装置20拍摄作为配置样品的、所述对象零部件理想地配置于装载盘40的状态并且由图像处理部25根据该拍摄而导出的信息。比较图像数据也是通过三维测量装置20拍摄学习工序中配置了对象零部件的装载盘40而获取的包含同样的三维位置信息的图像数据。

报酬设定部36进行如下的处理：使机器手10执行的配置动作(行动模式)与基于该行动模式而被配置的对象零部件的配置状态对应关联，并且对该行动模式给予报酬r。具体而言，报酬设定部36从驱动控制部31获取在某一对象零部件的拾取及释放时使机器手10执行的行动模式的控制数据。此外，报酬设定部36获取由位移量观测部35导出的关于基于该行动模式而被配置的对象零部件的位移量的数据。根据所述行动模式的控制数据和所述位移量的数据，对该行动模式给予报酬r。

报酬r能够以所述位移量越小则被给予越大的值的方式而被设定。例如，在所述位移量为大于预先设定的阈值th时，报酬r＝0，而在所述位移量小于阈值th时，报酬r>0。而且，在所述位移量小于阈值th的情况下，能够以位移量更小则被给予更大的报酬r的方式来进行设定。此外，在不进行零部件的重心更低的配置的情况下，或者在零部件彼此的相互重叠更少的情况下，或者在一次的配置周期的节拍时间更短的情况下等，能够以给予更大的值的方式来设定报酬r。

价值函数更新部37根据由报酬设定部36所设定的报酬r来更新规定机器手10的行动模式的价值q(s，a)的价值函数。价值函数更新部37使用以下式(1)所示的价值q(s，a)的更新式来更新价值函数。

[式1]

上式(1)中，“s”表示机器手10的状态，“a”表示依照行动模式的机器手10的行动。基于行动“a”，机器人2的状态从状态“s”过渡到状态“s’”。r(s，a)表示基于该状态的过渡而获得的报酬r。附有“max”的项是选择了状态“s’”中价值最高的行动“a’”时的价值q(s’，a’)乘以“γ”而成的项。“γ”是被称作衰减率的参数，其被设定在0<γ≤1的范围(例如0.9)。此外，“α”是被称作学习率的参数，其被设定在0<α≤1的范围(例如0.1)。

上式(1)表示根据由报酬设定部36对行动“a”设定的报酬r(s，a)来更新状态“s”中的行动“a”的价值q(s，a)的更新式。即，上式(1)表示：如果状态“s’”中的行动“a’”的价值q(s’，a’)和报酬r(s，a)的合计值大于状态“s”中的行动“a”的价值q(s，a)，则增大价值q(s，a)，相反，如果小则减小价值q(s，a)。也就是说，价值函数更新部37通过利用上式(1)所表示的更新式来更新价值函数，从而使某一状态“s”中的某一行动“a”的价值q(s，a)接近对该行动“a”设定的报酬r、以及基于该行动“a”的下一状态“s’”中的最佳的行动“a’”的价值q(s’，a’)。

＜基于学习部的机器学习处理＞

图9及图10是表示配置规则的学习动作的一个例子的流程图。首先，控制部30的信息获取部33获取配置有零部件的装载盘40的基础图像数据、以及装载盘40自身的形状数据(步骤s11)。所述基础图像数据根据由三维测量装置20的第二摄像机22拍摄例如图2所示那样的、理想地配置了多种零部件w0至w32的状态下的装载盘40而得的三维图像数据(理想配置信息)而被获取。此外，所述形状数据是关于装载盘40的外框部41的尺寸、各个内框部42的尺寸、深度等的数据。信息获取部33将由第二摄像机22拍摄空的装载盘40而得的三维图像数据、或从输入部26输入的数据作为所述形状数据来获取。

规则设定部32根据上述的理想配置信息及装载盘40的形状数据，来初始设定配置规则。也就是说，决定使哪一个零部件w0至w32配置到装载盘40中的哪一个收容部a1至a3。而且，在进行配置顺序的设定时，预先存储于控制部30中的先前根据图4至图8所说明的关于配置顺序、配置形态的基础规则被活用于配置规则的初始设置。该初始设定的配置规则根据学习部34的学习结果(评价部的评价)而被修正。

其次，信息获取部33获取被配置到装载盘40的对象零部件的形状及收纳位置信息(步骤s12)。即，获取关于零部件w0至w32的形状的信息和分别收纳这些零部件w0至w32的零部件收纳盘的相对于机器手10的位置信息。这些信息能够从基于三维测量装置20的第一摄像机21的拍摄结果的三维图像数据或由输入部26给予的输入数据获取。以上的步骤s11、s12是进行学习处理时的事先准备。

进入学习处理后，信息获取部33根据第二摄像机22的拍摄结果获取今后将要进行零部件的配置的装载盘40的位置信息(步骤s13)。也就是说，获取装载盘40的相对于机器手10的位置信息。接着，信息获取部33使第一摄像机21拍摄收容着配置对象零部件的零部件收纳盘，获取基于图像处理部25的物体识别处理的结果的配置对象零部件的三维位置信息(步骤s14)。由此，获取今后将要被配置的对象零部件的在所述零部件收纳盘内的坐标值。信息获取部33所获取的位置信息通过规则设定部32而被给予驱动控制部31。

驱动控制部31根据规则设定部32所设定的配置规则及信息获取部33所获取的所述位置信息来使机器手10动作，使对象零部件依次被拾取(步骤s15)。而且，控制部30根据由省略图示的零部件识别摄像机从下侧拍摄被机器手10的手部16抓持的零部件所得的拍摄结果，来判定对象零部件是否被手部16抓持着(步骤s16)。在未抓持着对象零部件的情况下，也就是说，在手部16对零部件的抓持失败的情况下(步骤s16中为“否”)，返回到步骤s14，重新执行对象零部件的拾取。

在抓持着对象零部件的情况下(步骤s16中为“是”)，驱动控制部31驱动机器手10，使所拾取的对象零部件搬运到装载盘40，并且根据所述配置规则及所述位置信息，在指定的xyz位置处使所述对象零部件被释放(步骤s17)。由此，结束一个对象零部件的配置。

此后，确认所预定的零部件的配置是否已全部结束(步骤s18)。在所有的配置还未结束的情况下(步骤s18中为“否”)，接着，确认手部16对零部件的抓持成功率是否良好(步骤s19)。若抓持成功率为良好时(步骤s19中为“是”)，可以说基于步骤s14中所获取的物体识别处理结果而被执行了良好的拾取。此情况下，处理转移到步骤s15，驱动控制部31执行下一对象零部件的拾取。另一方面，若抓持成功率为非良好时(步骤s19中为“否”)，可以说所述物体识别处理结果与实际的拾取之间存在着差距。此情况下，处理返回到步骤s14，再次使第一摄像机21拍摄零部件收纳盘来进行物体识别处理。

在所有的配置结束的情况下(步骤s18中为“是”)，处理转移到图10的流程，获取结束配置后的装载盘40的信息(步骤s21)。具体而言，三维测量装置20的摄像控制部24使第二摄像机22拍摄配置后的装载盘40，图像处理部25导出表示装载盘40中的零部件的配置位置的三维位置信息。学习部34的位移量观测部35从摄像机控制部23获取包含这样的零部件的三维位置信息的图像数据来作为上述的比较图像数据。在使手部16所抓持的零部件释放之后，不清楚该零部件在装载盘40中呈现哪样的举动。因此，在该步骤s21中，对机器手10将一个零部件在特定的位置处抓持并拾取且在特定的高度位置处释放这样的一个行动模式的执行结果进行掌握。

位移量观测部35对在步骤s21中获取的比较图像数据和在步骤s11中取得的基础图像数据进行比较，导出比较图像数据中的零部件的三维位置的相对于基础图像数据中的零部件的三维位置的位移量(步骤s22)。此外，可以将到此为止的学习处理中所获取的配置后的装载盘40的图像数据用作比较源的基础图像数据。此情况下，能够评价配置后的装载盘40内的零部件的位置稳定性。此外，所述位移量较为理想的是主要求取零部件的重心位置的位移量的量。

接着，报酬设定部36判定所述位移量是否大于预先设定的阈值th(步骤s23)。所述位移量大意味着在此次的机器手10的行动模式中零部件没有被配置在所希望的位置上或不能稳定地配置零部件。报酬设定部36在所述位移量为阈值th以上的情况下(步骤s23中为“是”)，对这样的机器手10的行动模式给予“0；零”的报酬r(步骤s24)。与此相对地，报酬设定部36在所述位移量为小于阈值th的情况下(步骤s23中为“否”)，对这样的机器手10的行动模式给予大于“0；零”的报酬r(步骤s25)。

此后，价值函数更新部37利用上式(1)的更新式来更新规定机器手10的行动模式的价值q(s，a)的价值函数(步骤s26)。上述的步骤s13至s26中所示的各处理是在由学习部34进行的学习处理的一个循环中所执行的处理。学习部34判定学习次数是否已达到指定次数n(步骤s27)。在未达到指定次数n的情况下(步骤s27中为“否”)，学习部34使处理返回在步骤s13，执行下一针对装载盘40的零部件配置，反复进行学习处理。另一方面，达到指定次数n的情况下(步骤s27中为“是”)，学习部34结束学习处理。

＜机器学习处理的变形例＞

在上述的机器学习处理例子中，表示了在图9的步骤s11中使信息获取部33获取配置有零部件的装载盘40的基础图像数据(理想配置信息)的例子。也可以取代这样的例子，而使信息获取部33不获取理想配置信息但获取关于未配置有零部件的装载盘40及其收容部的信息和关于零部件的尺寸的信息。

即，在该变形例中，信息获取部33在图9的步骤s11中仅获取装载盘40自身的形状数据。而且，规则设定部32根据在步骤s12中所获取的对象零部件的形状数据，来初始设定临时性的配置规则。该配置规则根据学习部34的学习结果(评价部的评价)而被修正。

根据该变形例，即使不给予理想配置信息，也能够通过机器学习而探求到接近理想的配置的配置规则。在采用理想配置信息的情况下，存在着依照固定的前提来设定配置规则的倾向。例如，存在着根据如下的前提亦即尺寸小的零部件被配置到装载盘40中所准备的尺寸小的收容部中这样的前提来设定配置规则的倾向。然而，在基于这样的前提时，有可能发生不能进行良好的零部件配置的情况。有关这一点，根据图11来进行说明。

图11的(a)、(b)表示尺寸比较大的大尺寸零部件w61和尺寸比较小的小尺寸零部件w62在装载盘40中的配置例子的图。装载盘40中具备：具有比较宽阔的收容空间的宽阔收容部a16；具有比较狭窄的收容空间的狭窄收容部a17。

图11的(a)表示了在宽阔收容部a16中配置有大尺寸零部件w61而在狭窄收容部a17中配置有小尺寸零部件w62的状态。图11的(a)所示的配置例子是依据尺寸小的零部件被配置到尺寸小的收容部这样的一般的配置理念的例子。然而，在实际的配置结果中，由于小尺寸零部件w62的配置数量较多，因此，狭窄收容部a17会变成小尺寸零部件w62堆积如山的状态。也就是说，多量的小尺寸零部件w62的重心位置在狭窄收容部a17内位于离底板43较高的位置。此情况下，小尺寸零部件w62会变成易于从装载盘40(狭窄收容部a17)溢出的状态，因此并不理想。

对此，在图11的(b)所示的配置例子中，在狭窄收容部a17中配置有大尺寸零部件w61，而在宽阔收容部a16中配置有零部件数量多的小尺寸零部件w62。该配置例子中，小尺寸零部件w62及大尺寸零部件w61的重心位置在各个收容部a16、a17中位于离底板43较低的位置。由此，能够实现使零部件w61、w62难以从装载盘40掉下的配置。通过不给予理想配置信息，并且通过学习部34的学习处理来学习尽可能降低重心的配置形态，便能够探求到如图11的(b)那样的配置形态。

[上述实施方式中所包含的发明]

上述的具体实施方式中主要包含具有如下技术方案的发明。

本发明的一个方面所涉及的对装载盘配置零部件的零部件配置装置是将尺寸不同的多种零部件配置到具备多个收容部的装载盘的装置，其包括：机器手，具有能够进行所述零部件的拾取和释放的头部，并且进行通过该头部在所述零部件的保管位置处从所述多种零部件中拾取对象零部件并搬运该对象零部件且将该对象零部件从所述头部释放到所述装载盘的配置动作；以及控制部，控制所述机器手的动作；其中，所述控制部包括：规则设定部，根据所述多种零部件及所述多个收容部的形态，设定所述零部件配置到所述装载盘的配置规则；以及驱动控制部，根据所述配置规则来使所述机器手执行所述配置动作。

在该零部件配置装置中，根据装载盘的多个收容部的形态和配置到该装载盘的零部件的形态来设定配置规则。即，能够根据零部件及收容部的形态而由规则设定部灵活地决定配置规则，而并非由程序设计等来严格地决定机器手进行的配置步骤。因此，无需进行需要劳力和时间以及技艺的程序设计等便能够使零部件恰当地配置到装载盘。

上述的零部件配置装置中，较为理想的是在进行在所述装载盘中产生使所述零部件彼此在上下方向上重叠的配置的情况下，所述规则设定部设定先配置配置位置位于下方的所述零部件的配置规则。

根据该零部件配置装置，能够防止配置位置应该位于下方的零部件被配置到配置位置位于上方的零部件之上的问题。

上述的零部件配置装置中，较为理想的是在能够执行在所述装载盘中使所述零部件在水平方向排列配置和在上下方向上重叠配置这两者的情况下，所述规则设定部设定如下的配置规则：相对于使所述零部件在上下方向上重叠的配置，而优先执行使所述零部件在水平方向上排列的配置。

根据该零部件配置装置，能够进行有效地利用了装载盘的水平方向的空间的配置，而并非随意地进行沿上下方向堆积零部件那样的配置。

上述的零部件配置装置中，较为理想的是在进行在所述装载盘中产生使所述零部件彼此在上下方向上重叠的配置的情况下，所述规则设定部设定先配置俯视下占有面积小的所述零部件的配置规则。

根据该零部件配置装置，能够防止占有面积大的大型零部件堵住装载盘的收容部而导致不能进行占有面积小的小型零部件的配置的问题、以及小型零部件被配置在大型零部件之上的问题。

上述的零部件配置装置中，较为理想的是在作为所述零部件在所述装载盘中的配置状态而能够采取使该零部件的重心的高度位置成为第一位置的第一配置状态和使该零部件的重心的高度位置成为比所述第一位置高的第二位置的第二配置状态的情况下，所述规则设定部以使该零部件采取所述第一配置状态的方式来设定所述配置规则。

根据该零部件配置装置，能够在装载盘中将各零部件以重心更低的状态进行配置。由此，在进行了配置后而移动装载盘时，能够使零部件难以从装载盘掉下。

上述的零部件配置装置中，较为理想的是还包括：摄像装置，获取所述机器手执行所述配置动作后的所述装载盘的三维图像；以及评价部，根据所述三维图像，评价所述装载盘中的所述零部件的配置状态；其中，所述规则设定部根据所述评价部的评价来设定所述配置规则。

根据该零部件配置装置，通过评价部的评价，能够使规则设定部进行关于进行更良好的配置的方法例如头部进行的拾取的形态及释放的位置等的机器学习。而且，所述规则设定部能够根据所述机器学习来设定配置规则，因此，不进行程序设计也能够设定配置性能优异的配置规则。

上述的零部件配置装置中，较为理想的是所述规则设定部获取所述多种零部件被理想地配置于所述装载盘的状态的理想配置信息，并且根据该理想配置信息来初始设定所述配置规则，且根据所述评价部的评价来修正所述配置规则。

在该零部件配置装置中，能够根据规则设定部进行的配置方法的机器学习来修正基于理想配置信息而被初始设定的配置规则，最终能够设定最优的配置规则。

上述的零部件配置装置中，较为理想的是所述规则设定部获取关于所述装载盘及其收容部的信息和关于所述零部件的尺寸的信息，并且根据这些信息来初始设定所述配置规则，且根据所述评价部的评价来修正所述配置规则。

在该零部件配置装置中，根据关于装载盘及零部件的尺寸的信息来初始设定配置规则，该配置规则根据规则设定部进行的配置方法的机器学习而被修正。因此，即使不给予上述那样的理想配置信息，也能够通过机器学习而探求到接近理想的配置的配置规则。

根据如上所说明的本发明，能够提供一种能够利用机器手将各种零部件恰当地配置到装载盘的零部件配置装置。

[符号说明]

wa、wb、wc、wd、w1至w62零部件(对象零部件)

ta、tb零部件收纳盘(保管位置)

a1至a3、a11至a17收容部

g1、g2重心

h1、h2第一位置、第二位置

1零部件配置装置

10机器手

15头部

16手部

20三维测量装置(摄像装置)

21第一摄像机

22第二摄像机

23摄像机控制部

24摄像控制部

25图像处理部

30控制部

31驱动控制部

32规则设定部

33信息获取部

34学习部(评价部)

35位移量观测部

36报酬设定部

37价值函数更新部

40装载盘

41外框部41

42内框部42

42t上端缘42t

43底板43