操纵系统、摄像系统、对象物交付方法与流程

本发明涉及操纵系统、摄像系统、对象物交付方法。

背景技术：

现有的操纵系统能够用操纵装置从规定的置物盘或容器等堆放部中堆积如山的多个工件中选择一个工件，将该工件取出，放置到规定场所。

专利文献1(特表2014-511772号公报)公开了一种用来控制机器人(操纵装置)的机器人系统，该系统用照相机拍摄输送带上的多个物体，根据该拍摄的图像，用夹具保持被选中的物体，送到对象容器中分类。

对于操纵系统的自动化，近年来，在以往利用从多个工件中选择一个工件放到规定场所的操纵装置的基础上，进一步要求操纵装置能够以规定方向来将工件(对象物)交给接纳部。尤其是在自动化上，要求操纵系统能够以低成本实现一系列作业，即从被重叠放置的未经整理状态下的(堆积如山状态下)的多个对象物中取出选中的对象物，而后以规定方向将该对象物交给接纳部。

技术实现要素：

针对上述课题，本发明提供一种操纵系统，其特征在于，具有：操纵装置，用于从放置了多个对象物的堆放部中取出对象物；取出用识别部，用于根据被放置在所述堆放部中的多个对象物的三维信息，在该堆放部中找出需要用所述操纵装置取出的对象物；朝向识别部，用于识别由所述操纵装置取出的对象物的朝向；控制部，用于实行取出控制和交付控制，在所述取出控制中，控制所述操纵装置保持被所述取出用识别部找出的对象物，将该对象物取出，放置到所述堆放部的外部，在所述交付控制中，根据所述朝向识别部的识别结果控制在所述取出控制中受到控制的所述操纵装置，以规定朝向，将被取出的对象物交给接纳部。

本发明的图像处理装置的效果在于，能够以低成本实现一系列作业的自动化操作，即从未经整理状态下的多个对象物中取出选中的对象物，而后以规定朝向将该对象物交给规定的接纳部。

附图说明

图1是本实施方式涉及的工件检查系统的立体图。

图2是本实施方式涉及的工件检查系统在卸下外装盖状态下的立体图。

图3是本实施方式涉及的捡拾机器人的构成的立体图。

图4是从工件吸引部一方观察到的上述捡拾机器人的手部的立体图。

图5是从不同于图4的方向看到的保持工件状态下的手部的立体图。

图6是上述手部的姿势的示意图，其中，(a)为捡拾姿势，(b)为交付姿势。

图7是本实施方式的捡拾机器人的主要部分的控制模块图。

图8是本实施方式的捡拾机器人的立体照相机摄像区域的示意图。

图9是用来说明用上述立体照相机测定距离的测定原理的示意图。

图10是本实施方式的捡拾机器人的动作控制流程图。

图11是作为一例工件的连接器的示意图，其中(a)是连接器的斜视图，(b)是从连接针一侧观察时的斜视图。

图12是放置了各种工件状态下的托盘的斜视图。

图13是在变形例1中立体照相机中作为基准照相机的摄像区域示意图。

图14是在变形例1中立体照相机中作为比较照相机的摄像区域示意图。

图15是变形例2的照相机的摄像区域和图案投影装置的图案投影区域的示意图。

具体实施方式

以下详述采用本发明涉及的操纵系统作为工件检查系统的实施方式。图1是本实施方式涉及的工件检查系统的立体图。图2是本实施方式涉及的工件检查系统在卸下外装盖状态下的立体图。

本实施方式的工件检查系统包括操纵系统即捡拾机器人100、外观检查装置200以及胶卷盒收纳部300。捡拾机器人100用操纵装置10自动实行一系列作业，具体为，从堆放部即放置盘1上的多个工件中取出选定的工件，按照规定朝向将该工件放置到接纳该工件的托盘2中的相应部位(交付)。关于捡拾机器人100的具体结构将在以下详述。

用托盘移送机构30将放置在托盘2中的工件从捡拾机器人100移送到外观检查装置200。外观检查装置200包括设于托盘2上方用于拍摄的外部识别部即检查照相机、以及根据该检查照相机拍摄的摄像图像实行外观处理的计算机等外观检查处理装置202等。本实施方式的外观检查装置200实行外观检查处理，检查托盘2上放置的工件是否具有正确的朝向，或者检查放置在托盘2上的工件在外观上是否异常等等。如果外观检查处理中检查到异常，则外观检查处理装置202控制异常报告部即显示器201等显示部，向作业者报告异常。在本实施方式中，显示器201上显示被检测到异常的工件的图像，作业者能够通过目视在该显示器201上确认异常。

托盘移送机构30将通过外观检查装置200检查的托盘2、或者已经解消了在外观检查装置200中查出的异常的托盘2从外观检查装置200移动到胶卷盒接纳部300。胶卷盒接纳部300中设有用来堆放保管多个胶卷盒3的胶卷盒架301。堆积在胶卷盒架301中的胶卷盒3被依次收纳到被从外光检查装置200送到的托盘2中。当托盘2中收纳的胶卷盒3达到规定数量后，作业者从胶卷盒收纳部300取出堆积状态的胶卷盒3，运送到位于后方的处理装置。

本实施方式中，在后方的处理装置中制造安装电子元件的电子电路板。为此，本实施方式的工件为安装到基板上的各种元件，如安装到基板上的连接器之类，或者为感应器、电容、电阻等电路元件，或者为IC芯片等电子元件等。此外，本实施方式的工件种类随着在后方的处理装置中实行的处理内容而变化，只要是相对于接纳部即托盘2需要以规定朝向放置的对象物(既可以是具有非对称形状的非对称物，也可以是具有对称形状的对称物)便可，没有其他限制。为此，本实施方式的工件不仅限于安装到基板上的元件，所有具有一定放置朝向的工件均可成为对象物。

以下描述本实施方式涉及的捡拾机器人100的构成和动作。

图3是本实施方式涉及的捡拾机器人100的构成的立体图。

本实施方式的捡拾机器人100具备以下各部分，五轴操纵装置10；托盘移动机构30，用于将托盘2移动到外观检查装置200中；立体照相机40，作为摄像部，用于构成取出用认识部；图案图像投影部，即图案照射装置50，作为测定用光照射部，用于用规定的测定用光照射立体照相机40的摄像区域。

操纵装置10中，第一关节部11围绕平行于铅直方向的转动轴转动，第二关节部12围绕平行于水平方向的转动轴转动。第二关节部12被安装在第一关节部11上。第一臂部13的一端被安装在第二关节部12上，在受到第一关节部12的驱动后，第一臂部13围绕第二关节部12的转动轴转动。第一臂部13的另一端上安装第三关节部14，该第三关节部14围绕与第二关节部12的转动轴平行的转动轴转动。第三关节部14上安装第四关节部15，该第四关节部15使得第二臂部16围绕平行于第二臂部16的长度方向的转动轴转动。第四关节部15上安装第二臂部16的一端，在受到第三关节部14驱动后，被安装在第四关节部15上的第二臂部16围绕第三关节部14的转动轴转动。在受到第四关节部15的驱动后，第二臂部16围绕第四关节部15的转动轴转动。第二臂部16的另一端上安装第五关节部17，该第五关节部17围绕与垂直于第二臂部16的长度方向的方向相平行的转动轴转动。该第五关节部17上安装作为保持部的手部20。第五关节部17驱动手部20围绕第五关节部17的转动轴转动。

图4是从工件吸引部一方观察到的手部20的立体图。图5显示保持工件W的状态下的手部20。图5是从不同于图4的方向看到的立体图。

本实施方式的手部20用于以工件吸引部21空气吸引工件W，并保持该工件W。只要是能够保持工件W的构成，不管是用磁力等吸引工件W，还是用把握部把握工件W，各种保持构成均可用来保持工件W。

本实施方式中的手部20具备工件吸引部21，该工件吸引部21中具有工件吸引面，而该工件吸引面上开设了空气吸引用的吸引孔22。工件吸引部21的内部形成空气吸引通路，该空气吸引通路使得用来连接工件吸引用泵24的连接口21b与各吸引孔22互相连通。手部20通过驱动工件吸引用泵24，在吸引孔22中产生吸引气流，将工件W吸引到工件吸引部21的工件吸引面上，用以捡拾工件W。同时，通过停止工件吸引用泵24，使得工件W离开工件吸引面。

本实施方式中，工件20相对于手部20中工件吸引面的保持位置以如下方式定位。首先，在用手部20捡拾工件W时，使得工件W的侧面接触工件吸引面上的限制壁23，捡拾并保持该工件W，对工件W在限制壁23的壁面法线方向的保持位置进行定位。其次，在保持工件W之后，驱动手部20上搭载的工件保持位置调整装置25，用夹持臂25a和25b来夹持工件吸引面上的工件W，将工件W在限制壁23的壁面平行方向上的保持位置定位到工件吸引面的中间位置上。

在从托盘1捡拾工件W时，如果能够高精度检测该工件W的位置或姿势，则工件W相对于手部20的工件吸引面的保持位置能够在捡拾工件W时完全定位。在这种情况下，不一定需要用来调整工件W相对于手部20的保持位置的调整部(限制壁23以及工件保持位置调整装置25等)。

本实施方式的手部20上设有手转动机构26，用来使得工件吸引部21围绕手部20上的转动轴21a转动。通过驱动手转动机构26，能够使得受到手部20保持的工件W的姿势从图6(a)所示的捡拾姿势改变为图6(b)所示的交付姿势。在此叙述的捡拾姿势是指驱动操纵装置10的各个关节部11、12、14、15、17，用手部20的工件吸引部21捡拾工件W并保持工件W的姿势。另一方面，交付姿势是指，在使得手部20移动到通过各个关节部11、12、14、15、17的驱动，将工件W设置(交付)到托盘2的对应部位的位置上时，受到工件吸引部21保持的工件W成为具有规定朝向的姿势。

本实施方式的操纵装置10能够在不需要手转动机构26的情况下，通过驱动各个关节部11、12、14、15、17，使得受到手部20保持的工件W的姿势从图6(a)所示的捡拾姿势改变为图6(b)所示的交付姿势。但是，通过各个关节部11、12、14、15、17的驱动来实现如上所述的工件W的姿势变化，需要实施运算处理等，用来避免与操纵装置10周围存在的物体的互相干涉，而运算处理不仅需要复杂的控制，而且必须具有的关节动作的时间也相当长。为此，与使用手部20的手转动机构26来实现姿势转变的情况相比，完成该姿势变化需要花费更多时间。而本实施方式在手部20上设置手转动机构26，从而能够从图6(a)所示的捡拾姿势迅速变化到图6(b)所示的交付姿势，有利于系统整体处理时间的缩短。

图7是本实施方式的捡拾机器人100的主要部分的控制模块图。

本实施方式的捡拾机器人100具备关节驱动装置501至505，分别用于驱动各个关节部11、12、14、15、17；以及机器人控制部500，用于控制工件吸引泵24、工件保持位置调整装置25、手转动机构26、托盘移送机构30、立体照相机40、图案投影装置50等。该机器人控制部500包含CPU等运算处理部、以及暂时保存运算处理部使用的数据等的RAM等暂时性的存储部等，用于接收在上位控制本实施方式中整个元件检测系统的系统控制部600发送的控制指令，实行各种控制。机器人控制部500的运算处理部中实行的各种程序均保存在存储部506中。各种程序中包含用来控制捡拾机器人100的操纵装置10、立体照相机40、图案投影装置50等的操作控制程序。

本实施方式中，在捡拾机器人100内部形成的处理空间的上方设置立体照相机40和图案投影装置50。图案投影装置50从上方向位于处理空间内下部的堆放盘1投影图案图像。这样，堆放盘1上的工件W的外表面上便能够映射出图案图像。立体照相机40从上方拍摄堆放盘1上的工件W或暂时放置盘4的工件W。本实施方式中用具有一定宽度且没有变形的栅形图案作为图案图像，将该图案投影到堆放盘1上的工件W上。这样，立体照相机40便能够拍摄按照堆放盘1上堆积的多个工件W之间的凹凸或各个工件W表面的凹凸而产生的变形的形状的图案图像。

图8是立体照相机40摄像区域的示意图。

立体照相机40至少可以通过两台照像机，即拍摄基准图像的基准照相机40A和拍摄比较图像的比较照相机40B，从多个不同地点拍摄堆放盘1上的多个工件W，获得基准图像和比较图像。根据三角测量原理，基准图像与比较图像之间的视差信息，可以导出与堆放盘1上堆积的多个工件W表面之间的距离，生成具有与该距离(视差值)对应的像素值的视差图像(距离图像)的信息(三维信息)。根据立体照相机40获得的视差图像信息，能够获得从堆放盘1的上方目视到的数个工件W的三维形状数据。关于视差图像信息的获得，不一定需要图案图像的投影。

图9是用来说明用立体照相机40测定距离的测定原理的示意图。立体照相机40的基准照相机40A和比较照相机40B分别具有图像传感器41A、41B和42A、42B。拍摄对象物，即工件W上的同一个地点Wo在照相机40A、40B的图像传感器41A、41B上的不同位置上成像，形成基准照相机40A拍摄的基准图像和用比较照相机40B拍摄的比较图像。设图像传感器41A、41B上的成像位置之间的差(视差)为d，照相机40A和40B之间的距离为B，各台照相机40A、40B的焦距为f时，图像传感器41A、41B的传感面与测定地点Wo之间的距离Z可用下式(1)计算。而B和f已定，这样，通过求出基准图像与比较图像之间的视差d，便能够求出与工件W上各个地点之间的距离。

图10是本实施方式的捡拾机器人100的动作控制流程图。在本实施方式的捡拾机器人100的动作控制中，实行取出控制模态和堆放盘，取出控制模态是从堆放盘1上多个工件W取出捡拾对象的工件W。堆放盘实行放置作业，将取出的工件W以规定的朝向放置到托盘2中。

系统控制部600向机器人控制部500输出捡拾处理的执行指令后，机器人控制部500执行取出控制模态，首先，控制图案投影装置50投影图案图像(S1)。这样，堆积在堆放盘1中的多个工件W上显示图案图像。而后，机器人控制部500控制立体照相机40拍摄堆放在堆放盘1上的多个工件W(S2)，取得立体照相机40输出的三维信息，即视差图像信息(距离图像信息)(S3)。

机器人控制部500根据取得的视差图像信息，从堆积在堆放盘1中的多个工件W中找出满足规定捡拾条件的工件W，求出把该工件W吸引到手部20的工件吸引面上手部20需要处在的捡拾位置以及工件吸引面的朝向(捡拾姿势)(S4)。

上述计算方法如下。例如将工件W的三维形状数据(CAD数据等)预存在存储部506中，对从视差图像信息获得的一些工件W的三位形状数据与保存在存储部506种的三维形状数据进行图案匹配。该方法根据用图案匹配找出的工件W的位置和姿势，计算捡拾位置和捡拾姿势。此时，如果通过图案匹配找到多个工件W的位置和姿势(朝向)，可例如确定其中满足最短距离条件，即在堆放盘1内多个工件W中位于最上面位置的条件的一个工件W。

除上述计算方法之外，还有如不使用存储部506保存的三维形状数据(CAD数据等)的方法。具体为例如，根据视差图像信息，找出工件W中可供吸附到手部20的工件吸引面上的面积的面区域，计算与该找到的面区域对应的捡拾位置和捡拾姿势。在此，本实施方式中采用的方法是找出用来将工件吸引到工件吸引面上并保持该工件W的构成的面区域，但是对于不同的保持构成，有时还需要确定保持部位(工件W之间的间隙区域以及工件W的顶点等)。

如此，求出捡拾位置和捡拾姿势后，机器人控制部500生成操纵装置10的目标驱动轮廓(S5)，用于手部20按照该目标驱动轮廓移动到求出的捡拾位置，并在该捡拾位置呈现求出的捡拾姿势。而后，机器人控制部500沿着该目标驱动轮廓，驱动各关节驱动装置501至505(S5)。这样，操纵装置10的手部20便向目标的捡拾位置移动，同时呈现目标的捡拾姿势。

在生成目标驱动轮廓时，需要处理空间内存在的物体与操纵装置10之间不会发生接触(干涉)。具体来说，例如，机器人控制部500参考预存在存储部506中的障碍物信息(处理空间内固定设置的物体的位置和形状的信息等)，移动时利用操纵装置10与这些物体之间不会发生干涉的路径。与障碍物信息有关的物体例如为，堆放盘1或暂时放置盘4、立体照相机40、以及图案投影装置等周边设备等。

关于未在存储部506登录障碍物信息的障碍物的位置、形状等信息，例如可设置用于检测障碍物的障碍物检测传感器，从该障碍物检测传感器取得该障碍物的位置及形状的信息。可以广泛使用众所周知的传感器作为障碍物检测传感器。如果上述立体照相机40的摄像区域包含整个处理空间，则也可以用立体照相机40作为障碍物检测传感器。

关于生成目标驱动轮廓的具体的处理内容，例如如下。首先，在生成以最短时间完成动作的最短目标驱动轮廓后，参考障碍物信息，进行干涉判断，判断按照该目标驱动轮廓移动的操纵装置10是否会与该障碍物信息的物体发生接触(干涉)。在该干涉判断中，如果收到发生干涉的故障结果，则机器人控制部500生成其它目标驱动轮廓，重新进行干涉判断。而后，在收到不会发生干涉的判断结果后，机器人控制部500沿着该目标驱动轮廓驱动各关节驱动装置501至505。

此外，如果干涉判断中收到将发生干涉的结果，则机器人控制部500也可以不生成新的不同的目标驱动轮廓，而是读取其它满足规定捡拾条件的工件W所对应的捡拾位置和捡拾姿势，并生成与该捡拾位置和捡拾姿势对应的目标驱动轮廓。

按照目标驱动轮廓驱动操纵装置10，手部20在目标的捡拾位置上呈现目标的捡拾姿势后，手部20的工件吸引部21上的工件吸引面朝着堆放盘上的工件中成为捡拾对象的工件W的被吸引面接近。在此状态下，机器人控制部500驱动工件吸引用泵24，使其在工件吸引部21的工件吸引面上的吸引孔22中产生吸引气流。通过该吸引气流，该工件W受到吸引，被吸附到工件吸引部21的工件吸引面上，被操纵装置10捡拾(S6)。

优选机器人控制部500在驱动工件吸引用泵24之后，确认吸引状况，判断是否吸附了工件。如果是如本实施方式，用工件吸引用泵24吸引来吸附工件W的构成，则可以用例如用表示抽气泵真空状况的信号来确认吸引状况。而如果判断未能吸附工件W，则将此时的捡拾位置和捡拾姿势记录到存储部506保存的NG名单中，而后，与收到在干涉判断中判断会发生干涉的故障结果时相同，生成其它目标驱动轮廓。

其次，机器人控制部500生成操纵装置10的目标驱动轮廓(S7)，该目标驱动轮廓从该捡拾位置和捡拾姿势的状态，移动到将工件W释放到暂时放置盘4上的对应部位的规定释放位置，并在该释放位置上呈规定的开放姿势。而后，机器人控制部500沿着该目标驱动轮廓，驱动各个关节驱动装置501至505(S7)。这样，操纵装置10的手部20最终移动到用于将受到捡拾的工件W释放到暂时放置盘4的对应部位上的释放位置，并在该释放位置上呈规定的释放姿势。

此后，机器人控制部500停止工件吸引用泵24。这样，被吸附在工件吸引部21的工件吸引面上的工件W便借助于自重脱离工件吸引面获得释放，从而被放置到暂时放置盘4上(S8)。至此结束取出控制模态，此后移动到堆放盘。

本实施方式在将从堆放盘1中堆放的多个工件捡拾的工件W以规定的朝向放置到托盘2中对应的部位上之前，将该工件W暂时释放到暂时放置盘4上。其理由如下。

以下以图11为例描述将该连接器作为工件W放置到如图12所示的托盘2上，使该连接器的连接针Wp相对于托盘2的对应漕(对应部位)2a朝下。图11的(a)和(b)从不同方向显示的连接器。此时，连接器(工件W)的针还需要按照规定方向排列，即表示连接器(工件W)的针排列方向的标记针Wa相对于托盘2上的对应漕2a，位于预定的位置。

本实施方式利用立体照相机40的视差图像信息，从大量堆放在堆放盘1内的多个工件W中找出捡拾对象即工件W。在这种情况下，虽然能够从大量堆放在堆放盘1中多个工件中，高精度地找出捡拾对象的工件W的被吸引面的位置和朝向，但是难以高精度地确定工件W是朝向哪一方向。这是因为立体照相机40拍摄的图像中多个工件互相重叠，难以明确地从其它工件W中识别各个工件W。这种情况不仅在利用立体照相机400的视差图像信息(距离图像信息)时，而且在利用照射图案图像等规定的测定用光用单个照相机拍摄获得的光学图像(灰度图像、偏光图像、特定波长带的滤片图像等)、以及用TOF方法(Time of Flight法)获得的距离图像信息、通过光切断法获得的距离图像信息等利用摄像装置获得图像信息(位置和该位置的特性信息(距离或光学信息)之间相关联的信息)的情况下，出于相同的理由，也将难以高精度地确定各个工件W的朝向。

尤其是在确定连接器(工件W)朝向时，需要确定连接针Wp相对于连接器本身的朝向，而连接针Wp较细，难以识别，出于容易隐藏在其它连接器(工件W)的下方或难于在与其他连接器(工件W)的连接针之间区别辨认等原因，难以确定连接器(工件W)的朝向。

对此，在本实施方式中，受到捡拾的工件W一旦被从堆放盘1中取出后，暂时将工件W释放到暂时放置盘4上，实行确定该工件W的朝向的处理。在该暂时放置盘4上，工件W不与其他工件W重叠，能够在不受到其它工件W妨碍的情况下，从摄像图像中高精度地辨认该工件W的朝向。即便是图11所示的连接器(工件W)，也能够高精度地辨认连接针Wp相对于连接器本身的朝向以及表示连接器(工件W)上连接针排列方向的标记针Wa的位置(朝向)，从而能够高精度地确定连接器(工件W)的朝向。

本实施方式中，机器人控制部500在将收到捡拾的工件W释放到暂时放置盘4上的对应部位后，控制立体照相机40，拍摄被放置在暂时放置盘4上的工件W(S9)。在此，被放置在暂时放置盘4上连接器(工件W)以被吸附在操纵装置10的手部20上的被吸引面(连接其主体上具有最大面积的侧面)朝上的状态放置在暂时放置盘4上。在该状态下，连接针Wp和标记针Wa相对于连接器主体向水平方向突出。不需要用工件W的高度信息(与设于上方的立体照相机40之间的距离)来确定连接针相对于连接器主体的方向Wp以及标记针相对于连接器主体的方向Wa。相反，利用从上方拍摄的二维图像信息(光学图像信息)，反而能够高精度地确定连接针Wp相对于连接器主体的朝向以及标记针Wa相对于连接器主体的朝向。

本实施方式取得放置在暂时放置盘4上的工件W的二维图像信息(光学图像信息)，根据该二维图像信息，确定连接针Wp以及标记针Wa相对于连接器主体的朝向。具体来说，取得放置在暂时放置盘4上的工件W的灰度图像信息(S10)，根据该灰度图像信息，识别放置在暂时放置盘4上的工件W的连接针Wp和标记针Wa，确定连接针Wp以及标记针Wa相对于连接器主体的朝向。

虽然设置专用的摄像装置能够取得放置在暂时放置盘4上的工件W的灰度图像信息，但是在本实施方式中，立体照相机40的摄像区域包含暂时放置盘4，为此，能够用立体照相机40来取得暂时放置盘4上的工件W的灰度图像信息。与设置专用摄像装置相比，上述构成能够减少元件数量，降低成本。在用立体照相机40取得灰度图像信息的情况下，机器人控制部500可以从立体照相机40取得用立体照相机40中的基准照相机40A拍摄的摄像图像。此时，图案投影装置50投影的图案图像有可能对识别放置在暂时放置盘4上的工件W的连接针Wp以及标记针Wa以及该连接针Wp以及标记针Wa的朝向的确定产生影响，在这种情况下，可以关闭图案投影装置50的图案图像的投影。

关于工件10朝向的确定方法，例如可以利用存储部506中保存的工件W的CAD数据、或者主图像数据，与从立体照相机40拍摄的灰度图像信息中获得二维形状数据，实行匹配处理。如果利用立体照相机40的视差图像信息(距离图像信息)等三维信息来确定放置在暂时放置盘4上工件W的朝向，则也能够利用存储部506中保存的工件W的CAD数据与从视差图像信息中获得的三维形状数据进行图案匹配。

用于确定受到捡拾的工件W朝向的处理，既可以在暂时放置盘4上每放置一个工件W时实施，也可以在暂时放置盘4上互不重叠地放置多个工件W时，统一拍摄多个工件W，确定各个工件W的朝向。

本实施方式为了确定受到捡拾的工件W的朝向，将工件W暂时放置在暂时放置盘4上，对该工件W实施确定工件W朝向的处理。除此之外，还可以在操纵装置10保持工件10的状态下，用立体照相机40拍摄该工件10，根据该拍摄图像，确定工件W的朝向。在这种情况下，只要立体照相机40能够在不受到其他工件10的影响下拍摄工件W，便能够根据该摄像图像，高精度地分辨工件W的朝向。

如上所述，在确定了暂时放置盘4上的工件W的朝向后，机器人控制部500计算手部20应该处在的捡拾位置和工件吸引面的朝向(捡拾姿势)，用以将该工件W吸附到手部20的工件吸引面上，同时计算放置位置和放置姿势，用于将受到捡拾的工件W以规定的朝向，从暂时设置盘4放置到盘2内对应部位上(S11)。此后，机器人控制部500生成操纵装置10的目标驱动轮廓，供手部20移动到求出的设置位置，同时，在该设置位置呈现求出的设置姿势(S12)。而后，机器人控制部500沿着该目标驱动轮廓驱动各关节驱动装置(S12)。此外，与从堆放盘1送往暂时放置盘4的工件运送时的情况相同，需要在实行干涉判断后生成目标驱动轮廓。

在此，根据放置在暂时放置盘4上的连接器(工件W)的连接针Wp和标记针Wa的朝向，或者根据连接器(工件W)的正反，有可能需要大幅度驱动操纵装置10，来捡拾该工件W，并以规定的朝向设置到托盘2内对应部位上。在这种情况下，各关节部11、12、14、15、17的驱动量大，所需的关节动作时间长，这将造成用于避免操纵装置10与周围的物体之间干涉的目标驱动轮廓的生成变得更加复杂。

本实施方式如上所述，手部20上设有手转动机构26，能够迅速改变姿势，从图6的(a)所示的捡拾姿势改变到(b)所示的交付姿势。为此，机器人控制部500在生成目标驱动轮廓时，例如在各关节部11、12、14、15、17的驱动量为规定量以上，或者在干涉判断中收到警告结果的情况下，驱动手转动机构26从捡拾姿势改变到交付姿势，在经过姿势改变之后的状态下，重新生成目标驱动轮廓。这样，便能够生成不需要大幅度驱动操纵装置10的目标驱动轮廓，更加迅速地将工件W设置到托盘2上。

在按照生成的目标驱动轮廓驱动各关节驱动装置501至505之后，手部20在规定的捡拾位置上呈规定的捡拾姿势，手部20的工件吸引部21上的工件吸引面面向暂时放置盘4上的工件W的被吸引面，接近暂时放置盘4上的工件W。在该状态下，机器人控制部500驱动工件吸引用泵24，在工件吸引部21的工件吸引面上的吸引孔22中产生吸入气流。在该吸入气流的作用下，工件W受到吸引，被吸附到工件吸引部21的工件吸引面上，被操纵装置10捡起来(S13)。

此后，机器人控制部500依循目标驱动轮廓，驱动各关节驱动装置501至505，使得操纵装置10的手部20移动到设置位置，同时在该设置位置上呈规定的设置姿势，用以将从暂时放置盘4中捡拾的工件W设置到托盘2的对应部位上。此时，如果驱动手转动机构26，则在操纵装置10从暂时放置盘4中捡拾工件W，到手部20移动到放置位置的期间中，机器人控制部500驱动该手转动机构26(S14)。

在操纵装置10的手部20移动到设置位置并呈设置姿势之后，受到操纵装置10的手部20保持的连接器(工件W)以连接针Wp朝下的状态，从托盘2的上方插入对应漕2a，使得标记针Wa相对于托盘2上的对应漕2a处于预定位置。在此状态下，机器人控制部500停止工件吸引用泵24，让吸附在工件吸引部21的工件吸附面上的工件W以自重脱离工件吸附面而被释放，以规定朝向相对于托盘2的对应漕2a设置(S15)。

本实施方式能够用共同的操纵装置10来实施取出作业和交付作业，即从堆放在堆放盘1中的多个工件W中取出捡拾对象即工件W，以及将取出的工件W以规定朝向放置(交付)到托盘2中。为此，与各项作业需要单独的操纵装置来实施的构成相比，本实施方式能够降低元件成本。尤其是在本实施方式中，也用共同的摄像装置(立体设照相机40)作为在各项作业中使用的摄像装置，从而能够进一步降低元件成本。

变形例1

以下描述本实施方式中的捡拾机器人100的变形例(以下称为变形例1)。

图13是立体照相机40中的基准照相机40A的摄像区域示意图。图14是立体照相机40中的比较照相机40B的摄像区域示意图。

在上述实施方式的捡拾机器人100中，立体照相机40能够获得合适的视差图像信息的摄像区域为图13所示的基准照相机40A的摄像区域与图14所示的比较照相机40B的摄像区域的重复区域。进一步具体为，在本实施方式的捡拾机器人100中，大量堆放在堆放盘1上的多个工件W整体上的高度被限制在预定上限值Hmax以下。在该上限值Hmax范围以内，基准照相机40A的摄像区域与比较照相机40B的摄像区域的重复、且能够有效拍摄堆积工件W的区域为以标记Rw表示的有效摄像区域，如果位于该有效摄像区域Rw以内，则能够用立体照相机40获得合适的视差图像信息。为此，在取出控制模态，即从堆放盘上多个工件中找出捡拾对象的工件的处理中，捡拾机器人100需要构成为能够让堆放在堆放盘中的多个工件处于有效摄像区域Rw以内。

另一方面，在上述实施方式的捡拾机器人100在堆放盘，即确定放置在暂时放置盘4上的工件W的朝向的处理中，不使用立体照相机40的视差图像信息，而使用通过立体照相机40中的基准照相机40A获得的灰度图像信息。关于灰度图像信息，只要工件W处于基准照相机40A的摄像区域以内，便能够获得合适的灰度图像信息，为此，工件W不一定需要处于基准照相机的摄像区域与比较照相机的摄像区域的重复区域Rw以内。换言之，即便工件W处于图13中以标记Ra表示的摄像区域部分(基准照相机有效摄像区域Ra)，也能够从基准照相机40A获得合适的灰度图像信息。

对此，在本变形例中，一方面让堆放在堆放盘1中的多个工件位于立体照相机40的有效摄像区域Rw以内，另一方面让放置在暂时放置盘4上的工件位于立体照相机40的基准照相机有效摄像区域Ra以内。换言之，在取出控制模态中，机器人控制部500将从堆放盘1中取出的工件W释放到暂时放置盘4上，该暂时放置盘4位于基准照相机40A的摄像区域中的其他摄像区域部分，该其它摄像区域部分不同于与比较照相机40B的摄像区域重复的有效摄像区域Rw(基准照相机有效摄像区域Ra)。这样可以将堆放盘1设置在立体照相机40的整个有效摄像区域Rw中，而堆放盘1的设置空间即便较大，也能够确保暂时放置盘4的设置空间。

上述本变形例描述在确定暂时放置盘4上工件W朝向的设置控制模态的处理中使用基准照相机40A获得灰度图像信息的例子，除此之外，还可以用比较照相机40B获得的灰度图像信息。在这种情况下，被放置在暂时放置盘4上的工件位于图14所示的摄像区域部分Rb(比较照相机有效摄像区域Rb)中。

进而还可以使得暂时放置盘4上的工件位于图13所示的基准照相机有效摄像区域Ra和图14所示的比较照相机有效摄像区域Rb的双方之中。

变形例2

本变形例用单独的照相机40′取代立体照相机40，用图案投影装置50投影图案图像，并根据单独的照相机40′拍摄的摄像图像，取得三维信息。只要使用单独的照相机40和发射用来照射该照相机40摄像区域内部的规定测定用光的测定用光照射装置，取得受到该测定用光照射的摄像区域部分的三维信息，可以使用任意方式(例如相位移动法)。在此所谓的测定用光不仅指利用该方式取得该摄像区域部分的三维信息所需要的光，而且还包含提高该摄像区域部分的三位信息的取得精度。

图15是本变形例照相机40′的摄像区域和图案投影装置50的图案投影区域的示意图。

本变形例中能够从照相机40′拍摄的摄像图像取得合适的三维信息的摄像区域如图15所示，与变形例1相同，是在Hmax的范围以内，照相机40′的摄像区域和图案投影装置50的图案投影区域的重复区域(图案投影区域)Rc。只要在该图案投影区域Rc以内，便能从照相机40′拍摄的摄像图像取得合适的三维信息。为此，在从大量堆积在堆放盘中的多个工件中找出捡拾对象的工件的取出控制处理中，本变形例的捡拾机器人100构成为使得堆积在堆放盘中的多个工件位于该图案投影区域Rc以内。

另一方面，在确定放置在暂时放置盘4上的工件W的朝向的设置控制模态的处理中，与上述实施方式相同，不仅可以使用三维信息，也可以使用二维信息(用单独一台照相机得到的灰度图像信息)。关于该灰度图像信息，不需要图案投影装置投影图案图像，在某些情况下，没有图案投影装置50投影图案图像，反而能够获得合适的灰度图像信息。

对此，本变形例使得被放置在暂时放置盘4上的工件位于照相机40′的摄像区域之中图案投影装置50不能投影图案图像的非图案图像投影区域Rd中。换言之，在取出控制模态中，机器人控制部500将从堆放盘1取出的工件释放到暂时放置盘4上，该暂时放置盘4被放置在照相机40′的摄像区域之中的非图案投影区域Rd中。这样可以将堆放盘1设置在照相机40′的摄像区域之中的整个图案投影区域中，而堆放盘1的设置空间即便较大，也能够确保暂时放置盘4的设置空间。

以上描述了本发明的一个例子，本发明以下的各种方式分别具有特有的效果。

方式A

一种操纵系统，其特征在于，具有：操纵装置10，用于从放置了多个工件W等对象物的堆放盘1等堆放部中取出对象物；取出用识别部，如立体照相机40和机器人控制部500等，用于根据被置于所述堆放部中的多个对象物的三维信息(视察图像信息等距离图像信息)，在该堆放部中识别需要用所述操纵装置取出的对象物；朝向识别部，如立体照相机40和机器人控制部500，用于识别所述操纵装置取出的对象物的朝向；控制部，用于实行取出控制和交付控制，在该取出控制中，控制所述操纵装置保持经过所述取出用识别部识别的对象物，并将该对象物取出，放置到所述堆放部的外部，在所述交付控制中，控制在所述取出控制中受到控制的操纵装置，以规定朝向，将被取出的对象物交给接纳部，如托盘2等中。

现有的操纵系统用摄像装置拍摄成大量堆积的未整理状态的多个对象物(工件)，用操纵装置保持根据该摄像图像识别的对象物，并取出到规定场所。然而，对于未经整理的多个对象物，即使能够从拍摄多个对象物得到的摄像图像中高精度并稳定识别需要用操纵装置保持的对象物的位置，也难以高精度识别该对象物的朝向(包含对象物姿势)。这是因为，摄像图像中多个对象物重叠，难以将单独的对象物与其它对象物区别认识。为此，现有的操纵系统只能够实现取出作业的自动化，用操纵装置将从未整理状态的多个对象物中选择的对象物取出到规定场所，却无法实行交付作业，用取出操纵装置以规定朝向将对象物交付到规定的接纳部中。

另一方面，如果事先实行整理作业，整理多个对象物，使得对象物互相不发生重叠，则能够高精度的稳定识别经过整理的各个对象物的朝向。经过整理，摄像图像中的多个对象物不会重叠，容易明确识别各个对象物与其它对象物的区别，能够高精度地稳定识别该对象物的朝向。因而能够实行取出作业，用操纵装置使得未经整理的多个对象物中选择的对象物成为经过整理的状态，以及交付作业，用操纵装置将经过整理的对象物以规定朝向交给规定的接纳部。

但是，现有的操纵系统需要用两套操纵系统来实现上述作业，其中一套具备操作状态用来实行将从未经整理状态下的多个对象物中选择的对象物成为经过整理的状态，另一台操纵系统具备的操纵装置用来实行将经过整理的对象物以规定朝向交给对定的接纳部。为此，要将这些作业作为连续的作业实现自动化，会产生成本上升的问题。

而本方式能够用共同的操纵装置来实施将从放置多个对象物的堆放部中取出对象物的作业、和将取出的对象物以规定朝向交付到接收部的作业。因此，与用不同的操纵装置分别来单独实施各自的作业相比，本方式能够降低产品元件成本。尤其是，在构成操纵系统的元件中操纵装置的元件成本所占比例通常相当高，因而使用共同的操纵装置对元件成本的较低效果十分大。为此，本方式能够以廉价的方式，实现从未经整理状态下的多个对象物中取出被选择的对象物以及以规定朝向将该对象物交给规定接纳部的一系列作业的自动化。

方式B

基于上述方式A，其特征在于，进一步具备摄像部，如立体照相机40等，用于拍摄至少包含被放置在所述堆放部中的多个对象物以及用所述操纵装置取出的对象物的摄像区域，所述取出用识别部根据用所述摄像部拍摄的摄像图像(视差图像)生成的三维信息，来识别需要用所述操纵装置取出的对象物，所述朝向识别部根据所述摄像部拍摄的摄像图像(灰度图像)，识别用所述操纵装置取出的对象物的朝向。

这样，本方式能够用同一个摄像部来作为从放置多个对象物的堆放部中取出对象物的作业是用的摄像部和按照规定的朝向交付取出的对象物的作业时使用的摄像部。与不同的作业需要单独使用不同的摄像部的情况相比，本方式能够降低产品元件成本。为此，本方式能够以更加廉价的方式，实现从未经整理状态下的多个对象物中取出被选择的对象物以及以规定朝向将该对象物交付到规定接收部的一系列作业的自动化。

在此所谓的摄像部是指，能够取得摄像区域内的位置以及与该位置的特性信息相关联的信息的装置。为此，摄像部包含所有摄像装置，如取得包含摄像区域内的位置以及离开该位置的距离信息在内的距离图像信息的立体照相机、利用相位移动法、TOF法、光切断法获得的图像取得部、或者取得摄像区域内的位置以及该位置的光学信息(灰度、偏光成分、特定波长带的光量等)的图像取得部等等。

方式C

基于上述方式B，其特征在于，所述摄像部具备多个摄像单元，如基准照相机40A和比较照相机40B等，各个摄像单元的摄像区域中的一部分(有效摄像区域Rw)分别包含放置在所述堆放部中的多个对象物，所述控制部在拍摄供所述朝向识别部使用的摄像图像时，实行所述取出控制，使得所述操纵装置取出的对象物位于所述多个摄像单元中的一部分摄像单元(基准照相机40A)的摄像区域中的其它部分(基准照相机有效摄像区域Ra)上。

这样，如上述变形例1的描述所述，本方式能够在对取出作业和交付作业采用同一个摄像装置的情况下，确保堆放部的放置空间以及用来放置从堆放部取出后的对象物的空间。

方式D

基于上述方式C，其特征在于，所述朝向识别部用所述摄像部中的任意一个摄像单元(基准照相机40A等)拍摄的单一摄像图像(基准图像等)，来识别所述操纵装置取出的对象物的朝向。

这样，本方式不仅能够用取出用识别部从多个摄像图像获得视差图像信息等三维形状信息，以高精度来识别操纵装置从大量堆积等未经整理状态下的多个对象物中取出的对象物，而且还能够从单一的摄像图像获得灰度图像信息等二维形状信息，从而能够以高精度识别被取出的对象物的朝向。

方式E

基于上述方式B，其特征在于，进一步具有测定用光照射部，如图案投影装置50等，用于用规定的测定用光，如图案图像等，照射被放置在所述堆放部上的多个对象物，所述控制部在拍摄供所述朝向识别部使用的摄像图像时，实行所述取出控制，使得用所述操纵装置取出的对象物位于未受到所述测定用光照射部用所述规定的测定用光照射的摄像区域部分，即非图案投影区域Rd。

这样，本方式如上述变形例2中所描述的，在取出作业和交付作业使用同一个摄影部的情况下，也能够确保堆放部的放置空间和被从堆放部取出后的对象物的放置空间。

方式F

基于上述方式A至方式E中任意一种方式，其特征在于，在所述取出控制中，控制所述操纵装置将保持的对象物放置到位于所述堆放部以外的暂时放置部，如暂时放置盘4中，所述朝向识别部识别被放置在所述暂时放置部中的对象物的朝向，在所述交付控制中，控制所述操纵装置再次保持被放置在暂时放置部上的对象物，将该对象物交付到所述接纳部。

这样，本方式在被从堆放部取出的对象物受到操纵装置保持的状态下，用朝向识别部识别该对象物的朝向时，也能够提高对象物朝向的识别精度。

方式G

基于上述方式A至方式E中任意一种方式，其特征在于，所述朝向识别部在所述操纵装置保持对象物的状态下识别该对象物的朝向，在所述交付控制中，所述取出控制期间受到所述操纵装置保持的对象物继续受到保持，在此状态下将该对象物交付到所述接纳部。

这样，本方式在将从堆放部中取出的对象物暂时放置到暂时放置部中，用朝向识别部识别对象物的朝向时，也能够迅速处理。

方式H

基于上述方式A至方式G中任意一种方式，其特征在于，所述所述操纵装置通过驱动所述关节部来使得所述保持部移动，其中包括：至少一个关节部11、12、14、15、17；用于驱动所述关节部的驱动部，如关节驱动装置501至505等；至少一个安装在所述关节部上的臂部13、16；以及，用于保持所述对象物的保持部，如手部20等，所述保持部具有转动机构，如手转动机构26等，该转动机构让受到该保持部保持的对象物围绕规定的转动轴转动，使得该对象物的姿势变为交付姿势，即该保持部在所述关节部的驱动下，移动到将所述对象物交付到接纳部的位置时，该对象物的朝向成为所述规定朝向。

这样，本方式能够将操纵装置中的各个关节部的驱动量限制在最小范围，用更短的时间，以规定朝向将对象物交给接纳部。

方式I

一种摄像系统，用多个摄像单元，如基准照相机40A和比较照相机40B等，拍摄第一摄像区域，取得多幅摄像图像，同时，用所述多个摄像单元中的一部分摄像单元拍摄不同于所述第一摄像区域的第二摄像区域，取得摄像图像，其特征在于，所述所述多个摄像单元被设置为，各个摄像单元的摄像区域中的一部分摄像区域(有效摄像区域Rw等)分别包含所述第一摄像区域，同时，所述一部分摄像单元(基准照相机40A等)的摄像区域中的另一部分摄像区域(基准照相机有效摄像区域Ra等)包含所述第二摄像区域，而且，所述多个摄像单元的另一部分摄像单元(比较照相机40B等)的摄像区域中不包含所述第二摄像区域。

这样，如上述变形例1中所述，本方式能够在用同一台摄像装置拍摄用于获得第一摄像区域的视差信息等三维信息的多个摄像图像和第二摄像区域的摄像图像时，充分确保各自的摄像区域。

方式J

一种摄像系统，用摄像单元拍摄第一摄像区域取得摄像图像，同时用拍摄所述第一摄像区域的摄像单元拍摄不同于所述第一摄像区域的第二摄像区域，其特征在于，具有测定用光照射部，用于在所述第一摄像区域中照射规定的测定用光，而在所述第二摄像区域中不照射该规定的测定用光。

这样，如上述变形例2中所述，本方式能够在用共同的摄像装置拍摄用于受到测定用光照射的第一摄像区域的三维信息的摄像图像，以及用于不受测定用光照射的第二摄像区域的摄像图像时，充分确保各自的摄像区域。

方式K

基于方式I或方式J的摄像系统，其特征在于，根据所述第一摄像区域的摄像图像，取得被设置在该第一摄像区域中的摄像对象物的三维信息，并根据所述第二摄像区域的摄像图像，取得被设置在该第二摄像区域的摄像对象物的朝向的信息。

这样，如上述变形例1或变形例2中所述，本方式能够用共同的摄像装置取得被设置在第一摄像区域的摄像对象的三维信息以及被设置在第二摄像区域中的摄像对象的朝向的信息。

方式L

一种对象物的交付方法，其特征在于，具有以下各项步骤：取出用识别步骤，根据被放置在堆放部中的多个对象物的三维信息，从该堆放部找出需要用操纵装置取出的对象物；取出步骤，用所述操纵装置保持在所述取出用识别步骤中找出的对象物，并将该对象物放置到所述堆放部的外部；朝向识别步骤，识别在所述取出步骤中取出的对象物的朝向；交付步骤，用在所述取出步骤中使用的所述操纵装置，以规定的朝向将经过所述朝向识别步骤的朝向识别的对象物交给接纳部。

本方式能够以低成本实现取出从放置在堆放部中处于为整理状态的多个对象物中选择的对象物、以及以规定朝向将该对象物交给规定接纳部的一系列动作的自动化。

方式M

一种操纵控制程序，用于使得操纵系统的计算机具有的以下各项所述操纵系统的功能部功能：操纵装置，从放置了多个对象物的堆放部中取出对象物；取出用识别部，用所述操纵装置从所述堆放部取出需要取出的对象物；朝向识别部，识别所述操纵装置取出的对象物的朝向；控制部，如机器人控制部500等，控制所述操纵装置，其特征在于，所述取出用识别部根据被置于所述堆放部中的多个对象物的三维信息，从所述堆放部找出需要用所述操纵装置取出的对象物；所述控制部实行取出控制和交付控制，在所述取出控制中，控制所述操纵装置保持经过所述取出用识别部识别的对象物并将该对象物放置到所述堆放部的外部，在所述交付控制中，根据所述朝向识别部的识别结果，控制在所述取出控制中受到控制的操纵装置，以规定朝向将取出的对象物交给接纳部。

上述操作控制程序可以以保存在CD-ROM等记录媒体中的状态发布或获得，也可以载置于规定的送信装置发送的信号上，通过公用电话线、专用线以及其它通信网等传输媒体的发送或接收来发布或获得。发布时刻在传输媒体中至少传送一部分计算机程序。换言之，传输媒体上不需要一时性地保存构成计算机程序的所有数据。而用来载置该程序的信号是指通过包含计算机程序的所有输送波所表示的计算机数据信号。用规定送信装置发送计算机程序的送信方法还包含连续发送构成程序的数据的情况或间隙发送构成程序的数据的情况。