专利名称：工件取出装置以及方法
技术领域：
本发明涉及采用了机器人机械手的工件取出装置，尤其涉及以实现缩短进行基于视觉传感器的物品的识别时的时间为目的的工件取出装置以及工件取出方法。
背景技术：
在从未将对象物即工件定位在箱内或托盘(pallet)上、被杂乱放置的状态进行取出的、所谓“散装取出”的应用中，为了判断应该取出工件的大致位置，利用可广范围摄像的摄像机进行图像取入。例如在美国专利第5、987、591号中公开了把用于取得广范围图像的CCD摄像机和用于测定工件3维位置的激光传感器组合使用的复合传感器机器人系统。此时，不幸的是，在摄像机视野内存在遮挡工件检测即摄像的部件。因此，在取入图像时通常需要将机器人的机械手等工件取出装置暂时退避到摄像机的视野外，但是这种做法是导致包括工件取出装置的整体系统的循环时间增加的主要原因。
在工件以某种程度排列的情况下，如果预先拍摄一次工件图像，则在每次取出1个工件时不用再次重新取入摄像机图像就可以进行工件检测，这样的技术已经众所周知。可是，当如上述“散装取出”那样工件杂乱地互相重叠时，在取出了某工件时会频繁引起其它工件的位置以及姿势发生变化。因此在散装取出的应用中，在进行将机械手等工件取出装置取出的工件搬运到位于摄像机视野外的规定场所的动作(所谓搬出动作)的期间，要对工件重新进行摄像。例如在特开平7-319525号公报中，作为实现散装取出高速化的装置，公开了预先登录多个对照模型并从摄像机的2维图像中检测与对照模型进行对照的工件的挑选装置。
上述做法的前提是，在进行了某工件的检测以及取出后，再次取入新的图像。因此如果取出工件成功，则在该搬出动作期间可以没有时间损失地进行下一图像的摄像。可是，如果由于某种原因导致取出工件失败，则存在如下情况在对成为下一取出对象的工件进行检测时，至少需要为了利用摄像机取入广范围图像要使工件取出装置暂时移动到摄像机视野外、以及为了将检测区域纳入到摄像机视野而移动机械手的任一方，导致循环时间增加。
发明内容
因此本发明的目的是，提供通过省略或者降低取入图像时的机器人机械手的移动动作来实现循环时间缩短的工件取出装置以及工件取出方法。
为了实现上述目的，根据本发明的一形态，提供一种工件取出装置，具有摄像单元，其对散装的多个工件进行摄像；存储器，其对所述摄像单元拍摄的图像进行存储；工件检测部，其根据在所述存储器中存储的图像来检测工件；工件选定部，其从由所述工件检测部检测出的工件中选定应该取出的工件；和机器人机械手，其取出由所述工件选定部选定的工件；其特征为还具有装载状态判断部，其判断所述多个工件的装载状态是否由于所述机器人机械手的取出作业而发生了变化，所述装载状态判断部，被构成为当判断为至少在下次应该取出的工件的周边工件的装载状态没有变化时，在下一工件取出作业时所述摄像单元不进行工件的摄像，所述工件检测部根据由所述摄像单元在以前拍摄的图像来检测工件。
工件取出装置还可以具有重叠检测单元，其在通过所述机器人机械手取出应该取出的工件之前，检测其它工件是否与所述应该取出工件的一部分重叠。此时，所述装载状态判断部，在所述重叠检测单元检测出其它工件与所述应该取出工件的一部分重叠时，判断为工件的装载状态由于取出所述应该取出的工件而发生变化。
另外，工件取出装置还可以具有抓持错误检测单元，其检测所述机器人机械手是否已能适当地抓持应该取出的工件。此时，所述装载状态判断部，当所述抓持错误检测单元检测出没有适当地抓持所述应该取出工件时，判断为工件的装载状态变化了。
此外，工件取出装置还可以具有冲击检测单元，其对取出动作中的加给所述机器人机械手的冲击进行检测。此时，所述装载状态判断部，当应该取出工件以外的剩余工件参与了所述冲击检测单元检测出的冲击时，判断为工件的装载状态变化了。
另一方面，所述工件选定部，被构成为除了应该取出的取出对象工件之外，还选定在该工件的下次取出作业中应该取出的下一候补工件，所述装载状态判断部，当所述下一候补工件与所述取出对象工件相距规定距离以上时，则无论所述重叠检测单元、所述抓持错误检测单元或者所述冲击检测单元的检测结果如何，都判断为工件的装载状态没有变化。
当所述摄像单元不重新进行工件的摄像、以规定次数连续取出了工件时，也可以与所述装载状态判断部的判断结果无关地进行通过所述摄像单元的工件的摄像。
根据本发明的其它形态，还提供一种工件取出方法，其具有以下步骤对散装的多个工件进行摄像的步骤；对摄像后的图像进行存储的步骤；根据存储的图像来检测工件的步骤；从所述检测出的工件中选定应该取出的工件的步骤；和用机器人机械手取出所述已选定的工件的步骤；其特征为，还具有如下步骤判断所述多个工件的装载状态是否由于所述机器人机械手的取出作业而发生了变化的步骤；和当判断为工件的装载状态至少在下次应该取出的工件的周边没有变化时，在下一工件取出作业时不进行工件的摄像、根据以前存储的图像来检测工件的步骤。
本发明上述和其它的目的、特征以及优点，通过一边参照附图一边对以下优选实施方式进行说明，会更加清晰。
图1是表示本发明工件取出装置的概略结构图。
图2是表示工件取出作业步骤的优选例的流程图。
具体实施例方式
以下，一边参照附图一边对本发明进行详细的说明。图1是表示本发明优选实施方式的工件取出装置10的整体结构图。工件取出装置10具有机器人机械手(以后，简称为机械手)16，其被构成为把工件容器12内的多个同种对象物即工件14抓持后取出；机器人控制器18，其对机械手16进行控制；摄像单元即图像摄像机20(以后，简称为摄像机)，其被设置在工件容器12的正上方对工件14进行广范围(例如把整个工件容器12都纳入视野内)的摄像；以及图像处理装置22，其对摄像机20拍摄到的图像进行处理。
通过设置在机械手16的手前端部的视觉传感器24来对各个工件14进行计测。例如，视觉传感器24例如是激光投射式的3维视觉传感器，通过由通信线路26连接的视觉传感器控制部28来进行控制。另外，将视觉传感器控制部28经由通信线路27与图像处理装置22连接，由此可以求规定的工件14详细的3维位置以及姿势。
机器人控制器18，通过通信线路30与图像处理装置22连接，利用通过摄像机20摄像、由图像处理装置22处理的结果来控制机械手16，使其对工件14进行搬运(接近、抓持以及取出等一连串作业)。此外，机器人控制器18，具有CPU、数据存储器、帧存储器、图像处理处理器以及接口等众所周知的部分，所以省略其详细的说明。
接着，对图像处理装置22的结构以及作用进行说明。此外，图像处理装置22也与机器人控制器18同样，具有CPU、数据存储器、帧存储器、图像处理器以及接口等，但是对于这些与本发明没有直接关系的要素省略说明。
如图1所示，图像处理装置22，具有摄像机控制部22a，其进行包括取入来自摄像机20的摄像数据的摄像机控制；存储器即图像存储部22b，其对取入的摄像数据进行存储；工件检测部22c，其提取存储器22b内的一个或者多个图像根据该图像检测工件；和工件选定部22d，其在工件检测部22c检测出的工件中选定用机械手16应该取出的工件。另外，在工件检测部22c中，理想的是预先保存有从成为摄像后的基准的工件图像中提取的与特征形状相关的信息。图像处理装置22的特征，还具有装载状态判断部22e，其判断容器12内工件14的装载状态有无变化，工件选定部22d根据该判断来选定应该取出的工件。
图2是表示图1的工件取出装置的处理步骤的流程图。首先在步骤S101中，通过图像摄像机20对工件14进行广范围的摄像，在下一步骤S102中，将摄像后的图像存储在存储器22b中。在下一步骤S103中，工件检测部22c从存储器22b中提取一个或者多个图像，并对在一个或者多个图像中包含的工件(通常为多个)进行检测。在下一步骤S104中，判断在步骤S103中是否检测出至少1个工件，当被检测出时进入步骤S105，当没有检测出时进入步骤S108。
在步骤S105中，工件选定部22c，选定在步骤S103内检测出的工件中最适合于用机械手16取出的工件(通常为1个)。通常，选定在检测出的工件中位于最高位置(检测尺寸最大)的工件。此外，在本选定作业中，最好将适合于第2个取出的工件、换言之在下一取出作业中选定的可能性最高的工件也作为下一候补来一起选定。对其理由在后面进行叙述。
接着在步骤S106中，机器人控制器18，控制机械手16取出选定后的工件。在这里的取出作业中，包括对设置在机械手16的手前端部的3维视觉传感器24移动位置的运算；利用视觉传感器24对选定后工件的3维位置以及姿势进行计测；和利用机械手16来抓持选定后的工件。
在下一步骤S107中，在由机械手16取出工件的前后，通过装载状态判断部22e来判断容器12内工件14的装载状态是否有了变化。详细地说，在步骤S107a中，通过视觉传感器24来计测其它工件是否与选定为取出对象的工件的一部分重叠(是否碰上)，在有重叠的情况下，因为在取出选定后的工件时重叠的其它工件的位置或者姿势发生了变化的可能性高，所以判定为装载状态有变化。
另外在步骤S107b中判断是否由机械手16的手适当地抓持了工件(是否存在所谓抓持错误)。具体来说，使用可确认手加紧的传感器，或在手采用吸盘的类型时使用确认吸附的传感器。或者还可以使用接近传感器32等，该接近传感器32用于检测工件相对于手是否处于正确的位置。通过这些抓持错误检测单元可以检测工件的抓持错误，如果没有抓持错误，在取出时对其它工件的位置或者姿势给予了影响的可能性低，所以可判定在容器内剩余工件的装载状态没有变化。
此外在步骤S107c中，可以采用在机器人控制器18中设置的干扰值检测单元，对在取出动作时附加给机械手16的外力进行检测。干扰值检测单元例如，是根据流过该电动机的电流的急剧变化来检测出在驱动机械手16关节轴的电动机上加载的负荷的急剧变化的单元。因为这些是公知的技术，所以这里省略详细的说明。另外，还可以采用在机械手16上设置的加速度传感器或冲击传感器34等冲击检测单元，对附加给机械手16的外力进行检测。在附加了某个外力(冲击)的情况下，可以根据此时机械手的姿势或手的TCP(ToolCenter Point)位置等，来判断该冲击是由机械手或者抓持的工件与容器内剩余工件间的干涉引起的，还是与其它周边机器间的干涉引起的。在步骤S107c中，当容器内的剩余工件参与了冲击时，认为装载状态发生变化的可能性高，所以判定为装载状态有变化。
在上述步骤S107a～c中即使一个判定为记载状态有变化时，返回步骤S101从摄像机20的摄像开始重新做，从可靠性这点来看这是理想的。可是，当作为取出对象被选定的工件在容器内的位置与上次已取出的工件的位置相距规定距离以上时，即使在上次取出作业时存在工件的重叠、抓持错误及冲击等，这次要取出的工件位置以及姿势没有变化的可能性仍然很高。因此存在如下的情况，如果在上述步骤S105中预先选定工件的下一候补，无论S106a～c中的判定结果如何，都可以不需要摄像机20的新摄像。具体来说，在步骤S107d中，当将摄像机20拍摄的图像虚拟分割为多个区域、并在相同区域或者互相邻接的区域内不含有这次取出的工件和下次应该取出的工件时，可以判断为下次取出工件以及其周边的装载状态不受这次取出动作的影响。此外步骤S107d可以在步骤S107a之前进行。此时，在步骤S107d中在这次取出的工件与下次应该取出的工件的距离为不足规定距离时，则执行步骤S107a之后的步骤。
在步骤S107中，当被判定为至少在下一取出工件周边的装载状态没有变化时(详细地说，在步骤S107a～c中判定为工件的装载状态都没有变化时，或者在步骤S107d中判定为在下一取出工件周边装载状态没有变化时)，返回步骤S103，采用在存储器22b中存储的过去(例如最新)的提取图像进行下一工件的检测。但是，检测对象当然不包括刚刚之前取出的工件。因此，此时不需要摄像机20重新进行摄像，所以不需要使机械手16暂时移动到摄像机20的视野外，可实现循环时间的削减。另一方面，在判定为工件的装载状态有变化时，返回步骤S101，从摄像机20摄像开始重新做。
此外，在图2所示的流程中进行步骤S107a～d的全部，当然，根据工件的大小及形状、要求的装载状态的判断的级别等，可适当组合其中的一个或者几个来执行。
如上所述，从缩短循环时间的观点来看希望摄像机20的摄像次数尽量少，但是当不进行摄像机的摄像而持续取工件时，也不能否定摄像机图像与实际状态的背离变大、装载状态变化的判定变成不恰当的可能性。因此，当不进行摄像机的摄像取出下一工件的作业连续了规定次数(例如，5次)时，理想的是，无论装载状态的判定结果如何都返回步骤S101再次进行摄像机的摄像，更新存储器内的图像。
另一方面，当在步骤S104中没有检测到可取出的工件时，进入步骤S108判断是否满足规定的结束条件(例如，取出的工件是否达到了规定数)。如果不满足结束条件，则意味着在此前的图像内已经不包括可取出的工件，所以返回步骤S101重新进行摄像机20的摄像。如果满足了结束条件，则结束一连串的取出作业。
另外，显然，在步骤S105中根据视觉传感器24的计测结果等某种理由判断为不能取出已选定为取出对象的工件时，工件的装载状态当然不变化，所以可以进行与由步骤S107判定为没有变化时同样的处理。
根据本发明的工件取出装置或者取出方法，可以判断在取出了某工件时剩余工件的装载状态是否有变化。当判断为装载状态没有变化时，因为不需要在下一工件取出作业中利用摄像机对工件进行摄像，所以不需要为了摄像使机械手向摄像机视野外临时移动或者在视野外待机，可以缩短取出工件的循环时间。
作为判断装载状态的具体要因，利用取出工件与其它工件的重叠状况、机械手有无工件抓持错误、机械手与工件有无干涉等，这是有利的。但是，如果取出工件与下一取出工件的距离在规定距离以上时，无论上述要因的内容如何都判定为装载状态没有变化，这是更有利的。
另外，当摄像机不重新对工件进行摄像而连续地取出工件时，每取出的规定次数无论装载状态判断部的判断结果如何，都利用摄像机对工件进行摄像来更新图像，由此可以更可靠地判断装载状态。
参照为说明所选定的特定的实施方式对本发明进行了说明，但对于本领域技术人员来说，显而易见，在不脱离本发明的基本概念以及范围的情况下，可进行多种变更。
权利要求
1.一种工件取出装置(10)，具有摄像单元(20)，其对散装的多个工件(14)进行摄像；存储器(22b)，其对所述摄像单元(20)拍摄的图像进行存储；工件检测部(22c)，其根据在所述存储器(22b)中存储的图像来检测工件；工件选定部(22d)，其从由所述工件检测部(22c)检测出的工件中选定应该取出的工件(14)；和机器人机械手(16)，其取出由所述工件选定部(22d)选定的工件(14)，其特征在于，还具有装载状态判断部(22e)，其判断所述多个工件(14)的装载状态是否由于所述机器人机械手(16)的取出作业而发生了变化；所述装载状态判断部(22e)，被构成为当判断为至少在下次应该取出的工件的周边工件(14)的装载状态没有变化时，在下一工件取出作业时所述摄像单元(20)不进行工件(14)的摄像，所述工件检测部(22c)根据由所述摄像单元(20)在以前拍摄的图像来检测工件。
2.根据权利要求1所述的工件取出装置，还具有重叠检测单元(24)，其在通过所述机器人机械手(16)取出应该取出的工件(14)之前，检测其它工件是否与所述应该取出工件(14)的一部分重叠，所述装载状态判断部(22e)，在所述重叠检测单元(24)检测出其它工件与所述应该取出工件(14)的一部分重叠时，判断为工件的装载状态由于取出所述应该取出的工件(14)而发生变化。
3.根据权利要求2所述的工件取出装置，其中，所述工件选定部(22d)，被构成为除了应该取出的取出对象工件(14)之外，还选定在该工件的下次取出作业中应该取出的下一候补工件，所述装载状态判断部(22e)，当所述下一候补工件与所述取出对象工件相距规定距离以上时，无论所述重叠检测单元(24)的检测结果如何，都判断为工件的装载状态没有变化。
4.根据权利要求1所述的工件取出装置，还具有抓持错误检测单元(32)，其检测所述机器人机械手(16)是否已适当地抓持了应该取出的工件(14)，所述装载状态判断部(22e)，当所述抓持错误检测单元(32)检测出没有适当地抓持所述应该取出的工件(14)时，判断为工件的装载状态有变化。
5.根据权利要求4所述的工件取出装置，其中，所述工件选定部(22d)，被构成为除了应该取出的取出对象工件(14)之外，还选定在该工件的下次取出作业中应该取出的下一候补工件，所述装载状态判断部(22e)，当所述下一候补工件与所述取出对象工件相距规定距离以上时，无论所述抓持错误检测单元(32)的检测结果如何，都判断为工件的装载状态没有变化。
6.根据权利要求1所述的工件取出装置，还具有冲击检测单元(34)，其对取出动作中的附加给所述机器人机械手(16)的冲击进行检测，所述装载状态判断部(22e)，当应该取出工件(14)以外的剩余工件参与了所述冲击检测单元(34)检测出的冲击时，判断为工件的装载状态有变化。
7.根据权利要求6所述的工件取出装置，其中，所述工件选定部(22d)，被构成为除了应该取出的取出对象工件(14)之外，还选定在该工件的下次取出作业中应该取出的下一候补工件，所述装载状态判断部(22e)，当所述下一候补工件与所述取出对象工件相距规定距离以上时，无论所述冲击检测单元(34)的检测结果如何，都判断为工件的装载状态没有变化。
8.根据权利要求1所述的工件取出装置，其特征在于，当所述摄像单元(20)不重新进行工件的摄像、连续规定次数地取出了工件时，无论所述装载状态判断部(22e)的判断结果如何，都进行通过所述摄像单元(20)的工件(14)的摄像。
9.一种工件取出方法，具有以下步骤对散装的多个工件(14)进行摄像的步骤；对摄像后的图像进行存储的步骤；根据存储的图像来检测工件的步骤；从所述检测出的工件中选定应该取出的工件(14)的步骤；和用机器人机械手(16)取出所述已选定的工件(14)的步骤；其特征在于，还具有如下步骤判断所述多个工件(14)的装载状态是否由于所述机器人机械手(16)的取出作业而发生了变化的步骤；和当被判断为至少在下次应该取出的工件的周边工件的装载状态没有变化时，在下一工件取出作业时不进行工件的摄像，根据以前存储的图像来检测工件的步骤。
全文摘要
通过省略或者降低取入图像时机器人机械手的移动动作来实现循环时间缩短的工件取出装置以及工件取出方法。工件取出装置的图像处理装置，具有摄像机控制部，其进行包括取入来自摄像机的摄像数据的摄像机控制；存储器，其对取入的摄像数据进行存储；工件检测部，其提取存储器内的一个或者多个图像由该图像检测工件；和工件选定部，其在工件检测部检测出的工件中选定应该取出的工件；还具有装载状态判断部，其判断容器内工件的装载状态有无变化。
文档编号B25J19/04GK101081512SQ20071010481
公开日2007年12月5日 申请日期2007年5月21日 优先权日2006年5月29日
发明者伴一训, 渡边桂佑 申请人:发那科株式会社