利用机械手取出散装物品的装置制造方法
【专利摘要】本发明提供利用机械手取出散装物品的装置。该物品取出装置构成为通过利用照相机的拍摄获取包括容器的开口端面的基准容器图像，基于该基准容器图像，设定与容器的收纳空间对应的图像上检索区域，设定包括容器的开口端面的基准平面，基于预先存储的照相机的校准数据，计算出与图像上检索区域对应的基准平面上的检索区域，将检索区域转换成转换检索区域，将利用三维测定机测定出的多个三维点投影于基准平面上，取出包含于转换检索区域内的三维点，使用该三维点识别容器内的物品的位置。
【专利说明】利用机械手取出散装物品的装置
【技术领域】
[0001]本发明涉及识别散装于容器内的物品的位置，并利用机械手取出识别出的物品的物品取出装置。
【背景技术】
[0002]以往，已知有利用照相机拍摄散装于容器内的物品，并对该照相机图像进行图像处理来识别物品的位置的装置。例如，在日本特开2007-313624号公报(JP2007-313624A)所记载的装置中，以容器整体收纳在视野内的方式将照相机配置在容器的正上方，使用来自该照相机的图像检测物品，选定应利用机械手的机械臂取出的物品。使用设置于机械臂的指尖部的三维视觉传感器进行该选定的物品的取出。
[0003]然而，由于照相机图像包括容器的开口端面、内壁，所以如JP2007-313624A所记载的装置那样，若根据照相机图像来识别物品，则存在不易区分这些开口端面、内壁与物品的情况。
【发明内容】
[0004]本发明的一实施方式是物品取出装置，具备:三维测定机，其对散装于具有平面状的开口端面、和连接设置于该开口端面且形成收纳空间的内壁部的集装箱的收纳空间内的多个物品的表面位置进行测定；照相机，其拍摄包括集装箱的开口端面的区域；机械手，其具有能够从集装箱内取出物品的手部；图像获取部，其获取利用照相机拍摄出的集装箱的图像；图像上检索区域设定部，其基于通过图像获取部获取的图像，设定与收纳空间对应的图像上的区域亦即图像上检索区域；基准平面设定部，其设定包括集装箱的开口端面的平面亦即基准平面；检索区域计算部，其计算与图像上检索区域对应的基准平面上的区域亦即检索区域；投影部，其将利用三维测定机测定出的多个三维点投影于基准平面上；判定部，其判断由投影部投影的多个三维点是否包含在检索区域内；位置识别部，其使用由三维测定机测定出的多个三维点中的由判定部判定为包含在检索区域内的三维点，识别集装箱内的物品的位置；以及机械手控制部，其基于由位置识别部识别出的物品的位置控制机械手，使其取出物品。
【专利附图】
【附图说明】
[0005]本发明的目的、特征以及优点通过与附图相关联的以下的实施方式的说明更加明确。在该附图中，
[0006]图1是表示本发明的一实施方式的物品取出装置的概要构成的图。
[0007]图2A是表示由图1的控制装置执行的处理的一个例子的流程图，尤其是表示物品取出作业的前期处理的一个例子的图。
[0008]图2B是表示由图1的控制装置执行的处理的一个例子的流程图，尤其是表示物品取出作业时的处理的一个例子的图。[0009]图3是示意地表示在图2A的处理中得到的图像上检索区域的一个例子的图。
[0010]图4是示意地表示由图1的三维测定机获取的三维点集合的图。
[0011]图5是说明图2B的处理的图。
[0012]图6是说明图2B的处理的其他的图。
[0013]图7是说明本实施方式的效果的图。
[0014]图8是表示图1的控制装置内的结构的框图。
【具体实施方式】
[0015]图1是表示本发明的实施方式的物品取出装置10的概要构成的图。物品取出装置10具有三维测定机11、照相机12、机械手13以及控制装置14，该控制装置14与照相机12、三维测定机11和机械手13连接，分别控制三维测定机11、照相机12和机械手13。机械手13具有安装于机械臂13a的前端部的手部15。三维测定机11和照相机12安装于架台16。另外，以下定义图示那样相互正交的X轴、Y轴、Z轴。包括X轴和Y轴的XY平面是水平面，Z轴朝向铅垂上方。
[0016]在机械手13的侧方配置有上面开放的箱状的容器17。容器17具有与底面平行的平面状的开口端面17a (上面)、以及连接设置于开口端面17a且形成收纳空间17c的内壁部17b，并且从地面到开口端面17a具有规定高度Zc。容器17呈如下形状，即沿着与包括开口端面17a的平面垂直的方向在包括开口端面17a的平面上投影容器17的底面以及内壁部17b得到的区域与被开口端面17a的内侧边缘(容器的内壁部17b和开口端面交叉的部位)包围的闭合区域一致。在容器17内的收纳空间17c散装收纳有多个物品20。能够利用手部15保持物品20，通过机械手13的动作从容器17取出物品20。在容器17的中央部上方设置有三维测定机11和照相机12。
[0017]三维测定机11根据来自控制装置14的指令，从容器17的上方测定散装于容器17内的物品20的表面位置，从而获取三维点的集合(三维点集合)。能够根据设置三维测定机11的位置变更三维测定机11的测定区域位置、大小。以包括全部容器17内的物品20的方式设定三维测定机11的测定区域。由于测定区域过大会导致测定分辨率降低，所以优选设定成包括物品20的可能存在区域，即包括收纳空间17C的整体的程度。三维测定机11和控制装置14能够通过通信电缆等通信机构相互连接、相互通信。
[0018]三维测定机11能够利用各种非接触方式的测定机。例如列举使用2台照相机的立体方式、扫描激光线光的方式、扫描激光点光的方式、使用投影仪等装置向物品投影图案光的方式、利用光从投光机射出后在物品表面反射而入射至受光器的飞行时间的方式。
[0019]三维测定机11以距离图像或三维图的形式表示所获取的三维信息。距离图像以图像形式表现三维信息，利用图像的各像素的亮度、颜色来表示与该像素对应的位置的Z方向的高度或距三维测定机11的距离。另一方面，所谓三维图是作为测定出的三维坐标值(X，1，Z)的集合来表现三维信息的。在本实施方式中，将具有距离图像中的各像素或者三维图中的三维坐标值的点称为三维点，将由多个三维点构成的集合称作三维点集合。三维点集合是由三维测定机11测定出的三维点全体的集合，能够由三维测定机11获取。
[0020]照相机12是具有CXD传感器、CMOS传感器等摄像元件(光电转换元件)的数码摄像机或数码相机，根据来自控制装置14的指令从容器17的上方拍摄包括开口端面17a的区域。能够根据设置照相机12的位置来变更照相机12的拍摄区域的位置、大小。以全部包括容器17的方式设定照相机12的拍摄区域。由于拍摄区域过大会导致拍摄分辨率的降低，所以优选设定成包括容器17的可能存在区域，即包括开口端面17a的全体的程度。照相机12和控制装置14通过通信电缆等通信机构相互连接、相互通信。
[0021]另外，若三维测定机11具有照相机，且该照相机的拍摄区域设定为包括容器17的可能存在区域的程度，则能够用作将设于三维设定机11的照相机用作照相机12。由此，部件件数变少，能够减少三维测定机11和照相机12的全体的设置空间。
[0022]控制装置14构成为包括分别具有CPU、ROM、RAM、其他周边电路等的运算处理装置。图2A、图2B分别是表示由控制装置14执行的处理的一个例子的流程图。以下参照图2A、图2B的流程图以及相关联的附图，对物品取出装置10的动作进行说明。另外，在执行图2A、图2B的处理前，以共用的坐标系(XYZ坐标系)为基准校准三维测定机11和照相机12。
[0023]图2A是将容器17设定成成为基准的位置以及姿势(以下称位置姿势)的状态，即在基准状态下执行的处理的一个例子。在基准状态下，容器17设置于水平地板上。图2A的处理是在构筑散装取出系统时仅执行一次的处理，即便在因容器17的更换等容器17的位置姿势变化的情况下，也无需再次执行。另外，由于在变更了所使用的容器17的尺寸的情况下，需要变更检索区域，所以该情况下，再次执行图2A的处理。
[0024]如图2A所示，首先在步骤SRl中，在将容器17设定成基准状态的状态下向照相机12输出控制信号，利用照相机12拍摄包括容器17的区域，且将该拍摄后的图像作为基准容器图像进行读取。即，获取基准容器图像。
[0025]在步骤SR2中，检测在基准容器图像上的容器17的开口端面17a的位置姿势亦即图像上基准容器位置姿势。更具体而言，从步骤SRl的基准容器图像确定出表示容器17的开口端面17a的区域亦即图像上开口端面区域IG (图3)。为了确定出图像上基准容器位置姿势(图像上开口端面区域IG)，例如能够使用图案匹配等方法。图案匹配的方法是已知的方法，省略详细的说明。
[0026]在步骤S3中，在基准状态下，将包括容器17的开口端面17a的平面设定为基准平面。在基准状态下，由于容器17设定在水平的地板上(XY平面上)，所以基准平面也是水平。即，在空间上，基准平面成为高度Zc恒定的水平面。对于基准平面的设定需要高度Zc，高度Zc可以使用预先测定出的值，也可以由三维测定机11测定。
[0027]在步骤SR4中，将在基准状态下与基准平面以规定的角度相交的方向作为投影方向进行设定或计算。在本实施方式中，将与基准平面垂直的方向作为投影方向进行设定。因此，投影方向与Z轴平行。
[0028]在步骤SR5中，使用图像上基准容器位置姿势、基准平面和照相机12的校准数据，计算与图像上基准容器位置姿势对应的、在实际空间上的容器17的位置姿势亦即基准容器位置姿势Cr。即，基于校准数据，计算与表示图像上基准容器位置姿势的图像上开口端面区域IG (图3)对应的开口端面17a在基准平面上成为什么样的位置姿势。另外，根据在图像上检测出的容器的位置姿势、基准平面和照相机12的校准数据来计算在实际空间上的容器17的位置姿势Cr的方法是已知方法，省略详细的说明。能够以以下数学式(I )这样的齐次变换矩阵来表示所计算出的基准容器位置姿势Cr。[0029]数学式I
【权利要求】
1.一种物品取出装置，其特征在于，具备: 三维测定机(11)，其对散装于具有平面状的开口端面(17a)、和与该开口端面连接设置且形成收纳空间的内壁部(17b)的容器(17)的上述收纳空间内的多个物品(20)的表面位置进行测定； 照相机(12)，其拍摄包括上述容器的上述开口端面的区域； 机械手(13)，其具有能够从上述容器内取出物品的手部(15); 图像获取部(14A);其获取由上述照相机拍摄出的上述容器的图像； 图像上检索区域设定部(14B)，其基于由上述图像获取部获得的图像，设定与上述收纳空间对应的图像上的区域亦即图 像上检索区域(AR)； 基准平面设定部(14C)，其设定包括上述容器的上述开口端面的平面亦即基准平面； 检索区域计算部(14D)，其基于预先存储的上述照相机的校准数据，计算出与上述图像上检索区域对应的上述基准平面上的区域亦即检索区域； 投影部(14E)，其将利用上述三维测定机测定出的多个三维点投影于上述基准平面上； 判定部(14F)，其判定由上述投影部投影的多个三维点是否包含在上述检索区域内；位置识别部(14G)，其使用由上述三维测定机测定出的多个三维点中的由上述判定部判定为包含在上述检索区域内的三维点，识别出上述容器内的物品(20)的位置；以及 机械手控制部(14H)，其基于由上述位置识别部识别出的物品的位置来控制上述机械手，使其取出上述物品。
2.根据权利要求1所述的物品取出装置，其特征在于， 上述图像上检索区域设定部，从作为将上述容器设置成基准的位置姿势的基准状态下的上述容器的图像而由上述图像获取部所获取的基准容器图像(18)，确定出表示上述容器的上述开口端面的区域亦即图像上开口端面区域(IG)，并且在该图像上开口端面区域的规定量(S1、S2)内侧设定上述图像上检索区域。
3.根据权利要求2所述的物品取出装置，其特征在于， 上述图像获取部获取上述基准容器图像，并且获取上述容器的位置姿势从上述基准状态变化后的实际状态下的上述容器的图像亦即实际容器图像， 上述图像上检索区域设定部基于上述基准容器图像设定上述图像上检索区域， 上述物品取出装置还具备: 基准位置姿势确定部(141)，其从上述基准容器图像确定出表示图像上的上述容器的位置姿势的图像上基准容器位置姿势； 实际位置姿势确定部(14J)，其从上述实际容器图像确定出表示图像上的上述容器的位置姿势的图像上实际容器位置姿势； 基准位置姿势计算部(14K)，其基于上述照相机的校准数据，计算出与上述图像上基准容器位置姿势对应的实际空间上的上述容器的位置姿势亦即基准容器位置姿势； 实际位置姿势计算部(14L)，其基于上述照相机的校准数据，计算出与上述图像上实际容器位置姿势对应的实际空间上的上述容器的位置姿势亦即实际容器位置姿势；以及区域转换部(14M)，其基于由上述基准位置姿势计算部计算出的基准容器位置姿势和由上述实际位置姿势计算部计算出的上述实际容器位置姿势的差异，将由上述检索区域计算部计算出的上述检索区域转换成转换检索区域(30)， 上述判定部判定由上述投影部投影的多个三维点是否包括在由上述区域转换部转换后的上述转换检索区域内。
4.根据权利要求1所述的物品取出装置，其特征在于， 上述图像获取部获取上述容器设置于基准的位置姿势的基准状态的上述容器的图像亦即基准容器图像(18)，并且获取上述容器的位置姿势从上述基准状态变化后的实际状态下的上述容器的图像亦即实际容器图像， 上述图像上检索区域设定部基于上述基准容器图像设定上述图像上检索区域， 上述物品取出装置还具备: 基准位置姿势确定部(141)，其从上述基准容器图像确定出表示图像上的上述容器的位置姿势的图像上基准容器位置姿势； 实际位置姿势确定部(14J)，其从上述实际容器图像确定出表示图像上的上述容器的位置姿势的图像上实际容器位置姿势； 基准位置姿势计算部(14K)，其基于上述照相机的校准数据，计算出与上述图像上基准容器位置姿势对应的实际空间上的上述容器的位置姿势亦即基准容器位置姿势； 实际位置姿势计算部(14L)，其基于上述照相机的校准数据，计算出与上述图像上实际容器位置姿势对应的实际空间上的上述容器的位置姿势亦即实际容器位置姿势；以及区域转换部(14M)，其基于由上述基准位置姿势计算部计算出的基准容器位置姿势和由上述实际位置姿势计算部计算出的上述实际容器位置姿势的差异，将由上述检索区域计算部计算出的上述检索区域转换成转换检索区域(30)， 上述判定部判定由上述投影部投影的多个三维点是否包括在由上述区域转换部转换后的上述转换检索区域内。
5.根据权利要求1~4中任一项所述的物品取出装置，其特征在于， 还具备投影方向设定部(14N)，其设定由上述投影部进行的上述三维点的投影方向。
6.根据权利要求1~5中任一项所述的物品取出装置，其特征在于， 由上述图像上检索区域设定部设定的上述图像上检索区域是多边形。
7.根据权利要求1~6中任一项所述的物品取出装置，其特征在于， 上述三维测定机具有上 述照相机。
【文档编号】B25J19/02GK103568024SQ201310326121
【公开日】2014年2月12日 申请日期:2013年7月30日 优先权日:2012年7月31日
【发明者】安藤俊之 申请人:发那科株式会社