通过机器人取出放置在三维空间中的物品的装置及方法
【技术领域】
[0001]本发明涉及一种识别放置在三维空间中的物品的位置以及姿势，使用机器人取出所识别的物品的物品取出装置以及物品取出方法。
【背景技术】
[0002]作为该类型的装置，当前已知的有:针对通过照相机拍摄放置在三位空间中的物品而得到的二维图像或通过三位测定机进行测定而得到的三维点集合，使用图案匹配识别物品的位置的装置。例如在日本特开2004-295223号公报(JP2004-295223A)以及日本特开2011-179909号公报(JP2011-179909A)中记载了这样的装置。此外，已知的还有:使用通过照相机拍摄放置在三位空间中的物品而得到的图像数据，提取图像中的物品的装置。例如，在日本特开2010-039999号公报(JP2010-039999A)中记载了该装置。
[0003]在JP2004-295223A所记载的装置中，根据预先拍摄处于基准三维相对姿势的物品而得到的二维图像来生成二维模型模式，对二维模型模式实施二维几何学转换来生成多个转换二维模型模式，使用多个转换二维模型模式针对物品的二维图像进行二维模式匹配。
[0004]在JP2011-179909A所记载的装置中，事先根据CAD模型等取得物品的三维模型模式，另一方面通过三维测定机测定三维空间中的物品的表面来取得三维点集合(距离图像)，在由从三维点集合提取的边缘包围的部分区域分割三维点集合。然后，最初设定部分区域的一个作为物品区域，通过反复进行针对该物品区域的三维模型模式的匹配处理和将其他部分区域追加为物品区域的更新处理的两个处理，测量物品位置以及姿势。
[0005]在JP2010-039999A所记载的装置中，通过照相机的拍摄动作取得包含物品的区域的彩色图像和距离图像，并在显示部显示取得的图像。当用户指示将该显示图像中的物品的一部分作为前景区域进行时，根据彩色图像的颜色信息和从距离图像得到的距离信息，设定物品以外的区域作为背景区域，提取图像中的物品。
[0006]然而，JP2004-295223A以及JP2011-179909A所记载的装置需要预先生成每个物品-品种的二维模型模式或三维模型模式，因此需要工夫。尤其，当物品为多品种时，需要生成与品种数量对应的模型模式，因此需要较多的工夫。
[0007]此外，JP2010-039999A所记载的装置为了提取图像中的物品需要用户的指示作业，因此需要工夫。尤其，当物品为多品种时，需要与品种数量对应的指示作业，因此需要较多的工夫。
【发明内容】
[0008]作为本发明的一个方式的物品取出装置，具备:机器人，其具有可保持物品的机械手；三维测定机，其测定放置在三维空间中的多个物品的表面位置，取得多个三维点的位置信息；照相机，其拍摄包括多个物品的区域，取得图像数据；连接集合运算部，其根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从多个三维点中求出连接相互在近旁的三维点而构成的连接集合；物品确定部，其根据属于连接集合的三维点的位置信息，确定物品的位置以及姿势；机械手位置姿势运算部，其求出可取出由物品确定部确定的物品的机械手的位置以及姿势即机械手位置姿势；以及机器人控制部，其对机器人进行控制，以便向由机械手位置姿势运算部求出的机械手位置姿势移动机械手来取出物品。连接集合运算部具有:三维点选择部，其从由三维测定机取得的多个三维点中选择相互在近旁的第一三维点和第二三维点；梯度信息取得部，其根据由照相机取得的图像数据，取得包含分别与第一三维点以所述第二三维点对应的图像上的点的部分图像区域中的、表示物品表面的梯度状态的图像梯度信息；以及判定部，其根据第一三维点的位置信息、第二三维点的位置信息以及由梯度信息取得部取得的图像梯度信息，判定第一三维点和第二三维点是否在相同物品上，当通过判定部判定为第一三维点和第二三维点在相同物品上时，将第一三维点和第二三维点包括在相同的连接集合中。
[0009]此外，本发明的其他方式是使用具有可保持物品的机械手的机器人，取出放置在三维空间中的物品的物品取出方法，通过三维测定机测定放置在所述三维空间中的多个物品的表面位置，取得多个三维点的位置信息；通过照相机拍摄包括多个物品的区域来取得图像数据，根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合；根据属于连接集合的三维点的位置信息，确定物品的位置以及姿势；求出可取出位置以及姿势被确定的物品的机械手的位置以及姿势即机械手位置姿势；对机器人进行控制，以便向机械手位置姿势移动机械手来取出物品。当求出连接集合时，从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点和第二三维点，根据由照相机取得的图像数据，取得包含分别与第一三维点以及第二三维点对应的图像上的点的部分图像区域中的、表示物品的表面的梯度状态的图像梯度信息，根据第一三维点的位置信息、第二三维点的位置信息以及图像梯度信息，判定第一三维点和第二三维点是否在相同物品上，当判定为第一三维点和第二三维点在相同物品上时，将第一三维点和第二三维点包括在相同的连接集合中。
【附图说明】
[0010]通过与附图关联的以下的实施方式的说明，使本发明的目的、特征以及优点更加明确。在附图中，
[0011]图1是表示本发明的一实施方式的物品取出装置的概要结构的图。
[0012]图2是表示在图1的机器人控制装置中执行的处理的一例的流程图。
[0013]图3是表示通过图1的三维测定机取得的三维点集合的一例的图。
[0014]图4是表示通过图1的照相机拍摄的图像的一例的图。
[0015]图5是表示从图3的三维点集合求出的连接集合的一例的图。
[0016]图6是说明连接集合的概念图。
[0017]图7是表示基于属于图6的各连接集合的三维点的位置的代表位置姿势的一例的图。
[0018]图8是表示与图7的代表位置姿势对应的机械手位置姿势的一例的图。
[0019]图9是表不图8的机械手位置姿势的编号的一例的图。
[0020]图10是表示本发明的实施方式的物品取出装置的动作的一例的图。
[0021]图11是表示继续图10的动作的动作的一例的图。
[0022]图12是表示求出图2的连接集合的处理的细节的流程图。
[0023]图13是表示图12的近旁判定处理的细节的流程图。
[0024]图14是表示在物品的表面上测定出的三维点的一例的图。
[0025]图15是表示与图14的三维点对应的图像上的二维点的一例的图。
[0026]图16是表示与图14的三维点对应的图像上的二维点的其他例的图。
[0027]图17是表示图1的机器人控制装置的内部结构的框图。
【具体实施方式】
[0028]以下，参照图1?图17对本发明的实施方式的物品取出装置进行说明。图1是表示本发明的一实施方式的物品取出装置10的概要结构的图。物品取出装置10具有:三维测定机11、照相机12、机器人13以及与三维测定机11和机器人13连接来控制机器人13的机器人控制装置14。机器人13具有安装在臂13a的前端部的机械手15。在机器人13的侧方配置有托盘16。另外，在图1中，一起示出了 XYZ的正交三轴坐标系统。Z方向是铅垂方向、X方向以及Y方向是水平方向。
[0029]在托盘16上配置多个物品20。本实施方式的物品取出装置10从配置了该多个物品20的状态识别应当取出的物品20的位置以及姿势，通过机械手15取出并保持被识别出的物品20，通过机器人13的动作向预定位置搬送。在图1中，将多个物品20表示成相互相同形状，但也可以包括不同形状的多个品种。另外，以下有时为了与托盘16上的其他物品相区别而以不同的符号21表示通过机械手15保持的物品20 (参照图11)。
[0030]三维测定机11被配置在托盘16的中央部上方，测定被放置在托盘16上的物品20中的露出的物品20的表面，来取得多个三维点的位置信息(三维信息)。三维测定机11的测定范围需要包括托盘16，但测定范围过大时会导致测定分辨率的下降。因此，优选测定范围与托盘16的占据范围等同，例如使测定范围与托盘16的占据范围一致。另外，在图1中，将三维测定机11固定在专用的支架