度信息取得部141B以及判定部141Co
[0087]另外，在上述实施方式中，运算从第一三维点31起在预定距离内的近旁三维点310作为第二三维点31 (步骤S30C)，但若选择相互在近旁的第一三维点31和第二三维点31，则三维点选择部141A的结构可以采用任何形式。
[0088]在上述实施方式中，取得局部图像区域中的图像的明暗变化量信息作为图像梯度信息(步骤S30H)，但若表示物品20的表面的梯度状态，则图像梯度信息可以采用任何形式，梯度信息取得部141B的结构并不局限于上述的结构。在上述实施方式中，通过判定局部图像区域内的图像的明暗变化量是否在预定值以下(步骤S30I)，来判定第一三维点31和第二三维点31是否在相同物品上，但若根据第一三维点31和第二三维点31的三维位置信息以及由梯度信息取得部141B取得的图像梯度信息，来判定第一三维点31和第二三维点31是否在相同物品上，则判定部141C的结构并不局限于上述的结构。即，若根据由三维测定机11取得的三维点的三维位置信息以及由照相机12取得的图像数据，从由三维测定机11取得的多个三维点31中求出连接相互在近旁的三维点31而构成的连接集合32，则连接集合运算部141的结构也可以采用任何形式。
[0089]在上述实施方式中，根据属于连接集合32的三维点31的位置信息，运算代表连接集合32的代表位置姿势33 (步骤S3)，但若确定通过连接集合32表示的物品20的位置以及姿势，则物品确定部142的结构并不局限于上述的结构。在此，代表连接集合32的位置以及姿势是代表物品20的位置以及姿势，确定物品20的位置以及姿势表示求出代表物品的位置以及姿势来确定物品20的配置。在上述实施方式中，根据代表位置姿势33运算机械手位置姿势34 (步骤S4)，但若求出可取出被确定的物品20的机械手位置姿势34作为代表位置姿势33，则机械手位置姿势运算部143结构并不局限于上述的结构。当对机器人13进行控制以便向机械手位置姿势34移动机械手14来取出物品20时，机器人控制部144的结构也可以采用任何形式。
[0090]能够任意地组合上述实施方式与变形例的一个或多个。
[0091]根据本发明，当识别放置在三维空间中的物品的位置以及姿势时，根据由照相机取得的图像数据取得图像梯度信息，使用通过三维测定机测定出的三维点的三维位置信息以及图像梯度信息求出多个三维点的连接集合，使用连接集合确定物品的位置以及姿势。因此，不需要生成物品模型模式，并且也不需要用户的指示作业，就能够容易地识别物品的位置以及姿势。
[0092]以上，关联恰当的实施方式对本发明进行了说明，但本领域的技术人员理解在不脱离权利要求的公开范围的情况下能够进行各种修正以及变更。
【主权项】
1.一种物品取出装置，其特征在于，具备: 机器人(13)，其具有可保持物品(20)的机械手(15); 三维测定机(11)，其测定放置在三维空间中的多个物品的表面位置，取得多个三维点(31)的位置信息； 照相机(12)，其拍摄包括所述多个物品的区域，取得图像数据； 连接集合运算部(141)，其根据由所述三维测定机取得的多个三维点的位置信息以及由所述照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合(32)； 物品确定部(142)，其根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势； 机械手位置姿势运算部(143)，其求出可取出由所述物品确定部确定的物品的所述机械手的位置以及姿势即机械手位置姿势(34);以及 机器人控制部(144)，其对所述机器人进行控制，以便向由所述机械手位置姿势运算部求出的机械手位置姿势移动所述机械手来取出所述物品， 所述连接集合运算部具有: 三维点选择部(141A)，其从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点(31)和第二三维点(31)； 梯度信息取得部(141B)，其根据由所述照相机取得的图像数据，取得包含分别与所述第一三维点以及所述第二三维点对应的图像上的点的部分图像区域中的、表示物品表面的梯度状态的图像梯度信息；以及 判定部(141C)，其根据所述第一三维点的位置信息、所述第二三维点的位置信息以及由所述梯度信息取得部取得的所述图像梯度信息，判定所述第一三维点和所述第二三维点是否在相同物品上， 当通过所述判定部判定为所述第一三维点和所述第二三维点在相同物品上时，将所述第一三维点和所述第二三维点包括在相同的连接集合中。
2.根据权利要求1所述的物品取出装置，其特征在于， 所述梯度信息取得部取得分别与所述第一三维点以及所述第二三维点对应的图像中的点，即用于确定所述部分图像区域的第一二维点(51)以及第二二维点(51)， 当所述第一三维点与所述第二三维点之间的距离在预定值以下，并且所述部分图像区域中的图像的明暗变化量在预定值以下时，所述判定部判定为所述第一三维点与所述第二三维点在相同物品上。
3.根据权利要求2所述的物品取出装置，其特征在于， 所述梯度信息取得部根据所述照相机的校准数据，取得所述第一二维点以及所述第二二维点。
4.根据权利要求1?3中的任一项所述的物品取出装置，其特征在于， 所述物品确定部根据属于所述连接集合的三维点的位置信息，求出代表所述连接集合的位置以及姿势即代表位置姿势(33)， 所述机械手位置姿势运算部根据该代表位置姿势求出所述机械手位置姿势。
5.根据权利要求4所述的物品取出装置，其特征在于， 所述物品确定部将属于所述连接集合的所有的三维点的重心位置与在该重心位置处的预定姿势进行组合，求出所述代表位置姿势。
6.根据权利要求4所述的物品取出装置，其特征在于， 所述物品确定部将包括属于所述连接集合的所有三维点的外接长方形的中心位置与预定的姿势进行组合，求出所述代表位置姿势。
7.根据权利要求1?6中的任一项所述的物品取出装置，其特征在于， 所述三维测定机具有所述照相机。
8.—种物品取出方法，其使用具有可保持物品(20)的机械手(15)的机器人(13)，取出放置在三维空间中的物品，其特征在于， 通过三维测定机(11)测定放置在所述三维空间中的多个物品的表面位置，取得多个三维点(31)的位置信息； 通过照相机(12)拍摄包括所述多个物品的区域来取得图像数据； 根据由所述三维测定机取得的多个三维点(31)的位置信息以及由所述照相机取得的图像数据，从该多个三维点中求出连接相互在近旁的三维点而构成的连接集合(32); 根据属于所述连接集合的三维点的位置信息，确定物品的位置以及姿势； 求出可取出所述位置以及姿势被确定的物品的所述机械手的位置以及姿势即机械手位置姿势(34); 对所述机器人进行控制，以便向所述机械手位置姿势移动所述机械手来取出所述物品; 当求出所述连接集合时， 从由所述三维测定机取得的多个三维点中选择相互在近旁的第一三维点(31)和第二三维点(31)； 根据由所述照相机取得的图像数据，取得包含分别与所述第一三维点以及所述第二三维点对应的图像上的点的部分图像区域中的、表示物品的表面的梯度状态的图像梯度信息; 根据所述第一三维点的位置信息、所述第二三维点的位置信息以及所述图像梯度信息，判定所述第一三维点和所述第二三维点是否在相同物品上， 当判定为所述第一三维点和所述第二三维点在相同物品上时，将所述第一三维点和所述第二三维点包括在相同的连接集合中。
【专利摘要】本发明提供一种通过机器人取出放置在三维空间中的物品的装置及方法。物品取出装置被构成为：根据由三维测定机取得的多个三维点的位置信息以及由照相机取得的图像数据，从多个三维点中选择相互在近旁的第一以及第二三维点，根据这些三维点的位置信息和图像数据，取得包含与三维点对应的图像上的点的部分图像区域中的图像梯度信息，根据三维点的位置信息和图像梯度信息判定第一以及第二三维点是否在相同物品上，当判定为在相同物品上时，使相同连接集合包括第一以及第二三维点。
【IPC分类】B25J19-00
【公开号】CN104608150
【申请号】CN201410613920
【发明人】安藤俊之
【申请人】发那科株式会社
【公开日】2015年5月13日
【申请日】2014年11月4日
【公告号】DE102014016069A1, US20150124056