不定形体位置推定方法、不定形体位置推定装置以及程序的制作方法

不定形体位置推定方法、不定形体位置推定装置以及程序的制作方法
【技术领域】
[0001] 本发明涉及不定形体位置推定方法、不定形体位置推定装置以及程序，特别是涉 及对多个不定形体的重叠的上下进行推定的不定形体位置推定方法等。
【背景技术】
[0002] 近年，进行了使用了机械手的箱柜拾取(bin picking)系统的开发。箱柜拾取是指 从随意层叠的多个物体之中依次把持物体，并将其搬运至特定的场所。在箱柜拾取中，希望 把持对象物的重心位置的附近，因此对象物的重心位置信息是重要的。
[0003] 在箱体内存在、散装有多个对象物的状态下进行重心位置推定。这些对象物因搬 运中的振动、冲击等而在箱体内偏斜、重叠。在如此产生偏斜、重叠的情况下，需要分别进行 对应的处理。特别是在对象物彼此重叠而产生遮蔽的情况下，难以进行拾起对象的检测。
[0004] 以往，利用几何形状的特征等来推定作为刚体的检测对象物的重心位置。另外，在 非专利文献1中记载有如下内容:针对不定形工件，利用三维图像识别来取得位置信息。
[0005] 非专利文献1 :Apllied Vision Systems Corporation，"实时三维图像处理散装 不定形工件拾取系统"，[在线]，互联网<URL=〃http://avsc. jp/images/pdf/Picking-system.pdf〃>
[0006] 然而，例如在将像收纳食品、小物件的局部透明的柔软袋状工件那样整体形状容 易产生变化、表面为不定形的曲面的不定形体作为对象的情况下，由于与刚体不同，其形状 会产生变化，所以无法利用几何形状等。因此，以刚体为对象的方法无法应用于不定形体。
[0007] 另外，非专利文献1所记载的方法利用三维图像识别处理。因此，例如将米袋那样 的具有大的平面的不定形工件作为对象，通过进行平面的检测从而求出把持位置。不定形 体的整体形状容易产生变形，并且表面通常为不定形的曲面。因此，非专利文献1所记载的 方法是将局部具有平面的不定形工件作为对象的方法，难以应用于整体容易变形的通常的 不定形体。

【发明内容】

[0008] 由此，本发明的目的在于提供一种能够高精度地对整体形状容易变形的不定形体 的重叠的上下关系进行推定的不定形体位置推定方法等。
[0009] 本申请发明的第一方面是对多个不定形体的重叠的上下进行推定的不定形体位 置推定方法，包括:测定步骤，距离测定单元对存在所述多个不定形体的区域测定距离；阈 值设定步骤，阈值设定单元设定用于对所述距离测定单元所测定的区域中产生了所述多个 不定形体的重叠的区域与没有产生重叠的区域进行区别的阈值；以及上下推定步骤，上下 推定单元使用所述距离测定单元测定出的与所述多个不定形体的距离，根据对比所述阈值 高的部分和/或比所述阈值低的部分进行评价的评价指标来进行所述多个不定形体的重叠 的上下推定。
[0010] 本申请发明的第二方面是第一方面的不定形体位置推定方法，包括重叠模式推定 步骤，重叠模式推定单元对所述距离测定单元所测定的区域，根据对象物区域的外形来得 到对象物候补，在所述上下推定步骤中，若存在多个对象物候补，则所述上下推定单元对所 述各对象物候补，使用在位于上方的情况下成为高评价的评价指标，选择成为最高评价的 所述对象物候补作为位于重叠的上方的对象物。
[0011]本申请发明的第三方面是第二方面的不定形体位置推定方法，所述上下推定单元 使用的评价指标包括所述对象物候补的比所述阈值低的区域的面积、所述对象物候补的体 积、所述对象物候补的区域内的梯度、所述对象物候补的边吻合度以及所述对象物候补的 角吻合度中的至少一个。
[0012] 本申请发明的第四方面是一种对多个不定形体的重叠的上下进行推定的不定形 体位置推定装置，具备:距离测定单元，其对存在所述多个不定形体的区域测定距离；阈值 设定单元，其设定用于对所述距离测定单元所测定的区域中产生了所述多个不定形体的重 叠的区域与没有产生重叠的区域进行区别的阈值；以及上下推定单元，其使用所述距离测 定单元测定出的与所述多个不定形体的距离，根据对比所述阈值高的部分和/或比所述阈 值低的部分进行评价的评价指标来进行所述多个不定形体的重叠的上下推定。
[0013] 本申请发明的第五方面是一种程序，用于使计算机作为阈值设定单元与上下推定 单元发挥功能，所述阈值设定单元设定用于对由距离测定单元测定了距离的存在多个不定 形体的区域中的、产生了所述多个不定形体的重叠的区域与没有产生重叠的区域进行区别 的阈值，所述上下推定单元使用所述距离测定单元测定出的与所述多个不定形体的距离， 根据对比所述阈值高的部分和/或比所述阈值低的部分进行评价的评价指标来进行所述多 个不定形体的重叠的上下推定。
[0014] 此外，也可以将本申请发明理解为稳定记录第五方面的可供计算机读取的记录介 质。
[0015] 另外，距离测定单元可以是测定该距离测定单元与多个不定形体的距离的单元， 也可以构成为，不定形体存在于地面上，距离测定单元测定不定形体距地面的距离。
[0016] 根据本申请发明的各方面，通过主要利用距离信息，即使是透明的部分也能够高 精度地进行推定，并且，通过设定阈值来区别产生了重叠部分的地方与没有产生重叠部分 的地方，并利用高地方与低地方的关系来推定上下关系，从而能够对重叠的部分与不重叠 的部分进行评价来高精度地推定上下关系。
[0017] 进而，根据本申请发明的第二方面，通过使用模板匹配(template matching)来得 到对象物候补，使用它并使用多个评价指标来推定上下关系，从而能够高精度地对上侧对 象物进行位置检测。进而，根据本申请发明的第三方面，通过将多个评价指数具体地组合在 一起，能够实现高精度的位置检测率。根据发明人的实验，在模板匹配成功了的情况下，上 侧对象物的位置检测率为100 %。
【附图说明】
[0018] 图1是表示本申请发明的实施例所涉及的箱柜拾取系统的结构的一例的框图。
[0019] 图2是表示图1的信息处理装置5的动作的一例的流程图。
[0020] 图3是用于说明图2的步骤ST7的阈值h。的设定处理的具体例的图。
[0021] 图4是表示图2的步骤ST8的重叠模式的推定处理的一例的流程图。
[0022]图5是用于说明图4的重叠模式的推定处理的具体例的图。
[0023]图6是说明图6(a)刚体与图6(b)柔软体的投影下的面积的不同的图。
[0024] 图7表示柔软体中的具体的一例，图7(a)示出体积，图7(b)示出梯度，图7(c)示出 边吻合度。
[0025] 图8针对实际得到的图8(a)颜色图像与图8(b)距离图像，示出图8(c)面积、图8(d) 体积、图8(e)梯度、图8(f)边吻合度、图8(g)角吻合度。
[0026] 图9是表示作为评价指标1的低区域的面积计算处理的一例的流程图。
[0027]图10是表示作为评价指标2的体积计算处理的一例的流程图。
[0028] 图11是表示作为评价指标3的梯度值计算处理的一例的流程图。
[0029] 图12是表示作为评价指标4的边吻合度计算处理的一例的流程图。
[0030] 图13是表示从对象物抽出的角的图。
[0031]图14是表示角抽出处理的一例的流程图。
[0032]图15是表示作为评价指标5的角吻合度计算处理的一例的流程图。
[0033]图16是表示重叠的上下推定实验的处理经过的图。
[0034]图17是表示在上下推定实验中准备的30个数据中的、向上侧对象物的中心附近输 出了目标卡爪位置的27个数据的图。