一种物品自动抓取方法及自动抓取装置与流程

本发明属于机械视觉领域，具体涉及一种物品自动抓取方法及自动抓取装置。

背景技术：

现有技术中在工厂中实现自动化的方案中很多方面都是通过相机或摄像头拍摄图像后通过机械视觉进行识别图像和确定目标的实际位置，在将实际位置的三维坐标输入机器人，有机器人实现自动抓取物品。比如在工厂中对奶粉进行包装的奶粉袋在使用之前是捆扎或包装在外包装袋中，自动化生产时从包装袋生产厂运来的奶粉袋原料倒在运输托盘或输送带上运送到指定区域，通过摄像头拍摄识别后由抓取机器人自动抓取后逐个放置前往下一工序的输送装置，这是因为倒下的奶粉袋原料容易相互堆叠，需要抓取吸机器人将之再次逐个放置到输送装置实现奶粉袋原料的等距离平铺。

然而由于奶粉袋原料本身作为原料包装简易，自身缺乏明显而易于识别的图案色彩，且包装盒奶粉袋都属于柔性产品，堆叠时容易发生形变，并且上层的奶粉袋原料会遮蔽下面的，现有的视觉识别装置难以识别奶粉袋原料的位置。

彩色摄像头无法获得图像中物体的高度信息，即使采用双目匹配法也难以有效保证高度信息的精度，使用的是物体本身的特征点，对表面颜色和纹理特征不明显的物体失效。而奶粉袋原料本身作为原料包装简易，自身缺乏明显而易于识别的图案色彩。而深度摄像头虽具有较好的深度信息检测能力，但其输出的是包含深度信息的三维坐标信息，难以对易变形的奶粉袋原料进行人工标定，因此难以进行神经网络的训练，不能有效识别出最顶部的奶粉袋原料。

不能有效实现对最顶层奶粉袋原料的实际三维位置的准确识别，机器人也就不能完全自动地实现抓取顶层奶粉袋原料的功能，需要工作人员将堆叠后无法识别的奶粉袋分散铺开，大大降低了自动化生产的效率，增大了劳动强度。

技术实现要素：

本发明的目的在于提供一种物品自动抓取方法及自动抓取装置，以解决现有技术中因为奶粉袋原料为柔性货物，易变形，缺乏易于识别图案，堆叠后难以被现有视觉识别系统准确识别出堆叠后位于上层的奶粉袋原料的实际三维坐标，因此难以通过机械手实现对上层奶粉袋原料自动抓取的问题。

所述的一种物品自动抓取方法，奶粉袋原料堆放在一个承载平面上，并设有自动抓取奶粉袋原料的抓取机器人，彩色摄像头和深度摄像头安装在所述承载平面上方，所述自动抓取方法包括如下步骤：

s1、通过彩色摄像头从堆有奶粉袋原料的区域获取图像信息；

s2、将所述图像信息送入进行目标识别的神经网络，神经网络从图像信息中识别出位于最顶部的奶粉袋原料，对最顶部的奶粉袋原料进行标记得到该标记范围中心在图像中的平面坐标(x，y)；

s3、通过所述平面坐标结合已知的彩色摄像头的参数信息能计算出所述标记范围中心以彩色摄像头为中心在承载平面上的透视投影坐标(x，y)，透视投影坐标(x，y)结合彩色摄像头相对所述承载平面的高度h可得到三维向量a(x，y，h)；

s4、通过深度摄像头获取三维向量a(x，y，h)方向上的最顶部的奶粉袋原料到深度摄像头的深度信息，深度信息与三维向量a(x，y，h)结合计算出最顶部的奶粉袋原料的实际三维坐标b(x0,y0h0)；

s5、将实际三维坐标b(x0,y0h0)输入抓取机器人，抓取机器人自动将最顶部的奶粉袋原料抓取。

优选的，所述彩色摄像头安装后需要在承载平面的设定位置放上棋盘格标定板，通过对拍摄图像中棋盘格内角点的标注获得相应图像上的坐标，再结合棋盘格标定板的实际坐标和已知的彩色摄像头的内参数计算彩色摄像头的外参数，实现对彩色摄像头的标定。

优选的，所述神经网络在使用前要在标定彩色摄像头后，通过多种堆叠方式的奶粉袋原料进行拍照形成多个训练样本，对训练样本人工标注出最顶层的奶粉袋原料，并将训练样本输入到目标识别用的神经网络进行识别标注最顶层的奶粉袋原料的训练，直至神经网络的输出结果与人工标注的结果基本一致。

优选的，所述彩色摄像头和所述深度摄像头固定安装在承载平面上方同一高度，两者间的水平距离和位置固定，事先测定所述深度摄像头相对所述彩色摄像头的偏差坐标(a，b)，在所述步骤s4中，在获取深度信息前需要首先根据偏差坐标(a，b)在水平方向上对深度摄像头采集的深度图像信息数据进行修正，令彩色摄像头坐标系与深度摄像头坐标系重合。

本发明还提供了一种物品自动抓取装置，包括所述抓取机器人、输送机构、彩色摄像头和深度摄像头，所述抓取机器人设置与所述输送机构抓取区域的侧边，所述输送机构设有将奶粉袋原料输送到所述抓取区域的移动部件，所述移动部件顶部为所述承载平面，所述输送机构的机架侧面安装有摄像头支架，所述摄像头支架顶部具有悬伸端位于所述抓取区域正上方的摄像头安装板，所述彩色摄像头和所述深度摄像头固定安装在所述摄像头安装板底部，所述彩色摄像头、所述深度摄像头和所述抓取机器人均连接工控机进行数据传输；

所述工控机获取彩色摄像头拍摄的图像信息和所述深度摄像头拍摄的深度图像信息，并根据前述的自动抓取方法，向所述抓取机器人发出抓取指令。

优选的，所述深度摄像头紧挨着所述彩色摄像头且二者均竖直朝下设置。

优选的，所述移动部件为输送带或沿轨道移动的托盘。

优选的，所述抓取机器人为多关节机器人，通过plc连接到所述工控机。

本发明有以下优点：

1、对于彩色摄像头采集的图像，通过训练后的神经网络能有效识别出最顶部的奶粉袋原料，能够自动识别并且识别准确度高，识别位置精确度高。识别出的奶粉袋原料缺少z轴方向的高度信息，通过深度摄像头利用计算出的投影位置的三维向量a(x，y，h)能测得最顶部奶粉袋原料的深度信息，得到其实际三维坐标，该坐标位置精度高。因此本方案既能准确识别最顶端的奶粉袋原料，又能获得其精确度高的三维坐标，从而令抓取机器人能实现自动抓取最顶部的奶粉袋原料，从上至下依次抓取过程不易出错，可靠性高。

2、为了得到摄像头和奶粉袋原料的实际坐标位置，本方法先通过棋盘格标定板对摄像头进行标定，这样能准确计算出奶粉袋原料在承载平面上的透视投影位置。而通过标定后的摄像头采集多幅图片训练神经网络能有效保证识别的准确性和可靠性。

3、为了消除因彩色摄像头与深度摄像头间位置差异而导致的误差，通过事先测定两者间位置的差异坐标，在对采集的深度图像信息处理校正，从而提高实际三维坐标计算的准确度，保证机器人抓取的正确性。

附图说明

图1为本发明的结构示意图；

图2为图1所示结构在另一视角下的结构示意图。

上述附图中的附图标记为：

1、输送机构，2、抓取机器人，3、奶粉袋原料，4、彩色摄像头，5、深度摄像头，6、工控机，7、摄像头支架。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

实施例1：

如图1-2所示，本实施例中本发明提供了一种物品自动抓取方法及自动抓取装置。

其中，奶粉袋原料3堆放在一个承载平面上，并设有自动抓取奶粉袋原料3的抓取机器人2，设有安装在所述承载平面上方的彩色摄像头4和深度摄像头5，所述物品自动抓取方法包括如下步骤：

s1、通过彩色摄像头4从堆有奶粉袋原料3的区域获取图像信息；

s2、将所述图像信息送入进行目标识别的神经网络，神经网络从图像信息中识别出位于最顶部的奶粉袋原料3，对最顶部的奶粉袋原料3进行标记得到该标记范围中心在图像中的平面坐标(x，y)；

s3、通过所述平面坐标结合已知的彩色摄像头4的参数信息能计算出所述标记范围中心以彩色摄像头4为中心在承载平面上的透视投影坐标(x，y)，透视投影坐标(x，y)结合彩色摄像头4相对所述承载平面的高度h可得到三维向量a(x，y，h)；

s4、通过深度摄像头5获取三维向量a(x，y，h)方向上的最顶部的奶粉袋原料3到深度摄像头5的深度信息，深度信息与三维向量a(x，y，h)结合计算出最顶部的奶粉袋原料3的实际三维坐标b(x0,y0h0)；

s5、将实际三维坐标b(x0,y0h0)输入抓取机器人2，抓取机器人2自动将最顶部的奶粉袋原料3抓取。

以本方法进行抓取前，在所述彩色摄像头4固定安装后，需要在承载平面的设定位置放上棋盘格标定板，通过对拍摄图像中棋盘格内角点的标注获得相应图像上的坐标，再结合棋盘格标定板的实际坐标和已知的彩色摄像头4的内参数计算彩色摄像头4的外参数，实现对彩色摄像头4的标定。

所述神经网络在使用前要在标定彩色摄像头4后，通过多种堆叠方式的奶粉袋原料3进行拍照形成多个训练样本，对训练样本人工标注出最顶层的奶粉袋原料3，并将训练样本输入到目标识别用的神经网络进行识别标注最顶层的奶粉袋原料3的训练，直至神经网络的输出结果与人工标注的结果基本一致。

所述彩色摄像头4和所述深度摄像头5固定安装在承载平面上方同一高度，两者间的水平距离和位置固定，事先测定所述深度摄像头5相对所述彩色摄像头4的偏差坐标(a，b)，将其输入工控机6。在所述步骤s4中，在获取深度信息前需要首先根据偏差坐标(a，b)在水平方向上对深度摄像头5采集的深度图像信息数据进行修正，令彩色摄像头4坐标系与深度摄像头5坐标系重合。

本发明还提供了一种物品自动抓取装置，包括所述抓取机器人2、输送机构1、彩色摄像头4和深度摄像头5，所述抓取机器人2设置与所述输送机构1抓取区域的侧边，所述输送机构1设有将奶粉袋原料3输送到所述抓取区域的移动部件，所述移动部件顶部为所述承载平面，所述输送机构1的机架侧面安装有摄像头支架7，所述摄像头支架7顶部具有悬伸端位于所述抓取区域正上方的摄像头安装板，所述彩色摄像头4和所述深度摄像头5固定安装在所述摄像头安装板底部，所述彩色摄像头4、所述深度摄像头5和所述抓取机器人2均连接工控机6进行数据传输。所述深度摄像头5紧挨着所述彩色摄像头4且二者均竖直朝下设置。

所述工控机6获取彩色摄像头4拍摄的图像信息和所述深度摄像头5拍摄的深度图像信息，并根据上述自动抓取方法实现对最顶部奶粉袋原料3的准确识别和对最顶部奶粉袋原料3的三维坐标的精确定位，向所述抓取机器人2发出包含三维坐标的抓取指令，让抓取机器人2能准确抓取最顶部的奶粉袋原料3。

所述移动部件为输送带或沿轨道移动的托盘。所述抓取机器人2为多关节机器人，通过plc连接到所述工控机6。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。