一种机械手抓取无序堆放鞋底的设备的制作方法

本发明涉及自动化生产领域，具体公开一种机械手抓取无序堆放鞋底的设备。

背景技术：

1、现有的鞋底在生产流水传送带上流经大多是人工捡取的，包括鞋底分类和供料等环节，由于人工操作存在劳动强度大，效益相对低的问题。鞋底注塑成形后，需要有序摆放在流水传送带上，以进行涂胶等生产工序的流水作业，鞋底摆放在流水传送带的姿态需要区分鞋底正反面，如果鞋底反面朝上就妨碍了生产，需要手动再进行翻转，费时费力。对于捡拾鞋底的工人来说，长期从周转箱内拿出箱底要求正面放到流水传送带上很是辛苦。鉴于以上的需求，设计一种利用机械手配合3d相机进行无序抓取并且使用2d视觉检测鞋底正反面的设备及相关方法步骤，起到机器换人的目的。

技术实现思路

1、本发明的目的就是针对上述制鞋中需要人工捡取鞋底存在的劳动强度大，效益低的问题，特推出一种机械手抓取无序堆放鞋底的设备，其特征在于，包括有抓取工作台、视觉检测工作台、传送带和翻转机构，所述抓取工作台位于视觉检测工作台和传送带的侧边，抓取工作台上固定有3d相机和机械手，所述3d相机对周转箱内的众鞋底进行拍照，获取众鞋底三维点云信息，对采集的点云图进行处理，保存为三维模板；鞋底面朝上作为鞋底面朝上模板，鞋底正面朝上作为鞋底正面朝上模板，为鞋底模板；三维模板匹配算法获取待抓取的目标鞋底相对鞋底模板的位姿关系，将计算得到的待抓取鞋底的位姿信息发送给机械手；机械手抓取周转箱内无序堆放的鞋底放置到传送带上，传送带承接抓取工作台抓取的鞋底，视觉检测工作台设置在传送带的上方，翻转机构安装并横跨在传送带上，视觉检测工作台安装有2d相机，如果2d相机拍摄的是正面鞋底则传送带正常传输鞋底流过翻转机构，如果2d相机拍摄的鞋底面朝上则翻转机构将鞋底进行翻转。

2、进一步地，还包括有第一红外传感器和第二红外传感器，第一红外传感器和第二红外传感器设置在传送带上，第一红外传感器设置在视觉检测工作台前方，第一红外传感器检测到鞋底后通知视觉检测工作台启动拍照检测；第二红外传感器设置在翻转机构前方，当视觉检测工作台检测到鞋底朝上后通知翻转机构启动翻转动作，所述的视觉检测工作台通过模板匹配算法判断鞋底的正鞋底面。

3、进一步地，所述的翻转机构包括：旋转气缸、手指气缸和固定支架，固定支架固定在传送带的两侧边，旋转气缸固定在固定支架上，手指气缸固定在旋转气缸的旋转轴上，手指气缸由旋转气缸带动下可作翻转动作，当流经的是鞋底面朝上的鞋底需要翻转时，手指气缸夹住鞋底，由旋转气缸带动手指气缸作出180度翻转，翻转后的手指气缸松开鞋底。

4、进一步地，所述的三维模板是将需要抓取的同一种型号，同一种尺码的左脚或者右脚鞋底在3d相机下成像作为三维模板。

5、进一步地，在待抓取鞋底点云信息预处理中，对待抓取的鞋底拍摄的点云图进行姿态变换使其与机械手坐标系对齐，通过直通滤波提取点云信息的roi(即感兴趣区域)，通过点云聚类分割，得到多个实例，通过实例的点云数量筛选出和鞋底的点云数量接近的实例，将实例保存为.ply格式的文件。

6、进一步地，在所述众鞋底三维点云信息预处理中，对待抓取的鞋底面拍摄的点云图进行姿态变换使其与机械手坐标系对齐，通过直通滤波提取点云信息的roi，通过点云聚类分割，得到多个实例，通过实例的点云数量筛选出和鞋底的点云数量接近的实例。

7、进一步地，在获取的待抓取鞋底面点云信息和三维模板提取表面法线特征，这些特征能够描绘点云中的形状和几何结构，比较待匹配的场景点云数据和三维模板点云数据之间的特征相似性；找到最佳的特征匹配对后，使用这些匹配对来估计物体在场景中的位姿，即物体的平移和旋转变换；评估匹配的准确性，计算三维模板的特征点在相应的场景中有对应点的点数量和三维模板特征点的总点数之间的比值。

8、进一步地，所述视觉检测工作台包括有：2d相机、光源、上位机和相机支架，2d相机和光源固定在相机支架的上方，上位机嵌入到相机支架内，相机支架固定在传送带的侧边。

9、进一步地，在所述翻转机构中匹配模板制作：将鞋底正面朝上置于视觉检测工作台的2d相机的正下方，拍摄鞋底使其成像，使用该鞋底图像注册为匹配模板。

10、进一步地，当多个鞋底在传送带流经，第一红外传感器感应到鞋底通过，立即通知上位机拍照，由pmaligntool算子根据上一步设置的匹配模板对抓拍的图像进行模板匹配，通过对匹配得到的目标分数判断鞋底的正反情况，若分数较高则不给翻转机构发送信号，若无结果则通知翻转机构将鞋底翻转后再放回传送带上。

11、相对于现有技术，本申请的有益效果是：本申请的方案利用3d相机对鞋底进行三维模板和鞋底模板的制作，通过对各模板之间的识别将鞋底的位姿传到机械手，机械手再将周转箱内的无序堆放的鞋底抓取到传送带线上，经过2d相机对流经传送带鞋底的识别，对出鞋底面朝上的鞋底通过翻转机构将鞋底进行翻转，应用点云等多种信息处理技术，实现鞋底的自动抓取和自动翻转，提高了生产效率，具有较高的推广使用价值。

技术特征：

1.一种机械手抓取无序堆放鞋底的设备，其特征在于，包括有抓取工作台、视觉检测工作台、传送带和翻转机构，所述抓取工作台位于视觉检测工作台和传送带的侧边，抓取工作台上固定有3d相机和机械手，所述3d相机对周转箱内的众鞋底进行拍照，获取众鞋底三维点云信息，对采集的点云图进行处理，保存为三维模板；鞋底面朝上作为鞋底面朝上模板，鞋底正面朝上作为鞋底正面朝上模板，为鞋底模板；三维模板匹配算法获取待抓取的目标鞋底相对鞋底模板的位姿关系，将计算得到的待抓取鞋底的位姿信息发送给机械手；机械手抓取周转箱内无序堆放的鞋底放置到传送带上，传送带承接抓取工作台抓取的鞋底，视觉检测工作台设置在传送带的上方，翻转机构安装并横跨在传送带上，视觉检测工作台安装有2d相机，如果2d相机拍摄的是正面鞋底则传送带正常传输鞋底流过翻转机构，如果2d相机拍摄的鞋底面朝上则翻转机构将鞋底进行翻转。

2.根据权利要求1所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，还包括有第一红外传感器和第二红外传感器，第一红外传感器和第二红外传感器设置在传送带上，第一红外传感器设置在视觉检测工作台前方，第一红外传感器检测到鞋底后通知视觉检测工作台启动拍照检测；第二红外传感器设置在翻转机构前方，当视觉检测工作台检测到鞋底朝上后通知翻转机构启动翻转动作，所述的视觉检测工作台通过模板匹配算法判断鞋底的正鞋底面。

3.根据权利要求1或2所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，所述的翻转机构包括：旋转气缸、手指气缸和固定支架，固定支架固定在传送带的两侧边，旋转气缸固定在固定支架上，手指气缸固定在旋转气缸的旋转轴上，手指气缸由旋转气缸带动下可作翻转动作，当流经的是鞋底面朝上的鞋底需要翻转时，手指气缸夹住鞋底，由旋转气缸带动手指气缸作出180度翻转，翻转后的手指气缸松开鞋底。

4.根据权利要求1所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，所述的三维模板是将需要抓取的同一种型号，同一种尺码的左脚或者右脚鞋底在3d相机下成像作为三维模板。

5.根据权利要求1所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，在待抓取鞋底点云信息预处理中，对待抓取的鞋底拍摄的点云图进行姿态变换使其与机械手坐标系对齐，通过直通滤波提取点云信息的roi(即感兴趣区域)，通过点云聚类分割，得到多个实例，通过实例的点云数量筛选出和鞋底的点云数量接近的实例，将实例保存为.ply格式的文件。

6.根据权利要求1所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，在所述众鞋底三维点云信息预处理中，对待抓取的鞋底面拍摄的点云图进行姿态变换使其与机械手坐标系对齐，通过直通滤波提取点云信息的roi，通过点云聚类分割，得到多个实例，通过实例的点云数量筛选出和鞋底的点云数量接近的实例。

7.根据权利要求6所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，在获取的待抓取鞋底面点云信息和三维模板提取表面法线特征，这些特征能够描绘点云中的形状和几何结构，比较待匹配的场景点云数据和三维模板点云数据之间的特征相似性；找到最佳的特征匹配对后，使用这些匹配对来估计物体在场景中的位姿，即物体的平移和旋转变换；评估匹配的准确性，计算三维模板的特征点在相应的场景中有对应点的点数量和三维模板特征点的总点数之间的比值。

8.根据权利要求1所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，所述视觉检测工作台包括有：2d相机、光源、上位机和相机支架，2d相机和光源固定在相机支架的上方，上位机嵌入到相机支架内，相机支架固定在传送带的侧边。

9.根据权利要求1或3所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，在所述翻转机构中匹配模板制作：将鞋底正面朝上置于视觉检测工作台的2d相机的正下方，拍摄鞋底使其成像，使用该鞋底图像注册为匹配模板。

10.根据权利要求9所述的一种机械手抓取无序堆放鞋底的设备，其特征在于，当多个鞋底在传送带流经，第一红外传感器感应到鞋底通过，立即通知上位机拍照，由pmaligntool算子根据上一步设置的匹配模板对抓拍的图像进行模板匹配，通过对匹配得到的目标分数判断鞋底的正反情况，若分数较高则不给翻转机构发送信号，若无结果则通知翻转机构将鞋底翻转后再放回传送带上。

技术总结
本发明涉及自动化生产领域，具体公开一种机械手抓取无序堆放鞋底的设备，本案利用3D相机对鞋底进行三维模板和鞋底模板的制作，通过对各模板之间的识别将鞋底的位姿传到机械手，机械手再将周转箱内的无序堆放的鞋底抓取到传送带上，经过2D相机对流经传送带鞋底的识别，对鞋底面朝上的鞋底通过翻转机构将鞋底进行翻转，并运用应用点云等多种信息处理技术，本申请的设备实现了鞋底的自动抓取和自动翻转，提高制鞋的生产效率，具有较高的推广使用价值。

技术研发人员：姜军,刘世贤,潘玲平,林高宏,姜爱俊
受保护的技术使用者：琦星智能科技股份有限公司
技术研发日：
技术公布日：2024/1/16