一种基于视觉检测的工件自动化抓取方法

本发明属于机器人自主抓取，具体涉及一种基于视觉检测的工件自动化抓取方法。

背景技术：

1、随着国民经济的迅猛发展和工业4.0的到来，越来越多的智能工厂井喷式的出现。机械臂自主抓取工件也成为了智能工厂的重要组成部分。早期工厂人力的作业方式得到了革命性的进展，机械化、自动化和智能化已经成为当下工业制造的主流。

2、虽然抓取与放置物体对人类来说非常容易，但稳固的抓取任意物体对机器人来说仍然是一个巨大的挑战。解决这个问题将加快机器人技术在工业制造中的应用，如部件组装、装箱和排序。作为机器人实现交互的开始，清楚抓取对象以及如何抓取是至关重要的。因此，机器人对目标对象进行准确、多样化的检测，可以实现更好的抓取路径规划，提高机器人完成任务的可能。

3、现有技术中存在人工操作工件或传统视觉检测算法识别工件时精确度差和抓取成功率低，且很难应用于非结构化的环境中的问题。

技术实现思路

1、本发明的目的在于克服传统技术中存在的上述问题，提供一种基于视觉检测的工件自动化抓取方法，通过相机获取待抓取的目标工件的rgb-d图像，将rgb图像输入到改进的yolov7-tiny的深度学习模型中，对目标工件进行定位，并将rgb-d图像输入到gr-convnet全卷积神经网络模型中，获取待抓取工件的最佳抓取姿态，然后将姿态信息反馈给机械臂，机械臂经过逆运动学求解后来进行抓取操作。提高检测工件的精确度和机械臂抓取成功率，并且还较容易的应用于许多非结构化抓取场景。

2、为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

3、本发明提供一种基于视觉检测的工件自动化抓取方法，通过相机拍摄待抓取工件的rgb-d图像，将rgb图像输入到改进的yolov7-tiny的深度学习模型中，对目标工件进行定位，并将rgb-d图像输入到gr-convnet全卷积神经网络模型中，获取待抓取工件的最佳抓取姿态，然后将姿态信息反馈给机械臂来进行抓取操作；具体包括如下步骤：

4、s1、利用rgb-d相机拍摄不同放置姿势的目标工件的rgb图像和depth图像，且目标工件的rgb图像和depth图像中的像素点一一对应；

5、s2、将所采集的图像进行标注并制作目标检测和抓取检测数据集；

6、s3、对yolov7-tiny的深度学习模型进行改进；

7、s4、将步骤s2中制作的目标检测数据集送入步骤s3的改进后的yolov7-tiny深度学习模型进行训练，定位待抓取目标工件的准确位置；

8、s5、将步骤s2中制作的抓取检测数据集送入gr-convnet全卷积神经网络模型进行训练；

9、s6、由步骤s5获得待抓取工件的多个抓取矩形框，并依据步骤s4得到的工件最高置信度的位置矩形框，进行矩形框的面积交并比(iou)，将iou分数低于0.7的抓取矩形框去除，获取最佳抓取矩形框信息；

10、s7、使用机械臂上的rgb-d相机拍摄工作台上的待抓取目标工件的图像，并将该图像输入步骤s4和步骤s5的深度学习模型中进行预测，模型将返回该目标工件在图像中的像素坐标，这个坐标被用来指导机械臂的动作，实现对目标工件的抓取；

11、s8、将通过手眼变换矩阵将获取的工件图像像素坐标系坐标转化为机械臂外端设置的末端执行器坐标系坐标；

12、s9、机械臂运动至工件处，使用末端执行器对工作台上的工件实施抓取。

13、进一步地，步骤s2中，具体包括如下分步骤：

14、s21、先新建三个文件夹：分别命名为“annotations”、“imagesets”、“images”；其中“images”中存放步骤s1中获得的工件rgb图片数据集；

15、s22、使用labelime矩形框标注工具对“images”文件夹中的工件图像进行矩形框标注，之后将标注数据的xml文件存放在“annonations”文件夹中，完成目标检测的数据集标注；

16、s23、同样的新建三个文件夹：分别命名为“annotations”、“imagesets”、“images”；其中“images”中存放步骤s1中获得的工件rgb-d图片数据集；

17、s24、使用rolabelime旋转矩形框标注工具对“images”文件夹中的工件图像进行抓取框标注，之后将标注数据的xml文件存放在“annonations”文件夹中，完成抓取检测的数据集标注。

18、进一步地，步骤s3中，具体包括如下分步骤：

19、s31、在原yolov7-tiny模型数据增强之前应用灰度世界算法处理；

20、s32、将原yolov7-tiny模型的边界框位置损失函数1-ciou替换为1-(α-ciou)；

21、s33、在模型的特征融合网络中加入极化自注意力机制。

22、进一步地，步骤s32中，原yolov7-tiny模型的边界框位置损失函数如下式所示：

23、

24、

25、

26、

27、式中：iou为真实框和预测框的面积交并比，衡量两框的重合程度；ρ(b,bgt)是真实框与预测框中心点的欧氏距离；c为真实框和预测框的最小闭包区对角线长度；wgt、hgt，w、h为真实框和预测框的宽和高；

28、将其替换为1-(α-ciou)边界框位置损失函数如下：

29、

30、式中：超参数α支持不同的边界框回归精度，通过更加重视高iou的目标来获得更高的回归精度，α＝3。

31、进一步地，步骤s4中，具体包括如下分步骤：

32、s41、首先将目标检测数据集中的训练集应用灰色世界算法处理后再进行数据增强，包括裁剪、拼接、旋转和随机遮挡，并将其调整为224*224像素值大小，用x表示，输入至改进后的yolov7-tiny的主干网络提取特征；

33、s42、通过改进后的yolov7-tiny的主干网络获取三个尺度的特征图，经过特征聚合网络进行多尺度特征融合，最终获得三个尺度的特征图用于检测目标位置。

34、进一步地，步骤s5中，具体包括如下分步骤：

35、s51、将经过数据增强的抓取检测数据集调整为224×224像素值大小后输入gr-convnet全卷积神经网络中；

36、s52、输入图像经过三个卷积层，然后经过五个残差层和三个转置卷积层，生成三幅图像，分别为抓取角度、抓取宽度和抓取质量分数三幅图像；

37、s53、gr-convnet网络的损失函数采用smooth l1损失函数：

38、

39、

40、式中：gi是由网络预测的抓取姿态，表示标注的真实抓取姿态。

41、进一步地，步骤s7中，具体包括如下分步骤：

42、s71、利用张正友标定法对rgb-d相机进行眼在手上标定，从而获得相机的内部参数和外部参数系数；

43、s72、将rgb-d相机坐标系的坐标转化为末端执行器的坐标系的坐标；

44、s73、将末端执行器的坐标系的坐标转化为机械臂的关节坐标系的坐标。

45、进一步地，工件自动化抓取装置包括一个基准固定的第一关节，基座通过第一关节活动安装了若干组机械臂，相邻机械臂之间通过第二关节、第三关节、第四关节和第五关节依次连接，形成了五个旋转关节；机械臂上远离第五关节外端安装有机械夹持器，能够抓取工件；机械夹持器上方安装了rgb-d相机，用于感知周围环境和工件的位置；工作台放置机械臂附近，工件放置在工作台上，位于rgb-d相机视角下。

46、本发明的有益效果是：

47、本发明提供一种基于视觉检测的工件自动化抓取方法，通过相机获取待抓取的目标工件的rgb-d图像，将rgb图像输入到改进的yolov7-tiny的深度学习模型中，对目标工件进行定位，并将rgb-d图像输入到gr-convnet网络模型中，获取待抓取工件的最佳抓取姿态，然后将姿态信息反馈给机械臂，机械臂经过逆运动学求解后来进行抓取操作。提高检测工件的精确度和机械臂抓取成功率，并且还较容易的应用于许多非结构化抓取场景。

48、当然，实施本发明的任一产品并不一定需要同时达到以上的所有优点。