一种目标物体抓取方法、系统、电子设备及存储介质与流程

本申请涉及图像处理，特别涉及一种目标物体抓取方法、系统、电子设备及存储介质。

背景技术：

1、机械臂是机械化、自动化生产过程中发展起来的一种重要装置，被广泛应用于自动化生产线中，通过编程来完成各种预期的作业任务。为了完成各种作业任务，抓取放置功能是机械臂必备功能之一，而随着智能机器人的应用发展，为机械臂增加感知环境的能力，使其能够进行智能化自主抓取成为该领域内的重要研究内容。随着视觉传感器性能提高，相关的算法的研究也不断深入，基于视觉的机械手抓取技术已成为多应用场景的首选方案。

2、相关技术中，通常使用图像分割模型实现目标物体的检测，但是图像分割模型对目标的类别及边缘像素的标注要求高，数据集制作成本高，无法准确识别目标物体的轮廓，机械臂的抓取精度较低。

3、因此，如何准确识别目标物体的轮廓，提高机械臂对目标物体的抓取精度是本领域技术人员目前需要解决的技术问题。

技术实现思路

1、本申请的目的是提供一种目标物体抓取方法、系统、电子设备及存储介质，能够准确识别目标物体的轮廓，提高机械臂对目标物体的抓取精度。

2、为解决上述技术问题，本申请提供一种目标物体抓取方法，该目标物体抓取方法包括：

3、获取目标物体在多个拍摄参数下拍摄的原始图像；其中，所述目标物体处于预设场景中，所述拍摄参数包括拍摄角度和拍摄尺度；

4、对所述原始图像进行标注，并根据标注结果从所述原始图像中提取所述目标物体对应的前景图像；

5、对所述前景图像进行数据扩充，更新扩充后的前景图像对应的掩码矩阵；

6、拍摄所述预设场景的场景图像，将所述扩充后的前景图像与所述场景图像进行融合得到融合图像；

7、利用所述融合图像对图像分割模型进行训练；

8、接收相机拍摄的机械臂工作区域图像，利用所述图像分割模型从所述机械臂工作区域图像识别所述目标物体的物体轮廓，以便根据所述物体轮廓控制机械臂抓取所述目标物体。

9、可选的，利用所述图像分割模型从所述机械臂工作区域图像识别所述目标物体的物体轮廓，包括：

10、利用目标检测模型从所述机械臂工作区域图像中提取包含所述目标物体的感兴趣区域；

11、将所述感兴趣区域输入所述图像分割模型，得到所述目标物体的物体轮廓。

12、可选的，所述图像分割模型为u2-net模型，所述目标检测模型为yolov5模型，所述yolov5模型的多尺度特征融合网络中包括依次连接的第一特征层、第二特征层、第三特征层和第四特征层，所述第一特征层的尺寸为20×20，所述第二特征层的尺寸为40×40，所述第三特征层的尺寸为80×80，所述第四特征层的尺寸为160×160。

13、可选的，将所述扩充后的前景图像与所述场景图像进行融合得到融合图像，包括：

14、对所述扩充后的前景图像与所述场景图像执行泊松融合操作，得到所述融合图像。

15、可选的，对所述原始图像进行标注，包括：

16、使用labelimg数据标注工具对所述原始图像进行像素级的标注。

17、可选的，根据所述物体轮廓控制机械臂抓取所述目标物体，包括：

18、根据所述物体轮廓生成对应的封闭图形；

19、确定所述封闭图形的边界坐标值；其中，所述边界坐标点包括x轴坐标最大值、x轴坐标最小值、y轴坐标最大值和y轴坐标最小值；

20、根据所述边界坐标值确定所述封闭图形的外接矩形；

21、旋转n次所述封闭图形，并记录每一次旋转后所述封闭图形的边界坐标值和外接矩形；

22、将面积最小的外接矩形设置为所述目标物体的最小外接矩形；

23、根据所述最小外接矩形的边界坐标值控制机械臂抓取所述目标物体。

24、可选的，根据所述最小外接矩形的边界坐标值控制机械臂抓取所述目标物体，包括：

25、根据所述最小外接矩形的边界坐标值确定抓取点和夹爪角度；其中，所述抓取点为所述最小外接矩形的两条长边的中心点，所述夹爪角度与所述最小外接矩形的两条短边平行；

26、按照所述抓取点和夹爪角度控制机械臂抓取所述目标物体。

27、本申请还提供了一种目标物体抓取系统，包括：

28、图像拍摄模块，用于获取目标物体在多个拍摄参数下拍摄的原始图像；其中，所述目标物体处于预设场景中，所述拍摄参数包括拍摄角度和拍摄尺度；

29、标注模块，用于对所述原始图像进行标注，并根据标注结果从所述原始图像中提取所述目标物体对应的前景图像；

30、数据扩充模块，用于对所述前景图像进行数据扩充，更新扩充后的前景图像对应的掩码矩阵；

31、融合模块，用于拍摄所述预设场景的场景图像，将所述扩充后的前景图像与所述场景图像进行融合得到融合图像；

32、训练模块，用于利用所述融合图像对图像分割模型进行训练；

33、抓取控制模块，用于接收相机拍摄的机械臂工作区域图像，利用所述图像分割模型从所述机械臂工作区域图像识别所述目标物体的物体轮廓，以便根据所述物体轮廓控制机械臂抓取所述目标物体。

34、本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述目标物体抓取方法执行的步骤。

35、本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述目标物体抓取方法执行的步骤。

36、本申请提供了一种目标物体抓取方法，包括：获取目标物体在多个拍摄参数下拍摄的原始图像；其中，所述目标物体处于预设场景中，所述拍摄参数包括拍摄角度和拍摄尺度；对所述原始图像进行标注，并根据标注结果从所述原始图像中提取所述目标物体对应的前景图像；对所述前景图像进行数据扩充，更新扩充后的前景图像对应的掩码矩阵；拍摄所述预设场景的场景图像，将所述扩充后的前景图像与所述场景图像进行融合得到融合图像；利用所述融合图像对图像分割模型进行训练；接收相机拍摄的机械臂工作区域图像，利用所述图像分割模型从所述机械臂工作区域图像识别所述目标物体的物体轮廓，以便根据所述物体轮廓控制机械臂抓取所述目标物体。

37、本申请获取目标物体在多个拍摄参数下的原始图像，并通过对原始图像进行标注得到目标物体对应的前景图像；本申请还对前景图像进行数据扩充，并更新扩充后的前景图像对应的掩码矩阵；本申请在多个拍摄参数下拍摄目标物体，还对前景图像进行数据扩充，得到目标物体在多种拍摄场景下对应的前景图像。本申请将扩充后的前景图像与所述场景图像进行融合得到融合图像，进而提高了训练图像分割模型所使用的数据集样本数量，基于上述融合图像训练后的图像分割模型可以准确识别目标物体的轮廓，进而可以提高机械臂对目标物体的抓取精度。本申请同时还提供了一种目标物体抓取系统、一种存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

技术特征：

1.一种目标物体抓取方法，其特征在于，包括：

2.根据权利要求1所述目标物体抓取方法，其特征在于，利用所述图像分割模型从所述机械臂工作区域图像识别所述目标物体的物体轮廓，包括：

3.根据权利要求2所述目标物体抓取方法，其特征在于，所述图像分割模型为u2-net模型，所述目标检测模型为yolov5模型，所述yolov5模型的多尺度特征融合网络中包括依次连接的第一特征层、第二特征层、第三特征层和第四特征层，所述第一特征层的尺寸为20×20，所述第二特征层的尺寸为40×40，所述第三特征层的尺寸为80×80，所述第四特征层的尺寸为160×160。

4.根据权利要求1所述目标物体抓取方法，其特征在于，将所述扩充后的前景图像与所述场景图像进行融合得到融合图像，包括：

5.根据权利要求1所述目标物体抓取方法，其特征在于，对所述原始图像进行标注，包括：

6.根据权利要求1所述目标物体抓取方法，其特征在于，根据所述物体轮廓控制机械臂抓取所述目标物体，包括：

7.根据权利要求6所述目标物体抓取方法，其特征在于，根据所述最小外接矩形的边界坐标值控制机械臂抓取所述目标物体，包括：

8.一种目标物体抓取系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述目标物体抓取方法的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述目标物体抓取方法的步骤。

技术总结
本申请公开了一种目标物体抓取方法、系统、电子设备及存储介质，所属的技术领域为图像处理技术。所述目标物体抓取方法包括：获取目标物体在多个拍摄参数下拍摄的原始图像；对原始图像进行标注，并根据标注结果从原始图像中提取目标物体对应的前景图像；对前景图像进行数据扩充；拍摄预设场景的场景图像，将扩充后的前景图像与场景图像进行融合得到融合图像；利用融合图像对图像分割模型进行训练；接收相机拍摄的机械臂工作区域图像，利用图像分割模型从机械臂工作区域图像识别目标物体的物体轮廓，以便根据物体轮廓控制机械臂抓取目标物体。本申请能够准确识别目标物体的轮廓，提高机械臂对目标物体的抓取精度。

技术研发人员：乔辉,赵祯,胡鹏杰,关俊涛,游冰,杨建光,李刚,贺提胜
受保护的技术使用者：国机工业互联网研究院（河南）有限公司
技术研发日：
技术公布日：2024/1/16