一种机器人精确抓取方法及其系统与流程

本发明涉及一种机器人抓取工件的方法，尤其是一种机器人精确抓取方法及其系统。

背景技术：

1、近些年来，工业机器人已经广泛用于焊接、喷涂、码垛、装配等众多工业生产领域，但是大部分的应用场景还是由人工介入，通过人工示教来完成机械臂的轨迹规划操作。随着机器视觉的快速发展，视觉结合工业机器人的应用也相应地迅速普及，视觉抓取是其中一个典型的例子：首先获取单一工件的模型文件，找出此模型的最优抓取基准坐标系，工业3d相机对抓取场景进行拍摄，针对每一个相同的工件进行模板匹配，根据手眼标定将工件坐标系换算至机器人基坐标系，指导机器人移动至工件处进行抓取操作，其抓取精度较高，但是只能针对事先确定的唯一工件根据预先设计的轨迹规划方式完成抓取操作，较容易发生碰撞等情况从而导致抓取失败，且在工件互相堆叠的场景下唯一的抓取位姿非常容易受到周边环境的干扰，所以提升抓取效率十分迫切。

2、随着机器人智能化的不断发展，单一机器人的应用环境变得越来越宽泛，深度学习逐渐介入了机器人工业应用领域，机器人抓取通过深度学习可以提升抓取任务的泛化性，针对多环境进行抓取操作，但是其抓取的鲁棒性、效率等因素受到了网络结构、数据集构成方法、数据质量等因素的影响。

3、因此，如何同时提升机器人抓取泛化性和准确度是一个亟待解决的问题。

技术实现思路

1、为解决上述抓取泛化性和准确度不高的问题，本发明提供一种机器人精确抓取方法，具体技术方案为：

2、一种机器人精确抓取方法，包括以下步骤：

3、获取第一相机和第二相机相对于机械臂基坐标系的位姿变换矩阵；

4、基于所述第一相机获取待抓取工件的第一点云信息，并标注所述待抓取工件的抓取姿势，将所述抓取姿态从所述待抓取工件的坐标系根据第一相机获取的位姿变换矩阵传递到基坐标系；

5、将抓取姿势和第一点云信息输入神经网络模型获取抓取姿态评估模型；

6、所述第一相机匹配所述待抓取工件的大致位置，所述第二相机移动至所述待抓取工件的上方，且位于固定高度；

7、基于所述第二相机获取所述待抓取工件的第二点云信息；

8、将所述第二点云信息输入所述姿态评估模型获取最佳抓取姿态；

9、基于最佳抓取姿态以及所述机械臂基坐标系得到规划路径；

10、基于规划路径抓取所述待抓取工件；

11、其中，所述第一相机设有所述待抓取工件的上方，所述第二相机设有所述机械臂的末端。

12、优选的，所述抓取姿态评估模型输出的是抓取宽度w、抓取向量v、抓取角度r。

13、优选的，所述第一相机用于拍取堆叠场景中工件整体，确定深度最小的工件为待抓取工件。

14、优选的，在抓取类型为不同形状特征的工件时，预先收集不同工件的点云信息，并标注多个抓取姿势注释。

15、优选的，所述规划路径时基于ros操作系统中的moveit路径规划算法进行路径规划。

16、进一步的，所述规划路径时完成碰撞检测。

17、优选的，所述姿态评估模型获取最佳抓取姿态时解析计算每个不同待抓取工件的6d标注抓取姿态，选取抓取评分最高的抓取姿态注释作为候选抓取姿态。

18、优选的，所述第二点云信息输入所述神经网络模型前进行降采样处理；

19、优选的，所述第二点云信息输入所述神经网络模型前进行噪声过滤点云分割。

20、一种机器人精确抓取系统，包括：机械臂，末端设有夹爪；第一相机，设于工件的上方；第二相机，设于所述机械臂的末端；以及控制单元，分别与所述机械臂、所述第一相机和所述第二相机连接。

21、与现有技术相比本发明具有以下有益效果：

22、本发明提供的一种机器人精确抓取方法利用深度学习网络训练待抓取工件点云数据和标注抓取姿势，得到机器人抓取评估模型，大大提升了抓取工件的泛化能力；利用双相机配合，先通过第一相机匹配深度最高处工件大致位置，驱动机械臂位移至此工件上方，第二相机拍摄此工件点云送至深度学习网络获取评级最高的抓取姿态，驱动机械臂以此接近向量抓取工件，在提升泛化能力的同时保证了抓取的精度水平。

技术特征：

1.一种机器人精确抓取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

3.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

4.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

5.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

6.根据权利要求5所述的一种机器人精确抓取方法，其特征在于，

7.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

8.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

9.根据权利要求1所述的一种机器人精确抓取方法，其特征在于，

10.一种机器人精确抓取系统，其特征在于，包括：

技术总结
本发明涉及一种机器人精确抓取方法，包括以下步骤：获取第一相机和第二相机相对于机械臂基坐标系的位姿变换矩阵；基于第一相机获取待抓取工件的第一点云信息，并标注待抓取工件的抓取姿势；将抓取姿势和第一点云信息输入神经网络模型获取抓取姿态评估模型；第一相机匹配待抓取工件的大致位置，第二相机移动至待抓取工件的上方，且位于固定高度；基于第二相机获取待抓取工件的第二点云信息；将第二点云信息输入姿态评估模型获取最佳抓取姿态；基于最佳抓取姿态以及机械臂基坐标系得到规划路径；基于规划路径抓取待抓取工件；其中，第一相机设有待抓取工件的上方，第二相机设有机械臂的末端。该方法在提升泛化能力的同时保证了抓取的精度水平。

技术研发人员：许吉辉,樊辰阳,陈鹏,周志雄,黄平,陆佳贝,戴飞龙,张秀恒
受保护的技术使用者：无锡斯帝尔科技有限公司
技术研发日：
技术公布日：2024/1/16