一种机器人三维视觉抓取的姿态优化方法与流程

本发明属于机器人分拣作业中工件的定位方法，涉及机器人使用夹爪进行零件抓取过程中的抓取姿态优化方法。

背景技术：

1、在机器人分拣抓取作业中，存在许多类似于圆柱形的具有对称形状的工件或生活用品，比如多种型号的轴、套筒、饮料瓶、连接管等，如图1所示，为一种待抓取圆柱形零件示例。这种圆柱形物品可以从多个角度进行抓取，非常适合使用机器人夹爪进行夹取。

2、使用机器人对这类物品抓取通常采用视觉技术进行辅助定位，进而确定抓取位姿。使用传统工业二维视觉技术，需要预先设计抓取工位、确定好拍照角度和距离，然后设置被抓物品的图像模板，在图像中定位到目标零件后，根据场景参数将二维信息映射成三维数据。这种方法原理简单，但是对工作单元的设计和被抓物品的摆放都具有较高的要求，不适合功能的快速部署和迁移。使用三维视觉辅助定位技术，分为有模型与无模型两种方法，无模型的方法基于三维点云信息使用优化网络检测出抓取部位，选取具有最高抓取质量指标的抓取姿态，通过坐标系变换得到工件抓取部位在机器人坐标系中的位置与姿态，以此规划机器人的夹具姿态。该方法可以使机器人在非结构化环境下抓取不同种类的物体，但是优化网络训练过程复杂，模型抗干扰性较差，难以对类别进行分类。基于模型的辅助定位技术，通常是先利用图像信息对目标工件进行初步定位，然后结合深度信息计算目标工件点云数据，将其与已有工件三维模型进行点云配准，最终获得目标工件的三维姿态信息。这种方法不用设计特殊工位，适用于多种工作环境，避免了复杂的调试过程，可以快速部署应用。但是由于圆柱形工件可以从多个角度进行抓取，如图2所示，沿着圆柱的旋转轴进行平移、旋转可以得到无数种抓取位姿，而配准得到的三维姿态信息只是无数种姿态中的一个，并不一定是最优可抓取姿态，所以常常导致抓取规划的失败。

技术实现思路

1、为解决基于已知模型的三维视觉抓取中，尤其是圆柱形物体抓取姿态选取问题，提高机器人三维视觉辅助抓取规划的成功率，提出一种机器人三维视觉抓取的姿态优化方法。

2、一种机器人三维视觉抓取的姿态优化方法，其特征在于，包括以下步骤：

3、s1、获取相机坐标系下被抓取物体的估计位姿；

4、s2、将相机坐标系下的被抓取物体的估计位姿变换到世界坐标系下，获取世界坐标系下被抓取物体的估计位姿；

5、s3、根据实际工作环境进行抓取姿态优化。

6、所述步骤s1包括：

7、s11、利用机器末端的深度相机拍摄被抓取目标物体的三维模型，或依据实际尺寸建立被抓取目标物体的三维模型；

8、s12、将该模型的二维信息导入虚拟工作场景，并进行分割建立该模型的图像分割数据集；所述导入虚拟工作场景包括：处理模型表面纹理，丰富背景元素；

9、s13、利用神经网络对图像分割数据集进行训练，获取被抓取物体二维图像的抓取位置；

10、s14、依据原始二维图像的坐标位置添加第三维的深度信息，获取实际目标物体三维点云簇；

11、s15、设置采样率对被抓取目标物体的三维模型进行采样，获取采样点云；

12、s16、采样点云与目标物体三维点云簇进行点云配准，获取相机坐标系下被抓取物体的估计位姿。

13、所述三维模型包括二维图像像素信息和第三维的深度信息。

14、所述s2包括：将三个位姿变换矩阵依次相乘，得到世界坐标系下目标物体抓取的初步位姿t：

15、t＝t1*t2*t3                         (1)

16、其中，末端夹爪相对于机器人基座的坐标变换矩阵为t1；经过手眼标定后，机器人末端相机相对于机器人末端夹爪的齐次变换矩阵为t2；被抓物体的估计位姿相对于机器人末端相机的齐次变换矩阵为t3。

17、所述s3根据实际工作环境进行抓取姿态优化，需要满足以下参数要求：

18、a.如果三维相机安装在机器人末端，以相机旋转角度最小设定相机朝向的优化方向；

19、b.若抓取过程在工作台上或料筐中进行夹取工件，则以机器人末端夹爪从上向下设定夹爪伸缩的优化方向；

20、c.对于类圆柱形工件，以垂直于旋转轴抓取中心点为备选抓取位姿。

21、所述s3根据实际工作环境进行抓取姿态优化，包括以下步骤：

22、s31、计算zo轴相对于z轴的旋转角度；如果小于10°或大于170°，则应令坐标系{xo,yo,zo}绕yo轴旋转90°，使得xo轴朝向z轴负方向，执行下一步；否则，令{xo,yo,zo}坐标系绕zo轴进行旋转，使得xo轴方向与{x,y,z}坐标系中的z轴负方向平行，使得目标夹爪能够从上向下抓取；

23、s32、计算优化后的zo轴相对于x轴的旋转角度；如果小于90°，则进一步另令坐标系{xo,yo,zo}绕xo轴旋转180°，使得末端相机c相对于x轴负方向旋转距离较小，结束；否则，结束。

24、本发明具有以下有益效果及优点：

25、使用本发明所述方法对物体估计位姿进行优化，可以设定位姿估计的优化方向，降低点云配准方法导致的具有对称形状物体估计抓取位姿的不稳定性，有效提高抓取规划的成功率。

技术特征：

1.一种机器人三维视觉抓取的姿态优化方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种机器人三维视觉抓取的姿态优化方法，其特征在于，所述步骤s1包括：

3.根据权利要求1所述的一种机器人三维视觉抓取的姿态优化方法，其特征在于，所述三维模型包括二维图像像素信息和第三维的深度信息。

4.根据权利要求1所述的一种机器人三维视觉抓取的姿态优化方法，其特征在于，所述s2包括：将三个位姿变换矩阵依次相乘，得到世界坐标系下目标物体抓取的初步位姿t：

5.根据权利要求1所述的一种机器人三维视觉抓取的姿态优化方法，其特征在于，所述s3根据实际工作环境进行抓取姿态优化，需要满足以下参数要求：

6.根据权利要求5所述的一种机器人三维视觉抓取的姿态优化方法，其特征在于，所述s3根据实际工作环境进行抓取姿态优化，包括以下步骤：

技术总结
本发明公开了一种机器人三维视觉抓取的姿态优化方法，包括以下步骤：S1、获取相机坐标系下被抓取物体的估计位姿；S2、将相机坐标系下的被抓取物体的估计位姿变换到世界坐标系下，获取世界坐标系下被抓取物体的估计位姿；S3、根据实际工作环境进行抓取姿态优化。使用本发明所述方法对物体估计位姿进行优化，可以设定位姿估计的优化方向，降低点云配准方法导致的具有对称形状物体估计抓取位姿的不稳定性，有效提高抓取规划的成功率。

技术研发人员：梁亮,王晓峰,邹风山,刘世昌,孙铭泽,宋吉来
受保护的技术使用者：山东新松工业软件研究院股份有限公司
技术研发日：
技术公布日：2024/1/13