基于点云分割的工件抓取方法、装置、设备及存储介质

文档序号:37293411发布日期:2024-03-13 20:41阅读:来源:国知局

技术特征:

1.一种基于点云分割的工件抓取方法,其特征在于,所述基于点云分割的工件抓取方法包括:

2.如权利要求1所述的基于点云分割的工件抓取方法,其特征在于,所述输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割,输出预抓取工件点云之前,还包括:

3.如权利要求2所述的基于点云分割的工件抓取方法,其特征在于,所述对所述2d样本工件图像和对应的三维点云进行数据预处理,获得样本数据集,包括:

4.如权利要求2所述的基于点云分割的工件抓取方法,其特征在于,所述初始多模态实例分割网络模型包括2d分支网络以及3d分支网络,所述2d分支网络为采用resnet-34作为主干网络的2d-unet,所述3d分支网络为采用sparseconvne作为主干网络的3d-unet;

5.如权利要求4所述的基于点云分割的工件抓取方法,其特征在于,所述从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作,包括:

6.如权利要求4所述的基于点云分割的工件抓取方法,其特征在于,所述初始多模态实例分割网络模型中的所述2d分支网络提取所述样本数据集中所述增强图像的2d图片特征,并且将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入,通过残差结构将深度编码器对所述稀疏深度图提取的特征与所述2d图片特征进行融合,输出逐像素类别和第一实例标签预测,包括:

7.如权利要求1~6中任一项所述的基于点云分割的工件抓取方法,其特征在于,所述获取标准工件的模版点云,采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配,获得预抓取工件的姿态信息,包括:

8.一种基于点云分割的工件抓取装置,其特征在于,所述基于点云分割的工件抓取装置包括:

9.一种基于点云分割的工件抓取设备,其特征在于,所述基于点云分割的工件抓取设备上存储有基于点云分割的工件抓取程序,所述基于点云分割的工件抓取程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云分割的工件抓取方法的步骤。

10.一种存储介质,其特征在于,所述存储介质上存储有基于点云分割的工件抓取程序,所述基于点云分割的工件抓取程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云分割的工件抓取方法的步骤。


技术总结
本发明公开了一种基于点云分割的工件抓取方法、装置、设备及存储介质,该方法:采集预抓取工件的2D预抓取工件图像和对应的目标三维点云,输入2D预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割,输出预抓取工件点云,在分割重叠以及紧密贴合的工件时抓取精度更高;获取标准工件的模版点云,采取由粗到精的配准方式对标准工件的模版点云与预抓取工件点云进行匹配,获得预抓取工件的姿态信息,将预抓取工件的姿态信息转化为机器人坐标系下的目标姿态信息,根据目标姿态信息引导机械臂完成预抓取工件的抓取,提高抓取系统的自动化程度,充分利用二维图像以及三维点云的特征信息,满足复杂工况下的工件抓取。

技术研发人员:梅爽,郝开发,吴承睿,范泽涵,文国军
受保护的技术使用者:中国地质大学(武汉)
技术研发日:
技术公布日:2024/3/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1