基于点云分割的工件抓取方法、装置、设备及存储介质

本发明涉及人工智能，尤其涉及一种基于点云分割的工件抓取方法、装置、设备及存储介质。

背景技术：

1、随着工业化进程的不断加快，机械臂抓取技术在工业自动化、仓储物流、医疗和科学研究等领域取得了重大进展。机械臂抓取方法已被广泛研究，现有的机械臂抓取的方法可分为两类：基于预定路径的抓取以及基于视觉引导的机械臂抓取。

2、基于预定路径的抓取是最传统的机械臂抓取方法，即通过对机器人进行编码，实现不同步骤的固定点位设计，使机械臂按照预设的轨迹运动，达到目标位置，然后进行抓取。基于路径的抓取存在着以下问题：1、刚性要求高，要求产品有序摆放和定位精确，难以适应产品无序堆叠的情况；2、自动化程度低，需要工程师定制化预先编程，无法针对产品不同情况实现自适应调整；3、生产效率低，难以适应不同批次产品，需要不断同步更新示教点位信息。

3、基于视觉引导的机械臂抓取是目前的主流方法，分为基于2d视觉引导的机械臂抓取以及基于3d视觉引导的机械臂抓取。基于2d视觉引导的机械臂抓取方法使用适当的光源和图像传感器(ccd摄像机)获取工件的表面图像，利用图像处理算法获取图像特征信息进行姿态估计，但是基于2d视觉引导的机械臂由于缺乏3d姿态信息，只能实现引导机械臂竖直向下抓取，无法满足工业生产中日益复杂的抓取要求；基于3d视觉引导的机械臂抓取利用3d传感器可以获取到物体在三维空间里的位姿信息，根据被抓取产品位姿信息转换出机械臂的目标位置，可以实现高精度的机械臂柔性抓取。

4、目前，已经有很多方法实现了基于3d视觉引导的机械臂抓取，一般来说多数的基于3d视觉引导的机械臂抓取都通过对于计算点云法向量、点云滤波、点云聚类实现工件分割，然后通过点云配准技术实现姿态估计，最后通过手眼标定得到的相机坐标系与机器人坐标系之间的转换关系得到目标在机器人坐标系下的姿态信息从而完成引导。虽然现有的方法已经广泛应用于拆垛码垛等简单堆叠的工业场景，但是这些算法往往需要大量的人为设计，在实际生产过程中容易出现无法分割粘连工件、只能实现对单一工件的定位抓取等问题，无法针对无序堆叠的多种类工件实现自动抓取，鲁棒性较差，泛化能力不够，极大影响了生产效率以及产线自动化的发展。

5、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种基于点云分割的工件抓取方法、装置、设备及存储介质，旨在解决现有技术中无序堆叠点云分割时采取传统聚类算法存在分割精度不高甚至无法分割的技术问题。

2、为实现上述目的，本发明提供一种基于点云分割的工件抓取方法，所述基于点云分割的工件抓取方法包括：

3、采集预抓取工件的2d预抓取工件图像和对应的目标三维点云；

4、输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云；

5、获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息；

6、将所述预抓取工件的姿态信息转化为机器人坐标系下的目标姿态信息，根据所述目标姿态信息引导机械臂完成所述预抓取工件的抓取。

7、优选地，所述输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云之前，还包括：

8、采集无序堆叠的多个样本工件的2d样本工件图像和对应的样本三维点云；

9、对所述2d样本工件图像和对应的三维点云进行数据预处理，获得样本数据集；

10、构建初始多模态实例分割网络模型；

11、输入所述样本数据集对所述初始多模态实例分割网络模型进行训练，获得已训练多模态实例分割网络模型。

12、优选地，所述对所述2d样本工件图像和对应的三维点云进行数据预处理，获得样本数据集，包括：

13、对所述2d样本工件图像和对应的三维点云进行数据增强，对应获得增强图像和增强点云；

14、将所述增强点云转化为规则化体素；

15、所述增强图像及所述规则化体素构成样本数据集。

16、优选地，所述初始多模态实例分割网络模型包括2d分支网络以及3d分支网络，所述2d分支网络为采用resnet-34作为主干网络的2d-unet，所述3d分支网络为采用sparseconvne作为主干网络的3d-unet；

17、相应地，所述输入所述样本数据集对所述初始多模态实例分割网络模型进行训练，获得已训练多模态实例分割网络模型，包括：

18、输入所述样本数据集至所述初始多模态实例分割网络模型；

19、所述初始多模态实例分割网络模型中的所述2d分支网络提取所述样本数据集中所述增强图像的2d图片特征，并且将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入，通过残差结构将深度编码器对所述稀疏深度图提取的特征与所述2d图片特征进行融合，输出逐像素类别和第一实例标签预测；

20、所述初始多模态实例分割网络模型中的所述3d分支网络将所述样本数据集中所述增强图像的rgb信息作为每个体素的特征，并且将从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作，将通过sparseconvnet从所述规则化体素中提取的点云语义特征和attention-fps提取的实例编码特征进行连接融合，并且通过解码器输出逐点类别和第二实例标签预测；

21、通过额外的辅助头对所述逐像素类别、所述第一实例标签预测、所述逐点类别和所述第二实例标签预测进行处理，获得模拟输出；

22、根据所述模拟输出通过共享损失进行端到端联合训练，获得已训练多模态实例分割网络模型。

23、优选地，所述从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作，包括：

24、从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中，执行以下步骤：

25、s1，选择所述点云特征中每个点的预测语义分数大于注意力权重α作为前景点集f；

26、s2，选择所述前景点集f中的k个点进行第一轮采样，并且将所述前景点集f中与其他点距离最大点设置为第一采样点；

27、s3，根据所述第一采样点对已采样部分的掩码预测分数进行更新；

28、s4，循环上述步骤s1、s2和s3，迭代重复采样，以实现实例聚类操作。

29、优选地，所述初始多模态实例分割网络模型中的所述2d分支网络提取所述样本数据集中所述增强图像的2d图片特征，并且将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入，通过残差结构将深度编码器对所述稀疏深度图提取的特征与所述2d图片特征进行融合，输出逐像素类别和第一实例标签预测，包括：

30、所述初始多模态实例分割网络模型中的所述2d分支网络采用卷积块对所述样本数据集中所述增强图像进行初始化处理；

31、所述2d分支网络再通过残差块对初始化后的图像进行特征编码，获得2d图片特征；

32、将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入，所述2d分支网络采用深度编码器对所述稀疏深度图进行特征提取，获得深度图特征；

33、所述2d分支网络将所述2d图片特征和所述深度图特征进行融合，并且对融合后特征进行上采样，输出逐像素类别和第一实例标签预测。

34、优选地，所述获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息，包括：

35、对所述预抓取工件点云进行点云配准预处理，获得目标点云以及抓取点信息；

36、对所述目标点云的表面轮廓关键点，采用iss算法提取所述目标点云的特征点对，并且对特征点进行fpfh特征描述子赋予；

37、获取标准工件的模版点云；

38、根据所述特征点对及特征描述子的特征点，采用sac-ia算法在所述目标点云与所述模板点云之间寻找具有相似特征描述子的点对，实现点云粗配准；

39、利用icp算法对经过粗配准之后初步对齐的点云进行迭代优化，最小化所述目标点云与所述模板点云之间的距离，得到最佳的刚体变换，实现点云精配准，获得预抓取工件的姿态信息。

40、此外，为实现上述目的，本发明还提出一种基于点云分割的工件抓取装置，所述基于点云分割的工件抓取装置包括：

41、采集模块，用于采集预抓取工件的2d预抓取工件图像和对应的目标三维点云；

42、分割模块，用于输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云；

43、匹配模块，用于获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息；

44、转化模块，用于将所述预抓取工件的姿态信息转化为机器人坐标系下的目标姿态信息，根据所述目标姿态信息引导机械臂完成所述预抓取工件的抓取。

45、此外，为实现上述目的，本发明还提出一种基于点云分割的工件抓取设备，所述基于点云分割的工件抓取设备上存储有基于点云分割的工件抓取程序，所述基于点云分割的工件抓取程序被处理器执行时实现如上文所述的基于点云分割的工件抓取方法的步骤。

46、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于点云分割的工件抓取程序，所述基于点云分割的工件抓取程序被处理器执行时实现如上文所述的基于点云分割的工件抓取方法的步骤。

47、本发明中，通过采集预抓取工件的2d预抓取工件图像和对应的目标三维点云，输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云，在分割重叠以及紧密贴合的工件时抓取精度更高；获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息，将所述预抓取工件的姿态信息转化为机器人坐标系下的目标姿态信息，根据所述目标姿态信息引导机械臂完成所述预抓取工件的抓取，提高了抓取系统的自动化程度，充分利用了二维图像以及三维点云的特征信息，满足复杂工况下的工件抓取。