物体抓取姿态预测方法、装置、设备及存储介质与流程

本发明属于机器人应用，特别涉及一种物体抓取姿态预测方法、装置、设备及存储介质。

背景技术：

1、随着我国制造业的发展，自动化技术代替劳动力已经成为一种趋势，智能化工业机器人的应用场景变得越来越广泛，无论时医疗行业还是服务行业及工业都可见到机器人工作的场景。机器人能够协助工作离不开视觉系统的实现，视觉识别检测系统与机器人相结合是机器人智能化的重要手段之一。

2、6d抓取姿态预测在许多协作机器人现实应用起到关键性作用，在传统的工业无序零部件分拣场景下，现有技术主要针对已知物体的3d模型，通过3d相机获取数据与数据库中的3d模型进行匹配，或者通过cad模型和实际使用场景中找到2d与3d的对应关系。存在的缺点是：无法扩展到新颖物体的姿态预测，且不能够处理具有各种形状、纹理的物体，面对重度遮挡、传感器噪声、灯光条件的影响，会遇到一个抓取策略的问题，同时还需要实时任务需要的速度。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种物体抓取姿态预测方法、装置、设备及存储介质。

2、为了实现上述目的，本发明采用了如下技术方案：

3、<方案一>

4、本发明提供了一种物体抓取姿态预测方法，具有这样的特征，包括以下步骤：

5、步骤s1，将目标物体的彩色图和深度图对齐转换为点云作为原始点云；

6、步骤s2，对原始点云进行体素下采样处理得到下采样点云；

7、步骤s3，对下采样点云进行直通滤波处理得到第一滤波点云；

8、步骤s4，基于点云中所有点与其最近的多个邻居点的平均距离满足高斯分布，对第一滤波点云进行统计滤波处理得到第二滤波点云；

9、步骤s5，根据第二滤波点云获取目标物体的感兴趣区域，在该感兴趣区域内均匀随机选定多个抓取点，以每个抓取点的曲面法向作为候选抓取姿态的朝向，并对每个候选抓取姿态进行碰撞检测得到满足预定力闭合抓取条件的多个候选抓取姿态作为有效候选抓取姿态；

10、步骤s6，将每个有效候选抓取姿态编码为堆叠的多通道图像；

11、步骤s7，利用分类神经网络对每个有效候选抓取姿态进行评估打分，并输出分数最高的有效候选姿态即为最终的抓取姿态预测结果。

12、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，步骤s2具体包括以下子步骤：步骤s2-1，根据原始点元创建预定尺寸的三维体素栅格；步骤s2-2，在每个体素内，用体素中所有点的重心点来表示该体素，从而得到下采样点云。

13、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，步骤s3具体包括以下子步骤：步骤s3-1，选定一个维度并设定该维度下的值域；步骤s3-2，遍历下采样点云中的每个点，判断该点在选定的维度上的取值是否在值域内并删除将取值不在值域内的点，从而得到第一滤波点云。

14、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，步骤s4具体包括以下子步骤：步骤s4-1，遍历第一滤波点云，计算每个点与其最近的多个邻居点之间的平均距离；步骤s4-2，计算所有平均距离的均值μ和标准差σ，则距离阈值表示为dmax＝μ+ασ，α为比例系数；步骤s4-3，再次遍历第一滤波点云，剔除平均距离大于距离阈值dmax的点，从而得到第二滤波点云。

15、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，在步骤s5中，候选抓取姿态的数量还可以通过对选定的抓取点对应的候选抓取姿态进行旋转和平移来扩充，预定力闭合抓取条件为：夹爪模型与待抓取物体的第二滤波点云不发生碰撞，并且在夹爪完全张开时，夹爪最少遮挡一个点。

16、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，步骤s7具体包括以下子步骤：步骤s7-1，将每个编码为堆叠的多通道图像的有效候选抓取姿态分别投影到夹爪参考坐标系x、y、z轴的正交平面上；步骤s7-2，对于每一个投影方向，获取观察点的平均高度图、遮挡点的平均高度图以及表面法向的平均图；步骤s7-3，利用分类神经网络并根据观察点的平均高度图、遮挡点的平均高度图以及表面法向的平均图对每个有效候选抓取姿态进行评估打分；步骤s7-4，输出分数最高的有效候选姿态作为最终的6d抓取姿态。

17、在本发明提供的物体抓取姿态预测方法中，还可以具有这样的特征：其中，分类神经网络采用四层神经网络。

18、<方案二>

19、本发明还提供了一种物体抓取姿态预测装置，具有这样的特征，包括：点云采集模块，用于将目标物体的彩色图和深度图对齐转换为点云作为原始点云；体素下采样模块，用于对原始点云进行体素下采样处理得到下采样点云；直通滤波模块，用于对下采样点云进行直通滤波处理得到第一滤波点云；统计滤波模块，用于基于点云中所有点与其最近的多个邻居点的平均距离满足高斯分布，对第一滤波点云进行统计滤波处理得到第二滤波点云；候选抓取姿态获取模块，用于根据第二滤波点云获取目标物体的感兴趣区域，在该感兴趣区域内均匀随机选定多个抓取点，以每个抓取点的曲面法向作为候选抓取姿态的朝向，并对每个候选抓取姿态进行碰撞检测得到满足预定力闭合抓取条件的多个候选抓取姿态作为有效候选抓取姿态；编码模块，用于将每个有效候选抓取姿态编码为堆叠的多通道图像；以及分类神经网络，用于对每个有效候选抓取姿态进行评估打分，并输出分数最高的有效候选姿态即为最终的抓取姿态预测结果。

20、<方案三>

21、本发明还提供了一种物体抓取姿态预测设备，具有这样的特征，包括：处理器；以及存储器模块，其中存储有处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行<方案一>的物体抓取姿态预测方法的步骤。

22、<方案四>

23、本发明还提供了一种计算机可读存储介质，用于存储程序，具有这样的特征，程序被执行时实现<方案一>的物体抓取姿态预测方法的步骤。

24、与现有技术相比，本发明具有以下优势：(1)相较于基于模板的6d抓取姿态预测算法，省略了数据库匹配步骤，算法运行效率高；(2)可扩展至新颖物体的6d抓取姿态的预测，可在任意物体表面生成抓取位姿；(3)结合了点云预处理操作，相较于复杂的点云滤波操作，尽可能减少点云噪声对抓取姿态的影响。

技术特征：

1.一种物体抓取姿态预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的物体抓取姿态预测方法，其特征在于：

3.根据权利要求1所述的物体抓取姿态预测方法，其特征在于：

4.根据权利要求1所述的物体抓取姿态预测方法，其特征在于：

5.根据权利要求1所述的物体抓取姿态预测方法，其特征在于：

6.根据权利要求1所述的物体抓取姿态预测方法，其特征在于：

7.根据权利要求6所述的物体抓取姿态预测方法，其特征在于：

8.一种物体抓取姿态预测装置，其特征在于，包括：

9.一种物体抓取姿态预测设备，其特征在于，包括：处理器；以及

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1-7中任意一项所述的物体抓取姿态预测方法的步骤。

技术总结
本发明提供一种物体抓取姿态预测方法，包括以下步骤：S1，将目标物体的彩色图和深度图对齐转换为原始点云；S2，对原始点云进行体素下采样处理；S3，对下采样点云进行直通滤波处理得到第一滤波点云；S4，对第一滤波点云进行统计滤波处理得到第二滤波点云；S5，根据第二滤波点云获取感兴趣区域，在感兴趣区域内均匀随机选定多个抓取点，以每个抓取点的曲面法向作为候选抓取姿态的朝向，并对每个候选抓取姿态进行碰撞检测得到满足预定力闭合抓取条件的多个有效候选抓取姿态；S6，将每个有效候选抓取姿态编码为堆叠的多通道图像；S7，利用分类神经网络对每个有效候选抓取姿态进行评估打分，并输出分数最高的有效候选姿态即为最终的抓取姿态预测结果。

技术研发人员：潘宇,周菲,李双圻,董鑫,朱天启,郁张皓,余健,俞宏洋,王记文
受保护的技术使用者：上海一琉机器人科技有限公司
技术研发日：
技术公布日：2024/1/15