构建抓取数据集的方法及装置与流程

本技术实施例涉及机器人领域，更具体地，涉及一种构建抓取数据集的方法及装置。

背景技术：

1、机器人抓取技术是机器人与环境交互的一项重要技术，在机器人装配、搬运、分拣等任务中有重要的应用需求。抓取位姿的确定是完成机器人抓取任务的关键因素之一，基于学习的抓取位姿的确定成为机器人抓取技术领域的一项研究热点。基于学习的方法确定抓取位姿需要依赖大规模的抓取数据集。因此，抓取数据集的构建是机器人抓取系统完成抓取任务的基础。

2、目前，抓取数据集的采集和标注的工作量比较大，降低了机器人自主学习的效率。例如，基于二维图像进行人工标注获取抓取数据集。再例如，可以通过示教和深度学习的方式获取抓取数据集，首先利用通过示教抓取位姿收集到的抓取点云数据以及人工标注的标签训练抓取位姿评价神经网络，然后利用训练完成的网络对每个采样位姿进行评价打分，从而完成抓取数据集的构建。此外，通过这些方式获得的抓取数据集精度较低，由这类抓取数据集所训练获得的模型的泛化能力比较差。

技术实现思路

1、本技术实施例提供一种构建抓取数据集的方法和装置，可以降低构建抓取数据集的成本，提高抓取数据集的准确性。

2、第一方面，提供了一种构建抓取数据集的方法，其特征在于，包括：获取物体的3d模型和抓取工具的模型；根据解析准则确定物体的3d模型的抓取点的抓取质量标签，解析准则包括形封闭解析准则，形封闭解析准则用于评价物体的3d模型上包括抓取点的第一表面的平整度，抓取点与抓取工具的位姿存在对应关系；输出抓取数据集，抓取数据集包括抓取工具的位姿的信息、抓取点的抓取质量标签和第一表面的点云信息。

3、本技术实施例提供的构建抓取数据集的方案，在构建抓取数据集时，考虑了物体表面的平整度，提高了抓取数据集的准确性，所构建的抓取数据集可以适用于表面凹凸不平或者存在凹坑的物体的抓取场景。另外，通过形封闭解析准则可以快速地确定抓取质量标签，能够提高构建数据集的效率，降低成本。

4、结合第一方面，在第一方面的某些实现方式中，抓取工具包括吸盘。

5、结合第一方面，在第一方面的某些实现方式中，第一表面的平整度是根据第一表面上的点的法向量之间的夹角确定的。

6、本技术实施例提供的构建抓取数据集的方案，可以利用第一表面上的点的法向量之间的夹角，快速、准确地确定第一表面的平整度。

7、结合第一方面，在第一方面的某些实现方式中，第一表面为抓取工具在物体的3d模型上的投影。

8、结合第一方面，在第一方面的某些实现方式中，第一表面的边缘在抓取工具在物体的3d模型上的投影轮廓线以外。

9、本技术实施例提供的构建抓取数据集的方案，抓取工具与物体的3d模型接触时，若抓取工具边缘对应的物体(物体的3d模型)的表面没有点(点云)，可以通过抓取工具边缘对应的物体表面以外的点确定抓取工具边缘对应的物体的表面的平整度。这样，可以更加准确地确定抓取工具所覆盖的物体的表面的平整度，提高了构建抓取数据集的准确性和真实性。

10、结合第一方面，在第一方面的某些实现方式中，解析准则还包括抓取力解析准则，抓取力解析准则用于评价抓取点的预测的受力情况与抓取点在预设条件下的受力情况的差异。

11、本技术实施例提供的构建抓取数据集的方案，还考虑了抓取力对抓取质量的影响。这样，可以提高构建抓取数据集的准确性。

12、结合第一方面，在第一方面的某些实现方式中，q＝min{||g·w-φ||+ω}，其中，q为抓取点的预测的受力情况与抓取点在预设条件下的受力情况之间的差异，min{|| ||}为最小欧式距离公式，g为抓取点在多个维度的力及力矩，w为抓取点在多个维度的力及力矩的权重，φ为抓取点在预设条件下的多个维度的力及力矩，ω为正则化项。

13、本技术实施例提供的构建抓取数据集的方案，在获取抓取点的预测的受力情况与抓取点在预设条件下的受力情况的差异时，引入了正则化项。这样，可以提高获得的受力情况差异的准确性，从而提高构建抓取数据集的准确性。

14、结合第一方面，在第一方面的某些实现方式中，物体的3d模型是根据rgb图像经过三维重建获得的。

15、本技术实施例提供的构建抓取数据集的方案，可以基于rbg图像进行三维重建以获得物体的3d模型，能够快速地进行三维重建，同时降低三维重建的成本。

16、结合第一方面，在第一方面的某些实现方式中，物体的3d模型是通过人工监测以删除或修正三维重建失败的3d模型后获得的。

17、本技术实施例提供的构建抓取数据集的方案，在进行三维重建时可以进行人工监测，可以提高三维重建的精度。

18、结合第一方面，在第一方面的某些实现方式中，抓取点的抓取质量标签是通过人工监测以删除或修正错误的抓取质量标签后获得的。

19、本技术实施例提供的构建抓取数据集的方案，在生成抓取质量标签时可以进行人工监测，能够提高抓取质量标签的准确性。

20、第二方面，提供了一种构建抓取数据集的装置，其特征在于，包括：获取物体的3d模型和抓取工具的模型；根据解析准则确定抓取点的抓取质量标签，解析准则包括形封闭解析准则，形封闭解析准则用于评价物体的3d模型上包括抓取点的第一表面的平整度，抓取点与抓取工具的位姿存在对应关系；收发单元，用于输出抓取数据集，抓取数据集包括抓取工具的位姿的信息、抓取点的抓取质量标签和第一表面的点云信息。

21、本技术实施例提供的构建抓取数据集的装置，在构建抓取数据集时，考虑了物体表面的平整度，提高了抓取数据集的准确性，所构建的抓取数据集可以适用于表面凹凸不平或者存在凹坑的物体的抓取场景。另外，通过形封闭解析准则可以快速地确定抓取质量标签，能够提高构建数据集的效率，降低成本。

22、结合第二方面，在第二方面的某些实现方式中，抓取工具包括吸盘。

23、结合第二方面，在第二方面的某些实现方式中，第一表面的平整度是根据第一表面上的点的法向量之间的夹角确定的。

24、本技术实施例提供的构建抓取数据集的装置，可以利用第一表面上的点的法向量之间的夹角，快速、准确地确定第一表面的平整度。

25、结合第二方面，在第二方面的某些实现方式中，第一表面为抓取工具在物体的3d模型上的投影。

26、结合第二方面，在第二方面的某些实现方式中，第一表面的边缘在抓取工具在物体的3d模型上的投影轮廓线以外。

27、本技术实施例提供的构建抓取数据集的装置，抓取工具与物体的3d模型接触时，若抓取工具边缘对应的物体(物体的3d模型)的表面没有点(点云)，可以通过抓取工具边缘对应的物体表面以外的点确定抓取工具边缘对应的物体表面的平整度。这样，可以更加准确地确定抓取工具所覆盖的物体表面的平整度，提高了构建抓取数据集的准确性和真实性。

28、结合第二方面，在第二方面的某些实现方式中，解析准则还包括抓取力解析准则，抓取力解析准则用于评价抓取点的预测的受力情况与抓取点在预设条件下的受力情况的差异。

29、本技术实施例提供的构建抓取数据集的装置，还考虑了抓取力对抓取质量的影响。这样，可以提高构建抓取数据集的准确性。

30、结合第二方面，在第二方面的某些实现方式中，q＝min{||g·w-φ||+ω}，其中，q为抓取点的预测的受力情况与抓取点在预设条件下的受力情况之间的差异，min{|| ||}为最小欧式距离公式，g为抓取点在多个维度的力及力矩，w为抓取点在多个维度的力及力矩的权重，φ为抓取点在预设条件下的多个维度的力及力矩，ω为正则化项。

31、本技术实施例提供的构建抓取数据集的装置，在获取抓取点的预测的受力情况与抓取点在预设条件下的受力情况的差异时，引入了正则化项。这样，可以提高获得的受力情况差异的准确性，从而提高构建抓取数据集的准确性。

32、结合第二方面，在第二方面的某些实现方式中，物体的3d模型是根据rgb图像经过三维重建获得的。

33、本技术实施例提供的构建抓取数据集的方案，可以基于rbg图像进行三维重建以获得物体的3d模型，能够快速的进行三维重建，同时降低三维重建的成本。

34、结合第二方面，在第二方面的某些实现方式中，物体的3d模型是通过人工监测以删除或修正三维重建失败的3d模型后获得的。

35、本技术实施例提供的构建抓取数据集的方案，在进行三维重建时进行人工监测，可以提高三维重建的精度。

36、结合第二方面，在第二方面的某些实现方式中，抓取点的抓取质量标签是通过人工监测以删除或修正错误的抓取质量标签后获得的。

37、本技术实施例提供的构建抓取数据集的方案，在生成抓取质量标签时可以进行人工监测，能够提高抓取质量标签的准确性。

38、第三方面，提供一种计算机可读介质，计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机执行上述第一方面中任一项所述的方法。

39、第四方面，提供一种芯片系统，包括：处理器与数据接口，处理器通过数据接口读取存储器上存储的指令，以执行上述第一方面中任一项所述的方法。

40、第五方面，提供一种计算设备，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行上述第一方面中任一项所述的方法。