物体的抓取方法、装置、电子设备和存储介质与流程

本技术涉及机器人，特别是涉及一种物体的抓取方法、装置、电子设备、存储介质和计算机程序产品。

背景技术：

1、作为机器人领域的重要问题，物体抓取在农业、工业和服务业都有着重要价值。物体抓取的主流思路是通过传感器获取场景的二维或三维图像，利用抓取姿态检测技术预测机械臂末端夹爪在抓取物体时的位置和朝向，经过运动规划后执行抓取动作。

2、传统技术中，对于运动物体的抓取检测，一般是将动态物体抓取转化为物体姿态追踪问题，通过持续跟踪同一个物体并预测其在空间中的姿态，根据人工预先设定的抓取姿态模板对运动物体进行抓取，这种方法由于对物体的抓取姿态是人工设定的，分布较为稀疏，不能随着位置移动而灵活变化，导致最后的抓取效果并不理想。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升物体抓取准确性的物体的抓取方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种物体的抓取方法，所述方法包括：

3、获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；

4、根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；

5、从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；

6、控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。

7、在其中一个实施例中，所述根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：

8、通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合；

9、通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。

10、在其中一个实施例中，所述抓取关联模型的训练方式，包括：

11、获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；

12、确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；

13、将各所述抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，所述样本目标抓取姿态集合由所述第二样本姿态抓取集合和所述第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；

14、基于所述第一样本抓取姿态集合、所述第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；

15、根据所述损失函数值，迭代初始权重参数，训练获得所述抓取关联模型。

16、在其中一个实施例中，所述第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；所述第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；

17、所述确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括：

18、基于所述第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定所述第一样本抓取姿态的第一样本旋转量和第一样本平移量；

19、根据所述第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定所述第二样本抓取姿态的第二样本旋转量和第二样本平移量；

20、基于所述第一样本旋转量和所述第二样本旋转量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的旋转距离；

21、根据所述第一样本平移量和所述第二样本平移量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的平移距离；

22、根据所述旋转距离和所述平移距离，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的抓取距离。

23、在其中一个实施例中，所述通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合，包括：

24、获取所述第一场景图像的第一场景点云；

25、对所述第一场景点云进行点云场景分析，得到多个第一场景种子点；

26、获取所述第二景图像的第二场景点云；

27、对所述第二场景点云进行点云场景分析，得到多个第二场景种子点；

28、对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，所述第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；

29、对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，所述第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。

30、在其中一个实施例中，所述第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；所述第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；

31、所述通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：

32、对所述第一抓取姿态进行色彩特征处理，获得所述第一抓取姿态对应的第一色彩特征向量；

33、对所述第二抓取姿态进行色彩特征处理，获得所述第二抓取姿态对应的第二色彩特征向量；

34、将所述第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到所述第一候选抓取特征向量上，得到第一初始拼接特征向量；

35、将所述第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到所述第二候选抓取特征向量上，得到第二初始拼接特征向量；

36、分别对所述第一初始拼接特征向量和所述第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量；

37、基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。

38、在其中一个实施例中，所述针对各所述第一抓取姿态和各第二抓取姿态中的任一抓取姿态，均通过以下步骤获得对应的色彩特征向量：

39、确定抓取姿态的种子点色彩信息；

40、对所述种子点色彩信息进行采样，得到初始色彩向量；

41、对所述初始色彩向量依次进行特征处理，得到对应的色彩特征向量。

42、在其中一个实施例中，所述关联程度为关联矩阵；所述基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：

43、确定所述第一目标拼接特征向量和所述第二目标拼接特征向量之间的余弦相似度；

44、根据所述余弦相似度，得到关联矩阵。

45、在其中一个实施例中，所述关联程度为关联矩阵；

46、所述基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态，包括：

47、基于所述第一抓取姿态所在关联矩阵的行数，将所述第二候选抓取姿态集合中，抓取关联程度最高的列数的抓取姿态确定为第二帧的第二抓取姿态。

48、第二方面，本技术还提供了一种物体的抓取装置。所述装置包括：

49、图像获取模块，用于获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；

50、预测模块，用于根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；

51、姿态确定模块，用于从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；

52、抓取模块，用于控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。

53、第三方面，本技术还提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述物体的抓取方法的步骤。

54、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述物体的抓取方法的步骤。

55、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述物体的抓取方法的步骤。

56、上述物体的抓取方法、装置、电子设备、存储介质和计算机程序产品，获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。其中，根据获取的第一场景图像和第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度，从而确定出相邻两帧中不同候选抓取姿态间的相似程度，由此可以根据第一帧的第一抓取姿态、关联程度推算出第二帧的第二抓取姿态，避免了当前抓取检测算法中的抓取姿态跳变问题，提升了抓取的稳定性和准确性。