机械臂控制方法、装置、设备和存储介质与流程

本申请涉及计算机，具体而言，涉及一种机械臂控制方法、装置、设备和存储介质。

背景技术：

1、分拣作业是大多数流水化生产线上的一个重要环节，使用分拣机器人能够很好的提高流水线上的工作效率，与人工分拣作业相比，分拣机器人有着高效、准确、卫生等优势。

2、目前，机械臂分拣方案常采用基于视觉的方法，通过给定一个包含分拣目标的平面，以该场景的视觉信息作为输入，计算出一个最优的抓取位姿，使机械臂在该位姿下可以稳定的抓取物体，抓取算法可以独立的运行，或作为复杂任务的一部分。

3、然而，上述分拣方案在抓取商品的选取上往往基于预设的抓取策略，或者简单的进行随机抓取，而当抓取策略需要临时变动时，预设的策略往往无法满足要求。

技术实现思路

1、有鉴于此，本申请实施例提供了一种机械臂控制方法、装置、设备和存储介质，以在抓取策略变动时，通过利用人机交互界面选定的目标物品，实现基于人机交互的机械臂抓取控制。

2、第一方面，本申请实施例提供了一种机械臂控制方法，包括：

3、获取深度相机采集的待控制机械臂对应待抓取区域的环境图像；

4、对所述环境图像进行物品识别，得到所述待抓取区域中各个物品在所述环境图像中的包围框信息；

5、根据针对所述环境图像输入的选择操作，以及所述各个物品在所述环境图像中的包围框信息，从所述各个物品中确定目标物品；

6、根据所述目标物品的包围框信息，控制所述待控制机械臂对所述目标物品执行抓取操作。

7、第二方面，本申请实施例还提供了一种机械臂控制装置，包括：

8、获取模块，用于获取深度相机采集的待控制机械臂对应待抓取区域的环境图像；

9、识别模块，用于对所述环境图像进行物品识别，得到所述待抓取区域中各个物品在所述环境图像中的包围框信息；

10、确定模块，用于根据针对所述环境图像输入的选择操作，以及所述各个物品在所述环境图像中的包围框信息，从所述各个物品中确定目标物品；

11、控制模块，用于根据所述目标物品的包围框信息，控制所述待控制机械臂对所述目标物品执行抓取操作。

12、第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一所述的机械臂控制方法。

13、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一所述的机械臂控制方法。

14、本申请提供了一种机械臂控制方法、装置、设备和存储介质，其中，该方法包括：获取深度相机采集的待控制机械臂对应待抓取区域的环境图像，对环境图像进行物品识别，得到待抓取区域中各个物品在环境图像中的包围框信息，根据针对环境图像输入的选择操作，以及各个物品在环境图像中的包围框信息，从各个物品中确定目标物品，根据目标物品的包围框信息，控制待控制机械臂对目标物品执行抓取操作。通过人机交互界面输入的选择操作和待抓取区域的环境图像中的包围框信息，确定利用人机交互界面选定的目标物品，从而实现了基于人机交互的机械臂抓取控制。

15、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种机械臂控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述环境图像进行物品识别，得到所述待抓取区域中各个物品在所述环境图像中的包围框信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据针对所述环境图像输入的选择操作，以及所述各个物品在所述环境图像中的包围框信息，从所述各个物品中确定目标物品，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标物品的包围框信息，控制所述待控制机械臂对所述目标物品执行抓取操作，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标物品的包围框信息，获取所述待控制机械臂的抓取位姿，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述运动轨迹，控制所述待控制机械臂对所述目标物品执行抓取操作之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述运动参数包括：旋转角度，所述若所述运动轨迹下所述待控制机械臂的运动参数不满足预设运动条件，则对所述运动参数进行调整，并根据调整后的运动参数，对所述运动轨迹进行优化，包括：

8.根据权利要求5所述的方法，其特征在于，所述根据所述世界坐标系下所述待控制机械臂的抓取位姿，确定所述待控制机械臂的末端坐标系下的抓取位姿，包括：

9.一种机械臂控制装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1至8任一所述的机械臂控制方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1至8任一所述的机械臂控制方法。

技术总结
本申请提供了一种机械臂控制方法、装置、设备和存储介质，其中，该方法包括：获取深度相机采集的待控制机械臂对应待抓取区域的环境图像，对环境图像进行物品识别，得到待抓取区域中各个物品在环境图像中的包围框信息，根据针对环境图像输入的选择操作，以及各个物品在环境图像中的包围框信息，从各个物品中确定目标物品，根据目标物品的包围框信息，控制待控制机械臂对目标物品执行抓取操作。以在抓取策略变动时，通过人机交互界面输入的选择操作和待抓取区域的环境图像中的包围框信息，确定利用人机交互界面选定的目标物品，从而实现基于人机交互的机械臂抓取控制。

技术研发人员：刘潇,王蒙,陈赢峰,范长杰,胡志鹏
受保护的技术使用者：网易(杭州)网络有限公司
技术研发日：
技术公布日：2024/1/13