面向垃圾处理场景的抓取机器人控制方法、系统、介质

本发明涉及垃圾处理，尤其是涉及一种面向垃圾处理场景的抓取机器人控制方法、系统、介质。

背景技术：

1、在垃圾处理过程中，传统的垃圾及危险物品抓取工作主要由工人手动完成，不仅费时费力，还可能对健康造成危害。而随着人工智能的普及，各种样式的抓取机器人相继出现，能有效提高垃圾及危险物品清理效率，减轻人力负担。

2、国际上近年发展了一种以嵌入式系统作为主控的物品抓取机器人，由于嵌入式系统的有限算力，只能以较低帧率跑一些跑轻量级神经网络，限制了其应用范围。尽管传统基于嵌入式系统的机器人可以通过模型优化和神经计算棒加速推理，但是这两类方法在很多时候仍然无法解决算力不足的问题。

3、另一方面，在垃圾处理/危化品处理的场景中，往往需要多台机器人协同进行处理，为每台机器人配置高算力的处理器将极大地提高自动化垃圾处理系统的整体成本。

4、综上，当前缺少一种面向垃圾处理场景的抓取机器人实现方法以克服或部分克服前述问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向垃圾处理场景的抓取机器人控制方法、系统、介质，以改善推理速度的同时降低机器人成本。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明的一个方面，提供了一种面向垃圾处理场景的抓取机器人控制方法，包括如下步骤：

4、实时采集图像并利用预设的通信协议发送至服务端进行逐帧推理，接收包括物品种类和坐标的实时推理结果；

5、基于所述实时推理结果，利用本地的传感器移动至要处理的目标物品并抓取所述目标物品；

6、在抓取到所述目标物品后，基于所述实时推理结果，利用本地的传感器移动至放置所述目标物品的目标位置处并放置目标物品；

7、其中，若所述实时推理结果中不存在所述目标物品或所述目标位置，则控制机器人改变图像捕获设备的朝向，重新采集图像并发送至服务端进行逐帧推理，直至所述推理结果中出现所述目标物品或所述目标位置。

8、作为优选的技术方案，通过部署在服务端的推理模型实现逐帧推理。

9、作为优选的技术方案，所述推理模型的训练过程包括：

10、获取pascal_voc数据集并转换为yolo数据集；

11、将所述yolo数据集分割为训练集和测试集，基于所述训练集对所述推理模型进行训练，基于所述测试集对所述推理模型进行评估。

12、作为优选的技术方案，基于zmq通信协议将所述采集图像发送至服务端，基于tcp通信协议接收所述实时推理结果。

13、作为优选的技术方案，控制机器人改变图像捕获设备的朝向具体包括：

14、控制机器人进行旋转；

15、间隔预设时间控制图像捕获设备抬头和低头。

16、作为优选的技术方案，基于运动控制算法，利用本地的超声波传感器移动至所述目标物品或所述目标位置。

17、本发明的另一个方面，提供了一种面向垃圾处理场景的抓取机器人控制系统，包括：

18、抓取机器人本体，用于实现上述面向垃圾处理场景的抓取机器人控制方法；

19、服务端，部署有用于逐帧推理的推理模型。

20、作为优选的技术方案，所述抓取机器人本体包括：

21、图像捕获设备，用于实时采集图像；

22、机械臂钳子，用于抓取所述目标物品；

23、超声波模块，用于获取与所述目标物品或所述目标位置间的相对距离，基于所述相对距离实现所述目标物品的拾起和放置；

24、麦克纳姆轮，用于实现所述抓取机器人的移动；

25、控制器。

26、作为优选的技术方案，所述抓取机器人本体还包括：

27、蜂鸣器，用于在检测到目标物体后发出告警。

28、本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述面向垃圾处理场景的抓取机器人控制方法的指令。

29、与现有技术相比，本发明至少具有以下优点：

30、(1)推理的即时性：相对传统的嵌入式系统推理计算方式，本申请将抓取机器人采集的图像集中至具有较高计算能力的服务端(例如计算机)进行推理，解决因本地计算资源不足导致推理速度满进而影响推理及时性的问题；

31、(2)机器人成本低：通过将需要较多计算资源的推理过程上交服务端进行，抓取机器人本身无需配置高性能的计算硬件，从而降低了整体成本；

32、(3)可以完成更复杂的工作：用电脑替代推理的方式能够完成很多原本嵌入式系统无法完成的计算工作，可以用该系统完成更多尚未开发的功能；

33、(4)便于观察与控制：计算机与机器人实时通信，开发人员与操作人员可以从计算机端实时观察到机器人的视野及周围环境，及时调试与控制机器人；

34、(5)更强的计算能力：可以运用电脑替代嵌入式系统进行计算与推理，可以实现更复杂的推理与计算工作。

技术特征：

1.一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，通过部署在服务端的推理模型实现逐帧推理。

3.根据权利要求2所述的一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，所述推理模型的训练过程包括：

4.根据权利要求1所述的一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，基于zmq通信协议将所述采集图像发送至服务端，基于tcp通信协议接收所述实时推理结果。

5.根据权利要求1所述的一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，控制机器人改变图像捕获设备的朝向具体包括：

6.根据权利要求1所述的一种面向垃圾处理场景的抓取机器人控制方法，其特征在于，基于运动控制算法，利用本地的超声波传感器移动至所述目标物品或所述目标位置。

7.一种面向垃圾处理场景的抓取机器人控制系统，其特征在于，包括：

8.根据权利要求7所述的一种面向垃圾处理场景的抓取机器人控制系统，其特征在于，所述抓取机器人本体包括：

9.根据权利要求8所述的一种面向垃圾处理场景的抓取机器人控制系统，其特征在于，所述抓取机器人本体还包括：

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-6任一所述面向垃圾处理场景的抓取机器人控制方法的指令。

技术总结
本发明涉及一种面向垃圾处理场景的抓取机器人控制方法、系统、介质，方法包括：实时采集图像并利用预设的通信协议发送至服务端进行逐帧推理，接收包括物品种类和坐标的实时推理结果；基于所述实时推理结果，利用本地的传感器移动至要处理的目标物品并抓取所述目标物品；在抓取到所述目标物品后，基于所述实时推理结果，利用本地的传感器移动至放置所述目标物品的目标位置处并放置目标物。与现有技术相比，本发明具有改善推理的即时性、机器人成本低等优点。

技术研发人员：郭东生,杨泽力,贾泽华,薛珊,陈树康,张卫东,方宇凡,刘大可,乐心怡,赵斌,江灏,刘若楠,陈浩
受保护的技术使用者：海南大学
技术研发日：
技术公布日：2024/4/22