一种目标药瓶抓取方法、装置、设备及存储介质

本发明涉及机械臂，具体涉及目标药瓶抓取方法、装置、设备及存储介质。

背景技术：

1、在制药流水线中，会发生药瓶跌倒的情况，但是制药整个过程需要在洁净区的洁净度为a级的环境下进行，制药流水线上捡扶药瓶的作业人员需要做好无菌处理，要求较高，且工作环境艰苦。并且，由于药瓶跌倒发生的情况并不太多，导致工作人员的有效工作时间很短，成本很大。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种目标药瓶抓取方法、装置、设备及存储介质，以解决现有抓取制药流水线中跌倒药瓶的技术中，利用人工进行捡扶导致的成本较高、效率较低的问题。

2、根据本发明实施例的第一方面，提供一种目标药瓶抓取方法，包括：

3、获取训练样本图片和机械臂的当前状态，所述训练样本图片为流水线上跌倒的药瓶的图片，所述当前状态包括当前的位置信息和姿态信息；

4、对所述训练样本图片进行目标特征提取，得到对应的目标位置信息；

5、在预设抓取步数内，根据所述目标位置信息和所述机械臂的当前状态，确定当前动作向量；

6、所述机械臂按照所述当前动作向量执行完成后，得到当前抓取结果和当前抓取状态；

7、根据所述当前抓取结果，按照预设奖励函数，计算得到对应的奖励值；

8、根据所述奖励值和当前抓取状态，对动作预测模型进行优化，得到优化后的动作预测模型，并将所述当前抓取状态作为下一步的当前状态；

9、根据所述优化后的动作预测模型和目标药瓶的目标位置信息，预测所述机械臂的动作向量，用以抓取目标药瓶。

10、优选地，所述根据所述目标位置信息和所述机械臂的当前状态，确定当前动作向量，包括：

11、若所述机械臂的当前状态为初始状态，随机确定所述机械臂在多个方向上的偏移值和偏移角度；

12、根据所述多个方向上的偏移值和偏移角度，确定当前动作向量。

13、优选地，所述方法还包括：

14、将所述当前状态、所述当前动作向量、所述当前抓取状态和所述奖励值作为一条经验数据存储至经验池。

15、优选地，所述方法还包括：

16、判断所述经验池是否存满，若已经存满，从所述经验池中随机选取多条经验数据，输入动作预测模型，对所述动作预测模型进行优化，并将所述经验池中最早的经验数据进行删除。

17、优选地，所述当前抓取结果中包括发生碰撞的次数、是否抓取成功、与所述目标位置信息的距离和当前步数，所述根据所述当前抓取结果，按照预设奖励函数，计算得到对应的奖励值，包括：

18、根据所述发生碰撞的次数，确定碰撞奖励；

19、根据所述当前动作向量，判断所述机械臂是否超出预设运动范围，确定运动范围奖励；

20、根据所述机械臂的抓取结果为抓取成功或抓取失败，确定结果奖励；

21、根据与所述目标位置信息的距离，确定距离奖励；

22、根据当前步数，确定步数奖励；

23、根据所述目标位置信息和所述机械臂的姿态信息，确定角度奖励；

24、将所述碰撞奖励、运动范围奖励、结果奖励、距离奖励、步数奖励和角度奖励进行加权求和，得到对应的奖励值。

25、根据本发明实施例的第二方面，提供一种目标药瓶抓取装置，包括：

26、训练图片获取模块，用于获取训练样本图片和机械臂的当前状态，所述训练样本图片为流水线上跌倒的药瓶的图片，所述当前状态包括当前的位置信息和姿态信息；

27、目标特征提取模块，用于对所述训练样本图片进行目标特征提取，得到对应的目标位置信息；

28、动作向量确定模块，用于在预设抓取步数内，根据所述目标位置信息和所述机械臂的当前状态，确定当前动作向量；

29、结果获取模块，用于所述机械臂按照所述当前动作向量执行完成后，得到当前抓取结果和当前抓取状态；

30、计算模块，用于根据所述当前抓取结果，按照预设奖励函数，计算得到对应的奖励值；

31、模型训练模块，用于根据所述奖励值和当前抓取状态，对动作预测模型进行优化，得到优化后的动作预测模型，并将所述当前抓取状态作为下一步的当前状态；

32、目标抓取模块，用于根据所述优化后的动作预测模型和待检测药瓶的目标位置信息，预测所述机械臂的动作向量，用以抓取目标药瓶。根据本发明实施例的第三方面，提供一种目标药瓶抓取设备，包括：

33、存储器，其上存储有可执行程序；

34、处理器，用于执行所述存储器中的所述可执行程序，以实现上述任一项所述方法的步骤；

35、机械臂，用于按照所述当前动作向量执行当前动作。

36、根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。

37、本发明的实施例提供的技术方案可以包括以下有益效果：

38、通过获取训练样本图片和机械臂的当前状态，由于训练样本图片为流水线上跌倒的药瓶的图片，当前状态包括当前的位置信息和姿态信息；对训练样本图片进行目标特征提取，得到对应的目标位置信息；在预设抓取步数内，根据目标位置信息和机械臂的当前状态，确定当前动作向量；机械臂按照当前动作向量执行完成后，得到当前抓取结果和当前抓取状态；根据当前抓取结果，按照预设奖励函数，计算得到对应的奖励值；根据奖励值和当前抓取状态，对动作预测模型进行优化，得到优化后的动作预测模型，并将当前抓取状态作为下一步的当前状态；根据优化后的动作预测模型和目标药瓶的目标位置信息，预测机械臂的动作向量，用以抓取目标药瓶，由于优化后的动作预测模型是经过跌倒的药瓶的图片训练得到的，所以具有经验，可以根据流水线上的跌倒的目标药瓶，预测出机械臂的动作向量，让机械臂根据动作向量抓取到跌倒的目标药瓶，效率更高，无需人工进行参与，节省了人力资源和时间成本，有效解决了抓取制药流水线中跌倒药瓶的技术中，利用人工进行捡扶导致的成本较高、效率较低的问题的。

39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种目标药瓶抓取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标位置信息和所述机械臂的当前状态，确定当前动作向量，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述当前抓取结果中包括发生碰撞的次数、是否抓取成功、与所述目标位置信息的距离和当前步数，所述根据所述当前抓取结果，按照预设奖励函数，计算得到对应的奖励值，包括：

6.一种目标药瓶抓取装置，其特征在于，包括：

7.一种目标药瓶抓取设备，其特征在于，包括：

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1～5任一项所述方法的步骤。

技术总结
本发明涉及目标药瓶抓取方法、装置、设备及存储介质，属于机械臂技术领域。本发明包括：获取训练样本图片和机械臂的当前状态，对训练样本图片进行目标特征提取，得到对应的目标位置信息，确定当前动作向量；机械臂按照所述当前动作向量执行完成后，得到当前抓取结果和当前抓取状态；按照预设奖励函数，计算得到对应的奖励值，对动作预测模型进行优化，得到优化后的动作预测模型，并将当前抓取状态作为下一步的当前状态；根据优化后的动作预测模型和目标药瓶的目标位置信息，所述机械臂的动作向量用以抓取目标药瓶。通过本发明，有助于解决现有抓取制药流水线中跌倒药瓶的技术中，利用人工进行捡扶导致的成本较高、效率较低的问题。

技术研发人员：刘强,温旭强,滕达,王文通,王建康
受保护的技术使用者：北京石油化工学院
技术研发日：
技术公布日：2024/2/6