一种基于图像处理的抓取控制方法及装置与流程

本技术涉及智能机器人领域，特别涉及一种基于图像处理的抓取控制方法及装置。

背景技术：

1、娃娃机等选物贩卖机，原理是将商品陈列在一个透明的箱内，其上有一个可控制抓取物品的机器手臂，使用者要凭自己的技术操控手臂，以取得自己想要的物品。大多放置毛绒玩具之类的布偶填充玩具，因而受儿童及青少年欢迎。

2、发明人研究发现，玩家在进行娃娃机游戏时追求的只是抓取目标娃娃的精准性，玩法单一，控制过程较为简单，缺少能够启发用户的想象力的其他玩法。

技术实现思路

1、本技术的目的在于提供一种基于图像处理的抓取控制方法及装置，其能够改善上述问题。

2、本技术的实施例是这样实现的：

3、第一方面，本技术提供一种基于图像处理的抓取控制方法，应用于礼品抓取机，所述礼品抓取机包括礼品箱体、机械抓手、平面驱动组件和伸长驱动组件，所述机械抓手通过所述伸长驱动组件与所述平面驱动组件连接，所述机械抓手在所述平面驱动组件和/或所述伸长驱动组件的驱动下在所述礼品箱体内运动，以抓取所述礼品箱体内的礼品，所述抓取控制方法包括：

4、s1、获取第一待处理图像；

5、s2、控制平面驱动组件驱动机械抓手移动至礼品箱体顶部的中心位置后，获取设置于所述机械抓手中央位置的中央摄像头所拍摄到的第二待处理图像；

6、s3、分析出所述第一待处理图像和所述第二待处理图像中的每个元素的近似类别结果；

7、s4、将所述第一待处理图像中面积占比最大的元素的近似类别结果作为第一近似结果，将所述第二待处理图像中每个元素的近似类别结果作为第二近似结果；

8、s5、在所述第二近似结果与所述第一近似结果匹配的情况下，将所述第二近似结果对应的元素确认为备选元素；

9、s6、控制所述机械抓手抓取所述备选元素对应的礼品放置于礼品出口处。

10、其中：s1、s2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤s2再执行步骤s1，本技术不做限制。

11、可以理解，本技术公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。

12、在本技术可选的实施例中，步骤s3包括：

13、s31、通过图像元素识别模型对所述第一待处理图像和所述第二待处理图像中的每个元素进行识别，得到每个元素的类别概率表，所述类别概率表包括元素属于各个备选类别的概率；

14、s32、在所述类别概率表中去除目标备选类别后，选取所述类别概率表中概率最大的所述备选类别作为对应元素的近似类别结果。

15、在本技术可选的实施例中，所述目标备选类别包括以下至少一项：

16、所述目标备选类别为所述类别概率表中当前概率最大的备选类别；

17、所述第一待处理图像对应的所述目标备选类别为人物类别；

18、所述第二待处理图像对应的所述目标备选类别为玩偶类别。

19、可以理解，图像元素识别模型为人工神经网络模型，包括输入层、复合隐藏层、预测层和输出层，用于输出预测框可信度得分大于预设得分值的预测框所对应的类别概率表。类别概率表中，概率最大的备选类别即为图像元素识别模型的识别结果。但是本方法放弃当前概率最大的目标备选类别，而是选择概率次大的备选类别作为输出结果，即为元素的近似类别结果，能够起到很好地抽象近似效果。

20、在本技术可选的实施例中，步骤s31之前还包括：通过目标图像集对所述图像元素识别模型进行训练，所述目标图像集包括经过至少两级分类的样本图像。在此情况下，所述类别概率表中的所述备选类别为所述至少两级分类的末级分类类别。

21、可以理解，类似目标检测数据集pascal voc的目标图像集，将各种图像元素进行多级分类，比如：一级分类包括动物、家具、交通工具等，动物的二级分类又包括猫、狗、老鼠等。

22、在本技术可选的实施例中，步骤s5包括以下至少一项：在所述第二近似结果与所述第一近似结果相同的情况下，将所述第二近似结果对应的元素确认为备选元素；在所述第二近似结果与所述第一近似结果的上一级类别相同的情况下，将所述第二近似结果对应的元素确认为备选元素。

23、可以理解，判断第二近似结果与第一近似结果匹配分为两种情况，其一，第二近似结果与第一近似结果完全一致；其二，第二近似结果和第一近似结果所属大类一致。

24、在本技术可选的实施例中，所述通过目标图像集对所述图像元素识别模型进行训练，包括：

25、根据以下损失函数，通过目标图像集对所述图像元素识别模型进行训练：

26、;

27、其中：

28、其中：和为对应损失因素所对应的权值，一般为预设常数；表示若图像元素识别模型的输入图片第个网格对应的第个预测框负责预测图像元素则赋值为1，否则赋值为0；代表输入图片的网格总数，表示每个网格对应的预测框总数；表示第个网格对应的图像元素的真实框坐标，表示第个网格对应的预测框坐标，表示第个网格对应的图像元素的真实框的宽度和高度，表示第个网格对应的预测框的宽度和高度；表示第个网格对应的真实框的可信度得分，表示第个网格对应的预测框的可信度得分；表示若图像元素识别模型的输入图片第个网格对应的第个预测框不负责预测图像元素则赋值为1，否则赋值为0；表示若图像元素识别模型的输入图片第个网格对应的预测框包含图像元素则赋值为1，否则赋值为0；表示将输入图片第个网格对应的真实框元素预测为类别的概率，表示将输入图片第个网格对应的预测框元素预测为类别的概率，代表类别的总集。

29、在本技术可选的实施例中，所述基于图像处理的抓取控制方法还包括：

30、s7、在所述备选元素的数量大于1的情况下，选择所述第二待处理图像中距离所述第二待处理图像中心点最近的所述备选元素作为目标元素；

31、s8、所述控制机械抓手抓取所述备选元素对应的礼品放置于礼品出口处，包括：控制机械抓手抓取所述目标元素对应的礼品放置于礼品出口处。

32、可以理解，本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。

33、在本技术可选的实施例中，所述基于图像处理的抓取控制方法还包括：

34、s9、在所有所述第二近似结果都不与所述第一近似结果匹配的情况下，控制所述机械抓手在所述礼品箱体内进行搅动。

35、可以理解，第二待处理图像是通过处于礼品箱体顶部的中心位置的中央摄像头获取的俯视图，由于礼品箱内各种玩偶礼品可能相互遮挡，导致一些玩偶被埋藏于其他玩偶下方，无法被中央摄像头拍摄到，因此，可以通过机械抓手在礼品箱体内进行搅动，从而将位于礼品箱底部的玩偶暴露出来，以便被中央摄像头拍到。机械抓手在所述礼品箱体内完成搅动操作后，可以重复步骤s1至s6以重新获取与玩家形象抽象近似的礼品反馈给玩家。

36、第二方面，本技术提供一种基于图像处理的抓取控制装置，应用于礼品抓取机，其包括：相互连接的中央摄像头、交互摄像头、处理器、输入设备、输出设备和存储器；

37、所述中央摄像头设置于所述机械抓手朝向所述礼品箱体底部的一侧的中央位置；

38、所述交互摄像头设置于所述礼品箱体朝向用户的侧面上；

39、所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面任一项所述的方法。

40、在本技术可选的实施例中，所述基于图像处理的抓取控制装置用于获取所述第一待处理图像的通信模组，所述通信模组与所述处理器电连接。

41、第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第一方面任一方法的步骤。

42、有益效果：本技术公开了一种基于图像处理的抓取控制方法，应用于礼品抓取机，首先获取包含玩家人像的第一待处理图像和包含礼品箱内所有礼品的第二待处理图像，分析得到玩家人像元素和第二待处理图像的每个元素的近似类别结果，在第二待处理图像中挑选出与玩家人像元素的近似类别结果匹配的备选元素，最后控制机械抓手抓取备选元素对应的礼品。本方法包含了礼品抓取机的一种新玩法，不再单纯追求抓取目标娃娃的精准性，而是在礼品箱中抓取与玩家形象抽象近似的礼品反馈给玩家，可以很好地启发玩家的想象力，丰富礼品抓取机的娱乐方式。

43、本方法可以通过图像处理的方式在礼品箱中确认与玩家形象抽象近似的礼品，但是中央摄像头所拍摄到的当前礼品箱中与玩家形象抽象近似的礼品可能不止一个，那么此时可以将与第二待处理图像中心点最近的礼品确认为目标礼品，将其抓取并放置于礼品出口处。由于拍摄第二待处理图像时，机械抓手位于礼品箱体顶部的中心位置，因此与第二待处理图像中心点最近的礼品，也就是与机械抓手最近的礼品，以便于机械抓手完成抓取操作。

44、第二待处理图像是通过处于礼品箱体顶部的中心位置的中央摄像头获取的俯视图，由于礼品箱内各种玩偶礼品可能相互遮挡，导致一些玩偶被埋藏于其他玩偶下方，无法被中央摄像头拍摄到，因此，可以通过机械抓手在礼品箱体内进行搅动，从而将位于礼品箱底部的玩偶暴露出来，以便被中央摄像头拍到。机械抓手在所述礼品箱体内完成搅动操作后，可以重复步骤s1至s6以重新获取与玩家形象抽象近似的礼品反馈给玩家。

45、为使本技术的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。