货架商品的缺货检测方法、装置及机器人与流程

本发明涉及电子价签，尤其涉及一种货架商品的缺货检测方法、装置及机器人。

背景技术：

1、本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着人工智能技术的不断发展，商超行业也在不断地向智能化、数字化方向转型。ai技术的应用，使得商超能够更好地满足顾客需求，提高运营效率，提升用户体验，进一步扩大了商超的市场影响力。通过人工智能算法的运用，商超可以实时地分析和预测消费者需求，更加精确地制定营销策略，以满足消费者的需求，从而提高销售额和客户满意度。商超还可以使用ai技术来自动化库存管理，降低库存成本和货架滞留率，并在必要时快速补充货物，确保顾客的购物需求得到满足。

3、智能货架是一种新型的智能化零售工具，具备智能分析和自动化管理功能，能够满足商超的排面分析和商品识别等多种需求。通过对货架上的商品进行实时监控和数据分析，智能货架能够提高货架的利用率、优化库存管理、提升客户购物体验，从而提高商超的经营效益。智能货架已经成为商超智能化零售的重要组成部分，也是未来商超发展的重要趋势。

4、在智能货架中，缺货检测例如缺货区域和缺货率检测是关键的一环，因此，及时地检测、发现、分析货架上缺货的状况有利于提高商家的运营利润和提升购物者的购物需求。

5、现有缺货区域检测方案及存在的技术问题是：先进行图像拼接再做检测和识别，太依赖图像拼接的效果，或使用深度图像的深度信息直接确定缺货空缺区域，该些方案均存在缺货区域检测的准确率低的问题。

技术实现思路

1、本发明实施例提供一种货架商品的缺货检测方法，用以提高货架商品的缺货检测的准确率，该方法包括：

2、获取多张货架rgb图像及多张货架深度图像；

3、针对每一货架rgb图像及每一货架深度图像，执行如下缺货区域检测的步骤：

4、将每一货架rgb图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

5、根据每一货架rgb图像对应商品检测框及货架层格检测框的位置信息，得到每一货架rgb图像对应的第一空缺区域；

6、根据每一货架rgb图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架rgb图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架rgb图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

7、将每一货架rgb图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

8、将每一货架rgb图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

9、对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域带有位置信息和深度信息；

10、根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

11、本发明实施例还提供一种货架商品的缺货检测装置，用以提高货架商品的缺货检测的准确率，该装置包括：

12、获取单元，用于获取多张货架rgb图像及多张货架深度图像；

13、缺货区域检测单元，用于针对每一货架rgb图像及每一货架深度图像，执行如下缺货区域检测的步骤：

14、将每一货架rgb图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框；

15、根据每一货架rgb图像对应商品检测框及货架层格检测框的位置信息，得到每一货架rgb图像对应的第一空缺区域；

16、根据每一货架rgb图像对应的价签检测框及对应的货架深度图像，确定每一价签检测框内区域像素点的第一平均深度值；根据每一货架rgb图像对应的第一空缺区域及对应的货架深度图像，确定每一第一空缺区域内区域像素点的第二平均深度值；根据深度值处于设定区间内的像素点，得到每一货架rgb图像对应的第四空缺区域；所述设定区间根据第一平均深度值和第二平均深度值确定；

17、将每一货架rgb图像对应的第一空缺区域和第四空缺区域合并，得到货架内所有的空缺区域；每一空缺区域带有位置信息和深度信息；

18、图像拼接单元，用于将每一货架rgb图像拼接成完整货架图像，将商品检测框、价签检测框、层格检测框及所有的空缺区域进行合并和去重处理，映射至完整货架图像上；

19、空缺划分单元，用于对于完整货架图像，划定每个商品的摆放区域，生成每一商品对应的棚格区域；根据每一商品对应的棚格区域，对货架内所有的空缺区域进行划分，得到每一商品对应的空缺区域；每一商品对应的空缺区域及棚格区域均带有位置信息和深度信息；每一商品对应的空缺区域带有位置信息和深度信息；

20、缺货检测单元，用于根据每一商品对应空缺区域的位置信息和深度信息，确定每一商品对应空缺区域缺货体体积作为缺货检测结果。

21、本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述货架商品的缺货检测方法。

22、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

23、本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述货架商品的缺货检测方法。

24、本发明实施例提供的货架商品的缺货检测方案的有益技术效果是：

25、首先，本发明实施例将每一货架rgb图像，输入利用深度学习方法预先训练好的目标检测模型，对所有的商品进行检测得到商品检测框；对所有的电子价签进行检测得到价签检测框；对所有的货架层格检测得到货架层格检测框，精确得到各个检测框，为后续缺货区域检测奠定基础。

26、其次，与现有技术中直接使用深度图像的深度信息获取空缺区域，缺货区域检测的准确率低的方案相比较，本发明实施例基于货架视觉rgb图像及带有深度信息的货架深度图像，使用棚格区域和商品检测框进行空缺区域的反推，可以获取更准确的缺货区域。

27、再次，与先进行图像拼接再做检测和识别，太依赖图像拼接的效果，缺货区域检测的准确率低的方案相比较，本发明实施例在空缺区域检测之后进行图像拼接，并且在确定空缺区域时，融合了价签位置、商品位置、视觉空缺区域、深度值信息，可以最终获得更准确的空缺区域，进而可以提高缺货检测结果的准确率。

28、综上，本发明实施例提供的货架商品的缺货检测方案提高了缺货检测结果的准确率。