一种商品识别方法、装置、电子设备和可读存储介质与流程

本申请涉及图像处理领域，更具体地说，涉及一种商品识别方法、装置、电子设备和可读存储介质。

背景技术：

1、在进行商品统计时，统计人员通过采用拍摄商品照片的方式对商品照片中的商品进行识别并进行统计。但是对于一部分商品，其外观相似甚至相同，仅存在规格差异，商品之间的差异特征在整个商品照片中的占比区域很小，仅依靠视觉难以识别商品之间规格的细微差异，导致商品的识别准确度不高。

技术实现思路

1、有鉴于此，本申请提供了一种商品识别方法、装置、电子设备和可读存储介质，用于解决因为规格而导致商品识别准确度不高的问题。

2、为了实现上述目的，现提出的方案如下：

3、一种商品识别方法，所述方法包括：

4、获取货架的由深度摄像头拍摄的rgb图像，所述货架上具有至少一个商品；

5、对所述深度摄像头拍摄的rgb图像进行特征提取后获得第一区域，所述第一区域只包含一个商品；

6、基于所述深度摄像头采集的深度信息，获取所述第一区域的物理高度；

7、基于所述物理高度确定所述第一区域中商品的规格；

8、通过所述商品的规格获得带有所述规格的商品名称。

9、可选的，所述基于所述深度摄像头采集的深度信息，获取所述第一区域的物理高度，包括：

10、根据所述深度摄像头拍摄的rgb图像和所述深度信息的对应关系获取所述第一区域中的第一像素点所对应的实际商品区域到所述深度摄像头的第一距离；

11、基于所述深度摄像头的焦距、所述深度摄像头的成像原点的坐标、所述第一区域的坐标和所述第一距离计算所述第一区域的物理高度。

12、可选的，所述焦距包括x轴方向的焦距fx和y轴方向的焦距fy，所述基于所述深度摄像头的焦距、所述深度摄像头的成像原点的坐标、所述第一区域的坐标和所述第一距离计算所述第一区域的物理高度，包括：

13、获取所述fx和所述fy的均值f；

14、根据所述第一区域的坐标获取所述第一区域的顶部中心点坐标(xm，y1)和底部中心点坐标(xm，y2)；

15、根据公式：

16、wxt＝(xm-cx)×cz÷f

17、wyt＝(y1-cy)×cz÷f

18、wxb＝(xm-cx)×cz÷f

19、wyb＝(y2-cy)×cz÷f

20、计算所述第一区域的顶部中心点的物理世界坐标(wxt，wyt)和底部中心点的物理世界坐标(wxb，wyb)；

21、根据所述(wxt，wyt)和所述(wxb，wyb)计算所述第一区域的物理高度。

22、可选的，还包括：获取所述第一区域中商品的类别；

23、所述基于所述物理高度确定所述第一区域中商品的规格，包括：

24、确定所述第一区域中商品的类别对应的至少一个规格，所述规格对应有商品高度；

25、将所述物理高度与所述至少一个规格对应的商品高度进行比对，基于比对结果确定所述第一区域中商品的规格。

26、可选的，还包括：

27、通过除所述深度摄像头外的其他摄像头获取第一图像，所述第一图像的分辨率高于所述深度摄像头拍摄的rgb图像的分辨率；

28、对所述第一图像进行特征提取后获得第二区域，所述第二区域中只包括一个商品；

29、识别所述第二区域中商品的类别；

30、确定所述第一区域和所述第二区域是否为包含同一商品的区域，若是，则建立所述第一区域和所述第二区域的对应关系，确定所述第二区域中商品的类别为所述第一区域中商品的类别；

31、所述基于所述物理高度确定所述第一区域中商品的规格，包括：

32、基于所述物理高度和所述第一区域中商品的类别确定所述第一区域中商品的规格。

33、可选的，所述确定所述第一区域和所述第二区域是否为包含同一商品的区域，包括：

34、提取所述第一图像的特征点和所述深度摄像头拍摄的rgb图像的特征点；

35、将所述第一图像的特征点和所述深度摄像头拍摄的rgb图像的特征点进行匹配；

36、匹配成功之后，将所述第一图像包含的所述第二区域映射到所述深度摄像头拍摄的rgb图像中；

37、若所述rgb图像中的所述第一区域与映射的所述第二区域重叠率满足预设要求，则确定所述第一区域和所述第二区域为包含同一商品的区域。

38、可选的，还包括：对所述深度摄像头拍摄的rgb图像中所述第一区域的商品进行识别，获得所述第一区域的商品的类别；

39、所述基于所述物理高度确定所述第一区域中商品的规格，包括：

40、基于所述物理高度和所述第一区域中商品的类别确定所述第一区域中商品的规格。

41、一种商品识别装置，所述装置包括：

42、图像获取单元，用于获取货架的由深度摄像头拍摄的rgb图像，所述货架上具有至少一个商品；

43、特征提取单元，用于对所述深度摄像头拍摄的rgb图像进行特征提取后获得第一区域，所述第一区域只包含一个商品；

44、高度获取单元，用于基于所述深度摄像头采集的深度信息，获取所述第一区域的物理高度；

45、规格确定单元，用于基于所述物理高度确定所述第一区域中商品的规格；

46、名称确定单元，用于通过所述商品的规格获得带有所述规格的商品名称。

47、一种电子设备，包括存储器和处理器；

48、所述存储器，用于存储程序；

49、所述处理器，用于执行所述程序，实现上述任一项商品识别方法的各个步骤。

50、一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项商品识别方法的各个步骤。

51、本申请通过一种商品识别方法、装置、电子设备和可读存储介质，方法包括：采取所述深度摄像头对所述货架进行拍摄，获得所述货架的由深度摄像头拍摄的rgb图像，对所述深度摄像头拍摄的rgb图像进行特征提取后获得第一区域，所述第一区域中只包含一个商品，获取所述第一区域的物理高度并基于所述物理高度确定商品的规格，最后通过规格确定商品名称。由于不同规格的商品的物理高度不同，因此本申请可以通过物理高度去判断商品的规格。深度信息中包含每个像素点的距离信息，基于深度信息计算物理高度可以有效地提高物理高度的准确度，进而基于准确度高的物理高度可以更准确地判断商品的规格，获得带有规格的商品名称。可见，该方法可以有效提高商品的识别准确度。

技术特征：

1.一种商品识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述深度摄像头采集的深度信息，获取所述第一区域的物理高度，包括：

3.根据权利要求2所述的方法，其特征在于，所述焦距包括x轴方向的焦距fx和y轴方向的焦距fy，所述基于所述深度摄像头的焦距、所述深度摄像头的成像原点的坐标、所述第一区域的坐标和所述第一距离计算所述第一区域的物理高度，包括：

4.根据权利要求1所述的方法，其特征在于，还包括：获取所述第一区域中商品的类别；

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述确定所述第一区域和所述第二区域是否为包含同一商品的区域，包括：

7.根据权利要求1所述的方法，其特征在于，还包括：对所述深度摄像头拍摄的rgb图像中所述第一区域的商品进行识别，获得所述第一区域的商品的类别；

8.一种商品识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括存储器和处理器；

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7任一项商品识别方法的各个步骤。

技术总结
本申请公开一种商品识别方法、装置、电子设备和可读存储介质，方法包括：获取货架的由深度摄像头拍摄的RGB图像，货架上具有至少一个商品，对深度摄像头拍摄的RGB图像进行特征提取后获得第一区域，第一区域只包含一个商品，基于深度摄像头采集的深度信息，获取第一区域的物理高度，基于物理高度确定第一区域中商品的规格，通过商品的规格获得带有规格的商品名称。该申请通过物理高度判断商品的规格，由于不同规格的商品对应的物理高度不同，基于准确度高的物理高度可以更好的判断商品规格，深度信息包含每个像素点的距离信息，基于深度信息计算物理高度可以有效提高物理高度的准确度，最后获得带有规格的商品名称，有效提高商品识别准确度。

技术研发人员：许欢庆,卢肖萌,牟永奇,马彦飞
受保护的技术使用者：北京朗镜科技有限责任公司
技术研发日：
技术公布日：2024/1/12