一种使用图像标签辅助识别商品的方法及其系统与流程

本发明涉及智能货柜技术领域，尤其涉及一种使用图像标签辅助识别商品的方法及其系统。

背景技术：

随着人力成本的不断提高及物联网智能技术的发展，越来越多的传统商店迅速削减店面人员，并且有越来越多的无人商店和智能货柜诞生。

为了实现无人购物的体验，目前智能货柜通常会借助图像识别算法，特别是深度学习算法，去识别货柜中售卖的商品。

深度学习算法从开发到应用的过程包括采集数据，标注以及算法训练，整个过程耗时较长，这个缺点在新品上架的时候凸显。

技术实现要素：

本发明所要解决的技术问题是提供一种使用图像标签辅助识别商品的方法及其系统，通过给售卖商品加上图像标签，然后在系统中关联标签和实际售卖的商品，以图像算法负责识别标签，做标签到实际售卖商品的转换，从而省去了上新的过程。

为解决上述技术问题，本发明的技术方案是：

首先，本发明提供一种使用图像标签辅助识别商品的方法，包括以下步骤：

s1)上架阶段：通过智能货柜的后台管理系统设置sku(stockkeepingunit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；

s2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与sku的关联关系将该标签转换成sku；

s3)结算阶段：结算系统根据识别出的sku生成购物订单，进行结算。

上述技术方案中，步骤s1)中所述的各智能货柜分别设有唯一的编号。

上述技术方案中，步骤s2)具体步骤如下：

s21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；

s22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签；

s23)所述业务服务端根据识别出的标签，查询标签与sku的关联关系，生成订单消息,将该标签转换成sku。

上述技术方案中，所述算法模型分类为深度学习模型分类。

其次，本发明提供一种使用图像标签辅助识别商品的系统，其包括：

若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；

所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；

所述服务器内置有图像识别算法模块及业务处理模块；

所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；

所述业务处理模块用于将顾客所选商品的标签转换为sku，并生成购物订单信息；

所述结算终端根据所述购物订单信息进行结算。

上述技术方案中，所述服务器设有后台管理系统，用于设置sku与标签的关联，并提供业务处理模块调用。

本发明的有益效果：

1)本发明的技术方案可以应用于水果等非标准包装的商品中，极大地提高了智能货柜的可售卖商品数量；

2)本发明的技术方案中，深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种sku进行图像采集和标注训练的工作，节省了采购sku的成本和人工标注成本；

3)该方案对sku变动不敏感，弥补了深度学习模型迁移学习能力较弱的弊端，可以加速商品上新的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种使用图像标签辅助识别商品的方法上架阶段标签和sku及智能货柜对应示意图。

图2为本发明一种使用图像标签辅助识别商品的方法的购物阶段图像信息到sku的转换过程示意图。

图3为本发明一种使用图像标签辅助识别商品的方法完整的购物过程示意图。

具体实施方式

以下结合本发明的附图来进一步介绍本发明的技术方案：

首先，本发明提供一种使用图像标签辅助识别商品的方法，包括以下步骤：

s1)上架阶段：通过智能货柜的后台管理系统设置sku(stockkeepingunit，库存量单位)与标签的关联，并将其关联关系应用到各智能货柜中；

s2)购物阶段：采集智能货柜内商品的图像信息，通过算法模型识别出顾客所选商品上设置的标签，并通过标签与sku的关联关系将该标签转换成sku；

s3)结算阶段：结算系统根据识别出的sku生成购物订单，进行结算。

上述技术方案中，步骤s1)中所述的各智能货柜分别设有唯一的编号。

上述技术方案中，步骤s2)具体步骤如下：

s21)智能货柜设有的图像采集装置，所述图像采集装置采集顾客打开智能货柜门前后的商品图像信息，并将所采集的图像信息上传到智能货柜算法服务端；

s22)所述算法服务端接收到智能货柜开门前后图像信息后，经过对比确定顾客所选商品，由算法模型分类识别出该商品上的标签，并根据所识别的标签生成订单信息，将订单信息传递给业务服务端；

s23)所述业务服务端根据订单产生时智能货柜的编号，找到该标签与sku的关联关系，将该标签转换成sku。

上述技术方案中，所述算法模型分类为深度学习模型分类。

其次，本发明提供一种使用图像标签辅助识别商品的系统，其包括：

若干储存商品的智能货柜，与智能货柜通信相连的服务器及结算终端；

所述智能货柜设有图像采集装置，用于采集智能货柜门开闭前后货柜内的商品图像信息；

所述服务器内置有图像识别算法模块及业务处理模块；

所述图像识别算法模块用于识别图像采集装置所采集的图像信息，通过对比确定出顾客所选商品，并识别该商品上的标签；

所述业务处理模块用于将顾客所选商品的标签转换为sku，并生成购物订单信息；

所述结算终端根据所述购物订单信息进行结算。

上述技术方案中，所述服务器设有后台管理系统，用于设置sku与标签的关联，并提供业务处理模块调用。

具体的，步骤s1如图1所示，通过智能货柜(fridge)的后台管理系统设置sku与标签(tag)的关联，该关联关系置于数据库中，应用于分散在各处的智能货柜中，所述各智能货柜分别设有唯一的识别编号。

如图2所示，该sku和标签之间的关联关系，可以经由算法模块和业务模块进行转换。

当顾客进行商品选购时，设置在智能货柜上的图像采集装置会采集顾客打开智能货柜门前后的商品图像信息(image)，并将该图像信息传递给算法服务端。算法服务端根据深度学习模型(deeplearningmodel)分类识别并对比所采集的图像信息，确定顾客所选购的商品，识别其上标签，并将标签信息传递至业务服务端。

所述业务服务端根据标签信息及订单产生时智能货柜的编号，找到该标签与sku的关联关系，将该标签转换成sku，并根据所识别出的sku产生购物订单，用于结算系统进行结算。

如图3所示，为顾客进行购物的整个过程示意图。

图3中，fridge,server,algorithm分别表示智能货柜，业务服务器以及算法服务器。

用户在智能货柜前购物，智能货柜的图像采集装置采集智能货柜开门前以及开门后的商品图像信息，上传到业务服务端。

业务服务端将图像信息传递给算法服务端，使用深度学习模型分类，识别图像中的标签，确定被选购商品及其标签。

业务服务端根据sku与标签的关联关系，将标签转换成sku。

业务服务端根据sku，生成支付订单。

业务服务端将支付订单返回给用户，用户支付，完成整个购物流程。

本发明的技术方案可以应用于水果等非标准包装的商品中，极大地提高了智能货柜的可售卖商品数量；

本发明的技术方案中，深度学习算法只需要对标签进行分类，模型相对稳定，节省了对每种sku进行图像采集和标注训练的工作，节省了采购sku的成本和人工标注成本；

该方案对sku变动不敏感，弥补了深度学习模型迁移学习能力较弱的弊端，可以加速商品上新的速度。

以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。