一种基于图像识别技术的货架识别方法与流程

本发明涉及人工智能领域，具体涉及一种货架识别方法。

背景技术：

消费品企业需要定期对线下渠道进行店内核查、普查商品的铺货率、在货架的排面数和占有率等，以优化店内执行，获得对购买现场的洞察，对于企业的市场投放、市场管理的决策具有重大意义。

品牌商要了解其商品在各大商场超市货架上的情况(铺货率、货架商品排面)，需要安排专门的销售代表或职员到指定的商场超市对摆放其商品的货架进行信息采集、进行统计并将统计结果反馈到公司，目前的解决方法有如下两种：

1.销售代表或相关职员在货架前进行数据统计，即在现场人工数出货架上记录所需统计商品的数目、观察排面状况、计算占有率等，工作完成后将信息统计汇总并上交；

2.销售代表或相关职员在货架前拍照采集其图片信息，采集完成后在图片中记录所需统计商品的数目、观察牌面状况、计算占有率等，工作完成后将信息统计汇总并上交。

这两种方法均需要人工进店和现场核计，花费了大量的人力且效率低、质量难以把控。品牌商往往局限于成本只做抽样调查，无法获取完整的数据。

随着科技和智能化信息系统的发展，目前也有针对货架上商品的摆放和盘点所需要的商品信息进行自动统计和分析的方法。

中国专利号cn201510917753.3公开了一种基于超像素的图像的实际货架图景象分析。所包括的图像识别系统接收包括多个被组织的对象的实际货架图图像，并且检测和识别零售货架上的一个或多个货品的实际货架图图像中的对象，识别货架前端和货架前端上的标签，识别货架下的空闲空间，识别可能存在未被识别的产品的区域，以及识别产品″缺货″的区域。这种方法通过对采集的图像进行图像处理来计算识别和判断用户所需信息，每次的采集结果都需要经过复杂的图像处理过程，难以实时获得统计结果。

中国专利号cn201210376807.6公开了一种基于图像识别技术的商品陈列信息采集分析系统及方法，所述方法是：1)建立一个特征库；2)采集商品陈列图片；3)读取商品陈列图片，对图片进行分析与切割；4)识别得到商品信息与陈列位置信息；5)识别出价格标签所在位置，获得价格标签信息；6)将得到的价格标签信息与商品条码进行关联。这种方法不仅需要采集商品图片还需要采集商品标签，并且商品标签还需与商品条码关联，操作步骤复杂并且商品标签的采集需要更准确清晰的图像，如果采集结果不理想，很容易造成系统误判，影响准确率。

中国专利号201110098035.x公开了一种图像采集分析方法，包括：步骤1、制作若干个标尺并将其摆放在每行超市货架上，所述标尺上具有若干组编码；步骤2、采集摆放有所述标尺的货架的图像；步骤3、对采集到的所述图像分离色彩通道，在分离后的各个通道上检测标尺的编码；步骤4、根据对所述编码的检测结果对图像进行校正；步骤5、根据对所述编码的检测结果在校正后的图像上分割出图像中包含商品的区域；步骤6、在所述区域上利用颜色特征和局部纹理特征对商品进行分类，进而得到商品摆放的相关信息。这种方法需要在每个货架上配置专门的标尺，增加了工作量和操作的复杂程度，而且在货架上配置标尺对整个店铺的视觉感官有一定的影响，不一定线下每间店铺能得到实施，因此现实可行性不高。

技术实现要素：

针对现有技术的缺点，本发明的目的是提供一种根据采集到的实时货架商品陈列图片能够更快速、准确地识别和统计货架铺货情况信息的方法。

本发明提供一种基于图像识别技术的货架识别方法，其特征在于，所述货架识别方法具体包括如下步骤：

s1、对目标产品进行360度摄像采集商品各个角度的图片并进行数据处理作为样本图片集，通过其他渠道获得不包含目标产品的货架图片作为训练的验证图片集；

s2、将采集到的样本图片集和验证图片集交给训练机进行模式训练，得到具备图像识别能力的识别引擎；

s3、采集货架商品陈列图片并上传到pc端进行数据预处理；

s4、将步骤s3数据预处理后的图片集放入到识别引擎进行识别；

本发明基于深度学习的图像识别智能技术，通过采集样本图片集提交给训练机训练识别图片中的目标产品图像，训练后使训练机具备识别图像的能力，再利用包含该训练机的识别引擎去识别现场采集到的图片从而实现货架识别和统计的功能。通过本发明方法能快速、准确地识别货架图片中的信息并统计，避免了人工现场核查的麻烦。该方法操作简便，能在短时间内掌握多个铺面的排货情况，大大提高了管理工作效率和准确率。

根据本发明另一具体实施方式，步骤s1进一步包括将采集到的图片集作好分类再上传到pc端。

根据本发明另一具体实施方式，步骤s1对图片进行数据处理包括如下步骤：

s11、将图片集进行图片增广伪造货架；

s12、对图片集中需要识别为目标产品的部分进行标注。

根据本发明另一具体实施方式，步骤s12将目标产品标注定义为商品的形状。

根据本发明另一具体实施方式，步骤s1获取验证图片集的渠道包括网络搜索或现场拍摄不包含目标产品的货架图片；

根据本发明另一具体实施方式，步骤s2的模式训练包括box训练、others训练、sku训练；box训练为对图片的标注部分进行识别训练，others训练为在box训练的基础上进一步将识别结果分为录入物体和非录入物体进行识别，识别出的录入物体则为更精确的结果；sku训练为在others训练识别为录入物体的基础上根据商品分类信息进一步分类识别。

根据本发明另一具体实施方式，others训练、sku训练基于相同的模型进行训练，sku训练根据实际情况需要进行多步分类训练，直至能识别出商品的唯一性。

根据本发明另一具体实施方式，步骤s3数据预处理进一步包括图片拼接和光照角度调整。

根据本发明另一具体实施方式，步骤s4识别引擎根据模型训练的层次结构依次识别。

根据本发明另一具体实施方式，本发明通过app客户端控制操作并查看统计结果，所述app客户端包括gps防伪和图片防伪。

与现有技术相比，本发明具备如下有益效果：

1、工作人员只需进行简单的图片采集工作，统计工作交给系统完成，节省了大量人力；

2、工作人员拍照并上传图片后系统在短时间完成识别核计工作并将结果生成报告反馈至后台的管理系统，企业能在短时间内掌握多个铺面的排货情况，大大提高了工作效率。

3、本方法识别的准确率高达95％，相对人工核查统计有更高的准确率；

下面结合附图对本发明作进一步的详细说明。

附图说明

图1是实施例1中的货架识别方法的模块划分图；

图2是实施例1中的货架识别方法工作流程图；

具体实施方式

实施例1

本实施例提供了一种基于图像识别技术的货架识别方法，该方法步骤如下：

s1、对目标产品进行360度摄像采集商品各个角度的图片并进行数据处理作为样本图片集，通过其他渠道获得不包含目标产品的货架图片作为训练的验证图片集；

对目标产品采集的图片需先对图片作好分类再上传到pc端，这样方便训练机针对不同类的图片做不同的识别训练，从而系统可以依次对不同类的目标产品进行识别。图像处理包括对360度采集的目标产品图片进行图片增广伪造一个货架图片，得到包含目标产品的虚拟货架图片，并对目标产品进行标注；模型训练时，不仅需要包含目标产品的货架图片给训练机识别正确，还需要一些不包含目标产品的货架图片给训练机识别错误，从而达到验证的目的，因此该部分图片为验证图片集。验证图片集需要通过不同的渠道搜集，例如通过网络搜索或现场拍摄不包含目标产品的货架图片。

s2、将采集到的样本图片集和验证图片集交给训练机进行模式训练，得到具备图像识别能力的识别引擎；

模式训练即对训练机进行多层模型训练包括box训练、others训练和sku训练。对训练机进行模式训练，首先需要大量的图片样本作为训练的图片集，该图片集不仅包括360度采集目标产品图片进行图片增广进行货架伪造得到的包含目标产品的虚拟货架图片集，还包括从网站或者其他途径采集的不包含目标产品的货架图片集作为验证集，用来验证模式训练各个阶段的准确率。模式训练时，将标注后的图片集交给训练机识别，训练机识别出带标注的图片时即为正确，识别出没有带标注的图片认为是目标产品则识别错误。

标注达到一定的正确率之后开始训练，首先进行box训练。box训练主要用到目标检测的方法，但是由于货架上的商品数不胜数，且商品为立体结构，具有360度不同的图片样式，如果直接将目标检测模型的目标定义为商品的图片，就会导致很多包含目标产品的图片识别不出，影响准确率。因此，本实施例中将目标检测模型的目标定义为商品的形状。box训练就是将样本图片集中识别为录入物体形状的图片检测和提取出来。

例如，需要识别某品牌酸奶和纯牛奶的铺货情况。首先将酸奶和纯牛奶进行标注，将产品标注为长方形盒子交给训练机识别，训练机识别到标注为长方形的物体则初步判断为目标产品。如果直接通过识别目标产品的图片，则产品不同的摆放方位会有不同的图片，这样训练机就很难识别。特别是产品为圆形瓶装或者圆桶装的情况下，而这种情况非常普遍。

others训练：由于货架上的商品数不胜数，box训练后识别的结果存在一定的误判，因此需要在box训练的基础上进一步分类训练识别。目前深度学习所用的分类器是概率分类器，对于一个物品，分类器给出的数值是表示在所有的商品中，物品在所有商品中与哪个更类似，这就会造成未录入商品的错误分类，影响准确率。为了解决这个问题，本实施例建立一个特殊的图片识别模型，该模型只进行二分类，一类是所有已录入的商品的图片集，另一类是非录入的商品的图片集，该图片集包含各种各样的图片。

例如，在box训练识别为长方形盒子的物品中，有的是酸奶或纯牛奶的被识别出来了，但是有的比如饼干、茶叶等也是长方体盒子的物品也可能被识别出来，这就需要进一步的进行others训练。在box训练识别出的结果中将物体分为录入物体和未录入物体，酸奶和纯牛奶则为录入物体，饼干、茶叶等则为非录入物体，人工进行标记后交给训练机识别训练。

sku训练：在others训练完成后，提取的图片集基本为录入物体的图片集。但是，在做商品统计的时候，不仅需要统计该商品的数量，还需要知道该商品是何种品牌，何种类型的产品，何种口味等。因此在others训练后需要进行进一步的sku训练。sku训练基于与others训练相同的图片识别模型，将目标图片集依次划分为不同的品牌，不同的类型，不同的口味提交给训练机进行识别训练。sku训练需要根据实际情况进行多步分类训练，直至能识别出商品的唯一性。

例如，某品牌下面铝盒包装为长方形盒子的产品有酸奶和纯牛奶，酸奶下面又包含草莓、苹果、水蜜桃等不同口味。在图片识别时，首先训练是否是该品牌，是则保留，不是则舍弃。进一步识别是酸奶还是纯牛奶，是酸奶则保存为酸奶，是纯牛奶则保存为纯牛奶。继续进一步地在酸奶里面识别是什么口味的酸奶，是草莓口味则保存为草莓口味酸奶，是苹果口味则保存为苹果口味酸奶，是水蜜桃口味的则保存为水蜜桃口味酸奶。

s3、采集货架商品陈列图片并上传到pc端进行数据预处理；

货架陈列图片用来识别和统计货架铺面信息。数据预处理包括对采集的货架陈列图片进行图片拼接和光照角度调整处理。由于货架具有一定的长度，而采集图片时不能一次把整个货架全部拍摄出来并且具有较高的清晰度，因此采集图片时需要将货架分成多个部分分段拍摄，将分段拍摄的图片进行图片拼接处理从而得到一个完整的货架陈列图片。在拍摄时，由于进行分段拍摄，每段拍摄的角度或者高度都会不一样，拼接后的图片会出现部分倾斜，因此通过拼接后的图片进行光照角度调整得到一个更趋于整体效果的图片。

s4、将所述步骤s3数据预处理后的图片集放入到识别引擎进行识别；

图像识别中心主要有识别引擎，识别引擎是训练机训练后得出的一个模型，该模型具备图像识别的能力，并为训练机提供一个接口，通过这个接口调用其他程序就可以具备图像识别能力。识别引擎好比一个黑盒子(只有一个入口一个出口)，其他程序使用这个黑盒子，并在入口处输入一张图片，在出口就可以得到这张图片的图像识别的结果。识别引擎根据模型训练的层次结构依次识别。识别引擎识别的图片集为工作人员现场拍摄并经过数据预处理之后的具有整体效果的货架陈列信息图片集。

app客户端是用户的操作端，用户只需在app上进行简单的操作下达相关指令并可以采集并获得相关货架上的排货情况。该方法根据手机定位工作人员所在位置实现gps防伪，并通过限制只能通过拍照上传的方式要求工作人员必须是在货架旁现场拍照并上传货架照片实现图片防伪。系统在云端快速地进行货架核查工作、生成报告，并将报告同步到企业管理人员的app客户端，企业管理人员可对图片进行信息复查。

图2为货架识别方法工作流程图，如图所示，要使系统能够识别并统计相关产品的信息，首先获得用于训练的样本图片集，将样本图片集提供给训练机进行训练，使训练机能够识别出目标产品。将现场采集到的货架图片进行数据预处理并交给能够识别目标产品图片的识别引擎进行识别，从而统计出用户所需要的信息并生成报告，用户通过app客户端查看统计信息。

虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。