一种基于预设模板的商品匹配及数量回归识别算法的制作方法

本发明属于计算机视觉图像识别技术领域，具体是一种基于预设模板的商品匹配及数量回归识别算法。

背景技术：

随着计算机运算能力的大幅度提升和数据的大规模积累，人工智能技术得以取得突破性的进展，各行各业都开始应用人工智能技术来提高工作效率，从而降低企业运营成本。尤其在零售领域，如何应用人工智能技术来降低运营成本并让商品触手可及，开创一种新零售模式便成为了行业里的热点研究领域。同时随着近几年科研人员在计算机视觉领域取得的研究成果，尤其是利用可进行深度学习的卷积神经网络图像识别技术，可以对顾客购买的商品进行自动识别，其识别精度亦可达到商业应用级别。另一方面，随着物联网技术和云计算的普及，以及结合完善的电子在线支付系统，在真实场景中大规模应用这种技术，例如通过分析安置于售货柜内的摄像头所采集到的图片数据来对顾客消费行为进行结算，整个购物过程完全由计算机控制，已经完全变得可行。代表新零售产业模式的智能无人售货的时代已经到来。

计算机视觉技术，即基于数字图片计算来实现类似于人类视觉系统的功能。而基于深度学习神经网络的图像识别技术，具有强大的特征提取能力，能够通过利用大规模人工标注的图片数据集进行监督学习，通过对单张图片计算所提取到的深度特征进行识别，来判断图像中物品的所属类别。同时也可直接根据给定的目标物品，通过在丰富的深度特征层面来进行物品的匹配，找到与目标物品一样或者相似的物品，而无需单独对物品进行识别分类。因此基于给定模板，进行图片匹配，可实现对图片的检索功能。在此基础上，给定目标物品图片，基于针对源图片中相应物品的匹配以及统计回归，以此达到在零售行业中对货品的库存进行盘点。

公开号为cn105678608a的中国专利公开了一种图片匹配方法及装置，该发明通过接收用户终端发送的图片，对图片中所包含的至少一种产品进行识别，然后该识别产品作为匹配产品，从预存的产品信息数据库中查找出包含待匹配产品的信息，发送回客户端进行显示；申请号为201210228711.5的专利公开了一种基于手持终端的图像检索方法和系统，该发明通过接收用户手持终端拍摄的照片，利用数据库中已有图片与用户所拍摄的图片进行匹配，以发现用户所拍摄的物体或者场景，从而找出用户的兴趣点或者拍摄位置。这两个发明都是根据给定目标图片去数据库中进行匹配，找出与其相似的图片或者场景，并把与之相关的信息发送回客户端，只是实现了图片的检索功能，目标匹配图片与数据库中的图片是一一对应的关系，即一整张图片去匹配另外一整张图片。对于单物体图片去匹配多物体图片的场景，并没有相应的解决方案。即待匹配图片只包含单个物体，而与之进行匹配的图片却包含多种不同物体。

技术实现要素：

本发明的目的是针对现有技术存在的问题，提供一种基于预设模板的商品匹配及数量回归识别算法，通过构建一个深度学习神经网络架构，提取出源图片中商品的深度特征信息，并在深度特征层面与目标商品的特征id进行相关卷积操作，从而识别回归出该商品在图片中的个体数量，能满足单物体图片去匹配多物体图片的场景要求，不仅能从多物体图片中识别出目标物体，还能识别出目标物体在多物体图片中的个体数量。

为实现上述目的，本发明采用的技术方案是：

一种基于预设模板的商品匹配及数量回归识别算法，通过构建一个深度学习神经网络架构，提取出源图片中商品的深度特征信息，并在深度特征层面与目标商品的特征id进行相关卷积操作，从而识别回归出该商品在图片中的个体数量；具体包括以下步骤：

s1，采集训练数据，所述训练数据包括摄像头采集的源图片数据集和商品库中代表每种商品的单商品图片数据集；

s2，生成商品库商品特征id，对商品库中的每种商品进行深度特征提取，获取每种商品的特征id信息，用来在整个商品库中唯一表征该商品；

s3，构建深度卷积神经网络，所述神经网络为“y”形双输入单输出的神经网络，其中一个输入为摄像头采集的源图片，另一个输入为待匹配的目标商品特征id信息；输出为所述目标商品在源图片中的数量；

s4，训练神经网络，在训练之前，为每张源图片选定一个预设匹配模板，即选定一组不同种类的商品组合，统计该组合中每种商品在源图片中对应的数量；然后将源图片和其对应的预设匹配模板同时输入神经网络进行训练，得到商品匹配识别模型；

s5，训练完成后，将源图片输入商品匹配识别模型中，即可动态的根据所选定的待匹配商品计算得到该商品在源图片中对应的个体数量。

具体地，步骤s1中，所述源图片数据集通过货柜内置的摄像头进行拍摄采集，然后通过人工标注出每张源图片中各商品的种类及对应的数量；所述单商品图片数据集通过单独拍摄或者剪裁的方式，获取商品库中每种商品所对应的单商品图片，所述单商品图片用于对商品库中的商品信息进行编码。

具体地，步骤s3中，构建深度卷积神经网络之后，将所述源图片数据集分为三类，分别为训练集、验证集和测试集；所述训练集用于训练神经网络；所述验证集用于验证神经网络在训练过程中的识别精度；所述测试集用于测试神经网络训练完成后的识别精度。

具体地，步骤s4中，训练神经网络的方法为：首先，对源图片进行深度特征提取，获取源图片中所有商品的深度特征信息，生成深度特征图；再分别将预设匹配模板中每个待匹配的商品特征id作为卷积核在深度特征图上进行相关卷积操作，从而在深度特征层面将待匹配商品图片与源图片进行特征匹配与融合，即将待匹配商品的特征id信息融合进深度特征图中；最后对卷积操作之后的深度特征图进行识别，从而回归计算出待匹配商品在该源图片中的个体数目。

进一步地，所述神经网络利用反向传播算法进行参数的梯度更新，通过调整学习率来控制参数更新的幅度，采用adam优化算法来实现网络参数的优化。

具体地，步骤s5中，训练完成后，需要先对神经网络的识别精度进行测试，若识别精度达到预期要求即可停止神经网络的训练；若识别精度未达到预期要求，则继续优化神经网络模型。

本发明总的技术方案主要包括：商品库商品特征id生成，预设商品匹配模板，特征提取、匹配、融合，以及特征识别与回归计算。

与现有技术相比，本发明的有益效果是：本发明通过构建一个深度学习神经网络架构，对商品库中的每种商品进行深度特征提取，获取每种商品的特征id信息，再从商品库中选出一定数量不同种类的待匹配的商品，将它们所对应的特征id组合作为需要进行匹配的商品预设模板；然后将预设模板中每个商品所对应的特征id作为卷积核，分别在该深度特征图上进行相关卷积操作，从而识别回归出该商品在图片中的个体数量，能满足单个商品图片去匹配多种商品图片的场景要求，不仅能从多物体图片中识别出目标物体，还能识别出目标物体在多物体图片中的个体数量。

附图说明

图1为本发明一种基于预设模板的商品匹配及数量回归识别算法的流程示意框图；

图2为本实施例中深度卷积神经网络模型架构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

如图1、2所示，本实施例提供了一种基于预设模板的商品匹配及数量回归识别算法，本算法主要基于keras/tensorflow深度学习框架进行建模，先采用迁移学习技术对该算法模型进行训练，一旦模型训练完成之后，即可应用该模型对采集的源图片数据基于给定的商品模板进行匹配，得到最终的商品数目。实例实施步骤如下：

s1，采集训练数据，采集的训练数据包括两个部分，用于模型学习的源图片数据集和商品库里代表每种商品的单商品图片数据集；

s2，生成商品库商品特征id，对商品库中的每种商品进行深度特征提取，获取每种商品的特征id信息，用来在整个商品库中唯一表征该商品；

s3，构建深度卷积神经网络，所述神经网络为“y”形双输入单输出的神经网络，其中一个输入为摄像头采集的源图片，另一个输入为待匹配的目标商品特征id信息；输出为所述目标商品在源图片中的数量；

s4，训练神经网络，在训练之前，为每张源图片选定一个预设匹配模板，即选定一组不同种类的商品组合，统计该组合中每种商品在源图片中对应的数量，如果在该源图片中不存在待匹配的商品则其数量记为0；然后将源图片和其对应的预设匹配模板同时输入神经网络中，利用.json文件中的标注信息，即可对模型进行训练和学习；

s5，训练完成后，将源图片输入神经网络中，即可动态的根据所选定的待匹配商品计算得到该商品在源图片中对应的个体数量。

具体地，步骤s1中，所述源图片数据集通过货柜内置的摄像头进行拍摄采集，然后通过人工标注出每张源图片中各商品的种类及对应的具体数量，每张图片对应一个.json文件，文件里包含了商品id和对应的数量；所述单商品图片数据集通过单独拍摄或者剪裁的方式，获取商品库中每种商品所对应的单商品图片，所述单商品图片用于对商品库中的商品信息进行编码；源图片数据用于整个算法模型的训练、验证和测试；训练数据集中的商品种类不多于100种，图片总数量不少于5万张；再将所述源图片数据集分为三类，分别为训练集、验证集和测试集；所述训练集用于训练神经网络；所述验证集用于验证神经网络在训练过程中的识别精度；所述测试集用于测试神经网络训练完成后的识别精度；

具体地，步骤s2中，提取商品库中的每种商品的深度特征后，采用keras/tensorflow深度学习框架中的经过在imagenet上预训练过的inception_v3网络模型对这些单商品图片进行计算处理，提取出该商品图片的深度特征信息；

具体实施过程中，可以选取模型中较为深层的卷基层的输出结果，通常为mixed5的输出结果，其表示为一个3x3x768维的特征张量，该特征张量将作为该商品的特征id，在深度特征层面可以唯一表征该商品。

具体地，步骤s4中，训练神经网络的方法为：首先，对源图片进行深度特征提取，获取源图片中所有商品的深度特征信息，生成深度特征图；再分别将预设匹配模板中每个待匹配的商品特征id作为卷积核在深度特征图上进行相关卷积操作，从而在深度特征层面将待匹配商品图片与源图片进行特征匹配与融合，即将待匹配商品的特征id信息融合进深度特征图中；最后对卷积操作之后的深度特征图进行识别，从而回归计算出待匹配商品在该源图片中的个体数目。

进一步地，利用keras/tensorflow中的在imagenet上预训练过的inception_v3模型为基础来构建该网络结构，将待匹配的商品特征id作为卷积核添加到inception_v3网络结构中，选择将其插入到中间层mixed3之后，即在mixed3输出的深度特征图与商品特征id进行channelwise相关卷积操作，从而在深度特征层面上进行特征匹配和融合，之后的卷积层则可以对融合后的特征图进行识别和回归。

进一步地，所述神经网络利用反向传播算法进行参数的梯度更新，通过调整学习率来控制参数更新的幅度，采用adam优化算法来实现网络参数的优化；所述adam优化算法在训练过程中，采用最小平方差损失函数(mse)对商品种类和商品数量进行优化，当模型在验证集上的损失(loss)在几(十)轮训练完成后都不下降时，则暂停训练；通过调整学习率参数，再次进行优化训练，直到模型在验证集上达到预期的效果，则最终停止训练。

具体地，步骤s5中，当模型训练完成后，用测试集数据对模型的识别精度进行测试，一旦识别精度达到预期要求，即可部署该模型。

本发明的模型是一个端到端的框架，本发明算法的识别流程为，在所述“y”形神经网络的两个输入端分别输入摄像头采集的源图片和选取的待匹配单商品目标图片，提取所述源图片的深度特征，构建深度特征图，再提取所述目标图片的特征id，将所述特征id作为卷积核在所述深度特征图上进行相关卷积操作，即特征匹配与融合，在对卷积操作后的深度特征图进行识别，从而回归计算出待匹配商品在该源图片中的个体数目。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。