一种基于深度学习的商超商品识别方法

本发明属于计算机视觉，目标检测等领域，其中涉及到主体检测以及特征提取相结合的商品识别方法。更具体的是，我们设计了一种轻量级的图像识别框架，采用图像向量化技术对图像进行向量库的构建，使用模型picodet对商品目标进行检测以及使用pp-lcnet对检测后的图像进行特征提取，最后我们需将给定的查询向量，在已将建立好的向量库中进行相似度计算得到相似度排序。

背景技术：

1、在人工智能的场景识别研究方向中，商品识别属于非常重要的研究领域，主要用于智能结算、无人零售、智能货柜等场景。从而引导等多的品牌商以及商超零售企业探索数字化转型。

2、在现阶段商超或者无人超市主要运用的计算方式主要有以下方式：1)条形码方式2)rfid射频码3)零售称重方式。但是以上几种方法存在如下缺点：1)针对条形码方式，对于成品包装的商品，较为成熟，但是对与生鲜产品等商品，并不能满足需求。2)rfid等方式，虽然对生鲜等产品能够支持，但是额外生成标签，增加成本。3)称重方法，对于相同重量的山商品，不能很好的区分，同时重量称等精密仪器在长时间的负重和使用过程中，精度会发生变化，需要工作人员定期调教，以满足精度需求。

3、因此本发明提出了一套基于深度学习模型的商品识别方法，通过模型进行目标检测以及特征提取，随后利用向量检索技术对特征向量进行检索。

4、主体检测技术是目前应用非常广泛的一种检测技术，它指的是检测出图片中一个或者多个主体的坐标位置，然后将图像中的对应区域裁剪下来，进行识别，从而完成整个识别过程。主体检测是识别任务的前序步骤，可以有效提升识别精度。

5、特征提取是图像识别中的关键一环，它的作用是将输入的图片转化为固定维度的特征向量，用于后续的向量检索。好的特征需要具备相似度保持性，即在特征空间中，相似度高的图片对其特征相似度要比较高(距离比较近)，相似度低的图片对，其特征相似度要比较小(距离比较远)。deep metric learning用以研究如何通过深度学习的方法获得具有强表征能力的特征。

6、向量检索，当获得了图像特征后，我们通过计算向量距离来获得两张图像的相似度，进一步通过向量检索获取最终识别结果。这种方式最大的优点是，当增加新的品类时，不需要重新训练提取特征模型，仅需要更新检索库即可识别新的目标。为了更好地兼容(linux，windows，macos)多平台，在图像识别系统中，本项目使用milvus。在此过程中，本项目选取hnsw32为检索算法，使得检索精度、检索速度能够取得较好的平衡，更为贴切本项目实际应用场景的使用需求。

技术实现思路

1、本发明主要用于商超商品信息的识别，通过使用目标检测模型以及特征提取模型对待识别商品图像进行检测并将其转化为特征向量，最后对该特征向量在使用milvus已建立好的向量检索库里进行相似度检索，并得到相似度排序，来确定最终的商品识别结果。

2、实施例1：一种基于深度学习的商超商品识别方法，包括以下步骤：

3、步骤1，采集商超每个不同种类的商品的图片。图片应满足多角度，统一格式等要求，并对采集好的照片创建数据集。

4、步骤2，根据所获得的商品数据集对已有的目标检测以及特征提取模型进行训练，从而获得符合标准的目标检测以及特征提取模型。

5、步骤3，建立索引库，对所有商品图像进行特征提取后，使用milvus对特征向量进行索引库的创建。

6、步骤4，对于待检测商品，传入照片后，识别框架首先会对图像进行主体检测并传入特征提取模型，特征提取模型将其转化为特征向量后在已创建好的向量检索库中。

7、步骤5，向量检索库对于传入的特征向量进行相似度的计算，得到相似度排序。

8、有益效果

9、(1)本发明是一种商超商品识别方法，提供了一套基于计算机视觉的完整生鲜品自主结算方案，其通过结算平台的摄像头拍摄的图像，自动的识别称上的商品，整个流程在1秒内完成，无需售卖人员的操作及称重。整个流程，实现了精度高、速度快，无需人工干预的自动结算效果。

10、(2)本发明通过微调训练的目标检测以及特征提取网络模型来获取目标特征信息，成本要求较低且实用性较高。

技术特征：

1.一种基于深度学习的商超商品识别方法，其特征在于，包括以下步骤：

2.权利要求1所述的一种基于深度学习的商超商品识别方法，其特征在于，步骤1包括以下步骤：

3.权利要求1所述的一种基于深度学习的商商超商品识别方法，步骤2包括以下步骤：

4.权利要求3所述的一种基于深度学习的商超商品识别方法，其特征在于，所述的损失函数公式表示为：

5.权利要求1所述的一种基于深度学习的商超商品识别方法，步骤3包括以下步骤：

6.权利要求1所述的一种基于深度学习的商超商品识别方法，步骤4包括以下步骤：

7.权利要求1所述的一种基于深度学习的商超商品识别方法，步骤5包括以下步骤：

技术总结
本发明公开了一种基于深度学习的商超商品识别方法，包括：1)采集并处理目标检测以及特征提取所需要数据集；2)根据数据集对目标检测以及特征提取模型进行微调训练；3)对商品照片进行特征提取，并使用milvus对提取后的特征向量创建向量索引库；4)传入的待识别商品，进行目标检测进行划分，然后传入特征提取模型将图像转化为特征向量；5)milvus将特征向量与向量索引库中的向量进行相似度计算，得到相似度排序。本发明为计算机视觉和图像处理领域中一种基于深度学习的多商品识别方法，提供了能够实时、准确、快速的识别照片中的商品信息，使用轻量级的模型保证成本较低且实用性高。

技术研发人员：王翔,张帆
受保护的技术使用者：南京工业大学
技术研发日：
技术公布日：2024/2/1