基于在线检索学习与行为轨迹的商品辅助识别方法与流程

本发明涉及商品识别，具体的，涉及基于在线检索学习与行为轨迹的商品辅助识别方法。

背景技术：

1、目前随着人们的生活水平逐渐提高，对于购物的需求越来越强烈。在传统大型生鲜超市中，商品称重、收银结算场景需要操作员进行人工操作。从辨识商品、称重、打价签、结算，操作员每一步操作都要尽量压缩时间。现有的商品称重技术主要分为两种，一种是传统的人工操作，收银人员根据不同的商品种类设置号对应的标签，在顾客选购完成进行称重时，先选择不同的商品调整价格，再称重计算价格打印标签；另一种是基于摄像头提取放在电子称上的商品信息，再将这些提取到的图像信息送入cpu进行模板匹配，与内部保存好的商品模板图片进行匹配计算距离，输出匹配度最高的商品种类并进行价格计算和标签打印，这种技术比传统使用人工识别并打印标签相比更加快速。

2、为了提高目标商品的识别效率，传统的称量装置仅仅依赖已经训练好的图像识别模型对商品进行识别，虽然使用嵌入式摄像头提取信息并使用图像处理，模板匹配等传统算法速度和效率要好于人工方法，但是仍然存在许多问题。首先使用传统图像处理+计算机视觉技术在数据库部分存在过度依赖的问题，目前市场上售卖的商品生鲜种类众多，变化速度快，一旦出现数据库中没有存在的商品，将会导致识别成功率大幅度下降，并且在多目标识别，识别速度准度方面，仍然存在问题。并且这些算法在触发时，并没有对一些环境中的杂物进行过滤检测(例如人手在放置时被摄像头拍到会导致误判)，其次，超市中货架上的商品种类并不是固定不变的，需要前期对图像识别模型进行训练，仅仅考量一个维度数据的图像识别模型依然在图像识别效率和准确度上存在诸多问题。

3、在所述背景技术部分公开的上述信息仅用于加强对本申请的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是解决现有商品识别方法存在动态调节性能差导致难以适应市场需求的问题，提出了基于在线检索学习与行为轨迹的商品辅助识别方法，通过记录买家的购物轨迹生成购物意向表，结合图像识别模型生成的商品匹配表，对商品匹配表进行优先级调整，用于辅助商品的识别，可以提高商品的识别效率。

2、本发明实施例中提供的一种技术方案是：基于在线检索学习与行为轨迹的商品辅助识别方法，包括如下步骤：

3、赋予买家的个人识别码，基于监控摄像头获取买家的购物轨迹；

4、基于购物轨迹以及货柜的停留时间得到购物意向表；

5、根据商品识别窗口获取买家购买的商品信息生成商品匹配表；

6、基于购物意向表对商品匹配表进行优先度排序；

7、选择商品匹配表中优先级最高的商品作为目标商品进行结算。

8、本方案中，首先，买家首次进入监控区域即赋予买家个人识别码，个人识别码可以是随机生成的编号，例如001；通过监控摄像头构建的监控网络，依次采集该买家在大型超市内的涉足区域和路线，生成买家的购物轨迹，根据购物轨迹中涉及的货柜以及货柜停留时间获取对应的购物意向表；买家在进行商品自选结算时，当涉及到的商品比较类似时，例如形状和颜色特别相似的商品(例如，黄瓜，番茄)，可以结合买家在货架位置的逗留时间，推荐最有购物倾向的商品作为目标待选商品，辅助买家或者导购员进行结算，可以提高商品的识别效率。

9、作为优选，所述赋予买家的个人识别码包括如下步骤：

10、获取买家进入监控区的首次影像信息，提取影像信息的人物特征信息，根据人物特征信息分配随机数识别码作为个人识别码，将个人识别码共享至监控平台。

11、作为优选，所示基于监控摄像头获取买家的购物轨迹，包括：

12、监控平台依次获取监控区内的摄像头根据时间序列捕获的买家购物的路径数据；根据路径数据生成买家的购物轨迹；

13、根据选购区域对购物轨迹进行划分得到选购子路径；根据个人识别码实现选购子路径内的特征提取。

14、作为优选，所述根据个人识别码实现选购子路径内的特征提取，包括：基于摄像头的摄像时长获取选购子路径内买家在每一个货架停留的时间，基于货架编码获取货架对应的商品编号。

15、作为优选，所述基于购物轨迹以及货柜的停留时间得到购物意向表，包括：

16、依次获取购物轨迹上的每一个货架的停留时间；若停留时间大于t；则认为该行为为有效的购物行为；

17、获取停留时间大于t的货架标号以及对应的商品编号；

18、通过停留时间长短对商品的优先级进行排序得到购物意向表。

19、作为优选，所述根据商品识别窗口获取买家购买的商品信息生成商品匹配表，包括：

20、将商品放置在商品识别窗口后，通过对商品进行特征点提取；通过目标检测模块对商品的色域和形状进行特征识别进而获取匹配度最高的五种商品生成商品匹配表；

21、根据商品匹配表将商品信息显示在展示屏。

22、作为优选，所述商品匹配表中包括商品图片、商品编号、货架位置以及商品价格。

23、作为优选，目标检测模块对商品进行在线识别的过程包括：

24、通过摄像头获取商品实物图片；

25、计算所述实物图片和商品数据库中所有实例的相似度得到实物图片对应的ap值；基于ap值对待匹配商品进行排序。

26、作为优选，所述基于购物意向表对商品匹配表进行优先度排序，包括：锁定结算买家的个人识别码，调取个人识别码对应的购物意向表；

27、根据商品匹配表中的商品类别获取对应购物意向表中同类商品的推荐序列号；将推荐序列号对应的商品作为最优推荐商品，通过最优推荐商品对商品匹配表中对应的商品进行标定和高亮显示。

28、作为优选，所述选择商品匹配表中优先级最高的商品作为目标商品进行结算，包括：

29、买家或者导购员根据展示屏中的高亮商品进一步对商品进行鉴别；若商品识别错误，则手动选定真实商品对货物进行结算；

30、获取识别错误的商品图片以及真实商品图片，对目标检测模块进一步进行训练和更新。

31、本发明的有益效果：本发明提出了基于在线检索学习与行为轨迹的商品辅助识别方法，通过监控摄像头组件的监控网络对买家的涉足路径和区域进行全程监控，构建独属于买家的购物路径，然后，根据购物路径上的货架以及货架停留时间生成购物意向表；在通过称量装置对商品进行解算时，根据目标识别模型审查初步的商品匹配表，当涉及到类似(商品的品类、形状和颜色)商品时，结合购物意向表对商品匹配表进行更新，为买家或者导购员推荐目标待选商品，可以辅助买家和导购员对商品进行识别，可以提高商品的识别效率。

32、上述
技术实现要素：
仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

3.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

4.根据权利要求3所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

5.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

6.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

7.根据权利要求6所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

8.根据权利要求6所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

9.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

10.根据权利要求1所述的基于在线检索学习与行为轨迹的商品辅助识别方法，其特征在于：

技术总结
本发明公开了基于在线检索学习与行为轨迹的商品辅助识别方法，包括如下步骤：赋予买家的个人识别码，基于监控摄像头获取买家的购物轨迹；基于购物轨迹以及货柜的停留时间得到购物意向表；根据商品识别窗口获取买家购买的商品信息生成商品匹配表；基于购物意向表对商品匹配表进行优先度排序；选择商品匹配表中优先级最高的商品作为目标商品进行结算。本方案通过记录买家的购物轨迹生成购物意向表，结合图像识别模型生成的商品匹配表，对商品匹配表进行优先级调整，用于辅助商品的识别，可以提高商品的识别效率。

技术研发人员：王毅,张皓霖,党旭升,金峻臣,张雨晗
受保护的技术使用者：杭州深想科技有限公司
技术研发日：
技术公布日：2024/1/16