商品上新后的商品识别方法、装置、电子设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种商品上新后的商品识别方法、装置、电子设备及存储介质。

背景技术：

1、近些年来，随着人工智能技术发展，智能售货柜逐渐取代其他传统零售方式。动态视觉柜因有着更大空间利用率，更智能的数字后台运营等优势逐渐被市场所青睐，而如何进行新商品上新、识别是其中一个重要的课题。

2、目前的商品上新方式，主要采用客户邮寄或自行采购上新商品，进行商品数据集的采集，并根据采集的商品数据集重新训练商品检测模型。这种上新模式的前期沟通费时，后期采集数据需要大量的人力，并且在训练模型时，随着新商品数量的增加，训练周期拉长，模型越来越冗余，对算力的要求越来越高，对于实际的货柜运营带来众多不便。因此，动态视觉柜如何快速方便的进行新商品上新和识别成为迫切需要解决的技术问题。

技术实现思路

1、本发明的实施例提供了一种商品上新后的商品识别方法、装置、电子设备及存储介质，以解决动态视觉柜新商品上新和识别耗时长，繁琐的技术问题。

2、第一方面，本发明的实施例提供了一种商品上新后的商品识别方法，包括：获取待上新商品对应的第一底库图片，并将所述第一底库图片发送给商品底库，所述商品底库还包括历史商品对应的第二底库图片；基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集；获取交易视频，并基于训练好的商品检测模型检测所述交易视频中关键帧图像上的商品区域，获得商品子图；基于预训练的少样本分类模型，确定所述商品子图与所述第一支持集的对应关系，以识别出所述商品子图对应的商品；其中，所述预训练的少样本分类模型是通过元学习方法训练获得的。

3、作为本发明的一实施例，所述基于预训练的少样本分类模型，确定所述商品子图与所述支持集的对应关系之前，还包括：获取历史交易视频，并基于所述训练好的商品检测模型检测所述历史交易视频中关键帧图像上的历史商品区域，获得历史商品子图；基于所述历史商品子图和历史商品对应的第二底库图片构建训练集；基于元学习方法，根据所述训练集对少样本分类模型进行训练，获得所述预训练的少样本分类模型。

4、作为本发明的一实施例，所述基于元学习方法，根据所述训练集对少样本分类模型进行训练，包括：重复执行如下步骤，获得多个元训练任务：从所述训练集中随机抽取第一预设种类数量的历史商品，每个种类的历史商品包括第一预设数量的历史商品样本图片，构成第二支持集，并从每个种类的历史商品的剩余历史商品样本图片中随机抽取至少一张历史商品样本图片构成查询集，所述第二支持集和查询集构成所述元训练任务；基于所述多个元训练任务对少样本分类模型进行分批次训练，获得所述预训练的少样本分类模型。

5、作为本发明的一实施例，所述方法还包括：在预设时间间隔后，获取预设时间间隔内的历史交易视频，并基于所述预设时间间隔内的历史交易视频更新所述少样本分类模型。

6、作为本发明的一实施例，所述基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集之前，还包括：确定待上新商品的种类数量；在所述待上新商品的种类数量不超过第二预设种类数量的情况下，执行所述基于所述商品底库中的第一底库图片和第二底库图片构建支持集的步骤。

7、作为本发明的一实施例，所述获取待上新商品对应的第一底库图片，包括：根据预设拍摄规则对待上新商品采集不超过第二预设数量的第一底库图片，其中，所述预设拍摄规则根据商品外观类型确定。

8、作为本发明的一实施例，所述商品检测模型基于开源数据集和已标注商品类别的历史商品数据集训练获得的。

9、作为本发明的一实施例，所述识别出所述商品子图对应的商品之后，还包括：对识别出的商品进行商品费用结算处理。

10、第二方面，本发明实施例提供一种商品上新后的商品识别装置，包括：商品图像获取模块，用于获取待上新商品对应的第一底库图片，并将所述第一底库图片发送给商品底库，所述商品底库还包括历史商品对应的第二底库图片；还用于基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集；所述商品图像获取模块，还用于获取交易视频；商品子图检测模块，用于基于训练好的商品检测模型检测所述交易视频中关键帧图像上的商品区域，获得商品子图；商品识别模块，用于基于预训练的少样本分类模型，确定所述商品子图与所述第一支持集的对应关系，以识别出所述商品子图对应的商品；其中，所述预训练的少样本分类模型是通过元学习方法训练获得的。

11、第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的商品上新后的商品识别方法的步骤。

12、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的商品上新后的商品识别方法的步骤。

13、本发明的实施例提供的商品上新后的商品识别方法、装置、电子设备及存储介质，通过获取待上新商品对应的第一底库图片，并将所述第一底库图片发送给商品底库，所述商品底库还包括历史商品对应的第二底库图片；基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集；获取交易视频，并基于训练好的商品检测模型检测所述交易视频中关键帧图像上的商品区域，获得商品子图；基于预训练的少样本分类模型，确定所述商品子图与所述第一支持集的对应关系，以识别出所述商品子图对应的商品；其中，所述预训练的少样本分类模型是通过元学习方法训练获得的；即通过元学习框架的少样本分类模型，对于新增加商品类别不需要重新训练模型，只需采集少量的新商品的底库图片构成支持集，就可以快速方便的对交易视频中的新商品进行识别，大幅缩减上新的时间和算力成本。

技术特征：

1.一种商品上新后的商品识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于预训练的少样本分类模型，确定所述商品子图与所述支持集的对应关系之前，还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于元学习方法，根据所述训练集对少样本分类模型进行训练，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集之前，还包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述获取待上新商品对应的第一底库图片，包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述商品检测模型基于开源数据集和已标注商品类别的历史商品数据集训练获得的。

8.根据权利要求1-4任一项所述的方法，其特征在于，所述识别出所述商品子图对应的商品之后，还包括：

9.一种商品上新后的商品识别装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的商品上新后的商品识别方法的步骤。

技术总结
本发明实施例涉及一种商品上新后的商品识别方法、装置、电子设备及存储介质，该方法包括：获取待上新商品对应的第一底库图片，并将所述第一底库图片发送给商品底库；基于所述商品底库中的第一底库图片和第二底库图片构建第一支持集；获取交易视频，并基于训练好的商品检测模型检测所述交易视频中关键帧图像上的商品区域，获得商品子图；基于预训练的少样本分类模型，确定所述商品子图与所述第一支持集的对应关系，以识别出所述商品子图对应的商品；其中，所述预训练的少样本分类模型是通过元学习方法训练获得的；采用的元学习框架的少样本分类模型，在有商品上新时，不需要重新训练模型，提高了上新和识别速度。

技术研发人员：周文,王远峰,殷本俊,毛润欣,张志辉
受保护的技术使用者：北京中能达科技股份有限公司
技术研发日：
技术公布日：2024/1/13