用于确定物品标签的方法和装置与流程

本申请涉及计算机技术领域，具体涉及图像识别技术领域，尤其涉及一种用于确定物品标签的方法和装置。

背景技术：

传统的商场或超市货架中货物的管理中，通常由人工对货架中的物品的状态进行确认，例如物品是否缺货、位置摆放是否正确等进行确认。这样就难免造成不能在第一时间发现货品的缺货，位置错误等问题，影响补货等后续进展，会直接影响收益等问题。

为了加快对货架中的物品的状态进行确认，可以每隔预定时间采集货架照片，通过图像识别的技术在后台对货架上的物品的品项及物品的状态进行确认。

利用现有的图像识别技术识别在后台对货架上的物品的品项及物品的状态时首先需要建立物品识别模型，利用物品识别模型来识别对货架上的物品的品项。目前使用的物品识别模型基于分类训练，也即使用大量的图像数据来训练物品识别模型以使物品识别模型可识别物品的品项。这样一来，当增加新品项的物品时，就需要使用包括原有品项物品的图像对对上述物品识别模型进行重新训练，以使物品识别模型可以识别出各品项的物品。当不断有新品项的物品增加时，需要使用大量的图像、不断地对物品识别模型进行训练。使得物品识别模型的维护需要消耗极大的人力成本和时间成本。

技术实现要素：

本申请的目的在于提出一种用于确定物品标签的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种用于确定物品标签的方法，上述用于确定物品标签的方法包括：从预先获取的货架图像中提取预定物品的图像；基于预先训练的机器学习模型从预定物品的图像中提取预定物品的特征；将预定物品的特征与预先建立的特征库进行匹配，其中，特征库中存储有多个物品中每个物品的特征以及每个物品对应的标签，任意一个物品的特征与该物品对应的标签关联存储，标签用于表示物品所属的品项；将特征库中与预定物品的特征匹配度最高的特征所对应的标签作为预定物品的标签。

第二方面，本申请提供了一种用于确定物品标签的装置，上述用于确定物品标签的装置包括第一提取单元，配置用于从预先获取的货架图像中提取预定物品的图像；第二提取单元，配置用于基于预先训练的机器学习模型从预定物品的图像中提取预定物品的特征；匹配单元，配置用于将预定物品的特征与预先建立的特征库进行匹配，其中，特征库中存储有多个物品中每个物品的特征以及每个物品对应的标签，任意一个物品的特征与该物品对应的标签关联存储，标签用于表示物品所属的品项；标签确定单元，配置用于将特征库中与预定物品的特征匹配度最高的特征所对应的标签确定为预定物品的标签。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现第一方面的用于确定物品标签的方法。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的用于确定物品标签的方法。

本申请提供的用于确定物品标签的方法和装置，通过首先从预先获取的货架图像中提取预定物品的图像，然后基于预先训练的机器学习模型从上述预定物品的图像中提取预定物品的特征，接着将预定物品的特征与预先建立的特征库进行匹配，最后将特征库中与预定物品的特征匹配度最高的特征所对应的标签确定为预定物品的标签。使用本实施例提供的方法可以通过使用物品的特征库来识别货架图像中各的物品的标签。只需要将少量的图像通过机器学习模型获取的各品项物品的特征添加到特征库中，即可实现确定货架图像中的各品项物品的标签。当有新的品项的物品时，只需要通过机器学习模型使用少量的图像来获取该品项物品的特征，并将该品项的物品的特征添加到特征库中即可实现确定货架图像中的该新品项物品的标签。从而相对原有的使用基于分类的方法训练的物品识别模型来识别货架图像中物品的标签，缩减了人力成本和时间成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于确定物品标签的方法的一个实施例的流程图；

图3是根据本申请的用于确定物品标签的方法的一个应用场景的示意图；

图4是根据本申请的用于确定物品标签的装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于确定物品标签的方法或用于确定物品标签的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括货架101，摄像设备102、服务器103和网络104。网络104用以在摄像设备102和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

货架101可以是设置在商场、超市、便利店、机场车站等货品交易场所的货架。货架101中可以包括多个物品放置区域。每个物品放置区域可以放置一定品项的物品。

摄像设备102可以是各种类型的摄像设备，例如照相机、摄像机等等。摄像设备102可以每隔预定时间采集一次货架101的图像，并通过网络104将采集到的图像发给服务器103。使用摄像设备采集到的货架101的图像中可以包括设置在货架上的物品。

服务器103可以是提供各种服务的服务器，例如接收摄像设备102发送的上述货架101的图像，并对上述货架101的图像进行处理从而识别货架的图像中各物品的标签的后台服务器。

需要说明的是，本申请实施例所提供的用于确定物品标签的方法一般由服务器103执行，相应地，用于确定物品标签的装置一般设置于服务器103中。

应该理解，图1中的货架、摄像设备、服务器和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的货架、摄像设备、服务器和网络。

继续参考图2，示出了根据本申请的用于确定物品标签的方法的一个实施例的流程200。该用于确定物品标签的方法，包括以下步骤：

步骤201，从预先获取的货架图像中提取预定物品的图像。

在本实施例中，货架(如图1所示的货架101)可以为商场、超市、便利店、机场车站等货品交易场所的货架。在货架上可以设置有多个物品放置区域。为了方便物品的管理，货架的任意一个物品放置区域可以对应一个品项的物品。在实际应用中，为了便于商场超市、便利店、机场车站等货品交易场所对物品的管理，每个品项的物品可以对应一个标签。这里的标签可以是用于表示物品所属的品项。在这里，标签例如可以是管理编码、条形码、二维码，或者具有任意可以一一对应地表征各物品所属品项的表现形式。此处，品项用于区分不同属性的物品，属性可以为物品的种类、品牌、型号、配置、等级、花色、生产日期、保质期、价格、产地等。例如产地为aa的bb品牌1.5升电热水壶对应的品项与产地为cc的bb品牌1.5升电热水壶对应的品项不相同。

在本实施例中，用于确定物品标签的方法运行于其上的电子设备(例如图1所示的服务器103)可以通过有线连接方式或者无线连接方式从摄像设备(例如图1的摄像设备101)获取该摄像设备拍摄的货架的图像。拍摄的货架的图像中可以包括该货架的各个物品放置区域，以及各个物品放置区域内所放置的物品的图像。在一些应用场景中，上述摄像设备可以每隔预定时间间隔拍摄一次货架的图像。上述电子设备也可以每隔预定时间间隔从该摄像设备获取一次货架的图像，并对该货架的图像进行以下步骤的处理。

在本实施例中，上述电子设备可以从货架的图像中提取预定物品的图像。这里的预定物品可以是预先被指定品项的物品，也可以是任意选取的一个品项的物品。

在本实施例中可以使用现有的物体检测(objectdetection)方法从货架图像中提取预定物品的图像。这里的物体检测例如可以使用基于区域的卷积神经网络(regionswithconvolutionalneuralnetwork，rcnn)来进行。上述基于区域的物体检测方法此处不赘述。

可选的，可以使用上述物体检测的方法获取上述预定物品的不同侧面的图像。

进一步地，可以使用上述物体检测的方法提取出设置在货架上的多个品项中每个品项物品的图像。

步骤202，基于预先训练的机器学习模型从预定物品的图像中提取预设物品的特征。

在本实施例中，上述电子设备中可以设置有预先训练的机器学习模型。上述机器学习模型可以用来从物品的图像中识别物品的特征。上述物品的特征例如可以为用于表征物品的形状、物品的尺寸以及物品的名称等的特征。通过机器学习模型之后得到的物品的特征可以用1×n维数组来表示，其中n大于等于1，且n为正整数。

上述电子设备将在步骤201中获得的预定物品的图像输入到上述预先训练的机器学习模型。上述机器学习模型分析该预定物品的图像并输出该预定物品的特征。

进一步地，可以使用机器学习模型提取出货架图像所包括的多个品项物品中每个品项物品的特征。

在本实施例的一些可选实现方式中，上述机器学习模型可以是深度残差网络模型(deepresidualnetwork，drn)。

步骤203，将预定物品的特征与预先建立的特征库进行匹配。

在本实施例中，上述电子设备中可以存储有预先建立的特征库。上述特征库中可以存储有多个物品中每个物品的特征以及每个物品对应的标签。这里的多个物品可以是多个品项的物品。

在该预先建立的特征库中，任意一个物品的特征与该物品所对应的标签关联存储。在本实施例中，标签用于表示物品所属的品项。也就是说，特征库中存储有多个品项物品中各个品项物品的特征以及各个品项物品对应的标签。

值得指出的是，上述机器学习模型及特征库还可以建立在不同于本实施例的用于确定物品标签的方法运行其上的电子设备的其它电子设备上，使得本实施例的用于确定物品标签的方法运行其上的电子设备可以通过网络访问的方式来访问上述特征库。

上述电子设备可以将在步骤202中提取的上述预定物品的特征与上述特征库进行匹配。具体地，可以将上述预定物品的特征与特征库中的多个品项的物品中的每个品项物品的特征进行匹配，从而得到预定物品的特征与特征库中的多个品项的物品中的每个品项物品的特征的匹配度。

在实际执行中，上述匹配过程可以为计算上述预定物品的特征与特征库中的多个品项的物品中的每个品项物品的特征的相似度的过程。可以基于用于表示物品的特征的1×n维数组来计算任意两个品项的物品的特征的相似度，此处不做赘述。

这样一来，当有新品项的物品时，可以仅采集新品项物品的图像来生成该新品项物品的特征。具体地，对于任意一个新品项的物品，可以采集10张以内该品项物品的图像。将上述采集的该新品项的物品的图像输入到上述机器学习模型中以获得该新品项物品的特征，并将该新品项的物品的特征及该新品项物品对应的标签关联保存在上述特征库中。这样一来，通过较小的运算量，可以实现特征库中针对新品项物品的特征的增加，并实现对新品项物品的识别。

步骤204，将特征库中与预定物品的特征匹配度最高的特征所对应的标签作为预定物品的标签。

在步骤203中得到预定物品的特征与特征库中的多个品项的物品中的每个品项物品的特征的匹配度之后，上述电子设备可以从上述各个匹配度中查找最大的匹配度。并将与预定物品的特征匹配度最高的特征所对应的标签作为预定物品的标签。这样一来，可以确定上述预定物品对应的标签。

此外，可以使用上述用于确定物品标签的方法得到货架图像所包括的多个品项的物品各自对应的标签。

继续参考图3，图3是本实施例的用于确定物品标签的方法的应用场景的一个示意图。在图3的应用场景300中，上述电子设备302从摄像设备301获取摄取到的货架的图像303。该货架的图像中可以包括多个品项物品的图像。上述电子设备302从上述货架的图像303中提取预定物品的图像304。然后将预定物品的图像输入到预先训练的机器学习模型中得到预定物品的特征305。接着将预定物品的特征与预先建立的特征库进行匹配306，将特征库中与预定物品的特征匹配度最高的特征所对应的标签确定为上述预定物品的标签307。

本实施例提供的用于确定物品标签的方法，通过首先从预先获取的货架图像中提取预定物品的图像，然后基于预先训练的机器学习模型从上述预定物品的图像中提取预定物品的特征，接着将预定物品的特征与预先建立的特征库进行匹配，最后将特征库中与预定物品的特征匹配度最高的特征所对应的标签作为预定物品的标签。使用本实施例提供的方法可以使用特征库中存储的物品的特征以及物品对应的标签来识别货架图像的物品的特征，并确定货架图像中物品的标签。对于新品项的物品，只需要将通过机器学习模型使用少量的图像获取的该品项物品的特征添加到特征库中即可实现确定货架图像中该新物品的标签。从而相对原有的基于分类的方法每当增加新品项物品时，需要使用包括原有物品的大量的图像数据重复训练物品识别模型而言，缩减了人力成本和时间成本。

在本实施例的一些可选实现方式中，上述预先建立的特征库可以按照如下步骤获得：

首先，获取标注了注解信息的物品的图像。

在一些应用场景中，可以人工对物品的图像进行标注，从而对图像中的物品增加注解信息。

这里，注解信息可以包括物品对应的标签的信息。

其次，将标注了注解信息的物品的图像输入到预先训练的机器学习模型以提取物品的特征。

最后，将提取的物品的特征与物品所对应的标签关联存入特征库。

在从标注有注解信息的包括多个品项物品的图像中提取各个品项的物品的图像时，可以使用上述的基于区域的物体检测方法来提取各个品项的物品的图像。

这样一来，可以使用少量的、标注了注解信息的包括多个物品的图像来建立特征库，该特征库中可以存储多个品项的物品的特征多个品项物品各自对应的标签。其中任一品项物品的特征与该品项物品的标签关联存储。

在本实施例的一些可选实现方式中，在将特征库中与预定物品的特征匹配度最高的特征所对应的标签确定为预定物品的标签之后，上述用于确定物品标签的方法还包括：在上述货架图像中增加与各物品对应的标签。

这样一来，可以在货架图像中显示该货架的各个存储区域所存储的物品对应的标签。从而可以快速的在货架图像中观察出各品项物品的状态，例如各品项物品是否缺货、物品摆放位置是否错误等。并根据上述各品项物品的状态采取相应的调整措施，例如提醒处于缺货状态的品项物品的提供者进行补货，或者提醒相关人员对物品的摆放进行纠正等等。

在本实施例的一些可选实现方式中，在步骤202之前，上述用于确定物品标签的方法还可以包括：对多个品项的物品中的每个品项的物品，执行如下的标注操作：获取该品项物品的图像；对该品项物品的图像进行标注，使用经过标注的不同品项物品的图像对机器学习模型进行训练。在这里，对该品项物品的图像进行标注可以包括用线条勾勒物品轮廓、用线条框出图像中的物品名称区域等等。上述电子设备可以使用的经过标注的不同品项物品的图像对机器学习模型进行训练以使上述电子设备可以提取物品的形状、物品名称等特征。在对上述机器学习模型训练之后，也可以使用上述机器学习模型来得到新增加的品项的物品的特征。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于确定物品标签的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的用于确定物品标签的装置400包括：第一提取单元401、第二提取单元402、匹配单元403和标签确定单元404。其中，第一提取单元401，配置用于从预先获取的货架图像中提取预定物品的图像；第二提取单元402，配置用于基于预先训练的机器学习模型从预定物品的图像中提取预定物品的特征；匹配单元403，配置用于将预定物品的特征与预先建立的特征库进行匹配，其中，特征库中存储有多个物品中每个物品的特征以及每个物品对应的标签，任意一个物品的特征与该物品对应的标签关联存储，标签用于表示物品所属的品项；标签确定单元404，配置用于将特征库中与所述预定物品的特征匹配度最高的特征所对应的标签确定为所述预定物品的标签。

在本实施例中，用于确定物品标签的装置400的第一提取单元401、第二提取单元402、匹配单元403和标签确定单元404的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。

在本实施例的一些可选实现方式中，上述用于确定物品标签的装置400还包括特征库建立单元(图中未示出)。上述特征库建立单元配置用于：获取标注了注解信息的物品的图像；将标注了注解信息的物品的图像输入到预先训练的机器学习模型以提取物品的特征；将提取的物品的特征与物品所对应的标签关联存入特征库。

在本实施例的一些可选实现方式中，上述用于确定物品标签的装置400还包括模型训练单元(图中未示出)，模型训练单元配置用于：在第二提取单元402基于预先训练的机器学习模型从预定物品的图像中提取预定物品的特征之前，对多个品项的物品中的每个品项的物品，执行如下标注操作：获取上述品项物品的图像，对上述品项物品的图像进行标注；使用经过标注的不同品项物品的图像对机器学习模型进行训练。

在本实施例的一些可选实现方式中，上述用于确定物品标签的装置400还包括标签增加单元(图中未示出)。上述标签增加单元配置用于在标签确定单元404将特征库中与预定物品的特征匹配度最高的特征所对应的标签确定为预定物品的标签之后，在货架图像中增加与各物品对应的标签。

在本实施例的一些可选实现方式中，机器学习模型为深度残差网络模型。

请参考图5，其示出了适用本申请实施例的电子设备的计算机系统500的结构示意图。

如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(lcd)以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、服务器或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、服务器或者器件使用或者逾期结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、服务器或者器件使用或者逾期结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一提取单元、第二提取单元、匹配单元以及标签确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一提取单元还可以被描述为“从预先获取的货架图像中提取预定物品的图像的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：从预先获取的货架图像中提取预定物品的图像；基于预先训练的机器学习模型从预定物品的图像中提取预定物品的特征；将预定物品的特征与预先建立的特征库进行匹配，其中，特征库中存储有多个物品中每个物品的特征以及每个物品对应的标签，任意一个物品的特征与该物品对应的标签关联存储，标签用于表示物品所属的品项；将特征库中与预定物品的特征匹配度最高的特征所对应的标签作为预定物品的标签。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。