商品识别方法和系统与流程

本公开涉及商品识别领域，特别涉及一种商品识别方法和系统。

背景技术：

随着新零售的发展，无人货柜售卖机已经成为新零售的趋势，越来越多的无人货柜售卖机已经投入市场并正式使用。方便快捷随时可触达的零售模式，吸引越来越多的消费者使用无人货柜售卖机购买消费品。

随着人工智能的发展，无人货柜售卖机开始使用图像识别算法来识别商品，同时计算价格。使用图像识别算法的无人货柜售卖机相比传统的货道售卖机，消费者使用更加快捷方便，开门取货支付可以在10秒内完成。而且消费者使用图像识别算法的无人货柜售卖机的体验感更强，即开即拿，更加顺应高效率发展的时代要求。

目前无人货柜的售卖商品识别算法，仍是基于基本的深度学习网络来识别商品图片，通过采集大量的商品图片数据，完成深度学习框架的训练，来识别商品。

基于传统深度学习算法的商品识别算法，为了能够适应货柜放在现实场景中，需要模拟消费者拿放商品的过程，并且采集大量的图片来训练传统的深度学习神经网络。但是随着无人货柜的迅速扩张，场景越来越复杂，传统的深度学习算法已经不能够完全满足需要。

技术实现要素：

本公开的发明人发现，利用相关技术中的商品识别算法识别商品的过程中经常受到环境因素的影响，导致识别的准确率不高。

本公开实施例解决的一个技术问题是：提供一种商品识别方法，以提高商品识别的准确率。

根据本公开实施例的一个方面，提供了一种商品识别方法，包括：神经网络模块获取商品特征并将所述商品特征传输到通道域注意力模块，其中，所述商品特征包括商品相关特征和商品无关特征；以及所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征，并至少将所述商品相关特征传输到下一个神经网络模块中。

在一些实施例中，所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征，并至少将所述商品相关特征传输到下一个神经网络模块中的步骤包括：所述通道域注意力模块产生选择向量，将所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征，以及将选择出的商品相关特征传输到下一个神经网络模块中。

在一些实施例中，所述选择向量包括元素1和0，其中所述元素1与所述商品相关特征相乘以选择出所述商品相关特征，所述元素0与所述商品无关特征相乘以过滤所述商品无关特征。

在一些实施例中，所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征，并至少将所述商品相关特征传输到下一个神经网络模块中的步骤包括：所述通道域注意力模块产生权重向量，将所述权重向量与所述商品特征的各个通道特征相乘，并将相乘后的结果传输到下一个神经网络模块中，其中，在所述权重向量中，与所述商品相关特征对应的权重大于与所述商品无关特征对应的权重。

在一些实施例中，所述通道域注意力模块至少将所述商品相关特征传输到下一个神经网络模块中的步骤还包括：所述通道域注意力模块还将未与所述权重向量相乘的所述商品特征的各个通道特征传输到所述下一个神经网络模块中。

根据本公开实施例的另一个方面，提供了一种商品识别系统，包括：神经网络模块，用于获取商品特征并将所述商品特征传输到通道域注意力模块，其中，所述商品特征包括商品相关特征和商品无关特征；以及所述通道域注意力模块，用于区分出所述商品相关特征和所述商品无关特征，并至少将所述商品相关特征传输到下一个神经网络模块中。

在一些实施例中，所述通道域注意力模块用于产生选择向量，将所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征，以及将选择出的商品相关特征传输到下一个神经网络模块中。

在一些实施例中，所述选择向量包括元素1和0，其中所述元素1与所述商品相关特征相乘以选择出所述商品相关特征，所述元素0与所述商品无关特征相乘以过滤所述商品无关特征。

在一些实施例中，所述通道域注意力模块用于产生权重向量，将所述权重向量与所述商品特征的各个通道特征相乘，并将相乘后的结果传输到下一个神经网络模块中，其中，在所述权重向量中，与所述商品相关特征对应的权重大于与所述商品无关特征对应的权重。

在一些实施例中，所述通道域注意力模块还用于将未与所述权重向量相乘的所述商品特征的各个通道特征传输到所述下一个神经网络模块中。

根据本公开实施例的另一个方面，提供了一种商品识别系统，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如前所述的方法。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的方法的步骤。

在上述方法中，神经网络模块将商品特征传输到通道域注意力模块；通道域注意力模块区分出商品相关特征和商品无关特征，并至少将该商品相关特征传输到下一个神经网络模块中。由于通道域注意力模块区分出商品相关特征和商品无关特征，因此下一个神经网络模块在计算识别商品的过程中，可以减弱商品无关特征的影响，从而可以提高商品识别的准确率。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是示出根据本公开一些实施例的商品识别方法的流程图；

图2是示出根据本公开另一些实施例的商品识别方法的流程图；

图3是示出根据本公开另一些实施例的商品识别方法的流程图；

图4是示出根据本公开另一些实施例的商品识别方法的流程图；

图5是示出根据本公开另一些实施例的商品识别方法的流程图；

图6是示出根据本公开一些实施例的商品识别系统的结构图；

图7是示出根据本公开另一些实施例的商品识别系统的结构图；

图8是示出根据本公开另一些实施例的商品识别系统的结构图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的发明人发现，利用相关技术中的商品识别算法识别商品的过程中经常受到环境因素的影响，导致识别的准确率不高。在现实场景中，不同的消费者拿放商品时，穿着的衣物、手遮挡方式等环境因素可能都是不一样的，因此相关技术中只是基于基本的深度学习网络来识别商品往往识别的准确率不高，而且非常容易受到干扰，从而影响识别率。

例如，识别算法如果采集到的图片都是来源于放置于白色背景的楼道中的货柜，新的货柜如果放置于更复杂的背景例如人来人往的街道上，那么传统的深度学习算法是不能够理解商品与背景之间的关系，从而会造成识别率急剧下降。

鉴于此，本公开的发明人提出一种商品识别方法，可以提高商品识别的准确率。该商品识别方法可以应用在无人货柜售卖机中。下面结合附图详细描述根据本公开一些实施例的商品识别方法。

图1是示出根据本公开一些实施例的商品识别方法的流程图。如图1所示，该方法包括步骤s102～s104。

在步骤s102，神经网络模块获取商品特征并将该商品特征传输到通道域注意力模块。

该商品特征可以包括商品相关特征和商品无关特征。例如，该商品相关特征包括商品本身的外形、尺寸、颜色等特征。该商品无关特征可以包括例如穿着的衣物、手遮挡方式等环境特征。

在步骤s104，通道域注意力模块区分出商品相关特征和商品无关特征，并至少将该商品相关特征传输到下一个神经网络模块中。

这里，通道域注意力模块在区分出商品相关特征和商品无关特征之后，至少将商品相关特征传输到下一个神经网络模块中，使得下一个神经网络模块可以利用例如已有的算法继续识别商品。

在一些实施例中，该步骤s104可以包括：通道域注意力模块产生选择向量，将该选择向量与商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征，以及将选择出的商品相关特征传输到下一个神经网络模块中。这里，可以将通道域注意力模块选择商品特征的这种方式称为直接注意力方式。

例如，该选择向量可以包括元素1和0。该元素1与商品相关特征相乘以选择出该商品相关特征，该元素0与商品无关特征相乘以过滤该商品无关特征。

在另一些实施例中，通道域注意力模块可以将商品相关特征和商品无关特征均传输到下一个神经网络模块中。而且可以相对弱化商品无关特征，这样可以尽量防止丢失一些重要信息，有利于提升商品识别率。

在一些实施例中，该步骤s104可以包括：通道域注意力模块产生权重向量，将该权重向量与商品特征的各个通道特征相乘，并将相乘后的结果传输到下一个神经网络模块中。在该权重向量中，与商品相关特征对应的权重大于与商品无关特征对应的权重。这样相比商品无关特征，可以使得商品相关特征更加显现出来，从而可以提高商品识别率。这里，可以将通道域注意力模块选择商品特征的这种方式称为权重注意力方式。

在一些实施例中，该步骤s104除了包括通道域注意力模块将权重向量与商品特征的各个通道特征相乘的结果传输到下一个神经网络模块中的步骤之外，还可以包括：通道域注意力模块还将未与权重向量相乘的商品特征(即原始商品特征)的各个通道特征传输到该下一个神经网络模块中。这样可以防止商品特征在传输的过程中被权重向量弱化。相反，这种方式可以增强商品特征，使得商品更容易识别。这里，可以将通道域注意力模块选择商品特征的这种方式称为残余学习注意力方式。

至此，提供了根据本公开一些实施例的商品识别方法。在该方法中，神经网络模块将商品特征传输到通道域注意力模块；通道域注意力模块区分出商品相关特征和商品无关特征，并至少将该商品相关特征传输到下一个神经网络模块中。由于通道域注意力模块区分出商品相关特征和商品无关特征，因此下一个神经网络模块在计算识别商品的过程中，可以减弱商品无关特征的影响，因此该方法可以提高商品识别的准确率。另外，上述方法还可以增强无人货柜售卖机系统对干扰因素的鲁棒性。

在本公开的实施例中，可以利用已有的图片数据训练神经网络模块和通道域注意力模块来使得这些模块具有上述商品识别的功能。例如，在无人货柜售卖机中，为了训练神经网络(例如深度学习网络)，需要采集大量的图片数据。例如，该图片数据是模拟消费者在无人货柜售卖机中拿取货物，通过摄像头来跟踪拍摄消费者手中的商品，将拍摄到的包含商品的图片作为训练数据，训练深度学习神经网络来识别货物。

图2是示出根据本公开另一些实施例的商品识别方法的流程图。如图2所示，将一张图片数据表示为i，i是一个r^h×w×c的图片特征。这里，r表示实数集，h表示图片的高度，w表示图片的长度，c表示图片的通道数量。例如，一张标准的rgb(红绿蓝)图片的通道数量是3。

在深度神经网络中，每一层神经网络模块都能够提取出特定的图片特征。例如卷积层，通过使用卷积核与上一层图片特征卷积计算，得到新的图片特征。每一个卷积核都能在已有的通道上产生一个新的通道。商品图片i经过有n个卷积核的卷积层之后，会产生新的特征，这个图片特征表示为i∈r^h×w×c′，卷积保持图片原有大小，c′是新特征的通道数量，其中，c′＝n·c。再比如通过池化层，商品图片数据特征i∈r^h×w×c会被采样成新的图片特征f∈r^{h′×w′×c}。因此，商品图片数据特征在经过若干层深度学习神经网络之后，i∈r^h×w×c会被提取出特征f∈r^{h′×w′×c′}。

在无人货柜售货机的商品识别系统中，商品图片数据经过神经网络模块提取到特征。由于例如消费者是用手抓取货物往往会造成一定程度的遮挡，因此深度学习神经网络模块提取出的图片特征，可以包括两部分：一部分是商品相关特征fp，另一部分是商品无关特征fn。

其中是合并连接算子。

深度学习神经网络模块中的卷积层是通过不同的卷积核提取出不同的通道信息。经过大量的实验表明，不同的卷积核提取出的图片特征是不同的。因此不同的通道信息描述了图片不同的特征信息。例如，在无人货柜售卖机中提取出的图片特征是由商品相关特征通道cp和商品无关特征通道cn组成，即：

c′＝cp+cn.(2)

因此，不同的特征通道表示不同的商品相关特征和商品无关特征，分别是

如图2所示，通道域注意力模块可以插入到神经网络模块提取出的特征之后将商品相关特征与商品无关特征区分出来，再将两个特征传输到下一个神经网络模块(图2中未示出)中以进行后续的计算。

在该实施例中，注意力机制是通过识别关键的商品图片特征通道，从而加强对商品相关特征的注意，减少商品无关特征的影响。

如前所述，通道域注意力模块选择商品特征的方式可以包括：直接注意力方式、权重注意力方式或残余学习注意力方式。下面分别结合图3至图5详细描述这三种注意力方式。

图3是示出根据本公开另一些实施例的商品识别方法的流程图。图3示出了通道域注意力模块的直接注意力方式。

如图3所示，通道域注意力模块产生一个m∈{0,1}^c′的选择向量，将该选择向量与上一层的商品特征的各个通道特征相乘。其中，商品相关特征被1选择，而商品无关特征被0过滤。该直接注意力方式可以完整的保留全部的商品相关特征信息，从而直接将商品无关特征过滤。将注意后的商品相关特征作为下一个神经网络模块的输入。

例如，第j个通道是商品相关特征，该特征f{j}∈r^h′×w′被选择作为商品相关特征，此时m{j}＝1。因为需要选择出p个通道，所以：

直接注意力方式传递选择出的p个通道的特征，并将这些商品相关特征输入到下一个神经网络模块中。

图4是示出根据本公开另一些实施例的商品识别方法的流程图。图4示出了通道域注意力模块的权重注意力方式。

如图4所示，通道域注意力模块产生一个的权重向量，将该权重向量与上一层的商品特征的各个通道特征相乘。商品相关特征与商品无关特征分别与不同的权重相乘。其中，商品相关特征对应的权重较高，而商品无关特征对应的权重较低。即，与商品相关特征对应的权重大于与商品无关特征对应的权重。

该权重注意力方式比较简单，而且是一个可以微分传递的学习模块，从而可以使用端到端的训练方式来学习。这种训练更加自由，也能够适应更多的学习场景。通过该权重注意力方式，会产生一个新的特征f′。这个特征f′是对原有特征f每个通道赋予不同的权重，因此新的特征f′的通道数量与原有特征f的通道数量是一致的：

f′{i}＝m{i}*f{i}。(4)

其中，m{i}表示与特征f{i}对应的权重。

图5是示出根据本公开另一些实施例的商品识别方法的流程图。图5示出了通道域注意力模块的残余学习注意力方式。

如图5所示，残余学习注意力方式是在权重选择的基础之上，将原始的商品特征信息与通过权重注意力方式产生的权重特征共同传递到下一个神经网络模块中，从而能够将原始的图片特征与通过权重注意力之后的图片特征结合在一起输入到之后的神经网络模块中。与权重注意力方式相似的，该残余学习注意力方式也会产生一个权重向量该权重向量能够调整通道信息，并且又叠加上原始特征信息，因此传入到下一个神经网络模块的特征是：

f{i}+f′{i}。(5)

在本公开的实施例中，通过在无人货柜售卖机系统识别深度神经网络中增加通道域的注意力机制，从而可以提升无人货柜售卖机系统中的商品识别率，而且使得识别算法不受环境因素的影响，以及对消费者的取拿方式具有鲁棒性。

图6是示出根据本公开一些实施例的商品识别系统的结构图。如图6所示，该商品识别系统可以包括神经网络模块602和通道域注意力模块604。

该神经网络模块602可以用于获取商品特征并将该商品特征传输到通道域注意力模块604。该商品特征可以包括商品相关特征和商品无关特征。

该通道域注意力模块604可以用于区分出商品相关特征和商品无关特征，并至少将该商品相关特征传输到下一个神经网络模块中。

在该实施例的系统中，神经网络模块将商品特征传输到通道域注意力模块；通道域注意力模块区分出商品相关特征和商品无关特征，并至少将该商品相关特征传输到下一个神经网络模块中。由于通道域注意力模块区分出商品相关特征和商品无关特征，因此下一个神经网络模块在计算识别商品的过程中，可以减弱商品无关特征的影响，因此该系统可以提高商品识别的准确率。

在一些实施例中，该通道域注意力模块604可以用于产生选择向量，将该选择向量与商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征，以及将选择出的商品相关特征传输到下一个神经网络模块中。

例如，该选择向量可以包括元素1和0。该元素1与商品相关特征相乘以选择出该商品相关特征，该元素0与商品无关特征相乘以过滤该商品无关特征。

在一些实施例中，该通道域注意力模块604可以用于产生权重向量，将该权重向量与商品特征的各个通道特征相乘，并将相乘后的结果传输到下一个神经网络模块中。在该权重向量中，与商品相关特征对应的权重大于与商品无关特征对应的权重。

在一些实施例中，该通道域注意力模块还可以用于将未与权重向量相乘的商品特征的各个通道特征传输到下一个神经网络模块中。

图7是示出根据本公开另一些实施例的商品识别系统的结构图。该商品识别系统包括存储器710和处理器720。其中：

存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1至图5中的至少一个所对应实施例中的指令。

处理器720耦接至存储器710，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器720用于执行存储器中存储的指令，从而可以提高商品识别的准确率。

在一些实施例中，还可以如图8所示，该商品识别系统800包括存储器810和处理器820。处理器820通过bus总线830耦合至存储器810。该商品识别系统800还可以通过存储接口840连接至外部存储装置850以便调用外部数据，还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，从而可以提高商品识别的准确率。

在另一些实施例中，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1至图5中的至少一个所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。