物品识别方法、装置、计算机可读存储介质和计算机设备与流程

本申请涉及计算机技术领域，特别是涉及一种物品识别方法、装置、计算机可读存储介质和计算机设备。

背景技术：

随着计算机技术的发展，对于计算机技术的应用也越来越广泛。在传统技术中，对于物品的识别大部分仍然依赖于硬件方案，比如称重传感器、rfid(射频识别)及视频识别等。但这种物品识别的方法，硬件成本和运营成本都较高。且这种传统的识别技术，检测效率与检测准确率都较低。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提高检测效率及检测准确率的物品识别方法、装置、计算机可读存储介质和计算机设备。

一种物品识别方法，包括：

获取至少一个目标物品在物品放置空间的目标物品图像；

将所述目标物品图像输入至图像检测模型；

获取所述图像检测模型输出的图像特征分布信息，所述图像特征分布信息包括每个所述目标物品对应的物品图像特征、及每个所述物品图像特征在所述目标物品图像中对应的特征位置信息；

将每个所述物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度；

根据匹配度确认每个所述物品图像特征对应的目标物品种类；

根据所述图像特征分布信息和所述目标物品种类，识别出每个所述目标物品在所述物品放置空间中的物品位置及对应的物品种类。

一种物品识别装置，所述装置包括：

图像获取模块，用于获取至少一个目标物品在物品放置空间的目标物品图像；

检测模块，用于将所述目标物品图像输入至图像检测模型；获取所述图像检测模型输出的图像特征分布信息，所述图像特征分布信息包括每个所述目标物品对应的物品图像特征、及每个所述物品图像特征在所述目标物品图像中对应的特征位置信息；

匹配模块，用于将每个所述物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度；根据匹配度确认每个所述物品图像特征对应的目标物品种类；

物品种类确定模块，用于根据所述图像特征分布信息和所述目标物品种类，识别出每个所述目标物品在所述物品放置空间中的物品位置及对应的物品种类。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取至少一个目标物品在物品放置空间的目标物品图像；

将所述目标物品图像输入至图像检测模型；

获取所述图像检测模型输出的图像特征分布信息，所述图像特征分布信息包括每个所述目标物品对应的物品图像特征、及每个所述物品图像特征在所述目标物品图像中对应的特征位置信息；

将每个所述物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度；

根据匹配度确认每个所述物品图像特征对应的目标物品种类；

根据所述图像特征分布信息和所述目标物品种类，识别出每个所述目标物品在所述物品放置空间中的物品位置及对应的物品种类。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取至少一个目标物品在物品放置空间的目标物品图像；

将所述目标物品图像输入至图像检测模型；

获取所述图像检测模型输出的图像特征分布信息，所述图像特征分布信息包括每个所述目标物品对应的物品图像特征、及每个所述物品图像特征在所述目标物品图像中对应的特征位置信息；

将每个所述物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度；

根据匹配度确认每个所述物品图像特征对应的目标物品种类；

根据所述图像特征分布信息和所述目标物品种类，识别出每个所述目标物品在所述物品放置空间中的物品位置及对应的物品种类。

上述物品识别方法、装置、计算机可读存储介质和计算机设备，通过图像检测模型对目标物品图像进行提取并区分其中包含有物品的目标图像特征，再通过物品数据库对包含有物品的目标图像特征比较匹配，从而确定目标物品图像中所存在的物品种类及具体的位置信息，这种方式将图像检测模型与物品数据库相结合，由图像检测模型区分属于物品的图像特征，即图像检测模型可以输出属于目标物品的物品图像特征以及每个物品图像特征在目标物品图像中对应的特征位置信息，再进一步通过与物品数据库中的标准物品特征进行检索匹配，通过检索匹配的方式代替了直接通过图像检测模型进行分类的方式，大幅度的提高了识别效率，通过图像检测模型与物品数据库进行结合的方式还能够提升识别准确率。

附图说明

图1为一个实施例中物品识别方法的应用环境图；

图2为一个实施例中物品识别方法的流程示意图；

图3为一个实施例中通过图像检测模型的特征提取网络对目标物品图像进行特征提取步骤的流程示意图；

图4为一个实施例中将每个物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度的步骤的流程示意图；

图5为一个实施例中在获取目标物品图像步骤之前的流程示意图；

图6a为一个实施例中物品放置空间参考点的界面示意图；

图6b为一个实施例中物品放置空间分界线的界面示意图；

图7为一个实施例中物品数据库的建立步骤的流程示意图；

图8为一个实施例中对物品放置空间进行划分的界面示意图；

图9为一个实施例中对标准物品进行图像采集的界面示意图；

图10为一个实施例中图像检测模型的训练步骤的流程示意图；

图11为一个实施例中在步骤212之后的流程示意图；

图12为一个实施例中物品识别方法还包括的步骤的流程示意图；

图13为一个实施例中物品识别方法还包括的步骤的流程示意图；

图14为另一个实施例中物品识别方法的流程示意图；

图15为一个实施例中图像采集设备的推荐放置位置的界面示意图；

图16a为一个实施例中将目标物品图像输入至图像检测模型中的流程示意图；

图16b为一个实施例中第二卷积模块的示意图；

图17为一个实施例中物品识别装置的结构框图；

图18为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中物品识别方法的应用环境图。参照图1，该物品识别方法应用于物品识别系统。该物品识别系统包括终端110和服务器120。其中终端110中包含有图像采集设备102以及处理器104。终端110可以是物品放置空间所对应的终端，图像采集设备102可以是具备图像采集功能的设备，比如摄像机、照相机、手机、平板电脑、笔记本电脑等。图像采集设备102可以对放置在物品放置空间中的物品进行图像采集。处理器104中可以包含有图像检测模型，用于对图像采集设备102采集到的物品图像进行特征提取。终端110和服务器120通过网络连接，在服务器120中可以包含有物品数据库，在物品数据库中存储有各个物品种类对应的多个标准物品特征。处理器104可以安装在终端110上，也可以位于服务器120中，用于对图像采集设备102采集到的物品图像进行特征提取，并输出属于物品的物品图像特征。

如图2所示，在一个实施例中，提供了一种物品识别方法。参照图2，该物品识别方法具体包括如下步骤：

步骤202，获取至少一个目标物品在物品放置空间的目标物品图像。

步骤204，将目标物品图像输入至图像检测模型。

目标物品图像是需要识别所包含的物品种类及位置的图像，即在目标物品图像中可以包含有一个或多个目标物品，目标物品均有对应的物品种类，比如目标物品图像中可以包含有目标物品a，目标物品b，目标物品c，目标物品a，b，c对应的物品种类可以是饮料，零食等。在获取到目标物品图像后，可以将获取到的目标物品图像输入至图像检测模型进行特征提取分析。图像检测模型是可以对输入的图像进行特征提取并判断提取到的图像特征是否包含有物品的模型。图像检测模型可以包含有两个网络，分别是特征提取网络和检测网络。特征提取网络可以对输入的图像进行特征提取，检测网络可以对特征提取网络提取到的图像特征进行判断，判断哪些图像特征是包含有物品的特征，哪些是不包含有物品的特征。即检测网络可以筛选出属于物品的图像特征。从而可以将筛选出的属于物品的图像特征输出，与物品数据库中的标准物品特征进行匹配。

步骤206，获取图像检测模型输出的图像特征分布信息，图像特征分布信息包括每个目标物品对应的物品图像特征、及每个物品图像特征在目标物品图像中对应的特征位置信息。

图像检测模型中的特征提取网络在对输入的目标物品图像进行特征提取时，会记录提取的特征在目标物品图像中的位置信息，位置信息可以是特征在目标物品图像中的坐标信息。图像检测模型中的检测网络可以获取到特征提取网络对目标物品图像进行提取得到的图像特征，并检测图像特征是否属于物品的特征，即检测目标图像特征中是否包含有物品，如果有，则该图像特征是属于物品的特征，即物品图像特征；如果没有，则该图像特征不属于物品的特征。当图像检测模型检测出目标物品对应的图像特征后，即图像检测模型检测出物品图像特征后，可以输出对应的图像特征分布信息。图像特征分布信息包括了每个目标物品所对应的物品图像特征，以及每个物品图像特征在目标物品图像中对应的特征位置信息。

步骤208，将每个物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度。

物品数据库中存储有各个物品种类对应的标准物品特征。每个物品种类可以对应多个标准物品特征，标准物品特征是指对该物品种类的物品进行特征提取得到的特征，根据各个物品种类的标准物品特征可以将该物品种类的物品与其他物品种类的物品进行区分。物品种类对应一种物品，比如罐装的可乐与瓶装的可乐分别对应一个物品种类，罐装可乐对应的可以是罐装可乐类，瓶装的可乐对应的可以是瓶装可乐类。当罐装可乐存在有不同的包装或不同的设计时，也需要根据为各个罐装可乐分别建立对应的物品种类，并提取到每个罐装可乐的特征作为每个罐装可乐对应的标准物品特征，用于与其他物品进行区分。

在获取到图像检测模型输出的物品图像特征及对应的位置信息后，可以将物品图像特征与物品数据库中的标准物品特征进行匹配，可以获取到物品图像特征与各个物品种类对应的标准物品特征之间的匹配度。匹配度代表了每个物品图像特征与各个标准物品特征之间的相似程度，相似程度越高代表这两个特征属于同一个物品种类的可能性更大。

步骤210，根据匹配度确认每个物品图像特征对应的目标物品种类。

步骤212，根据图像特征分布信息和目标物品种类，识别出每个目标物品在物品放置空间中的物品位置及对应的物品种类。

在获取到物品图像特征与各个物品种类对应的标准物品特征之间的匹配度后，可以将匹配度最高的标准物品特征对应的物品种类作为目标图像特征的目标物品种类。当存在多个物品图像特征时，可以得到与每个物品图像特征对应的目标物种种类。也就是说，当目标物品图像中原本就存在有多个目标物品时，图像检测模型则会输出多个目标物品对应的物品图像特征。在与物品数据库中的标准物品特征进行匹配时，则能够获取到每个物品图像特征与各个标准物品特征的匹配度，从而能够得到各个物品图像特征所对应的物品种类。由于在对目标物品图像进行特征提取时，记录了各个图像特征在目标物品图像中的特征位置信息。因此在获取到图像检测模型输出的物品图像特征后，可确定目标物品图像中包含的各个目标物品的物品种类以及各个目标物品在物品放置空间中的物品位置。即可以确定在目标物品图像中包含有属于哪些物品种类的目标物品，且能够获知各个目标物品在物品放置空间中的具体位置。

上述物品识别方法，通过图像检测模型对目标物品图像进行提取并区分其中包含有物品的目标图像特征，再通过物品数据库对包含有物品的目标图像特征比较匹配，从而确定目标物品图像中所存在的物品种类及具体的位置信息，这种方式将图像检测模型与物品数据库相结合，由图像检测模型区分属于物品的图像特征，即图像检测模型可以输出属于目标物品的物品图像特征以及每个物品图像特征在目标物品图像中对应的特征位置信息，再进一步通过与物品数据库中的标准物品特征进行检索匹配，通过检索匹配的方式代替了直接通过图像检测模型进行分类的方式，大幅度的提高了识别效率，通过图像检测模型与物品数据库进行结合的方式还能够提升识别准确率。

在一个实施例中，通过物品放置空间内的图像采集设备进行图像采集得到目标物品图像；物品数据库中的标准物品特征是根据与图像采集设备的设置参数一致的图像采集设备进行图像采集得到的图像进行特征提取得到的。

物品放置空间是指可以放置物品的空间，物品放置空间可以是柜子、货架、放置架等。在物品放置空间中，装有图像采集设备，需要获取物品放置空间内的物品图像时，可通过图像采集设备进行采集得到。在建立物品数据库中，可以通过与图像采集设备的设置参数一致的图像采集设备采集到相应的图像，从而可以对采集到的图像进行特征提取建立每个物品种类所对应的标准物品特征。设置参数一致包括以下的至少一种：摆放高度和位置一致、设备参数一致、设备所在的环境参数一致等。摆放高度和位置一致是指图像采集设备距离需要采集的物品的高度或位置，与物品放置空间中的图像采集设备的摆放高度和位置是一致的。设备参数一致指的是，图像采集设备的参数是一致的，比如焦距、镜头大小以及拍摄模式等等，关于设备相关的参数是一致的。设备所在的环境参数一致，可以是指图像采集设备所在的环境是一致的，比如图像采集设备安装所在的货柜大小是一致的，或者图像采集设备所在环境的光线是一致的等等。由此可知，目标物品图像与建立物品数据库时所使用的图像都是通过设置参数一致的图像采集设备采集得到的，因此可以将目标物品图像中提取到的特征与物品数据库中的标准物品特征进行比对，以确定目标物品图像中所包含的物品种类。

进一步地，可根据物品放置空间的大小确定图像采集设备的数量。比如物品放置空间为一个较大的货柜a时，则可以在货柜a中安装多个图像采集设备，以使货柜a中各个区域放置的物品都能够被图像采集设备采集到，且在图像采集设备采集到的图像中清楚且能够被特征提取网络提取出对应的特征。图像采集设备可以是各种具备图像采集功能的设备，在本实施例中，为了确保摄像头能够捕捉物品放置空间中放置的不同高度和大小的物品，可以将鱼眼摄像头作为图像采集设备，具体地，可采用180°的鱼眼摄像头。如此既可以保证能够捕捉完整的物品放置的区域，还可以减少在物品放置空间的边缘区域发生的畸变，以免影响对图像采集设备采集到的图像进行特征提取时发生误差，从而影响到对目标物品图像中包含的物品种类的识别精确度。

在一个实施例中，获取图像检测模型输出的图像特征分布信息，包括：通过图像检测模型的特征提取网络对目标物品图像进行特征提取，得到对应的物品图像特征及每个物品图像特征在目标物品图像中的特征位置信息；获取图像检测模型的检测网络对物品图像特征进行检测，输出的每个目标物品对应的物品图像特征及每个物品图像特征在目标物品图像中对应的特征位置信息。

图像检测模型中包含有两个网络，分别是特征提取网络和检测网络。特征提取用于对输入的图像进行特征提取，以得到图像特征及图像特征在图像中的位置信息。检测网络用于检测特征提取网络提取得到的图像特征是否属于包含有物品的特征，即检测网络用于区分包含有物品的图像特征与不包含有物品的图像特征，并输出确定各个目标物品的物品图像特征以及每个物品图像特征在目标物品图像中对应的位置信息。

在一个实施例中，如图3所示，通过图像检测模型的特征提取网络对目标物品图像进行特征提取，包括：

步骤302，通过特征提取网络的第一卷积模块对目标物品图像进行卷积运算。

步骤304，对第一卷积模块输出的第一特征进行归一化处理。

步骤306，将进行了归一化处理后的第一特征输入池化层进行池化作用，得到池化结果。

步骤308，将池化结果输入至特征提取网络中的第二卷积模块进行循环卷积运算。

步骤310，获取第二卷积模块输出的第二特征，将第二特征作为目标物品图像对应的图像特征。

在特征提取网络中，包含有第一卷积模块和第二卷积模块。第一卷积模块用于对输入的目标物品图像进行特征提取得到对应的图像特征，并将图像特征转换成图像向量，对图像向量进行卷积运算。第一卷积模块输出卷积运算后得到的第一特征，即第一特征向量。对第一特征向量进行归一化处理是指，对第一特征向量进行处理，使得第一特征向量保持在设定的区域范围内。将进行了归一化处理后的第一特征输入至池化层进行池化作用。池化层可以遍历每个第一特征向量，将每个第一特征向量的最大值作为输出，输入至特征提取网络的第二卷积模块中进行循环卷积运算。循环卷积运算是指通过第二卷积模块中所包含的多层可重复卷积块与单层卷积块，可以对第一特征向量进行循环卷积运算。

多层可重复卷积块是指包含有多个串联的卷积核参数一样的卷积层，通过多层可重复卷积模块可以增加卷积层的层数，增强卷积运算。多层重复卷积模块可以更有效的利用系统资源，也更简单的实现更复杂的卷积运算。单层卷积块即为非重复卷积块，单层卷积块与多层可重复卷积块的卷积核参数会存在差异，为的是不同的卷积层数能够计算出不同细度的特征，而且卷积核参数存在差异还可以对卷积运算得到的特征进行边缘填充，可以对卷积核小的卷积层计算得到的特征进行填充，避免特征的长和宽发生改变，这样就可以对该特征一直重复进行卷积运算操作。

单层卷积块与多层可重复卷积块在进行卷积运算的时候，是使用预先设置好的卷积核对图像进行特征提取得到图像特征的。多层可重复卷积块由于卷积核参数一致，因此在进行卷积运算时，可以保持图像大小不变，并提取出不同类型的图像特征。在这过程中，可能需要改变图像特征的大小，因此可以通过卷积核参数不同的单层卷积块的卷积操作进行实现。当通过第二卷积模块中的单层卷积块与多层可重复卷积块对图像进行卷积运算后，可以获取到第二卷积模块输出的第二特征，将第二特征作为目标物品图像对应的图像特征。

在一个实施例中，如图4所示，将每个物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度，包括：

步骤402，获取物品数据库中每个物品种类对应的多个标准物品特征。

步骤404，获取物品图像特征与每个物品种类对应的多个标准物品特征之间的欧式距离值。

步骤406，根据欧式距离值确定物品图像特征与物品数据库中的标准物品特征之间的匹配度。

在获取到图像检测模型输出每个目标物品对应的物品图像特征后，可以将每个物品图像特征分别与从物品数据库中获取到的标准物品特征进行匹配。可以根据物品图像特征与每个物品种类对应的多个标准物品特征之间的欧式距离值确定目标图像特征与每个标准物品特征之间的匹配度。欧氏距离是一个通常采用的距离定义，指在n维空间中两个点之间的真实距离，或者向量的自然长度，即该点到原点的距离。在二维和三维空间中的欧氏距离就是两点之间的实际距离。当两个特征的欧氏距离较小，即两个特征之间的欧式距离值较小时，则这两个特征之间的相似性越大，匹配度也越高。反之，若是两个特征之间的欧氏距离值较大，则两个特征之间的区分也较大，匹配度较低。

图像检测模型输出的目标图像特征可以有多个，而物品数据库中，每个物品种类对应有多个标准物品特征，因此在比对时，每一个物品图像特征都要与每个物品种类对应的标准物品特征进行一一比对。从而可以得到每个物品图像特征与每个物品种类对应的标准物品特征之间的欧式距离值，即可以得到每个物品图像特征与每个物品种类之间的匹配度。

在一个实施例中，根据匹配度确认每个物品图像特征对应的目标物品种类，包括：将物品图像特征分别与每个物品种类对应的标准物品特征的欧式距离值按照从小到大的顺序进行排序得到排序结果；按照从小到大的方向从排序结果中获取预设数量的标准物品特征；统计预设数量的标准物品特征中属于同一个物品种类的标准物品特征的数量，根据各个物品种类对应的标准物品特征的数量大小确定物品图像特征对应的目标物品种类。

在将每个物品图像特征分别与每个物品种类对应的标准物品特征进行比对时，可获取到多个标准物品特征与每个物品图像特征之间的欧式距离值。也就是说，针对每个物品图像特征而言，均会得到一个根据欧式距离值进行排序的标准物品特征序列。可以按照欧式距离值的从小到大的顺序将每个标准物品特征进行排序，即将与物品图像特征之间的欧式距离值最小的标准物品特征排在序列的最前端。如此可根据欧式距离值得到标准物品特征的排序结果。针对每个物品图像特征，可以在各自对应的标准物品特征序列中，按照欧式距离值从小到大的方向选取出预设数量的标准物品特征。比如预设数量设置为15，那么则可以选取出与物品图像特征的欧式距离值较小的15个标准物品特征。

可以统计预设数量的标准物品特征中属于同一个物品种类的标准物品特征的数量，从而可根据各个物品种类对应的标准物品特征的数量大小确定物品图像特征对应的目标物品种类。比如针对目标图像特征a，选取出的15个标准物品特征中属于物品种类x1的数量为8个，属于物品种类x2的数量为5个，属于物品种类x3的数量为2个，那么可获知在选取出的预设数量的标准物品特征中，物品种类x1对应的标准物品特征的数量最多，则可以确定目标图像特征a对应的目标物品种类为x1。可通过这种方式确定每个目标图像特征所对应的物品种类。

在一个实施例中，如图5所示，获取目标物品图像之前，还包括确定物品放置空间的分界线的步骤，包括：

步骤502，获取图像采集设备所在的物品放置空间对应的参考点。

步骤504，获取图像采集设备采集的物品放置空间对应的空间图像。

步骤506，对空间图像进行预处理。

步骤508，根据参考点获取预处理后的空间图像的边界点。

步骤510，根据边界点确定物品放置空间的分界线。

为了减少物品放置空间外的环境对物品识别的影响，可以确定物品放置空间的分界线。具体地，技术人员可以对物品放置空间进行分析并确定参考点。如图6a中所示的，在图的左上角和右上角均有两个小正方形q1和q2，即为技术人员确定的参考点。可以获取到图像采集设备采集的物品放置空间对应的空间图像，为了提高分界线的确定准确率，可以对获取到的空间图像进行预处理。预处理是指对图像进行亮度、色值或者灰度等参数的调节。预处理可以是二值化处理，是指在将获取到的图像进行灰度化处理后，即将彩色的空间图像转化成灰度图像后，将灰度图像进行二值化处理，也就是将灰度图像上的点的灰度值处理为0或255。

在对空间图像进行预处理后，可根据参考点获取预处理后的空间图像的边界点。比如根据预处理后的空间图像中的参考点可确定空间图像的边界点。将两个边界点连接即可得到物品放置空间的分界线。如图6b所示，图像中上方q1和q2连接得到的灰色横线即为根据两个边界点得到的物品放置空间的分界线。因此在进行物品识别时，可以使用检测到的分界线，去除物品放置空间外的环境对物品识别准确率的影响。

将目标物品图像输入至图像检测模型，包括：根据分界线确定目标物品图像中属于物品放置空间内的目标图像，将目标图像输入至图像检测模型。

在将目标物品图像输入至图像检测模型中时，可以根据确定的分界线确定目标物品图像中属于物品放置空间内的图像区域，以及属于物品放置空间外的图像区域。而可以根据分界线去除分界线外的图像区域，即属于物品放置空间外的图像区域，而将属于物品放置空间内的目标图像输入至图像检测模型中进行图像特征的提取与分析等操作。

在一个实施例中，如图7所示，物品数据库的建立步骤，包括：

步骤702，获取标准物品图像。

物品数据库中包含有各个物品种类对应的多个标准物品特征。在建立物品数据库时，需要获取到与各个物品种类对应的多个标准物品图像。

在一个实施例中，获取标准物品图像，包括：获取根据标准物品的物品种类对标准物品的位置和角度进行调整后进行图像采集得到的标准物品图像。

在图像采集设备对标准物品进行图像采集时，会根据标准物品的物品种类，对标准物品的位置和角度进行调整，对不同角度和位置的标准物品进行图像采集，以能够得到不同的标准物品图像，使得每个标准物品的各个特征都能在标准物品图像上清晰显示，从而使得标准物品的特征都能够被提取到。

步骤704，对标准物品图像进行图像处理，对物品图像的数量进行扩展得到标准物品图像集合。

针对每个物品种类，对获取到的标准物品图像进行图像处理后，可以将物品图像的数量进行扩展。图像处理可以是数据增强处理，比如gamma校正处理(伽玛校正)、椒盐噪声处理等。伽玛校正处理是指对图像的伽玛曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果的处理方法。椒盐噪声是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素，或是两者皆有。可以采用中值滤波器去除椒盐噪声。

步骤706，对标准物品图像集合中的各个图像进行特征提取。

步骤708，对提取得到的特征进行去重筛选。

步骤710，将筛选后的特征按照标准物品图像中各个标准物体对应的物品种类存储至物品数据库中。

在采集到的标准物品图像中，数据较为单一，比如标准物品图像都是在同一种环境下采集到的。在通过gamma校正处理后可以生成不同亮度的图片，将图片进行上下、左右翻转等操作，可以将单一的图像进行扩展。加入椒盐噪声处理等可以模拟更多的实际场景中可能出现的变化，从而通过这种方式，可以将采集到的标准物品图像的数量进行成倍的扩增，可得到标准物品图像集合。将标准物品图像集合中的各个标准物品图像输入至特征提取网络中进行特征提取，可得到与每个标准物品图像对应的图像特征。由于每个物品种类对应的标准物品图像有多个，因此对每个物品种类下的标准物品图像提取到的图像特征中，会存在有相似度较高的图像特征。为了减少不必要的图像特征，降低数据的冗余度，可以对提取到的图像进行去重筛选操作。

在进行去重筛选操作时，可以根据两个特征之间的欧氏距离值进行筛选。当两个图像特征之间的欧式距离值非常接近时，则可以认为这两个图像特征是重复的。也可以设定一个欧氏距离阈值，当两个图像特征之间的欧式距离值低于设定的欧氏距离阈值时，可以认为这两个图像特征是重复的。如此，可以删除这两个图像特征中的其中一个，保留其中一个图像特征即可。去重筛选后的图像特征则代表了每个物品种类的特征，可根据每个物品种类的图像特征，将该物品种类与其他物品种类进行区分。可按照物品种类将筛选后的特征存储至物品数据库中。假设针对物品种类a，采集到了50张标准物品图像，这50张标准物品图像所提取到的特征为2000个，经过去重筛选后，剩余1000个特征，则可以将筛选后所得到的1000个特征作为物品种类a的特征保存至物品数据库中。

在一个实施例中，标准物品放置在物品放置空间的第一货道区域。

当物品放置空间较大时，可以将物品放置空间进行分层分区域处理。比如将作为物品放置空间的货柜分成4层，为每一层都配置一个图像采集设备。进一步地，还可以为每一层划分货道，即可以将每一层区域划分成多列，如此可以方便摆放标准物品。如图8所示，图中将物品放置空间划分为5列，在摆放标准物品时，可以根据划分好的区域对标准物品进行摆放，如此可将标准物品摆放的较为整齐，则图像采集设备采集到的标准物品图像中显示的标准物品的特征也比较明显。可以将需要采集图像的标准物品放置在物品放置空间的第一货道区域。

获取根据标准物品的物品种类对标准物品的位置和角度进行调整后进行图像采集得到的标准物品图像，包括：

方式一：当标准物品的高度低于物品高度阈值时，在物品放置空间的第二货道区域放置高度高于物品高度阈值的物品，按照第一预设规则对标准物品进行调整，并进行图像采集得到对应的第一标准物品图像集合。

物品高度阈值是预先设置的高度值，当物品的高度超过设置的物品高度阈值时，可认为该物品是高的物品，反之则认为该物品是矮的物品。当需要采集图像的标准物品的高度低于物品高度阈值时，即需要采集图像的标准物品为矮的物品时，可以在物品放置空间的第二货道区域放置高的物品。比如将物品放置空间划分为6列，可以将标准物品放置在物品放置空间的第一货道区域，如第2-5列，而在第1，第6列放置高度高于物品高度阈值的其他物品。

为了对标准物品的物品图案进行完整的采集，可以按照第一预设规则对标准物品进行调整。第一预设规则是指依次按照第一预设角度旋转标准物品，并去除第一货道区域中的一个子区域中的物品。假设标准物品放置在物品放置空间的第一货道区域，如第2-5列，那么可改变第2-4列的标准物品的方向，并按照第一预设角度旋转标准物品。第一预设角度是预设的角度值，可以设置为30-60度。

如图9所示，每次在改变了标准物品的方向后，将标准物品旋转30-60度，可使用图像采集设备对调整后的标准物品进行图像采集得到对应的多个标准物品图像。再分别去除第一货道区域中的一个子区域中的物品，比如分别去除第一货道区域中的第一排的标准物品进行图像采集得到若干个标准物品图像、去除第一货道区域中的第二排的标准物品进行图像采集得到若干个标准物品图像、去除第一货道区域中的第三排的标准物品进行图像采集得到若干个标准物品图像等等。从而可得到对应的第一标准物品图像集合，在第一标准物品图像集合中包含有按照第一预设规则进行图像采集得到的多个第一标准物品图像。

方式二：当标准物品对应多个物品种类时，按照第二预设规则对标准物品进行调整，并进行图像采集得到对应的第二标准物品图像集合。

当需要采集图像的标准物品对应了多个物品种类时，即需要采集图像的标准物品超过一个，且对应了不同的物品种类时，可以按照第二预设规则对多个标准物品进行调整并采集对应的图像数据。第二预设规则是指按照第二预设角度旋转标准物品并进行相应的图像采集操作。可以将需要采集图像的多个标准物品摆放在物品放置空间中的第2-4行，并将放置的标准物品旋转第二预设角度进行图像采集，第二预设角度可以设置为向左转动0-30度以及向右转动0-30度。从而可得到对应的第二标准物品图像集合，在第二标准物品图像集合中包含有按照第二预设规则进行图像采集得到的多个第二标准物品图像。

方式三：当标准物品为预设物品种类的物品时，按照第三预设规则对标准物品进行调整，并进行图像采集得到对应的第三标准物品图像集合。

当需要采集图像的标准物品对应的物品种类是预设物品种类时，可按照第三预设规则对摆放的标准物品进行调整，从而进行图像采集操作。第三预设规则是指将标准物品摆放在特定区域中，并依次去除该特定区域中的一个子区域中的物品。比如可以在物品放置空间的第2-4列摆放好标准物品，依次取走第一排、第二排、第三排的物品进行图像采集，以得到对应的第三标准物品图像集合。在第三标准物品图像集合中，包含有按照第三预设规则进行图像采集得到的多个第三标准物品图像。

以上第一预设规则、第二预设规则、第三预设规则分别是针对在不同情形下对标准物品进行图像采集。为了让图像采集设备能够拍到每个摆放的物品，可以在摆放标准物品时，按照u形的摆放方式，这样可以使得图像采集设备可以捕捉到更多的物品细节与物品的信息，在采集物品图像时，可以减少物品发生重叠的情况，而是尽可能的能够使得各个物品在采集到的图像中显示完整。如此，在对图像采集设备采集到的图像进行特征提取时，则会降低提取到的特征中存在有两个或多个物品特征重叠的情况。当发生特征重叠时，则会出现特征x中既包括有物品a的特征，也包括有物品b的情况。而采取u行的摆放方式则能够避免这种情况的发生，由于将“高”的物品摆放在两侧，而将“矮”的物品摆放在“高”的物品的中间，使得摆放的物品呈现u字型。如此，采集图像时，能够使得“矮”的物品并不会被“高”的物品遮挡住，也不会造成在采集“矮”的物品时，会被“高”的物品遮挡住，使得在提取“矮”的物品的物品特征时，出现部分物品特征被“高”的物品的物品特征覆盖的情况。因此，采取u形的摆放方式能够使得采集的物品图像更加完整的包括需要采集的物品的全部特征，从而在对物品图像进行特征提取的时候，能够提取到该物品全部的物品特征，并且提取到的特征更加完整与准确，然后可以将提取到的物品特征存储至物品数据库，建立该物品对应的标准物品特征集。从而在进行物品识别时，将图像检测模型输出的目标物品图像中的各个目标物品与物品数据库中的标准物品特征进行匹配以确定物品放置空间中包含的各个目标物品的种类和位置时，也能够提高物品的识别准确率。

即将较高的物品摆放在两侧，将较矮的物品摆放在中间。对标准物品进行图像采集的方式不仅用于建立物品数据库时对标准物品进行图像采集，在有新物品上线，需要摆放在物品放置空间上进行售卖或者展示时，可以采取上述的三种规则对新物品进行图像采集，从而可以对新物品的图像进行特征提取并保存至物品数据库中，如此可以将新物品的特征进行存储，也便于以后对新物品的识别。

在一个实施例中，如图10所示，图像检测模型的训练步骤，包括：

步骤1002，对物品样本进行图像采集，得到物品样本图像。

步骤1004，对物品样本图像进行特征提取，得到多个样本图像特征。

步骤1006，获取对物品样本图像进行划分得到的图像区域及对应的标注信息。

物品样本可以是放置在物品放置空间中的各个物品，可以通过物品放置空间中的图像采集设备对物品样本进行图像采集，也可以是通过其他的图像采集装置对物品样本进行图像采集。在得到物品样本对应的物品样本图像后，可以通过图像检测模型中的特征提取网络对物品样本图像进行特征提取，得到每个物品样本图像对应的多个样本图像特征。另一方面，可人工对物品样本图像进行图像划分，得到与每个物品样本图像对应的多个图像区域，并对图像区域添加对应的标注信息。标注信息是指标注该图像区域是属于物品区域，还是属于非物品区域。可根据获取到的对物品样本图像进行划分得到的图像区域及每个图像区域对应的标注信息，确定样本图像特征中属于物品的样本图像特征。

步骤1008，根据图像区域及对应的标注信息确定属于物品的样本图像特征。

在一个实施例中，根据图像区域及对应的标注信息确定属于物品的样本图像特征，包括：获取样本图像特征与图像区域的重叠度；当重叠度达到重叠阈值时，则根据图像区域对应的标注信息确定属于物品的样本图像特征；当图像区域对应的标注信息表明属于物品时，则样本图像特征属于物品的样本图像特征；当图像区域对应的标注信息表明不属于物品时，则样本图像特征不属于物品的样本图像特征。

可根据样本图像特征与划分得到的图像区域分别进行比对，当存在有样本图像特征与划分得到的图像区域之间的重叠度达到预设的重叠阈值时，则可以根据划分得到的图像区域的标注信息确定样本图像特征是否属于物品的样本图像特征。当划分得到的图像区域的标注表示此图像区域是属于物品的图像区域时，则样本图像特征属于物品的样本图像特征；当图像区域对应的标注信息表明不属于物品时，则样本图像特征不属于物品的样本图像特征。

步骤1010，根据物品的信息对样本图像特征添加标签信息。

在确定了属于物品的样本图像特征时，相当于也确定了属于非物品的样本图像特征，如此可对这两种样本图像特征添加标签信息。比如为属于物品的样本图像特征添加标签1，为属于非物品的样本图像特征添加标签0。如此根据每个样本图像特征的标签信息即可获知是否是属于物品的图像特征。

步骤1012，对图像检测模型的权重进行调整，根据调整后的权重输出属于物品的样本图像特征及对应的位置信息。

步骤1014，根据样本图像特征的标签信息获取图像检测模型的预测准确率。

步骤1016，当预测准确率达到准确率阈值时，得到训练好的图像检测模型。

为每个样本图像特征添加了标签信息后，可将添加了标签信息的样本图像特征输入至图像检测模型中的检测网络中，对检测网络进行训练。训练过程即为权重的调整过程，根据调整后的权重输出的属于物品的样本图像特征也会存在差异。可输出的属于物品的样本图像特征的标签信息确定图像检测模型的预测准确率。假设将准确率阈值设置为0.9，当输入100个样本图像特征至图像检测模型中，输出了50个属于物品的样本图像特征，而这50个样本图像特征中，标签为1的特征数量为30个，即标签信息表明属于物品的图像特征数量为30个，则预测准确率为30/50＝0.6。因此，图像检测模型的预测准确率0.6未达到准确率阈值0.9，则训练未完成，需要对图像检测模型的权重进行调整，直到图像检测模型的预测准确率达到准确率阈值，才可得到训练好的图像检测模型。

在对图像检测模型进行训练时，相当于对图像检测模型的特征提取网络和检测网络进行训练。因此在调整图像检测模型的权重时，既包括对特征提取网络的权重进行调整，使得特征提取网络的特征提取能力增强，也包括对检测网络的权重进行调整，使得检测网络对图像特征的区分能力也进一步增强。

在一个实施例中，如图11所示，在步骤212之后，还包括：

步骤1102，当对目标物品图像中的物品种类识别错误时，获取识别错误的物品种类在目标物品图像中目标图像区域和目标图像区域对应的正确物品种类标注信息。

将目标物品图像输入至图像检测模型中得到物品图像特征及对应的位置信息后，可进一步将物品图像特征与物品数据库中的标准物品特征进行匹配，从而确定目标物品图像中包含的目标物品种类及对应的位置信息。当对目标物品图像中的物品种类识别错误时，可以根据识别错误的情况对物品数据库中的标准物品特征进行更新。

具体地，可以获取到发生识别错误时所对应的目标物品图像，并获取到识别错误的物品种类在目标物品图像中目标图像区域和目标图像区域对应的正确物品种类标注信息。识别错误的物品种类在目标物品图像中目标图像区域和确定的物品种类标注信息可由人工进行标准，比如审核人员对识别错误的物品种类在目标物种图像中的区域进行标注，并标明该识别错误的物品种类所对应的正确物品种类。

步骤1104，将目标图像区域输入至图像检测模型中的特征提取网络进行特征提取。

步骤1106，获取特征提取网络对目标图像区域进行提取得到的目标物品特征。

步骤1108，根据正确物品种类标注信息将目标物品特征更新至物品数据库中对应的物品种类中。

在获取到识别错误的物品种类对应的目标图像区域以及的正确物品种类标注信息后，可以将目标图像区域输入至图像检测模型中的特征提取网络进行特征提取，从而可得到该目标图像区域中提取到的目标物品特征，可将提取到的目标物品特征保存至物品数据库中与正确物品种类标注信息对应的物品种类。比如目标图像区域对应的正确物品种类标注信息为物品种类a1，则可以将目标图像区域提取到的目标物品特征保存至物品数据库的物品种类a1对应的特征中，即可快速实现对物品数据库中的标准物品特征的更新，也进一步提高了识别的效率。

在一个实施例中，目标物品图像是通过物品放置空间内的图像采集设备进行图像采集得到的。如图12所示，上述方法还包括：

步骤1202，获取对比物品图像，对比物品图像是对物品放置空间内的物品进行变更后通过图像采集设备进行图像采集得到的。

对比物品图像与目标物品图像均是通过物品放置空间内的图像采集设备进行图像采集得到的。对比物品图像与目标物品图像不同的是，对比物品图像是对物品放置空间内的物品进行变更后通过图像采集设备进行图像采集得到的。即一开始可通过物品放置空间内的图像采集设备进行第一次图像采集，得到目标物品图像。当物品放置空间内的物品进行了变更后，可通过物品放置空间内的图像采集设备进行第二次图像采集，得到对比物品图像。物品进行变更可能存在的情况是，物品放置空间内的物品的位置发生了变化，而数量上并未发生任何改变。也可能是物品放置空间内的物品数量发生了变化，比如少了1个物品或多个物品。

步骤1204，将对比物品图像输入至图像检测模型，直到得到对比物品图像中包含的对比物品及对比物品在物品放置空间中的物品位置。

按照对目标物品图像中包含的物品种类的识别方法，可以使用同样的方法对对比物品图像进行识别，从而能够识别出对比物品图像中所包含的对比物品的物品种类及对比物品在物品放置空间中对应的位置信息。可以将对比物品图像输入至图像检测模型中，图像检测模型可以将对比物品图像中属于物品的对比图像特征以及对应的位置信息输出，将属于物品的对比图像特征与物品数据库中的标准物品特征进行匹配，从而可以确定对比物品图像中包含的对比物品的物品种类，及各个对比物品在物品放置空间中的位置信息。

步骤1206，根据目标物品及目标物品在物品放置空间的物品位置和对比物品及对比物品在物品放置空间中的物品位置，确定物品放置空间内变更的物品。

在确定了目标物品图像中包含的目标物品的物品种类及各个目标物品在物品放置空间中对应的位置信息，以及对比物品图像中包含的对比物品的物品种类及各个对比物品在物品放置空间中对应的位置信息后，即可确定物品放置空间内是否有物品变更，以及变更的物品的物品种类和变更物品的数量。比如对比物品图像中相较于目标物品图像而言，缺少了2个物品a，则说明物品放置空间内变更的物品为物品a，且数量为2。这种识别方式，即便物品放置空间内的物品位置发生了大规模的变更，也仍然能够识别出物品放置空间内所变更的物品种类及对应的数量，实现准确地识别操作。

在一个实施例中，如图13所示，上述物品识别方法还包括：

步骤1302，获取终端发送的物品获取请求，物品获取请求中携带用户标识。

步骤1304，根据用户标识、物品放置空间内变更的物品生成对应的支付订单。

步骤1306，将支付订单发送至终端，用于终端完成对应的支付操作。

物品放置空间可以获取到终端发送的物品获取请求，从而根据接收到的物品获取请求将物品放置空间对用户进行开放，使得用户可以自由获取物品放置空间内的物品。在终端发送的物品获取请求中携带对应的用户标识，在确定了物品放置空间内所变更的物品后，可以根据用户标识、物品放置空间内变更的物品生成对应的支付订单。比如物品放置空间内变更的物品为可乐，数量为2，那么可根据变更的两瓶可乐，确定与该用户标识对应的支付订单，则用户标识对应的账户则需要根据支付订单完成相应的资源数值转移，即终端需要完成相应的支付操作。进一步地，在物品放置空间获取到终端发送的物品获取请求时，可以发送免密支付权限至终端，终端在同意开放免密支付权限开放后，物品放置空间才可会对用户开放权限，从而可以在根据用户标识、物品放置空间内变更的物品生成对应的支付订单后，直接从用户标识对应的账户上进行扣款操作。免密支付是指在无需用户确认支付的情况下从用户的账户上进行扣款操作。

在一个实施例中，提供了一种物品识别方法。参照图14，该物品识别方法具体包括如下步骤：

步骤1402，获取对物品样本对应的物品样本图像，对图像检测模型进行训练。

在将图像检测模型运用至实际的项目中之前，可以对图像检测模型进行训练。可以获取到大量的物品样本，对物品样本进行图像采集得到每个物品样本对应的样本图像。每个物品样本对应的样本图像可以有多个，对物品样本图像进行特征提取后，则可得到每个物品样本所对应的多个样本图像特征。可将样本图像特征输入至图像检测模型中进行训练，在训练过程中，可不断调整图像检测模型的权重，以便图像检测模型输出的属于物品的样本图像特征的准确度更高。因此在训练过程中，需要为每个样本图像特征添加标签，以便于确定图像检测模型的预测准确度。

在为样本图像特征添加标签时，可在获取到物品样本对应的样本图像后，可以将样本图像进行拷贝，并由技术人员对样本图像进行区域划分，比如将每个样本图像划分为16个均等的图像区域。并根据每个图像区域中包含有物品的情况为每个图像区域添加对应的标注信息，比如当图像区域a中包含有物品时，认为图像区域a是属于物品的区域，可为图像区域a添加标注信息为1，而为不包含有物品的图像区域b添加标注信息0。

如此，针对每一个物品样本图像，存在有人工划分得到的带有标注信息的图像区域，也存在由特征提取提取进行特征提取后得到的样本图像特征。可将样本图像特征与图像区域进行重叠度的对比，当某一个样本图像特征与某一图像区域的重叠度达到重叠阈值时，可将该图像区域的标注信息作为样本图像特征的标注信息。比如样本图像特征x1与图像区域b1的重叠度已达到重叠阈值，可将图像区域b1的标注信息作为样本图像特征x1的标注信息。即当图像区域b1的标注信息表明b1是属于包含有物品的区域时，则说明样本图像特征x1是属于物品的样本图像特征。反之，当图像区域对应的标注信息表明不属于物品时，则说明样本图像特征不属于物品的样本图像特征。

步骤1404，将获取到的目标物品图像输入至图像检测模型，获取图像检测模型输出的图像特征分布信息。

步骤1406，将每个物品图像特征与物品数据库中的标准物品特征进行匹配，确定目标物品图像中包含的目标物品对应的物品种类及每个目标物品在物品放置空间中的物品位置。

步骤1408，获取对比物品图像，将对比物品图像输入至图像检测模型。

步骤1410，确定对比物品图像中包含的对比物品的物品种类及每个对比物品在物品放置空间中的对比物品位置。

步骤1412，根据目标物品的物品种类及对应的物品位置和对比物品的物品种类及对应的对比物品位置，确定物品放置空间内变更的物品。

目标物品图像与对比物品图像是两张不同的物品图像，均是通过物品放置空间中的图像采集设备采集得到的。为了保证图像采集设备采集到的图像畸变较低，可以对图像采集设备的放置位置做出规定。如图15所示，图中推荐了一个安装高度，即推荐图像采集设备安装的位置应在距离顶部的10cm的区域。在实际运用过程中，可以适当增加物品放置空间的高度，减少物品放置空间的宽度，当高度达到后，才能够保证安装的图像采集设备能够捕捉完整的物品区域，即可以将放置的物品信息采集完整。图中的长和宽也是推荐的数值，建议每个物品放置空间的长度和宽度，避免物品放置空间过大过宽，导致图像采集设备无法将放置的物品全部采集到。

在获取到目标物品图像与对比物品图像后，可以通过同一种识别方式识别目标物品图像与对比物品图像中包含的物品种类及各个物品在物品放置空间中的位置信息。可以将目标物品图像输入至图像检测模型中，通过图像检测模型中的特征提取网络对目标物品图像进行特征提取，得到对应的图像特征及各个图像特征在目标物品图像中的特征位置信息，并通过图像检测模型的检测网络对各个图像特征进行检测，输出的目标物品图像中包含的目标物品对应的物品图像特征及各个物品图像特征在目标物品图像中的特征位置信息。

比如，在物品放置空间中包含有2个物品a，2个物品b，3个物品c，那么在目标物品图像中也会包含有2个物品a，2个物品b，3个物品c。将目标物品图像输入至图像检测模型中，图像检测模型会对目标物品图像进行特征提取，其中包含有每个物品a对应的物品图像特征a1、a2、a3、…、an等，同样地，也会包含有每个物品b对应的物品图像特征b1、b2、b3、…、bn等，以及每个物品b对应的物品图像特征c1、c2、c3、…、cn等，同时，也会提取到不包含有物品的图像特征，比如物品放置空间中未摆放物品的区域对应的特征等。在进行特征提取的时候，同时会记录下提取到的特征在目标物品图像中的位置信息，如记录下物品图像特征a1的坐标为(x1，y1，x1＇，y1＇)，因此图像检测模型在输出目标物品对应的物品图像特征时，可以同时将每个物品图像特征在目标物品图像中的特征位置信息进行输出。如此，在与物品数据库中的标准物品特征进行匹配，以确定物品放置空间中所包含的各个目标物品的物品种类时，也能够确切的获知各个目标物品在物品放置空间中所对应的位置。

在通过图像检测模型的特征提取网络对目标物品图像进行特征提取时，具体如图16a所示，将目标物品图像输入至特征提取网络的第一卷积模块，由第一卷积模块对目标物品图像进行卷积运算。对第一卷积模块输出的第一特征进行归一化处理，还可以在归一化处理后对第一特征修正线性。对将进行了修正线性处理后的第一特征输入池化层进行池化作用，得到池化结果，将池化结果输入至特征提取网络中的第二卷积模块进行循环卷积运算。获取第二卷积模块输出的第二特征，将第二特征作为目标物品图像对应的图像特征。其中，第二卷积模块中包含有多层重复卷积块和单层非重复卷积块。如图16b所示，由于多层重复卷积块输入和输出的向量矩阵的大小是一样的，因此可以串联多个，而单层非重复卷积块输入和输出的矩阵大小是不一样的，因此单层非重复卷积块之间不能够串联。为了确保特征能够在多层重复卷积块和单层非重复卷积块之间进行卷积操作，可以进行边缘填充的padding操作，以确保特征能够被重复运算。

步骤1414，根据物品放置空间内变更的物品完成对应的订单支付。

当确定了物品放置空间内变更的物品后，可根据终端发送的物品获取请求获取到用户标识，从而可以根据用户标识和物品放置空间内变更的物品生成对应的支付订单，终端即可根据支付订单完成相应的支付操作。

在传统的图像识别技术中，在确定图像中的物品种类时，采取的是图像分类方法。而使用图像分类时，需要对图像分类模型进行长时间的训练，且当存在有物品新增或发生变更时，图像分类模型更新较为复杂，需要针对变更的物品再次进行训练。而在本实施例中，采取的是将物品特征与物品数据库中的特征进行检索匹配，这种方式下，无需对物品数据库进行训练，且当存在有物品新增或发生变更时，也无需对物品数据库进行再次训练，只需要将变更或新增的物品的特征更新至物品数据库即可。可达到秒级更新，从而实现更高效的识别方式。这种通过图像检测模型对目标物品图像进行提取并区分其中包含有物品的目标图像特征，再通过物品数据库对包含有物品的目标图像特征比较匹配，从而确定目标物品图像中所存在的物品种类及具体的位置信息，不仅能够提高识别效率，还能够提升识别准确率。

在一个实施例中，需要获取物品的用户可以通过终端扫描物品放置空间对应的二维码或其他标识，触发物品获取请求并发送至服务器，在物品获取请求中携带有用户标识与物品放置空间对应的空间标识。服务器在接收到终端发送的物品获取请求后，可发送打开空间的指令至与空间标识对应的物品放置空间，从而物品放置空间的门将会打开，用户即可获取对物品放置空间的使用权。比如用户则可以自由获取物品放置空间内的物品。目标物品图像为需要获取物品的用户在使用终端触发物品获取请求之前所采集到的物品图像。在用户在物品放置空间内拿取了物品后，可手动将物品放置空间的门关闭，从而用户对于物品放置空间的使用权结束。在物品放置空间的门关闭后，物品放置空间将会发送对应的通知至服务器，服务器在接收到物品放置空间发送的“门已关闭”的通知后，可获取到物品放置空间内的图像采集设备再一次进行图像采集得到的对比物品图像。服务器可根据目标物品图像和对比物品图像确定物品放置空间内变更的物品，即可确定该用户在物品放置空间内取走的物品种类及物品数量，从而可根据变更的物品对用户标识对应的账户进行相应的扣款操作。在用户扫描物品放置空间的二维码标识时，可要求用户同意免密支付，因此在确定了物品放置空间内变更的物品后，可直接在用户的账户上扣除相应的数值。

图2-图5、图10-图14分别为各个实施例中物品识别方法的流程示意图。应该理解的是，虽然各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各个图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图17所示，提供了一种物品识别装置，包括：

图像获取模块1702，用于获取至少一个目标物品在物品放置空间的目标物品图像。

检测模块1704，用于将目标物品图像输入至图像检测模型；获取图像检测模型输出的图像特征分布信息，图像特征分布信息包括每个目标物品对应的物品图像特征、及每个物品图像特征在目标物品图像中对应的特征位置信息。

匹配模块1706，用于将每个物品图像特征与物品数据库中的标准物品特征进行匹配，得到对应的匹配度；根据匹配度确认每个物品图像特征对应的目标物品种类。

物品种类确定模块1708，用于根据图像特征分布信息和目标物品种类，识别出每个目标物品在物品放置空间中的物品位置及对应的物品种类。

在一个实施例中，图像获取模块1702还用于通过物品放置空间内的图像采集设备进行图像采集得到目标物品图像；物品数据库中的标准物品特征是根据与图像采集设备的设置参数一致的图像采集设备进行图像采集得到的图像进行特征提取得到的。

在一个实施例中，检测模块1704还用于通过图像检测模型的特征提取网络对目标物品图像进行特征提取，得到对应的物品图像特征及每个物品图像特征在目标物品图像中的特征位置信息；获取图像检测模型的检测网络对物品图像特征进行检测，输出的每个目标物品对应的物品图像特征及每个物品图像特征在目标物品图像中对应的特征位置信息。

在一个实施例中，检测模块1704还用于通过特征提取网络的第一卷积模块对目标物品图像进行卷积运算；对第一卷积模块输出的第一特征进行归一化处理；将进行了归一化处理后的第一特征输入池化层进行池化作用，得到池化结果；将池化结果输入至特征提取网络中的第二卷积模块进行循环卷积运算；获取第二卷积模块输出的第二特征，将第二特征作为目标物品图像对应的图像特征。

在一个实施例中，匹配模块1706还用于获取物品数据库中每个物品种类对应的多个标准物品特征；获取物品图像特征与每个物品种类对应的多个标准物品特征之间的欧式距离值；根据欧式距离值确定物品图像特征与物品数据库中的标准物品特征之间的匹配度。

在一个实施例中，匹配模块1706还用于将物品图像特征分别与每个物品种类对应的标准物品特征的欧式距离值按照从小到大的顺序进行排序得到排序结果；按照从小到大的方向从排序结果中获取预设数量的标准物品特征；统计预设数量的标准物品特征中属于同一个物品种类的标准物品特征的数量，根据各个物品种类对应的标准物品特征的数量大小确定物品图像特征对应的目标物品种类。

在一个实施例中，上述装置还包括分界线确定模块(图中未示出)，用于获取图像采集设备所在的物品放置空间对应的参考点；获取图像采集设备采集的物品放置空间对应的空间图像；对空间图像进行预处理；根据参考点获取预处理后的空间图像的边界点；根据边界点确定物品放置空间的分界线。检测模块1704还用于根据分界线确定目标物品图像中属于物品放置空间内的目标图像，将目标图像输入至图像检测模型。、

在一个实施例中，上述装置还包括物品数据库建立模块(图中未示出)，用于获取标准物品图像；对标准物品图像进行图像处理，对物品图像的数量进行扩展得到标准物品图像集合；对标准物品图像集合中的各个图像进行特征提取；对提取得到的特征进行去重筛选；将筛选后的特征按照标准物品图像中各个标准物体对应的物品种类存储至物品数据库中。

在一个实施例中，上述物品数据库建立模块还用于获取根据标准物品的物品种类对标准物品的位置和角度进行调整后进行图像采集得到的标准物品图像。

在一个实施例中，标准物品放置在物品放置空间的第一货道区域。上述物品数据库建立模块还用于当标准物品的高度低于物品高度阈值时，在物品放置空间的第二货道区域放置高度高于物品高度阈值的物品，按照第一预设规则对标准物品进行调整，并进行图像采集得到对应的第一标准物品图像集合；当标准物品对应多个物品种类时，按照第二预设规则对标准物品进行调整，并进行图像采集得到对应的第二标准物品图像集合；当标准物品为预设物品种类的物品时，按照第三预设规则对标准物品进行调整，并进行图像采集得到对应的第三标准物品图像集合。

在一个实施例中，上述装置还包括训练模块(图中未示出)，用于对物品样本进行图像采集，得到物品样本图像；对物品样本图像进行特征提取，得到多个样本图像特征；获取对物品样本图像进行划分得到的图像区域及对应的标注信息；根据图像区域及对应的标注信息确定属于物品的样本图像特征；根据物品的信息对样本图像特征添加标签信息；对图像检测模型的权重进行调整，根据调整后的权重输出属于物品的样本图像特征及对应的位置信息；根据样本图像特征的标签信息获取图像检测模型的预测准确率；当预测准确率达到准确率阈值时，得到训练好的图像检测模型。

在一个实施例中，上述训练模块还用于获取样本图像特征与图像区域的重叠度；当重叠度达到重叠阈值时，则根据图像区域对应的标注信息确定属于物品的样本图像特征；当图像区域对应的标注信息表明属于物品时，则样本图像特征属于物品的样本图像特征；当图像区域对应的标注信息表明不属于物品时，则样本图像特征不属于物品的样本图像特征。

在一个实施例中，上述装置还包括数据库更新模块(图中未示出)，用于当对目标物品图像中的物品种类识别错误时，获取识别错误的物品种类在目标物品图像中目标图像区域和目标图像区域对应的正确物品种类标注信息；将目标图像区域输入至图像检测模型中的特征提取网络进行特征提取；获取特征提取网络对目标图像区域进行提取得到的目标物品特征；根据正确物品种类标注信息将目标物品特征更新至物品数据库中对应的物品种类中。

在一个实施例中，目标物品图像是通过物品放置空间内的图像采集设备进行图像采集得到的。上述装置还包括比对模块(图中未示出)，用于获取对比物品图像，对比物品图像是对物品放置空间内的物品进行变更后通过图像采集设备进行图像采集得到的；将对比物品图像输入至图像检测模型，直到得到对比物品图像中包含的对比物品及对比物品在物品放置空间中的物品位置；根据目标物品及目标物品在物品放置空间的物品位置和对比物品及对比物品在物品放置空间中的物品位置，确定物品放置空间内变更的物品。

在一个实施例中，上述装置还包括支付模块(图中未示出)，用于获取终端发送的物品获取请求，物品获取请求中携带用户标识；根据用户标识、物品放置空间内变更的物品生成对应的支付订单；将支付订单发送至终端，用于终端完成对应的支付操作。

图18示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的图像检测模型120或物品数据库130。如图18所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现物品识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行物品识别方法。

本领域技术人员可以理解，图18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的物品识别装置可以实现为一种计算机程序的形式，计算机程序可在如图18所示的计算机设备上运行。计算机设备的存储器中可存储组成该物品识别装置的各个程序模块，比如，图17所示的图像获取模块、检测模块、匹配模块和物品种类确定模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的物品识别方法中的步骤。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任意一个实施例中提供的物品识别方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的物品识别方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。