一种商品识别方法、无人售货机及计算机可读存储介质与流程

本发明涉及计算机技术领域，具体涉及一种商品识别方法、无人售货机及计算机可读存储介质。

背景技术

随着人工智能技术的不断发展，无人售货机已逐渐出现在人们生活中，因此，如何识别无人售货机中被用户取走的商品已成为一个亟待解决的技术问题。目前，一种重要的商品识别方法为：当检测到无人售货机的门被关闭时，扫描无人售货机中每个商品上的射频识别(radiofrequencyidentification，rfid)标签，将扫描的rfid标签与存储的rfid标签进行比较，将存储的rfid标签中除扫描的rfid标签之外的标签对应的商品确定为被用户取走的商品。然而，上述方法中由于rfid标签容易损坏，以致商品识别准确性较低。

技术实现要素：

本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。

第一方面提供一种商品识别方法，该方法应用于无人售货机，包括：

当检测到所述无人售货机的门正在关闭时，通过摄像头采集所述无人售货机门外一定范围内的视频数据；

通过训练的目标物体检测模型识别所述视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；

根据所述图像商品的种类、数量和位置以及所述用户位置确定被用户取走的商品的种类和数量。

第二方面提供一种无人售货机，包括用于执行第一方面提供的商品识别方法的单元。

第三方面提供一种无人售货机，包括处理器、存储器、摄像头和收发器，所述处理器、所述存储器、所述摄像头和所述收发器相互连接，其中，所述摄像头用于采集视频数据，所述收发器用于与电子设备进行通信，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面提供的商品识别方法。

第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面提供的商品识别方法。

第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面提供的商品识别方法。

本发明实施例中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种商品识别方法的流程示意图；

图2是本发明实施例提供的另一种商品识别方法的流程示意图；

图3是本发明实施例提供的一种无人售货机的结构示意图；

图4是本发明实施例提供的另一种无人售货机的结构示意图；

图5是本发明实施例提供的一种图像示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。以下分别进行详细说明。

请参阅图1，图1是本发明实施例提供的一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图1所示，该商品识别方法可以包括以下步骤。

101、当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据。

本实施例中，由于用户在拿取商品后关门的那瞬间依然会停留在无人售货机门外附近的位置，因此，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，可以是通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据，也可以是通过摄像头采集无人售货机门外一定范围内的k帧视频数据。其中，k是预先设置好的大于1的整数。其中，摄像头可以是一个，也可以是多个，可以设置在无人售货机上，也可以设置在其他地方，但必须与无人售货机之间建立连接关系。当摄像头为多个时，可以将摄像头安装在不同的地方，以便可以同时采集到不同角度的图像。

102、通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

本实施例中，通过摄像头采集到无人售货机门外一定范围内的视频数据之后，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，即通过训练的目标物体检测模型识别视频数据中的商品种类、每种商品的数量和位置以及用户位置(即用户所在的位置)。此外，为了减少识别的图像数量，以便提高商品识别效率，可以先从视频数据中选取n帧图像，之后通过训练的目标物体检测模型识别n帧图像包括的商品和用户得到图像商品的种类、数量和位置以及用户位置。其中，n为大于1的整数。当只有一个摄像头采集视频数据时，从视频数据中选取n帧图像，可以是间隔一帧选取一帧，也可以是间隔两帧选取一帧，还可以是选取中间的部分帧，还可以是通过其他方式选取。当多个摄像头同时采集视频数据时，多个摄像头采集的视频数据的选取规则可以相同，也可以不同。其中，训练的目标物体检测模型可以为ssd网络模型，也可以为yolo网络模型，还可以为faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。

103、根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。

本实施例中，通过训练的目标物体检测模型识别出视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置之后，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，可以先从图像商品中选取位置处于用户位置范围内的商品获得被用户取走的商品。请参阅图5，图5是本发明实施例提供的一种图像示意图。如图5所示，图像中包括一个用户和两罐饮料，一罐饮料被用户拿在手里，而一罐饮料位于用户后方的架子上，用户手上的饮料的位置区域处于用户的位置区域内，因此，该饮料可以被确定为被用户取走的饮料，而位于用户后方的饮料的位置区域处于用户的位置区域外，因此，该饮料被确定为不是被用户取走的饮料。之后根据图像商品的种类和数量确定被用户取走的商品的种类和数量，即根据步骤102中获得的图像商品的种类和数量以及上述获得的被用户取走的商品确定被用户取走的商品的种类和数量。

在图1所描述的商品识别方法中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。

请参阅图2，图2是本发明实施例提供的另一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图2所示，该商品识别方法可以包括以下步骤。

201、采集包括商品图像和用户图像的训练图像。

本实施例中，可以提前采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像。

202、标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息。

本实施例中，采集到训练图像之后，标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息。标注商品图像中每张图像中商品的位置以及用户图像中每张图像中用户的位置，可以是标注出每张图像中商品或用户所在左上角的坐标点和右下角的坐标点，也可以是标注出每张图像中商品或用户所在右上角的坐标点和左下角的坐标点。此处用户的种类为用户。

203、将训练图像转换为设定像素的图像，获得转换图像。

本实施例中，采集到训练图像之后，可以将训练图像转换为设定像素的图像得到转换图像，即将训练图像转换为同样高度和宽度的图像，也即全部转换为m*n像素的图像，以便步骤204中对目标物体检测模型进行训练时，可以提高训练速率。其中，步骤202和步骤203可以并行执行，也可以串行执行。

204、使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

本实施例中，标注出商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息，以及将训练图像转换为设定像素的图像得到转换图像之后，将使用转换图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型。目标物体检测模型与训练的目标物体检测模型的模型架构相同，但参数不同。其中，目标物体检测模型与训练的目标物体检测模型可以为ssd网络模型，也可以为yolo网络模型，还可以为faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。

在一个实施例中，标注出商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类得到标注信息之后，可以直接使用训练图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型，即不执行步骤203。

205、当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。

本实施例中，正常情况下无人售货机的门锁处于关闭状态，当用户通过手机等电子设备扫描到包括无人售货机的标识的二维码时，电子设备与无人售货机将建立连接，因此，当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，表明有人需要购买无人售货机中的商品，将打开无人售货机的门锁，以便用户可以拉开无人售货机的门而拿取商品。

206、当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据。

本实施例中，无人售货机的门打开之后，用户拿到需要的商品之后或用户不需要购买商品时，用户将关闭无人售货机的门。由于用户在拿取商品后关门的那瞬间依然会停留在无人售货机门外附近的位置，因此，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，可以是通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据，也可以是通过摄像头采集无人售货机门外一定范围内的k帧视频数据。其中，k是预先设置好的大于1的整数。其中，摄像头可以是一个，也可以是多个，可以设置在无人售货机上，也可以设置在其他地方，但必须与无人售货机之间建立连接关系。当摄像头为多个时，可以将摄像头安装在不同的地方，以便可以同时采集到不同角度的图像。

207、通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

本实施例中，通过摄像头采集到无人售货机门外一定范围内的视频数据之后，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，即通过训练的目标物体检测模型识别视频数据中的商品种类、每种商品的数量和位置以及用户位置(即用户所在的位置)。此外，为了减少识别的图像数量，以便提高商品识别效率，可以先从视频数据中选取n帧图像，之后将n帧图像转换为设定像素的图像得到n帧转换图像，最后通过训练的目标物体检测模型识别n帧转换图像包括的商品和用户得到图像商品的种类、数量和位置以及用户位置。此外，由于n帧转换图像的像素均相同，因此，可以减少训练的目标物体检测模型的识别时间，从而可以进一步提高图像的识别效率。其中，n为大于1的整数。当只有一个摄像头采集视频数据时，从视频数据中选取n帧图像，可以是间隔一帧选取一帧，也可以是间隔两帧选取一帧，还可以是选取中间的部分帧，还可以是通过其他方式选取。当多个摄像头同时采集视频数据时，多个摄像头采集的视频数据的选取规则可以相同，也可以不同。需不需要将n帧图像转换为设定像素的图像，可以根据训练目标物体检测模型的图像而定，当训练目标物体检测模型的图像均为设定像素的图像时，n帧图像也需要进行转换；当训练目标物体检测模型的图像没有统一为设定像素的图像时，n帧图像将不需要进行转换。

208、根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。

本实施例中，通过训练的目标物体检测模型识别出视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置之后，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，可以先从图像商品中选取位置处于用户位置范围内的商品获得被用户取走的商品。请参阅图5，图5是本发明实施例提供的一种图像示意图。如图5所示，图像中包括一个用户和两罐饮料，一罐饮料被用户拿在手里，而一罐饮料位于用户后方的架子上，用户手上的饮料的位置区域处于用户的位置区域内，因此，该饮料可以被确定为被用户取走的饮料，而位于用户后方的饮料的位置区域处于用户的位置区域外，因此，该饮料被确定为不是被用户取走的饮料。之后根据图像商品的种类和数量确定被用户取走的商品的种类和数量，即根据步骤207中获得的图像商品的种类和数量以及上述获得的被用户取走的商品确定被用户取走的商品的种类和数量。

209、根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额。

本实施例中，根据图像商品的种类、数量和位置以及用户位置确定出被用户取走的商品的种类和数量之后，当被用户取走的商品的数量等于0时，表明用户未从无人售货机取走商品将结束。当被用户取走的商品的数量大于0时，表明用户从无人售货机取走了商品，根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额，可以实现自动结算，可以省去用户结算的过程，从而可以提高用户体验。

210、向电子设备发送包括商品价格金额的支付信息。

本实施例中，通过电子设备扣除商品价格金额之后，将向电子设备发送包括商品价格金额的支付信息。

在图2所描述的商品识别方法中，先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。

请参阅图3，图3是本发明实施例提供的一种无人售货机的结构示意图。如图3所示，该无人售货机可以包括：

采集单元301，用于当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据；

识别单元302，用于通过训练的目标物体检测模型识别采集单元301采集的视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；

确定单元303，用于根据识别单元302获得的图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。

作为一种可能的实施方式，确定单元303可以包括：

第一选取子单元3031，用于从识别单元302获得的图像商品中选取位置处于用户位置范围内的商品，获得被用户取走的商品；

确定子单元3032，用于根据识别单元302获得的图像商品的种类和数量确定第一选取子单元3031获得的被用户取走的商品的种类和数量。

作为一种可能的实施方式，采集单元301，具体用于通过摄像头采集一定时间段内无人售货机门外一定范围内的视频数据。

作为一种可能的实施方式，识别单元302可以包括：

第二选取子单元3021，用于从采集单元301采集的视频数据中选取n帧图像，n为大于1的整数；

识别子单元3022，用于通过训练的目标物体检测模型识别选取子单元3021选取的n帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

作为一种可能的实施方式，采集单元301，还用于采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像；

该无人售货机还可以包括：

标注单元304，用于标注采集单元301采集的商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息；

训练单元305，用于使用采集单元301采集的训练图像和标注单元304标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

作为一种可能的实施方式，该无人售货机还可以包括：

转换单元306，用于将采集单元301采集的训练图像转换为设定像素的图像，获得转换图像；

训练单元305，具体用于使用转换单元306转换得到的转换图像和标注单元304标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

具体地，识别子单元3022，用于通过训练单元305获得的训练的目标物体检测模型识别n帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

作为一种可能的实施方式，识别单元302还可以包括：

转换子单元3023，用于将选取子单元3021选取的n帧图像转换为设定像素的图像，获得n帧转换图像；

识别子单元3022，具体用于通过训练的目标物体检测模型识别转换子单元3023得到的n帧转换图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

作为一种可能的实施方式，该无人售货机还可以包括：

检测单元307，用于检测是否通过包括无人售货机的标识的二维码与电子设备建立连接

打开单元308，用于当检测单元307检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。

作为一种可能的实施方式，当被用户取走的商品的数量大于0时，该无人售货机还可以包括：

计算单元309，用于根据确定子单元3032确定的被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；

扣除单元310，用于通过电子设备扣除计算单元309计算的商品价格金额。

作为一种可能的实施方式，该无人售货机还可以包括：

发送单元311，用于向检测单元307检测到的电子设备发送包括扣除单元310扣除的商品价格金额的支付信息。

在图3所描述的无人售货机中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。

可以理解的是，本实施例的无人售货机的单元的功能可根据上述商品识别方法实施例中的方法具体实现，其具体实现过程可以参照上述商品识别方法实施例的相关描述，此处不再赘述。

请参阅图4，图4是本发明实施例公开的另一种无人售货机的结构示意图。如图4所示，该无人售货机可以包括至少一个处理器401、存储器402、至少一个摄像头403、收发器404和总线405，处理器401、存储器402、摄像头403和收发器404之间通过总线405连接，其中：

摄像头403，用于当检测到无人售货机的门正在关闭时，采集无人售货机门外一定范围内的视频数据；

存储器402用于存储计算机程序，计算机程序包括程序指令，处理器401用于调用存储器402存储的程序指令执行以下步骤：

通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置；

根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。

作为一种可能的实施方式，处理器401根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量包括：

从图像商品中选取位置处于用户位置范围内的商品，获得被用户取走的商品；

根据图像商品的种类和数量确定被用户取走的商品的种类和数量。

作为一种可能的实施方式，摄像头403采集无人售货机门外一定范围内的视频数据包括：

采集一定时间段内无人售货机门外一定范围内的视频数据。

作为一种可能的实施方式，处理器401通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：

从视频数据中选取n帧图像，n为大于1的整数；

通过训练的目标物体检测模型识别n帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

作为一种可能的实施方式，摄像头403，还用于采集包括商品图像和用户图像的训练图像，商品图像可以包括所有商品中每种商品不同角度和不同距离的图像，用户图像可以包括用户不同角度和不同距离的图像；

处理器401还用于调用存储器402存储的程序指令执行以下步骤：

标注商品图像中每张图像中商品的位置和种类以及用户图像中每张图像中用户的位置和种类，获得标注信息；

使用训练图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：

将训练图像转换为设定像素的图像，获得转换图像；

处理器401使用训练图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：

使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。

作为一种可能的实施方式，处理器401从视频数据中选取n帧图像之后，处理器401通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置还包括：

将n帧图像转换为设定像素的图像，获得n帧转换图像；

处理器401通过训练的目标物体检测模型识别n帧图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置包括：

通过训练的目标物体检测模型识别n帧转换图像包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置。

作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：

当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。

作为一种可能的实施方式，当被用户取走的商品的数量大于0时，处理器401还用于调用存储器402存储的程序指令执行以下步骤：

根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；

通过电子设备扣除商品价格金额。

作为一种可能的实施方式，收发器404，用于向电子设备发送包括商品价格金额的支付信息。

在图4所描述的无人售货机中，当检测到无人售货机的门正在关闭时，通过摄像头采集无人售货机门外一定范围内的视频数据，通过训练的目标物体检测模型识别视频数据包括的商品和用户，获得图像商品的种类、数量和位置以及用户位置，根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量。先识别出视频数据中图像商品的种类、数量和位置以及用户位置，之后根据图像商品的种类、数量和位置以及用户位置确定被用户取走的商品的种类和数量，从而可以排除在图像中但不是被用户取走的商品，因此，可以提高商品识别准确性。

在一个实施例中提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行图1或图2的商品识别方法。

在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1或图2的商品识别方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-onlymemory，rom)、随机存取器(randomaccessmemory，ram)、磁盘或光盘等。

以上对本发明实施例所提供的商品识别方法、无人售货机及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。