无人售货系统和方法与流程

本申请涉及人工智能技术领域，尤其涉及一种无人售货系统和方法。

背景技术

随着人工智能技术的发展，机器视觉作为其中的重要项目越来越被人们所重视。机器视觉就是用机器代替人眼来做测量和判断，使用摄像头等传感器捕获图片信息，再通过专用的图像处理系统对图片内容进行解析，直接反馈图片当中的有用信息。这一技术的发展及应用能够帮助工作人员完成很多机械且重复的事情。

相关技术中，超市收款的方法大多是收银员使用电子扫码枪来扫描商品上的条形码或者二维码来查询商品信息和统计商品价格，但是有些商品没有二维码或条形码，还需要人工粘贴条形码或二维码，这一过程比较机械、重复，耗费人力。还有一些商品包装奇特，在扫描过程中会存在拿取的商品条形码位置不方便扫描的问题，或者存在商品包装上的条形码变形、反光等问题而导致无法识别商品条形码。

技术实现要素：

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种无人售货系统和方法。

根据本申请实施例的第一方面，提供一种无人售货系统，包括：

摄像头，用于采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

收款装置，用于接收摄像头采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述购物信息包括购物清单和付款码，所述收款装置包括：

图片识别模块，用于接收摄像头采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息；

信息处理模块，用于根据所述商品信息生成购物清单和付款码；

信息显示模块，用于将所述购物清单和付款码显示给用户。

根据本申请实施例的第二方面，提供一种无人售货方法，包括：

采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

可选地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

可选地，所述方法还包括：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

所述获取训练样本包括：

录入商品的多张图片，所述图片包括多个角度的商品图片；

将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

对所述商品图片和所述商品信息进行预处理。

可选地，所述对训练样本进行训练得到商品识别模型包括：

提取所述商品图片的特征；

根据所述特征对所述商品图片对应的商品进行分类。

可选地，所述预处理包括：

统一所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

根据本申请实施例的第三方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由控制器的处理器执行时，使得控制器侧能够执行一种无人售货方法，所述方法包括：

采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

可选地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

可选地，所述方法还包括：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

所述获取训练样本包括：

录入商品的多张图片，所述图片包括多个角度的商品图片；

将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

对所述商品图片和所述商品信息进行预处理。

可选地，所述对训练样本进行训练得到商品识别模型包括：

提取所述商品图片的特征；

根据所述特征对所述商品图片对应的商品进行分类。

可选地，所述预处理包括：

统一所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

根据本申请实施例的第四方面，提供一种无人售货装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

可选地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

可选地，所述处理器还被配置为：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

所述获取训练样本包括：

录入商品的多张图片，所述图片包括多个角度的商品图片；

将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

对所述商品图片和所述商品信息进行预处理。

可选地，所述对训练样本进行训练得到商品识别模型包括：

提取所述商品图片的特征；

根据所述特征对所述商品图片对应的商品进行分类。

可选地，所述预处理包括：

统一所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

本申请提供的技术方案可以包括以下有益效果：

由于收款装置可以接收摄像头采集的商品图片，并识别商品图片得到商品图片对应的商品信息，以及根据商品信息生成购物信息显示给用户。所以，在消费者购买完商品结账时，可以将待购买商品放置在特定的商品放置区域，摄像头依次采集商品放置区域内的商品的商品图片后将其发送到收款装置，收款装置接收到商品图片并识别得到商品图片对应的商品信息，统计完当前商品放置区域上所有商品对应的所有商品信息后，便根据所有商品信息生成购物信息并显示给用户，用户根据购物信息进行付款购买。这一过程不需要依赖商品的包装上的条形码或二维码，只需要采集商品图片便可以自行购买。这样不仅可以将收银员从机械且重复的工作中解放出来，提高消费者的结帐效率，同时也可以为超市减少人力成本的消耗。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种无人售货系统的结构示意图。

图2是根据一示例性实施例示出的一种无人售货系统中的收款装置的结构示意图。

图3是根据另一示例性实施例示出的一种无人售货方法的流程示意图。

图4是根据另一示例性实施例示出的一种无人售货方法中获取训练样本的方法的流程示意图。

图5是根据另一示例性实施例示出的一种无人售货方法中对训练样本进行训练得到商品识别模型的方法的流程示意图。

图6是根据另一示例性实施例示出的一种无人售货装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种无人售货系统的结构示意图。

如图1所示，本实施例提供的系统包括：

摄像头，用于采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

收款装置，用于接收摄像头采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

进一步地，所述购物信息包括购物清单和付款码。

进一步地，如图2所示，所述收款装置包括：

图片识别模块，用于接收摄像头采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息；

信息处理模块，用于根据所述商品信息生成购物清单和付款码；

信息显示模块，用于将所述购物清单和付款码显示给用户。

比如，将商品依次放置在自动售货专用传送带上，摄像头设置在传送带侧面，传送带移动时将商品依次传送通过摄像头。摄像头依次采集传送带上的商品的商品图片并发送到收款装置。收款装置的图片识别模块接收上述商品图片，并对商品图片进行识别，得到商品图片对应的商品信息。待统计完当前次传送带上的所有商品对应的商品信息后，收款装置的信息处理模块对这些商品对应的商品信息进行处理，生成购物清单和付款码，并通过信息显示模块将上述购物清单和付款码显示给用户，用户可通过手机扫码付款购买。

本实施例中，由于收款装置可以接收摄像头采集的商品图片，并识别商品图片得到商品图片对应的商品信息，以及根据商品信息生成购物信息显示给用户。所以，在消费者购买完商品结账时，可以将待购买商品放置在特定的商品放置区域，摄像头依次采集商品放置区域内的商品的商品图片后将其发送到收款装置，收款装置接收到商品图片并识别得到商品图片对应的商品信息，统计完当前商品放置区域上所有商品对应的所有商品信息后，便根据所有商品信息生成购物信息并显示给用户，用户根据购物信息进行付款购买。这一过程不需要依赖商品的包装上的条形码或二维码，只需要采集商品图片便可以自行购买。这样不仅可以将收银员从机械且重复的工作中解放出来，提高消费者的结帐效率，同时也可以为超市减少人力成本的消耗。

图3是根据另一示例性实施例示出的一种无人售货方法的流程示意图。

如图3所示，本实施例提供的方法包括：

步骤s31，采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

步骤s32，接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

在步骤s31中，该步骤的执行主体可以但不限于是摄像头。另外，特定的商品放置区域可以是自动售货专用传送带，摄像头设置在传送带一侧，将待购买商品依次放在传送带上，通过传送带的移动传送商品通过摄像头。

进一步地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

用户可以通过手机扫描付款码进行付款。

进一步地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

其中，通过类条件概率对商品图片中的目标商品进行识别，得到图片对应的商品种类，并反馈与之相对应的商品信息。由于商品识别模型用于表征表征商品与商品信息之间的对应关系，当摄像头采集用户需要购买的商品图片后，将商品图片传入商品识别模型，商品识别模型会反馈与商品图片中的目标商品相对应的商品信息。

进一步地，所述方法还包括：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

进一步地，参见图4，所述获取训练样本的方法包括：

步骤s41，录入商品的多张图片，所述图片包括多个角度的商品图片；

步骤s42，将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

步骤s43，对所述商品图片和所述商品信息进行预处理。

在步骤s41中，所述图片包括商品正面、侧面等各个角度的照片，至少20张。

进一步地，参见图5，所述对训练样本进行训练得到商品识别模型的方法包括：

步骤s51，提取所述商品图片的特征；

步骤s52，根据所述特征对所述商品图片对应的商品进行分类。

在步骤s51中，使用darknet19网络模型对图片进行特征提取。

在步骤s52中，使用yolov2算法模型进行商品分类。

进一步地，所述预处理包括：

统一调整所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

需要说明的是，上述darknet19网络模型和yolov2算法模型，可以参考相关技术实施。

本实施例的无人售货方法的执行主体可以是控制器，也可以是控制器内的功能模块。

本实施例中，不仅可以实现不需要依赖商品的包装上的条形码或二维码，只需要采集商品图片便可以自行购买商品。还通过一系列方法训练出商品识别模型，提高了根据商品图片识别目标商品的精确度。

本申请另一个实施例提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由控制器的处理器执行时，使得控制器侧能够执行一种无人售货方法，所述方法包括：

采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

可选地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

可选地，所述方法还包括：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

所述获取训练样本包括：

录入商品的多张图片，所述图片包括多个角度的商品图片；

将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

对所述商品图片和所述商品信息进行预处理。

可选地，所述对训练样本进行训练得到商品识别模型包括：

提取所述商品图片的特征；

根据所述特征对所述商品图片对应的商品进行分类。

可选地，所述预处理包括：

统一所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

本实施例的具体实现方案可以参见上述实施例中的相关说明，此处不再赘述。

图6是根据另一示例性实施例示出的一种无人售货装置的结构示意图。

如图6所示，本实施例提供的无人售货装置包括：

处理器61；用于存储处理器可执行指令的存储器62；其中，所述处理器被配置为：

采集待购买商品的商品图片，所述待购买商品被放置在特定的商品放置区域内；

接收采集的商品图片并对商品图片进行识别，得到商品图片所对应的商品信息，以及根据所述商品信息生成购物信息并显示给用户，以使用户根据所述购物信息进行购买。

可选地，所述根据所述商品信息生成购物信息，包括：

根据所述商品信息生成购物清单和付款码。

可选地，所述对商品图片进行识别包括：

根据所述商品图片和预先训练得到的商品识别模型，识别所述商品图片对应的商品种类，并显示所述商品图片对应的商品信息，所述商品识别模型用于表征商品与商品信息之间的对应关系。

可选地，所述处理器还被配置为：

获取训练样本；

对所述训练样本进行训练得到所述商品识别模型；

所述训练样本包括每件商品对应的商品图片和商品信息；

所述获取训练样本包括：

录入商品的多张图片，所述图片包括多个角度的商品图片；

将同一商品的所述商品图片统一保存，并对应设置商品信息，所述商品信息包括商品种类、商品名称和商品价格；

对所述商品图片和所述商品信息进行预处理。

可选地，所述对训练样本进行训练得到商品识别模型包括：

提取所述商品图片的特征；

根据所述特征对所述商品图片对应的商品进行分类。

可选地，所述预处理包括：

统一所述商品图片的大小和明暗程度；

根据所述商品信息对所述商品图片命名。

本实施例中，不仅可以实现不需要依赖商品的包装上的条形码或二维码，只需要采集商品图片便可以自行购买商品。还通过一系列方法训练出商品识别模型，提高了根据商品图片识别目标商品的精确度。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。