智能便利店的控制方法、控制系统和智能便利店与流程

本发明涉及智能化零售领域和无人售货系统，具体涉及一种智能便利店的控制方法、控制系统和智能便利店。

背景技术：

当前，无人便利店通常需要用户扫码开门。在便利店内会有不同商品特性的标签粘附在商品上。用户取下所需的商品后，进入出口处的闸机、智能收银台、或通道内进行标签的读取校验，最后根据用户选购的商品进行收款，收款成功后开门，然后用户离开便利店。但是当前的无人便利店无法准确检测用户行为，如果用户在无人便利店的非付款区取下或破坏商品标签则难以被检测识别。

技术实现要素：

本发明旨在至少解决上述技术问题之一。

为此，本发明的第一个目的在于提出一种智能便利店的控制系统，可以自动对用户取下的商品进行收费，并且可以准确检测便利店里的商品是否被取下。

为了实现上述目的，本发明的实施例公开了一种智能便利店的控制系统，包括：用户身份信息获取模块，用于获取用户身份信息；第一电子锁，用于锁定便利店的店门；用于检测商品所处位置重力信息的重力传感器；深度摄像头，采集区域对准货架，以获取用户对所述货架上商品的多幅用户行为图像或用户行为视频；扫描支付模块，用于在所述便利店的核算区域扫描是否有待付款的商品，并在扫描到有待付款的商品时生成支付信息，并进行收费；控制模块，用于在验证所述用户身份信息通过后控制所述第一电子锁开锁，并在满足预设条件时对所述便利店的店门进行锁止；所述控制模块还用于根据所述重力传感器获取的重力信息，以及所述多幅用户行为图像或用户行为视频检测是否有商品被取下；所述控制模块还用于在收费成功后或在所述核算区域检测到无待收费商品时控制所述第一电子锁开锁。

根据本发明实施例的智能便利店的控制系统，在验证用户身份信息通过后开启店门，并在满足预设条件时对便利店的店门锁止，然后通过重力传感器和深度摄像头可以准确检测用户是否取下便利店里的商品。在核算区域检测是否有未付款的商品，如果没有未付款的商品开启店门；如果有未付款的商品，则在付款完成后开启店门。

另外，根据本发明上述实施例的智能便利店的控制系统还可以具有如下附加的技术特征：

可选地，所述控制模块用于在检测到有商品所处位置的重力变化超过预设重力变化阈值，且根据所述多幅用户行为图像或用户行为视频识别出用户的肢体接触所述商品时认定所述商品被取下。

可选地，还包括：电子墨水屏幕，用于提供商品标价。

可选地，所述控制模块还用于通过所述电子墨水屏幕更新所述商品标价。

可选地，所述货架所在区域安装有可开启和关闭的商品门，所述商品门上安装有用于对所述商品门进行锁止的第二电子锁，所述预设条件包括商品门开启，所述控制模块还用于在所述便利店的店门开启时通过所述第二电子锁对所述商品门进行锁止。

可选地，所述控制模块还用于在所述核算区域有人时，如果通过用户身份信息获取模块接收到新用户身份信息，则保持对所述便利店的店门进行锁止。

为此，本发明的第二个目的在于提出一种智能便利店的控制方法，可以自动对用户取下的商品进行收费，并且可以准确检测便利店里的商品是否被取下。

为了实现上述目的，本发明的实施例公开了一种智能便利店的控制方法，包括以下步骤：获取用户身份信息；对所述用户身份信息进行验证，验证通过后解除便利店的店门的锁定，并在满足预设条件时对所述便利店的店门进行锁止；通过重力传感器获取商品所处位置的重力信息，并通过深度摄像头获取用户对所述货架上商品的多幅用户行为图像或用户行为视频，其中，所述深度摄像头的采集区域对准所述货架；根据所述重力传感器获取的重力信息，以及所述多幅用户行为图像或用户行为视频检测是否有商品被取下；当所述用户进入所述便利店的核算区域时，检测是否有待付款的商品；如果没有待付款的商品则解除对所述便利店的店门的锁定；如果有待付款的商品，则在收费成功后解除对所述便利店的店门的锁定。

根据本发明实施例的智能便利店的控制方法，在验证用户身份信息通过后开启店门，并在满足预设条件时对便利店的店门锁止，然后通过重力传感器和深度摄像头可以准确检测用户是否取下便利店里的商品。在核算区域检测是否有未付款的商品，如果没有未付款的商品开启店门；如果有未付款的商品，则在付款完成后开启店门。

另外，根据本发明上述实施例的智能便利店的控制方法还可以具有如下附加的技术特征：

可选地，所述根据所述重力传感器获取的重力信息，以及所述多幅用户行为图像或用户行为视频检测是否有商品被取下的步骤，具体包括：如果检测到有商品所处位置的重力变化超过预设重力变化阈值，且根据所述多幅用户行为图像或用户行为视频识别出用户的肢体接触所述商品时认定所述商品被取下。

可选地，还包括：通过电子墨水屏幕提供商品标价。

可选地，还包括：在所述便利店的店门开启时通过第二电子锁对所述商品门进行锁止；其中，所述货架所在区域安装有可开启和关闭的所述商品门，所述商品门上安装有用于对所述商品门进行锁止的所述第二电子锁，所述预设条件包括所述商品门开启。

为此，本发明的第三个目的在于提出一种智能便利店，包括上述实施例的智能便利店的控制系统。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的智能便利店的控制系统的结构框图；

图2是本发明一个实施例的智能便利店的控制方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述本发明的智能便利店的控制方法、控制系统和智能便利店。

图1是本发明一个实施例的智能便利店的控制系统的结构框图。如图1所示，本发明实施例的智能便利店的控制系统，包括：用户身份信息获取模块100、第一电子锁200、重力传感器300、深度摄像头400、扫描支付模块500和控制模块600。

其中，用户身份信息获取模块100用于获取用户身份信息。

如果用户初次通过智能便利店进行购物，则通过手机扫描便利店的店门上的二维码下载app后，使用app进行用户信息注册。在一些示例中，用户需要上传自己的头像(例如预设规则的人脸图像)。在另外一些示例中，用户可以录入指纹信息对注册信息进行绑定。

如果已经注册的用户再次通过智能便利店进行购物，则可以通过人脸识别模块与注册用户中的人脸图像进行比对；还可以通过指纹识别模块对注册用户中的指纹信息进行比对。

第一电子锁200用于锁定便利店的店门。在便利店内无人时保持对便利店的店门的锁止。在顾客进入便利店的店门后，如果满足预设条件则对便利店的店门进行锁止，并在接收到控制系统600发送的控制指令后解除锁止，然后顾客打开便利店的店门离开。在一些示例中，第一电子锁200为电磁锁。

重力传感器300用于检测商品所处位置重力信息。

具体地，重力传感器300感应货架上的重量变化，以此来检测商品被取走或放回的行为，重力感应的缺点是等重量替换无法识别。在一些示例中，重力感应的误差范围为0.5g，并且在后台可以调整上述误差范围。

深度摄像头400采集区域对准货架，以获取用户对货架上商品的多幅用户行为图像或用户行为视频。

扫描支付模块500用于在便利店的核算区域扫描是否有待付款的商品，并在扫描到有待付款的商品时生成支付信息，并进行收费。其中，扫描商品生成支付信息并收费为本领域人员的常用技术，不作赘述。

控制模块600在验证用户身份信息通过后控制第一电子锁开锁，以便用户进入智能便利店的店门。

具体地，深度摄像头400测量视野内用户在货架上的胳膊及手掌的深度数据，从而获得完整三维坐标信息。深度摄像头400利用发射特定图形的散斑或者点阵的激光红外图案，深度摄像头捕捉到被测物体反射回来的图案，控制模块600计算上面散斑或者点的大小，然后跟原始的尺寸进行对比，从而测算出被测物体(例如用户手臂)到摄像头之间的距离，进而可以确定用户行为。

在本发明的一个实施例中，货架所在区域安装有可开启和关闭的商品门，该区域可以有一个或多个货架。商品门上安装有用于对商品门进行锁止的第二电子锁。客户仅可以在商品门打开时取下或放回货架上的商品。上文的预设条件包括商品门开启，即当商品门开启时控制智能便利店的店门锁止，防止用户取下商品后不付款直接离开。控制模块600还用于在便利店的店门开启时通过第二电子锁对商品门进行锁止。即在同一时间，便利店的店门和商品门只有一个可以开启。

控制模块600还用于根据重力传感器300获取的重力信息，以及多幅用户行为图像或用户行为视频检测是否有商品被取下。由于单独使用重力传感器300或深度摄像头400容易对商品是否取下放回进行误判，因此在本发明的实施例中，同时使用重力传感器300和深度摄像头400检测是否有商品被取下。在本发明的一个实施例中，控制模块600具体用于在检测到有商品所处位置的重力变化超过预设重力变化阈值(例如0.5g)，且根据多幅用户行为图像或用户行为视频识别出用户的肢体接触商品时判定商品被取下。

在本发明的一个实施例中，智能便利店的控制系统还包括电子墨水屏幕。电子墨水屏幕用于对提供商品标价，并可由控制系统实时调整商品标价。由于传统液晶显示屏不断刷新，所以会有闪烁，因此观看屏幕会导致用眼疲劳。但电子墨水屏由于工作原理的先天优势，一旦屏幕刷新后就不再有变化，也大大减少了眼睛的疲劳度，实时多终端控制促销价格，正是因为电子墨水屏有这些特性，所以用在新零售的货架标签上面非常适合，再则因为显示分辨率比较高，所以在需要的时候可以将条码或二维码显示出来也很清晰。

在本发明的一个实施例中，智能便利店的控制系统还包括提示模块，当检测到用户监测到同一顾客在通道内滞留超过30s，则触发提示音“请勿在通道内滞留”。

在本发明的一个实施例中，在智能便利店停电时，启动备用电源并通过提示模块提示请在5分钟内离店，同时门外顾客扫码开门/人脸识别开门功能关闭；5分钟后自动落锁，顾客无法进出；同时发送停电报警消息。

图2是本发明一个实施例的智能便利店的控制方法的流程图。如图2所示，本发明实施例的智能便利店的控制方法，包括以下步骤：

s1：获取用户身份信息。

具体地，如果用户初次通过智能便利店进行购物，则通过手机扫描便利店的店门上的二维码下载app后，使用app进行用户信息注册。在一些示例中，用户需要上传自己的头像(例如预设规则的人脸图像)。在另外一些示例中，用户可以录入指纹信息对注册信息进行绑定。

如果已经注册的用户再次通过智能便利店进行购物，则可以通过人脸识别模块与注册用户中的人脸图像进行比对；还可以通过指纹识别模块对注册用户中的指纹信息进行比对。

s2：对用户身份信息进行验证，验证通过后解除便利店的店门的锁定，并在满足预设条件时对便利店的店门进行锁止。

具体地，使用第一电子锁锁止便利店的店门。控制系统在对新用户进行验证，或者对已注册用户通过人脸识别或指纹识别验证通过后解除对第一电子锁的锁止，以便用户进入智能便利店。在顾客进入便利店的店门后，如果满足预设条件则对便利店的店门进行锁止，并在接收到控制系统发送的控制指令后解除锁止，然后顾客打开便利店的店门离开。

在本发明的一个实施例中，智能便利店的控制方法还包括：在便利店的店门开启时通过第二电子锁对商品门进行锁止。其中，货架所在区域安装有可开启和关闭的商品门，该区域可以有一个或多个货架。商品门上安装有用于对商品门进行锁止的第二电子锁，上述预设条件包括商品门开启，即当商品门开门时控制智能便利店的店门锁止，防止用户取下商品后不付款直接离开。控制模块还用于在便利店的店门开启时通过第二电子锁对商品门进行锁止。即在同一时间，便利店的店门和商品门只有一个可以开启。

s3：通过重力传感器获取商品所处位置的重力信息，并通过深度摄像头获取用户对货架上商品的多幅用户行为图像或用户行为视频。其中，深度摄像头的采集区域对准货架。

具体地，重力传感器感应货架上的重量变化，以此来检测商品被取走或放回的行为，重力感应的缺点是等重量替换无法识别。在一些示例中，重力感应的误差范围为0.5g,并且在后台可以调整上述误差范围。

s4：根据重力传感器获取的重力信息，以及多幅用户行为图像或用户行为视频检测是否有商品被取下。

具体地，深度摄像头测量视野内用户在货架上的胳膊及手掌的深度数据，从而获得完整三维坐标信息。深度摄像头利用发射特定图形的散斑或者点阵的激光红外图案，深度摄像头捕捉到被测物体反射回来的图案，然后计算上面散斑或者点的大小，然后跟原始的尺寸进行对比，从而测算出被测物体(例如用户手臂)到摄像头之间的距离，进而可以确定用户行为。

由于单独使用重力传感器或深度摄像头容易对商品是否取下放回进行误判，因此在本发明的实施例中，同时使用重力传感器和深度摄像头检测是否有商品被取下。

在本发明的一个实施例中，步骤s4具体包括：如果检测到有商品所处位置的重力变化超过预设重力变化阈值(例如0.5g)，且根据多幅用户行为图像或用户行为视频检测是否有商品被取下识别出用户的肢体接触商品时判定商品被取下。

s5：当用户进入便利店的核算区域时，检测是否有待付款的商品。

s6：如果没有待付款的商品则解除对便利店的店门的锁定。

s7：如果有待付款的商品，则在收费成功后解除对便利店的店门的锁定。

其中，扫描商品生成支付信息并收费为本领域人员的常用技术，不作赘述。

在本发明的一个实施例中，智能便利店的控制方法还包括：通过电子墨水屏幕提供商品标价。由于传统液晶显示屏不断刷新，所以会有闪烁，因此观看屏幕会导致用眼疲劳。但电子墨水屏由于工作原理的先天优势，一旦屏幕刷新后就不再有变化，也大大减少了眼睛的疲劳度，实时多终端控制促销价格，正是因为电子墨水屏有这些特性，所以用在新零售的货架标签上面非常适合，再则因为显示分辨率比较高，所以在需要的时候可以将条码或二维码显示出来也很清晰。

本发明还公开了一种智能便利店，该智能便利店设置有上述实施例的智能便利店的控制系统。

另外，本发明实施例的智能便利店的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。