基于无人商店的自动结账方法、无人商店与流程

【技术领域】

本发明涉及无人商店技术领域，尤其涉及一种基于无人商店的自动结账方法、无人商店。

背景技术：

目前，一般商店都会有售货员或者收银员，通过售货员或者收银员来结算用户购买的商品。然而，当购买商品的用户数量较多时，往往都需要排队，以至于用需要花费较长的时间结账，此外，还需提供售货员或者收银员的人工成本。

因此，为了解决上述问题，现有技术中出现了无人商店，也即是不存在售货员或者收银员的商店，用户选择好商品并且准备离店时，识别用户身份并且通过rfid读写设备读取用户选购的商品信息及其对应的价格，从而在该用户对应的账户自动扣除相应的金额。

然而，相关技术在进行扣款的过程中存在扣款不准确的问题，比如扣款用户和消费用户不对应等。

技术实现要素：

本发明要解决的技术问题是提供一种基于无人商店的自动结账方法、无人商店，解决无人商店在自动结账时扣款不准确的问题。

本发明实施例的第一方面，提供一种基于无人商店的自动结账方法，所述无人商店设有结账区域，所述结账区域设有第一出口和第二出口，所述方法包括：

在检测到所述第一出口的预设区域内存在用户的感应信号时，获取所述结账区域的第一区域图像；

根据所述第一区域图像，判断所述结账区域内是否有人；

如果没有人，控制所述第一出口的门开启，并且获取所述结账区域的第二区域图像；

根据所述第二区域图像，判断所述结账区域内是否只有一位用户；

如果所述结账区域内只有一位用户，并且检测到所述结账区域存在商品时，控制所述第一出口的门关闭，获取所述用户的面部特征，并且根据所述面部特征获取所述用户的账号，以及获取所述用户选购的商品信息以及其对应的价格；

根据所述价格从所述用户的账号中扣除相应的金额，并且控制所述第二出口的门开启。

在一些实施例中，如果所述结账区域内包括至少两位用户，所述方法还包括：

输出预设的人员退出结账区域的提示信息，并且保持所述第二出口的门为关闭状态以及所述第一出口的门为开启状态。

在一些实施例中，所述方法还包括：

如果所述结账区域内只有一位用户，并且检测到所述结账区域不存在商品时，控制所述第一出口的门关闭以及控制所述第二出口的门开启。

在一些实施例中，所述获取所述用户的面部特征的步骤包括：

通过所述结账区域内的摄像头采集所述用户的第一用户图像；

判断所述第一用户图像是否包括所述用户的面部特征；

若否，从所述第一用户图像中获取所述用户的着装特征和体形特征；

获取位于所述无人商店内其它摄像头采集到的第二用户图像；

从所述第二用户图像中提取包含有具有所述着装特征和体形特征的用户的图像；

判断提取到的所述图像中是否包含有具有所述着装特征和体形特征的用户的面部特征；

若有，则从提取到的所述图像中获取具有所述着装特征和体形特征的用户的面部特征；

若否，发出面部对准摄像头的提示信息。

本发明实施例的第二方面，提供一种无人商店，所述无人商店设有结账区域，所述结账区域设有第一出口和第二出口，所述无人商店包括传感器、摄像头、射频读写设备以及处理器；

所述传感器用于检测所述第一出口的预设区域内是否存在用户的感应信号，所述摄像头用于在检测到所述感应信号时，采集所述结账区域内的第一区域图像，并将所述第一区域图像发送至所述处理器；

所述处理器用于：

根据所述第一区域图像，判断所述结账区域内是否有人；

如果没有人，控制所述第一出口的门开启，以及控制所述摄像头采集所述结账区域的第二区域图像，并且获取所述第二区域图像，从而根据所述第二区域图像，判断所述结账区域内是否只有一位用户；

如果所述结账区域内只有一位用户，并且通过所述射频读写设备检测到所述结账区域存在商品时，则控制所述第一出口的门关闭，获取所述用户的面部特征，并且根据所述面部特征获取所述用户的账号，以及通过所述射频读写设备获取所述用户选购的商品信息以及其对应的价格；

根据所述价格从所述用户的账号中扣除相应的金额，并且控制所述第二出口的门开启。

在一些实施例中，如果所述结账区域内包括至少两位用户，所述无人商店还包括输出设备，所述输出设备连接所述处理器；

所述处理器用于控制所述输出设备输出预设的人员退出结账区域的提示信息，并且保持所述第二出口的门为关闭状态以及所述第一出口的门为开启状态。

在一些实施例中，如果所述结账区域内只有一位用户，并且检测到所述结账区域不存在商品时，所述处理器还用于控制所述第一出口的门关闭以及控制所述第二出口的门开启。

在一些实施例中，所述处理器获取所述用户的面部特征的过程具体包括：

控制所述结账区域内的摄像头采集所述用户的第一用户图像，并且获取所述第一用户图像；

判断所述第一用户图像是否包括所述用户的面部特征；

若否，从所述第一用户图像中获取所述用户的着装特征和体形特征；

获取位于所述无人商店内其它摄像头采集到的第二用户图像；

从所述第二用户图像中提取包含有具有所述着装特征和体形特征的用户的图像；

判断提取到的所述图像中是否包含有具有所述着装特征和体形特征的用户的面部特征；

若有，则从提取到的所述图像中获取具有所述着装特征和体形特征的用户的面部特征；

若否，发出面部对准摄像头的提示信息。

本发明实施例的第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

本发明实施例的第四方面，提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的方法。

在本发明实施例中，通过在结账区域设置两个出口，通过这两个出口控制结账区域中有且只有一个用户，并且在只有一个用户位于该结账区域中以及结账区域内存在商品时，才对该用户选购的商品进行结账。该实施方式能够准确的对购买商品的用户进行结账，提高了自动结账的准确性。

【附图说明】

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种无人商店的结构示意图；

图2是本发明实施例提供的一种无人商店的结构框图；

图3是本发明实施例提供的一种基于无人商店的自动结账方法的流程图；

图4是本发明实施例提供的一种基于无人商店的自动结账方法中获取所述用户的面部特征的方法的流程图；

图5是本发明另一实施例提供的一种基于无人商店的自动结账方法的流程图；

图6是本发明实施例提供的执行基于无人商店的自动结账方法的电子设备的硬件结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

请参阅图1，图1是本发明实施例提供的一种无人商店的结构示意图。如图1所示，该无人商店100设有结账区域10和商品区，商品区用于摆放商品，结账区域10用于对商品进行结算，该结账区域10设有第一出口11和第二出口12，当第一出口11开启时，结账区域10和商品区连通，用户可以从商品区进入该结账区域10，当第二出口12开启时，用户可以从结账区域10步行至无人商店100的外界环境，离开无人商店。

可选地，该结账区域10为“z”形状，该第一出口11和第二出口12分别设置在该“z”形状的结账区域。

该无人商店100还设有入口，该入口用于使用户进入该无人商店100，并且该入口只允许用户进入。

请一并参阅图1和图2，该无人商店100还包括传感器20、摄像头30、射频读写设备40以及处理器50。

其中，传感器20、摄像头30以及射频读写设备40分别连接处理器50。

传感器20具体用于检测第一出口11的预设区域内是否存在用户的感应信号，当该预设区域内存在用户时，即触发该感应信号产生。该预设区域具体是商品区内接近第一出口11的区域，用户只有通过该区域才能进入结账区域10。因此，当检测到预设区域内存在用户的感应信号时，即表示有用户想离开无人商店，并且其当前状态是待进入结账区域10。

摄像头30包含多个，并且设置在无人商店100内，其具体设置在结账区域10内、第一出口11处、第二出口12处、无人商店100的进口处以及商品区等等。该摄像头30用于采集用户图像，并且将采集到的用户图像发送至处理器50。

在一些实施例中，摄像头30可以对同一用户进行运动轨迹追踪。例如，当无人商店100的进口处拍摄到用户a进入无人商店后，根据用户a在无人商店100内的活动区域，由该区域对应的摄像头30拍摄用户a的图像，一直到用户a离开该无人商店100，才结束对用户a的图像采集，获取用户a在无人商店内活动时的全部图像后，可以根据图像采集的先后顺序分析用户a的运动轨迹，从而可以根据该运动轨迹准确识别用户a，以及分析用户a所购买的商品的类别，等。

射频读写设备40用于识别结账区域内是否存在商品，并且还用于读取用户所购买的商品的信息，该信息包括商品价格、商品品名、商品类别等等。该射频读写设备40将读取到的商品信息发送至处理器50。该射频读写设备40具体可以是rfid读写器。

处理器50用于接收传感器20、摄像头30以及射频读写设备40发送的相关信息，并且对这些相关信息进行处理。本实施例中的处理器50具体用于处理自动结账的问题。

具体地，当传感器20检测到第一出口11的预设区域内存在用户的感应信号后，将该感应信号发送至处理器50，此时，处理器50控制摄像头30采集该结账区域10内的第一区域图像，摄像头30将采集到的第一区域图像发送至处理器50。处理器50用于根据该第一区域图像，判断结账区域10内是否有人；如果没有人，控制第一出口11的门开启，以及控制摄像头30采集所述结账区域10的第二区域图像，并且获取所述第二区域图像，从而根据所述第二区域图像，判断所述结账区域10内是否只有一位用户；如果结账区域10内只有一位用户，并且通过射频读写设备40检测到结账区域10内存在商品时，则控制第一出口11的门关闭，以及获取所述用户的面部特征，并且根据所述面部特征获取所述用户的账号，以及通过所述射频读写设备40获取所述用户选购的商品信息以及其对应的价格；根据所述价格从所述用户的账号中扣除相应的金额，并且控制所述第二出口12的门开启。在这里，只有在结账区域10内只有一位用户并且存在商品时，才执行相应的结账操作，而且在结账时通过人脸识别来识别当前用户，从而能够准确的识别用户，以保证结账更准确。

其中，处理器50通过摄像头30来采集用户的面部图像，根据该面部图像获取用户的面部特征。可以理解的，在一些情况(比如用户遮挡面部、用户低头等)下，处理器50不能准确的获取到用户的面部图像，即，不能根据用户的面部特征准确识别该用户，以至于不能顺利的完成该用户所购买的商品的结算过程。

因此，在一些实施例中，处理器50获取所述用户的面部特征的过程具体包括：控制所述结账区域10内的摄像头30采集所述用户的第一用户图像，并且获取所述第一用户图像；判断所述第一用户图像是否包括所述用户的面部特征；若否，从所述第一用户图像中获取所述用户的着装特征和体形特征；获取位于所述无人商店100内其它摄像头30采集到的第二用户图像；从所述第二用户图像中提取包含有具有所述着装特征和体形特征的用户的图像；判断提取到的所述图像中是否包含有具有所述着装特征和体形特征的用户的面部特征；若有，则从提取到的所述图像中获取具有所述着装特征和体形特征的用户的面部特征；若否，发出面部对准摄像头的提示信息。在本实施例中，如果在结账区域10不能获取到用户的面部特征时，则根据该用户的其他特征，以及该用户在进入结账区域10之前所采集到的图像来识别该用户，识别出该用户后，再从识别出该用户的图像中提取该用户的面部特征。由于，无人商店100内设置有多个摄像头30，用户在无人商店100内活动时，一般总会有至少一个摄像头能够拍摄到该用户的面部图像，因此通过上述实施方式能够准确的获取到该用户的面部特征。如果通过全部摄像头30所采集的图像都不能获取到该用户的面部特征时，可以通过语音等方式发出面部对准摄像头的提示信息，只有在准确识别到用户的面部特征后，才开启第二出口12，否则用户不能离开。

其中，上述着装特征包括用户穿的衣服的颜色和款式、佩戴的帽子的样子、穿的鞋子的样子等，上述体形特征包括用户的胖、瘦、高、矮等。此外，还可以用步行特征(比如步宽、步行速度)等其他用户特征来识别结账区域内的用户。

在一些实施例中，同样请参阅图2，该无人商店100还包括输出设备60，输出设备60连接处理器50。在处理器50处理自动结账的过程中，如果所述结账区域10内包括至少两位用户，则处理器50用于控制所述输出设备60输出预设的人员退出结账区域的提示信息，并且保持第二出口12的门为关闭状态以及第一出口11的门为开启状态。

其中，该预设的提示信息用于提醒用户结账区域10内只能有一位用户，否则不能顺利离开该无人商店100。该输出设备60具体可以是扬声器或者显示屏，当其是扬声器时，该预设的提示信息可以是一段语音，比如“当前区域一次只能一位用户通过”，当其是显示屏时，该预设的提示信息可以是一段文字。当然，也可以同时通过声音和文字来表达该预设的提示信息。

在一些实施例中，如果结账区域10内只有一位用户，并且检测到结账区域10不存在商品时，该处理器50还用于控制第一出口11的门关闭以及控制第二出口12的门开启。从而保证没有购买商品的用户能够顺利的离开该无人商店100，而且不影响无人商店的自动结账过程。

本发明实施例提供了一种无人商店，该无人商店通过在结账区域设置两个出口，以及设置传感器、摄像头、射频读写设备、处理器，从而保证在结账区域有且仅有一位用户时，才对该用户选购的商品进行结账。该实施方式能够对用户所购买商品进行准确结账，提高了无人商店中自动结账的准确性。

请参阅图3，图3是本发明实施例提供的一种基于无人商店的自动结账方法的流程图。该无人商店为上述实施例中所述的无人商店，本发明实施例提供的方法由上述处理器50执行。如图3所示，该方法包括：

步骤101、在检测到所述第一出口的预设区域内存在用户的感应信号时，获取所述结账区域的第一区域图像；

该预设区域指的是接近第一出口进门的区域，用户只有通过该区域才能进入结账区域。当用户位于该预设区域内时，即检测到感应信号。该第一区域图像指的是结账区域的图像，其包括结账区域的整个区域。

步骤102、根据所述第一区域图像，判断所述结账区域内是否有人；

通过第一区域图像判断结账区域内是否有人，也即是从第一区域图像中识别出人的过程，该过程即图像识别的过程，在本实施例中可以通过现有的图像识别方法识别出第一区域图像中的人。

步骤103、如果没有人，控制所述第一出口的门开启，并且获取所述结账区域的第二区域图像；

识别第一区域图像中没有人即表示结账区域当前没有人，此时，控制第一出口为开启状态，在开启状态下，用户可以从该第一出口进入结账区域。在这个过程中，获取结账区域的第二区域图像，该第二区域图像指的是结账区域的图像，并且该图像中有人。

如果通过第一区域图像判断到结账区域内有人，并且只有一位用户时，可以执行下述步骤105-步骤106。如果通过第一区域图像判断到结账区域内有人并且由多个用户时，可以执行下述步骤107。

步骤104、根据所述第二区域图像，判断所述结账区域内是否只有一位用户；

其中，可以基于现有的图像识别方法对第二区域图像中的人的数量进行识别，从而判断当前的结账区域中是否只有一位用户。

步骤105、如果所述结账区域内只有一位用户，并且检测到所述结账区域存在商品时，控制所述第一出口的门关闭，获取所述用户的面部特征，并且根据所述面部特征获取所述用户的账号，以及获取所述用户选购的商品信息以及其对应的价格；

在本实施例中，进入无人商店购买商品的用户都需要提前注册，并且对每个注册的用户均绑定其账号，以便在结账时能够自动从其账号扣款。用户在注册时可以通过拍照输入其面部特征，也可也输入其指纹、声音、虹膜等个人信息。

因此，在这里通过匹配用户的面部特征来识别当前的用户，根据识别出用户获取其账号。并且，通过射频读写设备读取用户所购买的商品的信息，该信息包括商品价格、商品品名、商品类别等等。

需要说明的是，除了通过用户面部特征获取其账号之外，还可以通过声音识别等其他方式识别该用户，从而获取其账号。

可以理解的是，如果用户在结账区域内故意遮挡面部或者用户低头等，都可能造成不能准确的采集到用户的面部图像，此时即不能准确的识别用户，不能准确的扣款。然而，无人商店内设置有多个摄像头，用户在无人商店内活动时，一般情况下，会有至少一个摄像头能够拍摄到该用户的面部图像，因此，可以结合用户的其他特征和其他摄像头采集到的用户图像来对用户进行准确识别。

具体地，如图4所示，获取所述用户的面部特征包括：

步骤1051、通过所述结账区域内的摄像头采集所述用户的第一用户图像；

其中，该第一用户图像即结账区域内仅有的一位用户的图像。

步骤1052、判断所述第一用户图像是否包括所述用户的面部特征；

可以通过现有的图像识别方法对第一用户图像中的用户面部特征进行识别。

步骤1053、若否，从所述第一用户图像中获取所述用户的着装特征和体形特征；

其中，该着装特征包括用户穿的衣服的颜色和款式、佩戴的帽子的样子、穿的鞋子的样子等，该体形特征包括用户的胖、瘦、高、矮等。此外，还可以用步行特征(比如步宽、步行速度)等其他用户特征来识别结账区域内的用户。

步骤1054、获取位于所述无人商店内其它摄像头采集到的第二用户图像；

步骤1055、从所述第二用户图像中提取包含有具有所述着装特征和体形特征的用户的图像；

步骤1056、判断提取到的所述图像中是否包含有具有所述着装特征和体形特征的用户的面部特征；

步骤1057、若有，则从提取到的所述图像中获取具有所述着装特征和体形特征的用户的面部特征；

步骤1058、若否，发出面部对准摄像头的提示信息。

在本实施例中，将第一用户图像中获取到的用户特征与其他摄像头采集的第二用户图像中的着装特征和体形特征进行匹配，如果用户的着装特征和体形特征匹配一致(比如，识别出两幅图像中用户的着装相同，或者多幅图像中用户的体形特征一致等)，则提取着装特征和体形特征匹配一致的第二用户图像，以便根据提取的这些第二用户图像获取用户的面部特征。

如果通过提取的全部第二用户图像都不能获取到该用户的面部特征，则可以通过语音等方式发出面部对准摄像头的提示信息，只有在准确识别到用户的面部特征后，才开启第二出口，否则用户不能离开。

步骤106、根据所述价格从所述用户的账号中扣除相应的金额，并且控制所述第二出口的门开启。

在一些实施例中，如果所述结账区域内包括至少两位用户，如图5所示，所述方法还包括：

步骤107、输出预设的人员退出结账区域的提示信息，并且保持所述第二出口的门为关闭状态以及所述第一出口的门为开启状态。该预设的提示信息可以是一段语音，比如“当前区域一次只能一位用户通过”，该预设的提示信息还可以是一段文字，该预设的提示信息还可以是声音和文字，等。

在一些实施例中，如果所述结账区域内只有一位用户，并且检测到所述结账区域不存在商品时，则可以控制所述第一出口的门关闭以及控制所述第二出口的门开启。从而保证没有购买商品的用户能够顺利的离开该无人商店100，而且不影响无人商店的自动结账过程。

本发明实施例提供了一种基于无人商店的自动结账方法，该方法通过在结账区域设置两个出口，通过这两个出口控制结账区域中有且只有一个用户，如果结账区域内有多个用户，则输出预设的提示信息，该实施方式能够保证结账区域内只有一个用户，并且在结账区域内只有一个用户以及结账区域内存在商品时，才对该用户选购的商品进行结账。该实施方式能够对用户所购买商品进行准确的结账，避免了扣款账号和扣款用户不对应的问题，提高了无人商店中自动结账的准确性。

请参考图6，图6是本发明实施例提供的执行基于无人商店的自动结账方法的电子设备的硬件结构示意图，如图6所示，该电子设备70包括：

一个或多个处理器71以及存储器72，图6中以一个处理器71为例。

处理器71和存储器72可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器72作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于无人商店的自动结账方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于无人商店的自动结账方法。

存储器72可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

所述一个或者多个模块存储在所述存储器72中，当被所述一个或者多个处理器71执行时，执行上述任意方法实施例中基于无人商店的自动结账方法，例如，执行以上描述的图3中的方法步骤101至步骤106，图4中的方法步骤1051至步骤1058，图5中的方法步骤101至步骤107。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

(1)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(2)其他具有数据交互功能的电子装置。

本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中基于无人商店的自动结账方法，例如，执行以上描述的图3中的方法步骤101至步骤106，图4中的方法步骤1051至步骤1058，图5中的方法步骤101至步骤107。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中基于无人商店的自动结账方法，例如，执行以上描述的图3中的方法步骤101至步骤106，图4中的方法步骤1051至步骤1058，图5中的方法步骤101至步骤107。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。