本发明涉及一种人工智能系统，特别涉及一种利用无线传感技术、计算机视觉技术实现的无人售卖系统及其控制方法。
背景技术
在现有技术中，商场或商店一般都需要配备一名或多名导购或者结账人员，即使是自由超市，也至少需要一名收银员，并且一个商店的工作人员也只限于在这个商店工作。而且，在顾客较多的时候，往往需要排队，这就给购物带来很大的不便。
虽然也有自动贩卖机的出现，但是由于空间的限制，自动贩卖机往往只能贩卖较为单一的商品，顾客也不能拥有逛商店一样的体验，并且，顾客在付款之前也不能自由挑选商品。
技术实现要素：
考虑到上述问题而提出了本发明。本发明提供了一种无人售卖系统及其控制方法。
根据本发明的一方面，提供了一种无人售卖系统，包括，第一图像采集装置、第二图像采集装置、第三图像采集装置、人脸识别模块、第一人数统计模块、物品支付模块、第一门禁系统、第二门禁系统以及出口门禁系统，其中，
第一图像采集装置，用于获取人脸图像；
人脸识别模块，用于基于所述人脸图像进行活体检测，如果活体检测通过，则基于人脸底库以及所述人脸图像进行人脸识别，以获得第一人脸识别结果，如果所述人脸识别通过，则开启所述第一门禁系统；
第一人数统计模块，用于检测所述第一门禁系统是否已经关闭，如果已关闭，所述第二图像采集装置采集人数统计区域的图像信息，基于所述人数统计区域的图像信息进行人数统计以得到第一统计结果；如果所述第一统计结果为超过一人时，则所述第二门禁保持关闭，如果所述第一统计结果为一人时，则第二门禁系统开启；
物品支付模块，用于识别待支付的物品，并获取支付信息；
出口门禁系统，用于使用所述第三图像采集装置采集出口区域的图像信息，利用所述人脸识别模块对所述出口区域的图像信息中的人脸图像进行识别，以获得第二人脸识别结果，如果所述人脸识别通过，则开启所述出口门禁系统。
示例性地，还包括出口核验模块，所述出口门禁系统包括第三门禁系统以及第四门禁系统，其中，
所述物品支付模块还用于，如果获得支付成功的信息，则将所述待支付的物品标记为已支付的物品；
出口核验模块，用于检测所述第三门禁系统是否开启，如果已开启，则检测出口核验区域是否存在未支付物品，如果所述第二人脸识别结果通过且未检测到未支付物品，则开启所述第四门禁系统。
示例性地，所述系统还包括注册模块，用于接收用户提交的人脸图像，对所述人脸图像进行图像质量判断，如果所述图像质量判断为合格，将所述人脸图像注册到所述人脸底库。
示例性地，所述系统还包括第四图像采集装置和人数控制模块，所述人数控制模块用于基于所述第四图像采集装置采集售卖区域的图像信息进行人数统计以得到第二统计结果，如果所述第二统计结果大于第一预定阈值，则所述第一门禁系统保持关闭。
示例性地，所述系统还包括图像分析模块，用于基于所述售卖区域的图像信息进行行人属性分析，获得所述行人的属性信息，以及，基于所述售卖区域的图像信息进行行人行为分析，获得所述行人的行进轨迹、停留区域以及在所述停留区域的停留时间，识别所述行人的试拿、试穿以及试用行为。
示例性地，所述物品支付模块还包括第一射频识别读取器以及去激活装置，所述第一射频识别读取器用于读取放置在物品支付区域中的射频识别标签；所述去激活装置用于将所述物品支付区域中的已支付物品的射频识别标签进行去激活操作。
示例性地，所述出口核验模块还包括第二射频识别读取器，所述第二射频识别读取器用于检测所述出口核验区域是否存在未进行去激活操作的射频识别标签。
示例性地，所述系统还包括第一重力检测装置以及第二重力检测装置，
所述第一重力检测装置用于在所述人数统计区域进行重力检测以获得第一重量；所述第二重力检测装置用于在所述出口核验区域进行重力检测以获得第二重量；以及
所述检测所述出口核验区域是否存在未支付物品包括，如果目标对象的第二重量大于第一重量，并且，所述系统中没有所述目标对象的支付成功的信息，则确定所述出口核验区域存在未支付物品。
示例性地，所述系统还包括消费核验模块，
用于根据同一对象的第一人脸识别结果所对应的时间和第二人脸识别结果所对应的时间确定第一时间区间，以及根据所述第二人脸识别结果所对应的时间之后的第一预定时间段确定第二时间区间；
查验所述第一时间区间和所述第二时间区间中是否存在支付成功的信息，如果不存在支付成功的信息，则核验在第一时间区间内是否发生消费行为，如果没有发生消费行为，则核验通过；如果发生消费行为，则推送支付提醒信息。
示例性地，所述消费核验模块具体用于，调取售卖区域的监控视频，根据所述监控视频核验所述对象在第一时间区间内是否发生了消费行为。
示例性地，所述出口门禁系统包括第三射频识别读取器，所述第三射频识别读取器用于读取位于出口区域的所述对象携带的物品的射频识别标签数据；所述消费核验模块具体用于，根据所述第三射频识别读取器读取到的数据和所述对象的第二人脸识别结果，核验所述对象在第一时间区间内是否发生了消费行为。
根据本发明的另一方面，还提供了一种无人售卖系统的控制方法，包括:
获取第一图像采集装置采集的人脸图像；
基于所述人脸图像进行活体检测，如果活体检测通过，则基于人脸底库以及所述人脸图像进行人脸识别，以获得第一人脸识别结果，如果所述人脸识别通过，则开启第一门禁系统；以及
检测第一门禁系统是否已经关闭，如果已关闭，第二图像采集装置采集人数统计区域的图像信息，基于所述人数统计区域的图像信息进行人数统计以得到第一统计结果；如果所述第一统计结果为超过一人时，则第二门禁系统保持关闭，如果所述第一统计结果为一人时，则开启第二门禁系统；
识别待支付的物品，并获取支付信息；以及
采集出口区域的图像信息，对所述出口区域的图像信息中的人脸图像进行识别，以获得第二人脸识别结果，如果人脸识别通过，则开启出口门禁系统。
示例性地，所述方法还包括，
所述识别待支付的物品，并获取支付信息，还包括，如果获得支付成功的信息，则将所述待支付的物品标记为已支付的物品；以及
检测第三门禁系统是否开启，如果已开启，则检测出口核验区域是否存在未支付物品，如果所述第二人脸识别结果通过且未检测到未支付物品，则开启第四门禁系统。
示例性地，所述方法还包括，接收用户提交的人脸图像，对所述人脸图像进行图像质量判断，如果所述图像质量判断为合格，将所述人脸图像注册到所述人脸底库。
示例性地，所述方法还包括，采集售卖区域的图像信息，基于所述售卖区域的图像信息进行人数统计以得到第二统计结果；以及
如果所述第二统计结果大于第一预定阈值，则第一门禁系统保持关闭。
示例性地，所述方法还包括，基于所述售卖区域的图像信息进行行人属性分析，获得所述行人的属性信息；以及
基于所述售卖区域的图像信息进行行人行为分析，获得所述行人的行进轨迹、停留区域以及在所述停留区域的停留时间，识别所述行人的试拿、试穿以及试用行为。
示例性地，所述识别待支付的物品包括，使用第一射频识别读取器读取放置在物品支付区域中的射频识别标签；
所述将所述待支付的物品标记为已支付的物品包括，将所述物品支付区域中的射频识别标签进行去激活操作。
示例性地，所述检测所述出口核验区域是否存在未支付物品包括，使用第二射频识别读取器检测所述出口核验区域是否存在未进行去激活操作的射频识别标签。
示例性地，所述方法还包括，
在所述人数统计区域进行重力检测以获得第一重量；
在所述出口核验区域进行重力检测以获得第二重量；以及
所述检测所述出口核验区域是否存在未支付物品包括，如果目标对象的第二重量大于第一重量，并且，所述系统中没有所述目标对象的支付成功的信息，则确定所述出口核验区域存在未支付物品。
示例性地，所述方法还包括，
根据同一对象的第一人脸识别结果所对应的时间和第二人脸识别结果所对应的时间确定第一时间区间，以及根据所述第二人脸识别结果所对应的时间之后的第一预定时间段确定第二时间区间；查验所述第一时间区间和所述第二时间区间中是否存在支付成功的信息，如果不存在支付成功的信息，则核验在第一时间区间内是否发生消费行为，如果没有发生消费行为，则核验通过；如果发生消费行为，则推送支付提醒信息。
示例性地，所述方法还包括，
调取售卖区域的监控视频，根据所述监控视频核验所述对象在第一时间区间内是否发生了消费行为。
示例性地，所述方法还包括，
读取位于出口区域的所述对象携带的物品的射频识别标签数据；根据读取到所述标签数据和所述对象的第二人脸识别结果，核验所述对象在第一时间区间内是否发生了消费行为。
根据本发明实施例的无人售卖系统及其控制方法，利用无线传感器技术、计算机视觉技术，能够实现商店、便利店的无人售卖，在大型商场、广场上设置这样的无人售卖系统，不仅减少了人力成本，提高了售卖效率，而且提升了顾客的购物体验。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的用于无人售卖系统的控制方法的示意性流程图；
图2示出了根据本发明一个实施例的无人售卖系统的示意性框图；
图3示出了根据本发明一个实施例的无人售卖系统实现的示意性无人商店的俯视图；
图4示出了根据本发明另一个实施例的无人售卖系统实现的示意性无人商店的俯视图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为解决上文所述的问题，本发明实施例提供一种无人售卖系统。其中，使用计算机视觉技术对顾客进行识别，包括人脸识别、行为识别，使用无线传感器技术或扫码方式对物品进行识别。本发明实施例提供的无人售卖系统可以实现无人商店的构建，不用雇佣店员，实现了顾客的全自助购物。
首先，参照图2来描述用于实现本发明实施例的无人售卖系统。
如图2所示，无人售卖系统200包括第一图像采集装置201、第二图像采集装置202、第三图像采集装置203、人脸识别模块204、第一人数统计模块205、物品支付模块206、第一门禁系统207、第二门禁系统208以及出口门禁系统209。
第一图像采集装置201，用于获取人脸图像。
第一图像采集装置201可以使用数码相机、普通摄像头、高清摄像头、网络摄像机等图像/视频采集设备，对特定场景进行图像获取。例如，可以将第一图像采集装置201设置在无人商店入口处的上方，设定一定的角度，使得第一图像采集装置201能够采集到质量较好的并且满足人脸检测和识别要求的图像或视频。获取到的人脸图像可以是直接采集到的原始图像，也可以是经第一图像采集装置201进行预处理之后的图像。第二图像采集装置202以及第三图像采集装置203可以使用与第一图像采集装置201相同的装置，也可以使用与第一图像采集装置201不同的装置。
人脸识别模块204，用于基于所述人脸图像进行活体检测，如果活体检测通过，则基于人脸底库以及所述人脸图像进行人脸识别，以获得第一人脸识别结果，如果所述人脸识别通过，则开启所述第一门禁系统207。
针对第一图像采集装置201获取的人脸图像进行活体检测，这里的人脸图像可以是一帧或多帧图像，也可以是一系列图像帧构成的视频。活体检测方法可以使用特定的设备进行，例如红外结构光，利用打在人脸上的结构光的反射情况判断人脸是否为活体，也可以不用特定设备，仅用图像和视频分析的方法，例如，发出特定的指令(例如摇头、张嘴、点头等)，通过分析获取的包含人脸特定动作的图像或视频来判断人脸是否为活体，又例如，使用两张或多张人脸在不同角度的图像对人脸进行三维重建，通过三维形状信息来判断人脸是否为活体。
人脸底库可以是保存注册用户人脸图像的一个数据库，也可以保存从人脸图像中提取出来的人脸图像特征。可以是用户在通过终端进行注册时上传的人脸图像，例如，用户通过手机app或其他软件程序接入到注册接口，拍摄一张人脸照片或者在现有的照片中选择一个人脸照片进行上传，云端服务器核验后保存这张照片作为人脸底库照片。
人脸识别方法可以采用深度神经网络、卷积神经网络等深度学习的方法，也可以采用lbp、sift等人工定义的特征和模式分类的传统方法。可以先进行人脸检测，然后针对人脸检测框再进行人脸识别。
第一门禁系统207可以是任何形式的门，根据人脸识别的结果来判定是否开启这扇门。可以包括一个电磁控制系统，如果人脸识别的结果判定为人脸识别成功，则向第一门禁系统207发送第一指令，使得电磁控制系统失去磁性，门可以自由地打开，以允许顾客进入。第一门禁系统207也可以采取其他的形式，例如转门。第二门禁系统208、出口门禁系统209以及其他门禁系统可以使用与第一门禁系统207相同的形式，也可采用不同的形式。
第一人数统计模块205，用于检测所述第一门禁系统207是否已经关闭，如果已关闭，所述第二图像采集装置202采集人数统计区域的图像信息，基于所述人数统计区域的图像信息进行人数统计以得到第一统计结果。
为了防止尾随情况的发生，在第一门禁系统207和第二门禁系统208设置一个人数统计区域，在人数统计区域放置第二图像采集装置202，通过基于图像分析的方法来统计人数统计区域中的行人数量。待顾客进入到人数统计区域并关闭第一门禁系统207后开始统计人数统计区域中的行人数量，得到第一统计结果。
如果所述第一统计结果为超过一人时，则所述第二门禁系统208保持关闭，如果所述第一统计结果为一人时，则开启所述第二门禁系统208。
通过对第一统计结果的分析，从而可以确定人数统计区域中有几个人，如果超过一个人则拒绝开启第二门禁系统208。可选地，可以采用屏幕显示或者语音方式进行提示，提示一次仅可以允许一人进入；如果仅有一人，则开启第二门禁系统208，允许顾客进入到购物区域。通过这种方式，可以避免一人通过人脸识别开启门禁后，又有以尾随的形式进入其他未被识别的人，可以有效地避免物品的丢失。
物品支付模块206，用于识别待支付的物品，获取支付信息。
顾客进入到购物区域后，可以自由地选择商品，待顾客选择完商品需要付款时，可以到预定的支付区域进行支付。物品支付模块206用于实现支付操作，可以设定一个用于读取商品信息的区域，待商品放置在该区域内，识别装置对区域内的商品进行识别，并将识别出的商品名录、商品数量、商品价格进行显示，用户可以根据支付提示进行支付操作。示例性地，可以采用手机app或者第三方支付平台进行支付。支付完成后，物品支付模块206实时地获取到支付信息，在显示装置上显示支付成功。可选地，为了提高商品识别的准确性，可以设置每次支付操作可以识别的最大商品数量，例如，每次最多对5件商品进行识别和支付，所述可以识别的最大商品数量可以根据具体情况自由设定。
出口门禁系统209，用于使用所述第三图像采集装置采集出口区域的图像信息，利用所述人脸识别模块对所述出口区域的图像信息中的人脸图像进行识别，以获得第二人脸识别结果，如果所述人脸识别通过，则开启所述出口门禁系统。
设置一个出口区域，在出口区域设置出口门禁系统209，示例性地，出口门禁系统可以设置一道门，也可以设置两道门。以设置一道门为例，顾客走到出口区域内，图像采集装置开始采集人脸图像，并进一步进行人脸识别，如果人脸识别成功，则开启出口门禁系统，顾客可以携带购买的商品走出。
根据本发明的实施例，出口门禁系统209还可以设置两道门，即第三门禁系统和第四门禁系统，所述物品支付模块206还用于如果获得支付成功的信息，则将所述待支付的物品标记为已支付的物品；另外设置出口核验模块，用于检测所述第三门禁系统是否开启，如果已开启，则检测所述出口核验区域是否存在未支付物品并且如果所述第二人脸识别通过且未检测到未支付物品，则开启所述第四门禁系统。
出口核验区域设置在第三门禁系统和第四门禁系统之间，顾客进入到所述出口核验区域表示该顾客已经结算完成，欲核验出门，或者没有购物的顾客也欲核验出门。顾客经过第三门禁系统进入到所述出口核验区域后，商品检测装置开始检测所述出口核验区域是否存在未支付的商品，目的在于防止顾客携带未支付的商品离开；另外，在合适的位置放置第三图像采集装置203，用于对离店人员的人脸识别。如果人脸识别通过并且未检测到未支付的商品，则开启第四门禁系统，允许顾客出门，购物流程结束。如果人脸识别未能成功或在出口核验区域检测到未支付的商品，则不开启第四门禁系统，允许顾客通过第三门禁系统返回至购物区域，以进行商品返还或者继续支付等操作。另外，在所述出口核验区域设置一个求救装置，防止人脸识别不通过，顾客无法出门的问题，如果顾客通过人脸识别进入到购物区域，但是无法通过人脸识别出去，可以通过求救装置求助，远程管理员可以进行手动协助。
根据本发明的实施例，设置注册模块，用于接收用户提交的人脸图像，对所述人脸图像进行图像质量判断，如果所述图像质量判断为合格，将所述人脸图像注册到所述人脸底库。
由于顾客上传的用于人脸底库注册的人脸图像是多种多样的，如果是图像模糊、光照不好、非正脸照片等，用于人脸识别的底库照片则会造成人脸识别的精度降低，因此，在注册环节需要对上传的人脸照片进行图像质量判断。示例性地，图像质量判断可以包括图像大小、图像模糊程度、图像光照条件、人脸姿态等，如果图像质量判断为合格，则将该图像上传到人脸底库。另外，在注册过程中可以进行活体检测。可选地，人脸底库可以位于本地，也可以位于云端。
根据本发明的实施例，还包括第四图像采集装置(附图中未示出)以及人数控制模块，所述人数控制模块用于基于所述第四图像采集装置采集售卖区域的图像信息进行人数统计以得到第二统计结果，如果所述第二统计结果大于第一预定阈值，则所述第一门禁系统保持关闭。
为了提高购物体验，需要控制购物区域的购物人数，在售卖区域设置第四图像采集装置，用于对售卖区域的实时人数进行统计，得到第二统计结果，如果超过设定的人数上限，例如20人，则不再允许新的顾客进入，保持第一门禁系统关闭，并提示人数已满。第四图像采集装置可以为一个摄像装置，也可以为多个摄像装置，以覆盖到购物区域全部的范围。可选地，当达到人数上限时，可以进行声音或者视觉提示，例如通过一个显示装置显示已达人数上限，或者通过音响装置进行语音提示。
根据本发明的实施例，还包括图像分析模块，用于基于所述售卖区域的图像信息进行行人属性分析，获得所述行人的属性信息，以及，基于所述售卖区域的图像信息进行行人行为分析，获得所述行人的行进轨迹、停留区域以及在所述停留区域的停留时间，识别所述行人的试拿、试穿以及试用行为。
基于所述第四图像采集装置采集的图像或视频信息进行分析，基于视频结构化以及深度学习的方法进行视频分析，检测到图像或视频中存在的行人，对行人的属性和行为进行分析，行人的属性包括但不限于行人的年龄、性别、衣帽以及是否戴眼镜等，根据行人的属性及其行为的分析可以分析特定客户在购买商品时的喜好，例如，年龄段在20-30之间的顾客更喜欢哪些商品，女性顾客对哪个区域的商品更感兴趣等等。通过对视频的语义分析，可以帮助商店管理员有针对性地放置商品，以及将商品放置在合理的位置。
根据本发明的实施例，所述物品支付模块还包括第一射频识别读取器以及去激活装置，所述第一射频识别读取器用于读取放置在物品支付区域中的射频识别标签；所述去激活装置用于将所述物品支付区域中的已支付物品的射频识别标签进行去激活操作。
示例性地，采用射频识别的方式(rfid)进行商品的标识和识别。例如，在每一件商品上都贴有rfid的标签，每种标签上都存储该商品类别、商品价格、商品重量、商品生产日期、商品保质期、商品来源信息等等；在进行支付时，物品支付区域中的第一射频识别读取器读取放置在物品支付区域中的rfid标签，可选地，读取到rfid标签上存储的商品信息后，在显示装置上进行显示，例如，可以选择性地显示商品序号、商品名称、商品价格等信息，待顾客点击确认付款后，引导顾客进行支付操作，例如，可以通过银行卡支付、也可以通过手机app以及第三方支付平台进行支付。可选地，也可以不使用显示装置，仅将商品信息推送到用户终端，用户在终端上进行支付操作。待物品支付模块获取到支付成功的信息之后，去激活装置将所述物品支付区域中的已支付物品的射频识别标签进行去激活操作，例如，将rfid标签进行去激活操作，经过去激活操作的rfid标签将不能被rfid读取器检测到。
根据本发明的实施例，所述出口核验模块207还包括第二射频识别读取器，所述第二射频识别读取器用于检测所述出口核验区域是否存在未进行去激活操作的射频识别标签。
第二射频识别读取器在出口核验区域进行检测，如果检测到未进行去激活的rfid标签，则说明顾客携带了尚未支付的商品，为了防止货损，这样的情况下需要提示顾客返回支付区域进行支付。
根据本发明的实施例，还包括第一重力检测装置以及第二重力检测装置，
所述第一重力检测装置用于在所述人数统计区域进行重力检测以获得第一重量；所述第二重力检测装置用于在所述出口核验区域进行重力检测以获得第二重量；以及
所述检测所述出口核验区域是否存在未支付物品包括，如果目标对象的第二重量大于第一重量，并且，所述系统中没有所述目标对象的支付成功的信息，则确定所述出口核验区域存在未支付物品。
第一重力检测装置和第二重力检测装置用于检测顾客进门时和出门时的体重。一般情况下，如果顾客没有购物，那么出门时的体重应当等于进门时的体重。如果出门时的体重大于进门时的体重，则表示顾客进行了购物，对该顾客从进入到第一门禁的时间点开始，在系统中查询是否有该顾客的支付信息，如果不存在支付信息，则确定顾客携带了未支付的商品。因为rfid标签一般都是粘贴在商品的包装上面，这样可以防止有人故意撕掉rfid标签以逃避出口核验区域的检测。更进一步地，在查询顾客的支付信息时，可以查询已支付商品的重量信息，并进一步核对该重量信息是否与出门的体重减去进门的体重的差值相符合，如果不符合，则确定存在未支付商品。
根据本发明的实施例，还包括消费核验模块，
用于根据同一对象的第一人脸识别结果所对应的时间和第二人脸识别结果所对应的时间确定第一时间区间，以及根据所述第二人脸识别结果所对应的时间之后的第一预定时间段确定第二时间区间；查验所述第一时间区间和所述第二时间区间中是否存在支付成功的信息，如果不存在支付成功的信息，则核验在第一时间区间内是否发生消费行为，如果没有发生消费行为，则核验通过；如果发生消费行为，则推送支付提醒信息。
在另一个示例中，出口门禁系统209只设置一道门，顾客选购完商品后可以不在商店里支付，示例性地，可以采用扫码支付的方式，例如，顾客选购完商品即可离开无人商店，这时，他走到出口区域，经过人脸识别后即可出门，但是顾客需要在出门后的一定时间内完成支付，例如，半个小时，如果半个小时内，顾客在另外一个地方完成了支付，也认为是购物完成。如果在无人商店里的时间以及出门后的半个小时内都没有支付记录，则启动消费核验，核验顾客从进门到出门的这一段时间内是否发生了消费行为，如果没有消费行为，则核验通过，如果发生了消费行为但是没有支付，则向该顾客推送支付提醒信息。进一步地，如果超过一定时间还没有支付，则可以扣减该账户的信用积分，或者将该顾客加入黑名单，不让其再次进入无人商店。
根据本发明的实施例，所述消费核验模块具体用于，调取售卖区域的监控视频，根据所述监控视频核验所述对象在第一时间区间内是否发生了消费行为。
在根据监控视频核验是否发生消费行为时，可以采用人工的方式，即人工核验，根据视频监控确认发生消费行为的顾客以及消费的商品种类；还可以采用基于计算机视觉的算法自动核验，即识别顾客在哪个区域拿的商品，基于图像分析的方法识别顾客拿的商品种类。
根据本发明的实施例，所述出口门禁系统209包括第三射频识别读取器，所述第三射频识别读取器用于读取位于出口区域的所述对象携带的物品的射频识别标签数据；所述消费核验模块具体用于，根据所述第三射频识别读取器读取到的数据和所述对象的第二人脸识别结果，核验所述对象在第一时间区间内是否发生了消费行为。
在核验顾客的消费行为时，还可以使用射频识别的方式。当用户经过出口区域出去时，射频识别读取器就读取了顾客所携带的商品上的射频识别标签上的信息，虽然使用了rfid的方式识别商品，但是仍然可以不必在店里支付，待顾客在离店后的一定时间内支付即可。采用rfid的方式识别用户携带走的商品，并结合出门时的人脸识别结果，核验特定顾客的消费行为。
根据发明的另一方面，提供了一种无人售卖系统的控制方法，图1示出了根据本发明一个实施例的无人售卖系统的控制方法的示意性流程图。该方法包括以下步骤。
步骤s110，获取第一图像采集装置201采集的人脸图像。
第一图像采集装置201可以使用数码相机、普通摄像头、高清摄像头、网络摄像机等图像/视频采集设备，对特定场景进行图像获取。例如，可以将第一图像采集装置201设置在无人商店入口处的上方，设定一定的角度，使得第一图像采集装置201能够采集到质量较好的并且满足人脸检测和识别要求的图像或视频。获取到的人脸图像可以是直接采集到的原始图像，也可以是经第一图像采集装置201进行预处理之后的图像。
步骤s120，基于所述人脸图像进行活体检测，如果活体检测通过，则基于人脸底库以及所述人脸图像进行人脸识别，以获得第一人脸识别结果，如果所述人脸识别通过，则开启第一门禁系统207。
针对第一图像采集装置201获取的人脸图像进行活体检测，这里的人脸图像可以是一帧或多帧图像，也可以是一系列图像帧构成的视频。活体检测方法可以使用特定的设备进行，例如红外结构光，利用打在人脸上的结构光的反射情况判断人脸是否为活体，也可以不用特定设备，仅用图像和视频分析的方法，例如，发出特定的指令(例如摇头、张嘴、点头等)，通过分析获取的包含人脸特定动作的图像或视频来判断人脸是否为活体，又例如，使用两张或多张人脸在不同角度的图像对人脸进行三维重建，通过三维形状信息来判断人脸是否为活体。
人脸底库可以是保存注册用户人脸图像的一个数据库，也可以保存从人脸图像中提取出来的人脸图像特征。可以是用户在通过终端进行注册时上传的人脸图像，例如，用户通过手机app或其他软件程序接入到注册接口，拍摄一张人脸照片或者在现有的照片中选择一个人脸照片进行上传，云端服务器核验后保存这张照片作为人脸底库照片。
人脸识别方法可以采用深度神经网络、卷积神经网络等深度学习的方法，也可以采用lbp、sift等人工定义的特征和模式分类的传统方法。可以先进行人脸检测，然后针对人脸检测框再进行人脸识别。
步骤s130，检测第一门禁系统207是否已经关闭，如果已关闭，第二图像采集装置202采集人数统计区域的图像信息，基于所述人数统计区域的图像信息进行人数统计以得到第一统计结果。如果所述第一统计结果为超过一人时，则第二门禁系统208保持关闭，如果所述第一统计结果为一人时，则开启第二门禁系统208
为了防止尾随情况的发生，在第一门禁系统207和第二门禁系统208设置一个人数统计区域，在人数统计区域放置第二图像采集装置202，通过基于图像分析的方法来统计人数统计区域中的行人数量。待顾客进入到人数统计区域并关闭第一门禁系统207后开始统计人数统计区域中的行人数量，得到第一统计结果。。
通过对第一统计结果的分析，从而可以确定人数统计区域中有几个人，如果超过一个人则拒绝开启第二门禁系统208。可选地，可以采用屏幕显示或者语音方式进行提示，提示一次仅可以允许一人进入；如果仅有一人，则开启第二门禁系统208，允许顾客进入到购物区域。通过这种方式，可以避免一人通过人脸识别开启门禁后，又存在尾随的形式进入其他未被识别的人，可以有效地避免物品的丢失。
步骤s140，识别待支付的物品，并获取支付信息。
顾客进入到购物区域后，可以自由地选择商品，待顾客选择完商品需要付款时，可以到预定的支付区域进行支付。物品支付模块206用于实现支付操作，可以设定一个用于读取商品信息的区域，待商品放置在该区域内，识别装置对区域内的商品进行识别，并将识别出的商品名录、商品数量、商品价格进行显示，用户可以根据支付提示进行支付操作。示例性地，可以采用手机app或者第三方支付平台进行支付。支付完成后，物品支付模块206实时地获取到支付信息，在显示装置上显示支付成功。可选地，为了提高商品识别的准确性，可以设置每次支付操作可以识别的最大商品数量，例如，每次最多对5件商品进行识别和支付，所述可以识别的最大商品数量可以根据具体情况自由设定。
步骤150，采集出口区域的图像信息，对所述出口区域的图像信息中的人脸图像进行识别，以获得第二人脸识别结果，如果人脸识别通过，则开启出口门禁系统。
设置一个出口区域，在出口区域设置出口门禁系统209，示例性地，出口门禁系统可以设置一道门，也可以设置两道门。以设置一道门为例，顾客走到出口区域内，图像采集装置开始采集人脸图像，并进一步进行人脸识别，如果人脸识别成功，则开启出口门禁系统，顾客可以携带购买的商品走出。
根据本发明的实施例，还可以包括如下步骤：
所述识别待支付的物品，并获取支付信息，还包括，如果获得支付成功的信息，则将所述待支付的物品标记为已支付的物品；检测第三门禁系统是否开启，如果已开启，则检测出口核验区域是否存在未支付物品，如果所述第二人脸识别结果通过且未检测到未支付物品，则开启第四门禁系统。
出口核验区域设置在第三门禁系统和第四门禁系统之间，顾客进入到所述出口核验区域表示该顾客已经结算完成，欲核验出门，或者没有购物的顾客也欲核验出门。顾客经过第三门禁系统进入到所述出口核验区域后，商品检测装置开始检测所述出口核验区域是否存在未支付的商品，目的在于防止顾客携带未支付的商品离开；另外，在合适的位置放置第三图像采集装置203，用于对离店人员的人脸识别。如果人脸识别通过并且未检测到未支付的商品，则开启第四门禁系统，允许顾客出门，购物流程结束。如果人脸识别未能成功或在出口核验区域检测到未支付的商品，则不开启第四门禁系统，允许顾客通过第三门禁系统返回至购物区域，以进行商品返还或者继续支付等操作。另外，在所述出口核验区域设置一个求救装置，防止人脸识别不通过，顾客无法出门的问题，如果顾客通过人脸识别进入到购物区域，但是无法通过人脸识别出去，可以通过求救装置求助，远程管理员可以进行手动协助。
根据本发明的实施例，还可以包括如下步骤，接收用户提交的人脸图像，对所述人脸图像进行图像质量判断，如果所述图像质量判断为合格，将所述人脸图像注册到所述人脸底库。
由于顾客上传的用于人脸底库注册的人脸图像是多种多样的，如果是图像模糊、光照不好、非正脸照片等，用于人脸识别的底库照片则会造成人脸识别的精度降低，因此，在注册环节需要对上传的人脸照片进行图像质量判断。示例性地，图像质量判断可以包括图像大小、图像模糊程度、图像光照条件、人脸姿态等，如果图像质量判断为合格，则将该图像上传到人脸底库。另外，在注册过程中可以进行活体检测。可选地，人脸底库可以位于本地，也可以位于云端。
根据本发明的实施例，还可以包括如下步骤，采集售卖区域的图像信息，基于所述售卖区域的图像信息进行人数统计以得到第二统计结果；如果所述第二统计结果大于第一预定阈值，则第一门禁系统保持关闭。
为了提高购物体验，需要控制购物区域的购物人数，在售卖区域设置第四图像采集装置，用于对售卖区域的实时人数进行统计，得到第二统计结果，如果超过设定的人数上限，例如20人，则不再允许新的顾客进入，保持第一门禁系统关闭，并提示人数已满。第四图像采集装置可以为一个摄像装置，也可以为多个摄像装置，以覆盖到购物区域全部的范围。可选地，当达到人数上限时，可以进行声音或者视觉提示，例如通过一个显示装置显示已达人数上限，或者通过音响装置进行语音提示。
根据本发明的实施例，还可以包括如下步骤，基于所述售卖区域的图像信息进行行人属性分析，获得所述行人的属性信息；基于所述售卖区域的图像信息进行行人行为分析，获得所述行人的行进轨迹、停留区域以及在所述停留区域的停留时间，识别所述行人的试拿、试穿以及试用行为。
基于所述第四图像采集装置采集的图像或视频信息进行分析，基于视频结构化以及深度学习的方法进行视频分析，检测到图像或视频中存在的行人，对行人的属性和行为进行分析，行人的属性包括但不限于行人的年龄、性别、衣帽以及是否戴眼镜等，根据行人的属性及其行为的分析可以分析特定客户在购买商品时的喜好，例如，年龄段在20-30之间的顾客更喜欢哪些商品，女性顾客对哪个区域的商品更感兴趣等等。通过对视频的语义分析，可以帮助商店管理员有针对性地放置商品，以及将商品放置在合理的位置。
根据本发明的实施例，所述步骤s150还包括如下步骤，使用第一射频识别读取器读取放置在物品支付区域中的射频识别标签；所述将所述待支付的物品标记为已支付的物品包括，将所述物品支付区域中的射频识别标签进行去激活操作。
示例性地，采用射频识别的方式(rfid)进行商品的标识和识别。例如，在每一件商品上都贴有rfid的标签，每种标签上都存储该商品类别、商品价格、商品重量、商品生产日期、商品保质期、商品来源信息等等；在进行支付时，物品支付区域中的第一射频识别读取器读取放置在物品支付区域中的rfid标签，可选地，读取到rfid标签上存储的商品信息后，在显示装置上进行显示，例如，可以选择性地显示商品序号、商品名称、商品价格等信息，待顾客点击确认付款后，引导顾客进行支付操作，例如，可以通过银行卡支付、也可以通过手机app以及第三方支付平台进行支付。可选地，也可以不使用显示装置，仅将商品信息推送到用户终端，用户在终端上进行支付操作。待物品支付模块获取到支付成功的信息之后，去激活装置将所述物品支付区域中的已支付物品的射频识别标签进行去激活操作，例如，将rfid标签进行去激活操作，经过去激活操作的rfid标签将不能被rfid读取器检测到。
根据本发明的实施例，所述步骤s160还包括如下步骤，使用第二射频识别读取器检测所述出口核验区域是否存在未进行去激活操作的射频识别标签。
第二射频识别读取器在出口核验区域进行检测，如果检测到未进行去激活的rfid标签，则说明顾客携带了尚未支付的商品，为了防止货损，这样的情况下需要提示顾客返回支付区域进行支付。
根据本发明的实施例，还可以包括如下步骤，
在所述人数统计区域进行重力检测以获得第一重量；在所述出口核验区域进行重力检测以获得第二重量；所述检测所述出口核验区域是否存在未支付物品包括，如果目标对象的第二重量大于第一重量，并且，所述系统中没有所述目标对象的支付成功的信息，则确定所述出口核验区域存在未支付物品。。
使用重力检测装置检测顾客进门时和出门时的体重。一般情况下，如果顾客没有购物，那么出门时的体重应当等于进门时的体重。如果出门时的体重大于进门时的体重，则表示顾客进行了购物，对该顾客从进入到第一门禁的时间点开始，在系统中查询是否有该顾客的支付信息，如果不存在支付信息，则确定顾客携带了未支付的商品。因为rfid标签一般都是粘贴在商品的包装上面，这样可以防止有人故意撕掉rfid标签以逃避出口核验区域的检测。更进一步地，在查询顾客的支付信息时，可以查询已支付商品的重量信息，并进一步核对该重量信息是否与出门的体重减去进门的体重的差值相符合，如果不符合，则确定存在未支付商品。
根据本发明的实施例，还包括如下步骤，
根据同一对象的第一人脸识别结果所对应的时间和第二人脸识别结果所对应的时间确定第一时间区间，以及根据所述第二人脸识别结果所对应的时间之后的第一预定时间段确定第二时间区间；查验所述第一时间区间和所述第二时间区间中是否存在支付成功的信息，如果不存在支付成功的信息，则核验在第一时间区间内是否发生消费行为，如果没有发生消费行为，则核验通过；如果发生消费行为，则推送支付提醒信息。
在另一个示例中，出口门禁系统209只设置一道门，顾客选购完商品后可以不在商店里支付，示例性地，可以采用扫码支付的方式，例如，顾客选购完商品即可离开无人商店，这时，他走到出口区域，经过人脸识别后即可出门，但是顾客需要在出门后的一定时间内完成支付，例如，半个小时，如果半个小时内，顾客在另外一个地方完成了支付，也认为是购物完成。如果在无人商店里的时间以及出门后的半个小时内都没有支付记录，则启动消费核验，核验顾客从进门到出门的这一段时间内是否发生了消费行为，如果没有消费行为，则核验通过，如果发生了消费行为但是没有支付，则向该顾客推送支付提醒信息。进一步地，如果超过一定时间还没有支付，则可以扣减该账户的信用积分，或者将该顾客加入黑名单，不让其再次进入无人商店。
根据本发明的实施例，还包括如下步骤，
调取售卖区域的监控视频，根据所述监控视频核验所述对象在第一时间区间内是否发生了消费行为。
在根据监控视频核验是否发生消费行为时，可以采用人工的方式，即人工核验，根据视频监控确认发生消费行为的顾客以及消费的商品种类；还可以采用基于计算机视觉的算法自动核验，即识别顾客在哪个区域拿的商品，基于图像分析的方法识别顾客拿的商品种类。
根据本发明的实施例，还包括如下步骤，
读取位于出口区域的所述对象携带的物品的射频识别标签数据；根据读取到所述标签数据和所述对象的第二人脸识别结果，核验所述对象在第一时间区间内是否发生了消费行为。
在核验顾客的消费行为时，还可以使用射频识别的方式。当用户经过出口区域出去时，射频识别读取器就读取了顾客所携带的商品上的射频识别标签上的信息，虽然使用了rfid的方式识别商品，但是仍然可以不必在店里支付，待顾客在离店后的一定时间内支付即可。采用rfid的方式识别用户携带走的商品，并结合出门时的人脸识别结果，核验特定顾客的消费行为。
图3示出了应用了本发明无人售卖系统的无人商店300的示意图，图3展示了该无人商店300的俯视图。
采用了本发明的无人商店可以是任何形式的商店，例如，普通店面中设置的商店，或者可移动房屋构建的商店。无人商店300包括一个入口和一个出口，入口和出口可以在任何适当的位置设置。在入口处和出口处分别设置两道门禁系统，入口处设置第一门禁系统310和第二门禁系统320，在出口处设置的出口门禁系统包括第三门禁系统330和第四门禁系统340。
第一门禁系统310和第二门禁系统320之间为一个相对封闭的空间，称之为人数统计区域340，待顾客通过第一门禁系统310进入到人数统计区域340后，通过计算机视觉技术对该区域中的人数进行统计，如果仅为一人，则开启第二门禁系统320，允许顾客经过第二门禁系统320进入到无人商店300的购物区域，如果人数统计区域340中的人数超过了一人，则说明有尾随进入的情况发生，不开启第二门禁系统320，提示顾客一次仅能进入一人。通过人数统计，不仅防止了尾随情况的发生，而且便于无人商店的管理，防止了货损的发生。
第三门禁系统330和第四门禁系统340之间为一个相对密闭的空间，称之为出口核验区域350。如果顾客通过第三门禁系统330进入到该出口核验区域350，则确定该顾客的主观意愿是将来离开无人商店300，此时出口核验区域350的核验设备开启检测，核验是否有未支付的商品，如果未检测到没有支付的商品，则开启第四门禁系统340，允许顾客出门，至此，顾客的购物活动完成。如果在出口核验区域350中检测到有尚未支付的商品，一方面，保持第四门禁系统340关闭，另一方面，以视觉提示或者声觉提示的方式提醒顾客商品支付未完成，并允许顾客通过第三门禁系统330返回到购物区域，顾客可以继续完成支付操作或者将未支付的商品返还原处。
图4示出了应用了本发明无人售卖系统的无人商店400的示意图，图4展示了该无人商店400的俯视图。
采用了本发明的无人商店可以是任何形式的商店，例如，普通店面中设置的商店，或者可移动房屋构建的商店。无人商店400包括一个入口和一个出口，入口和出口可以在任何适当的位置设置。在入口处设置两道门禁系统，入口处设置第一门禁系统410和第二门禁系统420，在出口处设置出口门禁系统430，出口门禁系统只有一道门。
第一门禁系统410和第二门禁系统420之间为一个相对封闭的空间，称之为人数统计区域440，待顾客通过第一门禁系统410进入到人数统计区域440后，通过计算机视觉技术对该区域中的人数进行统计，如果仅为一人，则开启第二门禁系统420，允许顾客经过第二门禁系统420进入到无人商店400的购物区域，如果人数统计区域440中的人数超过了一人，则说明有尾随进入的情况发生，不开启第二门禁系统420，提示顾客一次仅能进入一人。通过人数统计，不仅防止了尾随情况的发生，而且便于无人商店的管理，防止了货损的发生。
在出口附近设置一个出口区域450，当顾客走进出口区域时，系统认为该顾客想要出门，开启图像采集装置采集人脸图像，对采集到的人脸图像进行识别，如果识别通过，则直接开启出口门禁系统430，允许顾客出去。在本实施例中，允许顾客出门后在一定时间内再进行支付，所以在出口门禁系统中只设置了一道门。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的用于行人检测的装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。