一种基于人脸识别和智能感知的自助结账系统及方法与流程

本发明涉及自助结账设备技术领域，具体涉及一种基于人脸识别和智能感知的自助结账系统及方法。

背景技术：

随着人工智能、互联网和科技的不断的发展和进步，人们的生活方式也在不断的发生变化，从人工点餐到网络点餐，从而现金交易到互联网交易，科技的发展极大的程度上为人们提供了便利。

但目前的餐厅、超市、菜市场和水果店主要还是采用人工结账的方式，通过射频技术结合计算系统，再配合支付系统完成一个结账工作，但是上述结账系统存在需要人工操作、故障点多，维护困难等缺点，因此本发明提出一种结合人脸识别和智能感知技术的自助结账系统及方便，可以实现自主结账，使结账更省时、更简单和更智能化

技术实现要素：

本发明的目的在于：为解决上述背景技术中提出的问题，本发明提供了一种基于人脸识别和智能感知的自助结账系统及方法。

本发明为了实现上述目的具体采用以下技术方案：

一种基于人脸识别和智能感知的自助结账系统，包括：智能感知模块、智能称重模块、人脸识别移动终端和云系统平台，所述智能感知模块和智能称重模块均与人脸识别移动终端电性连接，所述人脸识别移动终端和智能称重模块均与云系统平台电性连接；

所述智能感知模块用于探测设备周围的人员，并传输信号给人脸识别移动终端，同时唤醒人脸识别移动终端工作对设备周围的人员进行人脸数据采集；智能感知模块还能够识别顾客的取餐行为，监控当前顾客取餐的行为特征并识别当前顾客的手臂的取餐动作，如果当前顾客无取餐的行为，而智能感知模块又识别到其他顾客的手臂的取餐动作则发出报警提示；

所述智能称重模块用于对产品进行称重，同时将产品的画面进行拍摄并传输给云系统平台进行比对，并核算出产品的重量和价格；

所述人脸识别移动终端用于对设备周围用户的人脸数据进行采集并传输到云系统平台进行比对；

所述云系统平台用于储存客户的人脸数据、账户数据和产品数据。

进一步地，所述智能感知模块包括雷达模块和与雷达模块电性连接的雷达信号识别读取模块组成；

所述雷达模块预设有探测范围及探测频率，其用于将当人或物靠近设备时达到设定的范围阈值时，触发雷达信号识别读取模块；

所述雷达信号识别读取模块用于接收雷达模块传输的数据并将启动信号传输给人脸识别移动终端，雷达模块为激光雷达；

所述识别当前顾客的手臂的取餐动作的方法为建立人体模型，人体模型包括人体手臂特征和取餐用具特征模型，雷达模块识别手臂特征和取餐用具特征以及顾客手臂运动轨迹，将顾客手臂来回运动特征判别为当前顾客的取餐行为，雷达模块能够设置探测距离、探测范围及探测频率，当人或物靠近餐台时，与餐台的距离达到设定值，雷达模块触发，并实时传输信号给人脸识别移动终端确定当前取餐顾客。

进一步地，所述智能称重模块包括称重单元、比对单元和计算单元；所述称重单元用于对产品的重量进行称重；所述比对单元用于对产品的图形数据进行采集并传输给云系统平台进行比对，然后将比对的结果传输给计算单元；所述计算单元用于将称重单元得到的数据和比对单元得到的数据进行核算得到产品的价格。

进一步地，所述智能称重模块还包括去重单元；所述去重单元用于去除盛放产品容器的重量。

进一步地，所述人脸识别移动终端包括显示单元、识别单元和扣费单元；所述显示单元用于显示产品的类别、重量和价格；所述识别单元用于采集客户的人脸数据并传输给云系统平台进行比对判断，识别客户的身份信息和账户信息；所述扣费单元用于对识别身份后的客户核算出价格的产品进行统一结账。

一种基于人脸识别和智能感知的自助结账系统的使用方法，包括以下步骤：

s100，用户携带装好的产品移动到智能称重模块周围；

s200，通过雷达模块监测设备周围的人，当有用户靠近并达到距离阈值时启动人力识别移动终端；

s300，识别模块对用户的脸部数据进行采集并传输给云系统平台进行比对后，核定用户身份，并获取用户的账户数据；

s400，用户通过称重单元完成对产品的称重工作，同时比对模式用于将产品图片进行拍摄传输到云系统平台进行比对得到产品的单价，并通过计算单元核算得到产品的价格；

s500，用户持续执行步骤s,通过计算单元将所有的产品价格进行汇总得到总价；

s600，用户通过扣费单元完成产品的扣费工作。

本发明的有益效果如下：本发明可以更加智能化、方便的完成对产品的称重、计算和结账工作，不需要二维码、条形码等技术，因此维护方便，应用性广，同时能够通过识别顾客的取餐动作，来判断顾客是否取餐以及是否是当前顾客取餐。

附图说明

图1是本发明系统原理框图；

图2是顾客取餐动作监控原理框图。

附图标记：1、智能感知模块；101、雷达模块；102、雷达信号识别读取模块；2、智能称重模块；201、称重单元；202、比对单元；203、计算单元；204、去重单元；3、人脸识别移动终端；301、显示单元；302、识别单元；303、扣费单元；4、云系统平台。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

实施例1

如图1所示，本发明一个实施例提出的一种基于人脸识别和智能感知的自助结账系统，包括智能感知模块1、智能称重模块2、人脸识别移动终端3和云系统平台4，智能感知模块1和智能称重模块2均与人脸识别移动终端3电性连接，人脸识别移动终端3和智能称重模块2均与云系统平台4电性连接，云系统平台4由主机和云平台组成，将编程好的程序放入到“云”平台内进行运行，同时利用主机可以对程序和数据信息进行修改。

智能感知模块1用于探测设备周围的人员，并传输信号给人脸识别移动终端3，同时唤醒人脸识别移动终端3工作对设备周围的人员进行人脸数据采集；智能感知模块1包括雷达模块101和与雷达模块101电性连接的雷达信号识别读取模块102组成；雷达模块101预设有探测范围及探测频率，雷达模块101为现有公知技术，其主要目的是将设备周围的环境进行检测，判断是否有人靠近，当有人靠近时，方便唤醒装置进行运作，当无人靠近时，则保持设备处于待机状态，从而可以降低能耗，具有节能的作用，其中雷达模块101的工作原理时，由于雷达模块101上预设有距离阈值(如人距离设备的距离为0-30cm)，当人靠近设备并达到设定的范围阈值时，触发雷达信号识别读取模块102；雷达信号识别读取模块102用于接收雷达模块101传输的数据并将启动信号传输给人脸识别移动终端3，因此当设备判断有人靠近时，则可以唤醒人脸识别移动终端对用户的人脸数据进行识别进行结账工作。

智能称重模块2用于对产品进行称重，同时将产品的画面进行拍摄并传输给云系统平台4进行比对，并核算出产品的重量和价格，其中智能称重模块2适用于食堂、餐厅、超市和水果店内各种环境；智能称重模块2包括称重单元201、比对单元202和计算单元203；称重单元201用于对产品的重量进行称重，其中称重单元201工作原理是通过称重传感器将产品的质量进行测量，得到产品的重量数据；比对单元202用于对产品的图形数据进行采集并传输给云系统平台4进行比对，然后将比对的结果传输给计算单元203，需要说明的是，在对产品进行比对过程中，存在以下几种情况：

(1)当为散称类物品时(如散称的蔬菜、肉类、水果和零食等)，图形比对正确后，则得到的是产品的单价；

(2)当为具有成品包装的产品(如具有包装的奶粉、薯片和饮料等)时，图形比对正确后，同时比对的产品的重量在产品的重量阈值内，既一瓶可乐的预设重量为1.5-1.6kg，经过称重单元201称重得到的可乐数据为1.52kg，在预制范围内，则得到了产品的实际价格；

(3)当为具体成品食物时，如在食堂为成品的菜，则比对处菜品的类型，并得到菜品的单价；

计算单元203用于将称重单元201得到的数据和比对单元202得到的数据进行核算得到产品的价格，根据上述比对单元202的三种情况，则计算单元203也具有以下三种情况：

(1)当为散称类物品时，则计算标准为重量x单价；

(2)当为具有成品包装的产品使，则计算标准为成品价；

(3)当为具体成品食物时，则计算标准为重量x单价；因此本发明可以应用的环境广，在食堂内同样可以实现无人结账；智能称重模块2还包括去重单元204；

去重单元204用于去除盛放产品容器的重量，考虑到一些情况下存在容器重量，如在食堂使用时，存在饭碗具有重量的现象，因此这些重量可以进行去除，通过比对模块识别出这样产品后，将总重量减去容器重量即可得到产品的重量，保证核算的准确性，因此不需要使用条形码就可以完成产品的测量工作，且不需要输入产品编码和产品单价就可以完成对产品的称重计算工作，因此更加方便、更加智能化；需要说明的是，计算单元203可以将同一客户的所有产品的价格进行自动汇总。

人脸识别移动终端3用于对设备周围用户的人脸数据进行采集并传输到云系统平台4进行比对；人脸识别移动终端3包括显示单元301、识别单元302和扣费单元303；显示单元301用于显示产品的类别、重量和价格，显示单元301为一智能屏幕，且可以进行触屏操作；识别单元302用于采集客户的人脸数据并传输给云系统平台4进行比对判断，识别客户的身份信息和账户信息，识别单元302为一超高清摄像头，用于拍摄人脸；扣费单元303用于对识别身份后的客户核算出价格的产品进行统一结账，其中扣费单元303需要人工手动点击显示单元301进行二次人脸识别后自动扣款，其中系统账户会自动绑定用户的支付账户(如支付宝、微信和银行卡等)，直接扣款。

云系统平台4用于储存客户的人脸数据、账户数据和产品数据，云系统平台4是整个发明的核心，其储存有用户的信息，如人脸数据，用于识别用户后，进入到用户的账户内，其中用户的账户信息内储存有用户的联系方式、联系地址和扣款服务等；产品数据包括产品的图片和价格。

一种基于人脸识别和智能感知的自助结账系统的使用方法，包括以下步骤：

s100，用户携带装好的产品移动到智能称重模块2周围；

s200，通过雷达模块101监测设备周围的人，当有用户靠近并达到距离阈值时启动人力识别移动终端；

s300，识别模块对用户的脸部数据进行采集并传输给云系统平台4进行比对后，核定用户身份，并获取用户的账户数据；

s400，用户通过称重单元201完成对产品的称重工作，同时比对模式用于将产品图片进行拍摄传输到云系统平台4进行比对得到产品的单价，并通过计算单元203核算得到产品的价格；

s500，用户持续执行步骤s400,通过计算单元203将所有的产品价格进行汇总得到总价；

s600,用户通过扣费单元303完成产品的扣费工作。

实施例2

如图1-2所示一种基于人脸识别和智能感知的自助结账系统，包括：智能感知模块1、智能称重模块2、人脸识别移动终端3和云系统平台4，所述智能感知模块1和智能称重模块2均与人脸识别移动终端3电性连接，所述人脸识别移动终端3和智能称重模块2均与云系统平台4电性连接；

所述智能感知模块1用于探测设备周围的人员，并传输信号给人脸识别移动终端3，同时唤醒人脸识别移动终端3工作对设备周围的人员进行人脸数据采集；智能感知模块1还能够识别顾客的取餐行为，监控当前顾客取餐的行为特征并识别当前顾客的手臂的取餐动作，如果当前顾客无取餐的行为，而智能感知模块1又识别到其他顾客的手臂的取餐动作则发出报警提示；

所述智能称重模块2用于对产品进行称重，同时将产品的画面进行拍摄并传输给云系统平台4进行比对，并核算出产品的重量和价格；

所述人脸识别移动终端3用于对设备周围用户的人脸数据进行采集并传输到云系统平台4进行比对；

所述云系统平台4用于储存客户的人脸数据、账户数据和产品数据。

进一步地，所述智能感知模块1包括雷达模块101和与雷达模块101电性连接的雷达信号识别读取模块102组成；

所述雷达模块101预设有探测范围及探测频率，其用于将当人或物靠近设备时达到设定的范围阈值时，触发雷达信号识别读取模块102；

所述雷达信号识别读取模块102用于接收雷达模块101传输的数据并将启动信号传输给人脸识别移动终端3，雷达模块101为激光雷达；

所述识别当前顾客的手臂的取餐动作的方法为建立人体模型，人体模型包括人体手臂特征和取餐用具特征模型，雷达模块101识别手臂特征和取餐用具特征以及顾客手臂运动轨迹，将顾客手臂来回运动特征判别为当前顾客的取餐行为,感知模组是由雷达模块及雷达信号识别读取模块组成，本模组开机即连续工作(发射及接收)，雷达模块101能够设置探测距离、探测范围及探测频率，当人或物靠近餐台时，与餐台的距离达到设定值，雷达模块101触发，并实时传输信号给人脸识别移动终端3确定当前取餐顾客。