一种基于人脸的服务提供方法及装置与流程

本申请涉及电子信息领域，尤其涉及一种基于人脸的服务提供方法及装置。

背景技术：

随着电子信息技术的发展，人脸识别逐渐被应用在各个领域，尤其对于服务提供领域，人脸作为用户身份识别的依据，能够改善用户的被服务感受。以餐饮行业为例，用户可以使用人脸识别技术，实现点餐和支付过程。

在基于人脸识别的服务提供过程中，如何兼顾效率和识别率，成为目前亟待解决的问题。

技术实现要素：

本申请提供了一种基于人脸的服务提供方法及装置，目的在于解决如何在基于人脸识别的服务提供过程中兼顾效率和识别率的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种基于人脸的服务提供方法，包括：

采集第一图像；

如果所述第一图像中包括目标人脸图像，显示服务提供界面，所述目标人脸图像为满足预设条件的人脸图像；

在所述服务提供界面，显示目标服务内容，所述目标服务内容为所述目标人脸图像对应的服务内容，所述目标服务内容从第一人脸库中，依据所述目标人脸图像查找获得，所述第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，所述预设范围为与采集所述目标人脸图像的设备的距离满足预设的距离阈值的设备；

基于针对所述服务内容的支付请求，采集第二图像，所述第二图像为所述目标人脸图像作为响应所述支付请求的触发条件。

可选的，所述预设条件包括：

多个人脸图像中面积最大、面积大于第一阈值、角度在预设范围内、清晰度大于第二阈值中的至少一项。

可选的，在所述显示服务提供界面之后，还包括：

检测是否能够跟踪到所述目标人脸图像；

如果不能跟踪到所述目标人脸图像，将所述服务提供界面保持预设时长后，退出所述服务提供界面，和/或，发出提示信息，所述提示信息用于提示所述目标用户将人脸移动到预设区域。

可选的，在所述退出所述服务提供界面之后，还包括：

缓存退出前所述服务提供界面中的服务内容。

可选的，还包括：

如果在所述缓存退出前所述服务提供界面中的服务内容之后的预设时间范围内，检测到所述目标人脸图像，显示缓存的所述服务提供界面中的服务内容。

一种基于人脸的服务提供方法，包括：

获取目标人脸图像，所述目标人脸图像为满足预设条件的人脸图像；

从第一人脸库中，查找目标服务内容，所述第一人脸库用于存储预设的人脸图像以及服务内容的对应关系；所述第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，所述预设范围为与采集所述目标人脸图像的设备的距离满足预设的距离阈值的设备；所述目标服务内容为与所述目标人脸图像对应的服务内容；

获取针对所述目标服务内容的支付请求；

如果所述支付请求中包括所述目标人脸图像，响应所述支付请求。

可选的，还包括：

如果所述第一人脸库中不包括所述目标服务内容，从第二人脸库中查找所述目标服务内容，所述第二人脸库用于存储预设的人脸图像以及服务内容的对应关系；所述第二人脸库中的人脸图像表示的人脸的数量大于所述第一人脸库中的人脸图像表示的人脸的数量。

可选的，还包括：

如果从所述第二人脸库中查找到多个所述目标用户，提示输入身份区分信息；

依据所述身份区分信息，从所述多个目标用户中确定一个目标用户，所述第二人脸库中还包括身份区分信息与人脸图像以及服务内容的对应关系。

一种基于人脸的服务提供客户端，包括：

采集模块，用于采集第一图像；

显示模块，用于如果所述第一图像中包括目标人脸图像，显示服务提供界面，所述目标人脸图像为满足预设条件的人脸图像；

所述显示模块还用于，在所述服务提供界面，显示目标服务内容，所述目标服务内容为所述目标人脸图像对应的服务内容，所述目标服务内容从第一人脸库中，依据所述目标人脸图像查找获得，所述第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，所述预设范围为与采集所述目标人脸图像的设备的距离满足预设的距离阈值的设备；

所述采集模块还用于，基于针对所述服务内容的支付请求，采集第二图像，所述第二图像为所述目标人脸图像作为响应所述支付请求的触发条件。

可选的，所述预设条件包括：

多个人脸图像中面积最大、面积大于第一阈值、角度在预设范围内、清晰度大于第二阈值中的至少一项。

可选的，还包括：

跟踪模块，用于检测是否能够跟踪到所述目标人脸图像；如果不能跟踪到所述目标人脸图像，将所述服务提供界面保持预设时长后，退出所述服务提供界面，和/或，发出提示信息，所述提示信息用于提示所述目标用户将人脸移动到预设区域。

可选的，所述跟踪模块还用于：

在所述退出所述服务提供界面之后，缓存退出前所述服务提供界面中的服务内容。

可选的，所述跟踪模块还用于：

如果在所述缓存退出前所述服务提供界面中的服务内容之后的预设时间范围内，检测到所述目标人脸图像，显示缓存的所述服务提供界面中的服务内容。

一种基于人脸的服务提供服务端，包括：

获取模块，用于获取目标人脸图像，所述目标人脸图像为满足预设条件的人脸图像；

查找模块，用于从第一人脸库中，查找目标服务内容，所述第一人脸库用于存储预设的人脸图像以及服务内容的对应关系；所述第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，所述预设范围为与采集所述目标人脸图像的设备的距离满足预设的距离阈值的设备；所述目标服务内容为与所述目标人脸图像对应的服务内容；

所述获取模块还用于，获取针对所述目标服务内容的支付请求；

支付模块，用于如果所述支付请求中包括所述目标人脸图像，响应所述支付请求。

可选的，所述查找模块还用于：

如果所述第一人脸库中不包括所述目标服务内容，从第二人脸库中查找所述目标服务内容，所述第二人脸库用于存储预设的人脸图像以及服务内容的对应关系；所述第二人脸库中的人脸图像表示的人脸的数量大于所述第一人脸库中的人脸图像表示的人脸的数量。

可选的，所述查找模块还用于：

如果从所述第二人脸库中查找到多个所述目标用户，提示输入身份区分信息；依据所述身份区分信息，从所述多个目标用户中确定一个目标用户，所述第二人脸库中还包括身份区分信息与人脸图像以及服务内容的对应关系。

本申请所述的基于人脸的服务提供方法及装置，依据目标人脸图像显示服务提供界面，并在第一人脸库中查找与目标人脸图像对应的目标服务内容，因为第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，预设范围为与采集目标人脸图像的设备的距离满足预设的距离阈值的设备，所以与通用人脸库相比，因为人脸的数量少，所以查找的效率高，但又因为预设范围考虑到了用户的活动范围，因此相对于使用通用人脸库，识别率并不会降低。并且，在支付阶段，只需要将采集到的人脸图像与目标人脸图像进行比较，而无需在人脸库中进行匹配以确认用户身份，因此，也能够提高效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种基于人脸的服务提供方法的流程图；

图2为本申请实施例公开的基于人脸的点餐过程的流程图；

图3为本申请实施例公开的基于人脸的服务提供客户端的结构示意图；

图4为本申请实施例公开的基于人脸的服务提供服务端的结构示意图。

具体实施方式

本申请实施例公开的基于人脸的服务提供方法，由客户端和服务端配合执行，在实际中，客户端和服务端可以设置在一个实体设备上，也可以分布设置在不同的实体设备上。

客户端包括但不限于：自助点餐机、自助售票机、自助售卖机、银行atm机、自动闸机、游乐设备等。

通常，客户端可以包括控制器、显示屏和摄像头，可选的，还可以包括但不限于传感器、打印机、扫码器等附属设备。

在本发明的以下实施例中，摄像头包括但不限于普通摄像头、深度摄像头、红外摄像头、环境光摄像头等。

客户端的软件系统包括但不限于windows系统、linux桌面系统、android系统等界面操作系统、以及运行在操作系统之上的软件，软件提供了人脸识别算法和调用摄像头的驱动程序。

服务端可以为服务器。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的一种基于人脸的服务提供方法，包括以下步骤：

s101：客户端采集第一图像。

本实施例中，客户端可以通过摄像头采集图像，采集到的图像中包括但不限于人脸图像。

s102：客户端判断采集的第一图像中是否包括满足预设条件的人脸图像(简称为目标人脸图像)，如果是，执行s103，如果否，执行s101。

其中，预设条件包括：多个人脸中面积最大、面积大于第一阈值、角度在预设范围内、清晰度大于第二阈值中的至少一项。其中，角度是指人脸与采集设备的角度，包括但不限于：人脸相对于采集设备的仰角、俯角、左右夹角等。

设置预设条件的目的在于，区分有服务需求的人脸与被采集到的其它人脸，以避免被没有服务需求的人脸误触发，以节省资源。

s103：客户端显示服务提供界面。

服务提供界面为向用户提供服务的界面，例如自助点餐机的点餐界面。在被唤醒之前，客户端可以显示广告界面，或者处于待机状态。

s104：客户端将目标人脸图像发给服务端。

s105：服务端从第一人脸库中，查找目标服务内容，其中，目标用户为与目标人脸图像对应的服务内容。

第一人脸库用于存储预设的人脸图像、用户的信息(可选项，用于指示用户)以及服务内容的对应关系。

需要强调的是，第一人脸库为由预设范围内的设备采集的人脸图像组成的人脸库，预设范围为与采集目标人脸图像的设备的距离满足预设的距离阈值的设备。其中，设备为设置在客户端上的摄像头等图像采集设备。

因为第一人脸库中的人脸图像为与采集到目标人脸图像的客户端的距离在预设范围内的客户端采集到的人脸图像，因此，在实际中，可以通过限定预设范围的大小，来设定第一人脸库的大小。例如，一家餐厅的客户端采集到人脸图像后，服务端对比人脸图像使用的人脸库为：由设置在该餐厅附近的餐厅中的客户端采集的人脸图像构成的人脸库。

可见，本实施例中使用的第一人脸库与现有的通用人脸库相比，人脸的数量较少，因此能够提高匹配的效率，但又因为考虑了用户的活动区域，因此并不会因为人脸的数量少而降低识别率。

s106：服务端向客户端发送目标服务内容。

s107：客户端在服务提供界面显示服务内容。

s108：客户端接收针对目标服务内容的第一支付请求。

s109：客户端采集第二图像。

本实施例中，使用“第一”和“第二”区分在不同时机(s101和s109)采集的图像。

s110：客户端将第二支付请求发给服务端。

第二支付请求中除了包括第一支付请求中的内容外，还包括第二图像。例如，第二支付请求中包括第二图像以及支付金额等支付信息。

s111：服务端判断第二图像中是否包括目标人脸图像，如果是，执行s112，如果否，向客户端发送验证错误请求。

s112：响应支付请求。

通常，响应支付请求可以为将支付请求发给第三方支付系统进行支付，如支付完成，向客户端发送支付成功消息，否则提示支付失败。

从图1所示的过程可以看出，服务端使用比通用人脸图像库小的第一人脸库，匹配客户端发送的人脸图像，因此查找效率较高，又因为第一人脸库中的人脸由与待匹配的人脸图像的采集设备在预设距离范围内的设备采集，所以，考虑到用户的活动范围，第一人脸库中包括待匹配的人脸的可能性并不会因为人脸图像数量的减少而降低，因此相对于使用通用人脸库，识别率并不会降低。并且，只需要将支付阶段采集到的人脸图像与已经匹配通过的目标人脸图像进行比较，即可进行支付，而无需再将支付阶段采集到的人脸图像在人脸库中进行匹配以确认用户身份，因此，也能够提高效率。综上所述，图1所示的方法，不仅提高了效率，还具有较高的识别率。

图2以自助点餐场景为例，对基于人脸的点餐过程进行详细的说明。

图2包括以下步骤：

s201：自助点餐机处于待机状态，并以预设的周期采集图像。

本实施例中，将在待机状态下(在s203之前)采集到的图像称为第一图像。

s202：自助点餐机判断第一图像中是否包括目标人脸图像，如果是，执行s203，如果否，执行s01。

具体的，自助点餐机判断第一图像中是否包括人脸图像，如果是，检测是否有多个人脸图像，如果是，将面积最大的人脸图像作为目标人脸图像，检测目标人脸图像的面积是否大于第一阈值，如果是，检测目标人脸图像的角度(角度可以包括但不限于点头方向、摇头方向、左右摆头方向的角度)是否在预设范围内，如果是，检测目标人脸图像的清晰度是否大于第二阈值，如果是，则第一图像中包括目标(即满足预设条件的)人脸图像。以上每个检测步骤在否的情况下，均为第一图像中不包括目标人脸图像的情况。

由自助点餐机执行触发显示点餐界面的判断过程(s202)，有利于提高显示点餐界面的响应速度。

s203：自助点餐机将目标人脸图像发给服务端。

s204：服务端判断从第一人脸库中是否能够查找到目标人脸图像对应的目标餐饮内容，如果是，执行s205，如果否，执行s212。

s205：服务端将目标餐饮内容发给自助点餐机。

具体的，如果目标人脸图像对应的用户(即目标用户)为历史用户，则目标人脸图像对应的餐饮内容中包括目标用户的历史点餐内容，以便目标用户可以快速选择历史点餐内容中的餐品。如果目标用户不是历史用户，则目标人脸图像对应的目标餐饮内容中可以包括推荐餐品等内容。当然，为了方便用户的点餐，所有人脸图像对应的餐饮内容中可以包括全部餐饮的列表。

s206：自助点餐机显示点餐界面，点餐页面中包括目标人脸图像对应的目标餐饮内容。

用户可以在自助点餐机上选择需要的餐饮。

s207：自助点餐机检测是否能够跟踪到目标人脸图像，如果否，执行s208-s211，如果是，执行s207。

s208：客户端显示提示信息，提示信息用于提示目标用户将人脸移动到预设区域。

预设区域为能够跟踪到目标人脸图像的区域。

例如，正在点餐的用户因为某些原因，把头扭开，使得摄像头采集不到人脸图像，客户端发出提示，提示用户把脸移到可采集范围内，以便用户的点餐不被中断。

s209：客户端将包括目标餐饮内容的点餐页面保持预设时长后，退出服务提供界面。

需要说明的是，预设时长从跟踪不到目标人脸图像开始计时。

s210：客户端缓存退出前的点餐页面。

退出前的点餐界面，可能是目标餐饮内容，也可能是目标用户在目标餐饮内容上进行操作后的内容，例如，已经从目标餐饮内容中选择了部分餐饮。

s211：客户端如果重新采集到目标人脸图像，则显示缓存的点餐页面。

需要说明的是，s211在执行s210后预设的时间范围内执行，也就是说，如果因为用户暂时扭脸而导致退出点餐界面，则在用户重新将脸转回到可采集范围内的情况下，重新显示点餐界面。而如果退出点餐界面与重新采集到第一人脸图像的间隔时间过长，则很有可能用户不再需要点餐，所以，设置了预设的时间范围，既能及时继续终端的点餐过程，又能保障用户的隐私。

s212：服务端从第二人脸库中查找目标服务内容。

第二人脸库用于存储预设的人脸图像、用户(可选项)以及服务内容的对应关系，第二人脸库中的人脸图像表示的人脸的数量大于所述第一人脸库中的人脸图像表示的人脸的数量。第二人脸库可以为通用人脸库。

也就是说，服务端先从第一人脸库中匹配目标人脸图像，如果匹配不到，则从范围较大的第二人脸库中匹配。

因为第二人脸库中的人脸信息的数量较多，所以，匹配的准确性可能会降低，有可能匹配到多个目标用户，所以，本实施例中还包括s213。

s213：服务端如果查找到多个目标用户，提示输入身份区分信息，依据身份区分信息，从所述多个目标用户中确定一个目标用户。

具体的，服务端将提示信息发给客户端，客户端显示提示信息。例如，提示输入手机号码等能够区分用户的信息。

在执行s213的情况下，第二人脸库中还包括身份区分信息与人脸图像、用户以及服务内容的对应关系。

需要说明的是，如果目标人脸图像在第二人脸库中没有匹配到目标服务信息，则说明用户需要注册，即输入人脸图像和身份信息(包括身份区别信息)。

可选的，如果目标人脸图像在第一人脸库中没有匹配到目标服务信息，而在第二人脸库中匹配到目标服务信息，则将目标图像、目标用户以及目标服务信息的对应关系存储到第一脸库中，以使得虽然用户在首次到一个区域中的店点餐的情况下，人脸识别的通过率可能较低，但首次点餐后，第一人脸库即会存储用户的人脸图像，所以识别率和效率均会显著提升。

在用户点餐结束后，进入支付流程：

s214：客户端采集第二图像，并将包括第二图像的支付请求发给服务端。

s215：服务端判断支付请求中是否包括目标人脸图像，如果是，执行s216，否则，向客户端发送验证错误信息。

s216：响应支付请求。

本实施例中，响应支付请求的依据为目标人脸图像，而目标人脸图像为用户登陆(即唤醒客户端显示服务提供界面)的依据，即只要用户登陆阶段的识别成功，则支付阶段，只需验证是否跟登陆使用的人脸图像一致即可，即1:1的验证，与现有的支付流程中从人脸库去匹配客户端发送的人脸即1：n的方式相比，效率更高。

图3为本申请实施例公开的基于人脸的服务提供客户端，包括：采集模块、显示模块和跟踪模块。

采集模块，用于采集第一图像。显示模块用于如果所述第一图像中包括目标人脸图像，显示服务提供界面。显示模块还用于在所述服务提供界面，显示目标服务内容。采集模块还用于基于针对所述服务内容的支付请求，采集第二图像，所述第二图像为所述目标人脸图像作为响应所述支付请求的触发条件。

跟踪模块用于检测是否能够跟踪到目标人脸图像。如果不能跟踪到目标人脸图像，将服务提供界面保持预设时长后，退出服务提供界面，和/或，发出提示信息，提示信息用于提示目标用户将人脸移动到预设区域。并在退出服务提供界面之后，缓存退出前服务提供界面中的服务内容。如果在缓存退出前服务提供界面中的服务内容之后的预设时间范围内，检测到目标人脸图像，显示缓存的服务提供界面中的服务内容。

以上各个模块的功能的具体实现方式，可以参见上述方法实施例，这里不再赘述。

图4为本申请实施例公开的基于人脸的服务提供服务端，包括：获取模块、查找模块和支付模块。

获取模块用于获取目标人脸图像。查找模块用于从第一人脸库中，查找目标服务内容，如果所述第一人脸库中不包括所述目标服务内容，从第二人脸库中查找目标服务内容，如果从第二人脸库中查找到多个所述目标用户，提示输入身份区分信息，并依据身份区分信息，从多个目标用户中确定一个目标用户。

所述获取模块还用于获取针对目标服务内容的支付请求。支付模块用于如果支付请求中包括目标人脸图像，响应支付请求。

以上各个模块的功能的具体实现方式，可以参见上述方法实施例，这里不再赘述。

以上客户端和服务端协助完成基于人脸的服务提供流程，具有较高的识别率和效率。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干请求用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。