获取以及识别客户信息的方法及其装置与流程

本发明涉及人脸识别技术领域，尤其是指人脸的特征数据采集，存储以及分析，进而获取以及识别客户信息的方法及其装置。

背景技术：

随着科技的发展，出于各种安全以及便利性的考虑，人脸识别技术广泛应用在各个领域，例如：

安防(公安、安保领域)，通过预先设定好黑/白名单机制，即通过现有的人脸照片，采集其人脸特征，使人脸特征与其姓名，身份证号码等信息相互匹配，在通过广布的人口密集区域的摄像头进行采集比对，发现特征吻合的人，进行报警。

金融(政府、银行领域)，通过对本人的实时拍照，上传到金融原始数据库进行比对，用于核对是否是本人进行业务操作。

商用(商铺、公司领域)，通过实时人脸数据采集(视频或者拍照)，比对是否是本人(商场会员、公司员工)，实现打卡签到、门禁开锁、会员信息核对等业务。

在上述人脸的数据进行采集时，需要进行配合式取照，相关的个人信息采用人工方式录入；而对人脸数据进行识别时，就需要对黑/白名单机制进行海量筛查。由此可见上述应用都需要首次采集用户的原始数据，用户需要配合式的提供尽量详细的信息(姓名、年龄、电话、住址、出生日期、身份证号等)，才能有效的进行用户的识别和完成相关业务；并且在进行识别时需要通过广角高清摄像头，针对于已有人脸信息进行海量筛查比对，而最终目的只是在于对用户的身份进行确定，而完成此次身份确定服务后，没有对相关数据累积和该条数据信息的丰富，也就是说现有技术中的人脸识别技术是服务于特定的环境或场所，依赖于原始数据，并且各领域中数据采集以及存储都存在重复的工作，一些相关数据并没有进行信息共享以及应用。

技术实现要素：

本发明的目的在于解决在没有原始数据的情况下，如何能够有效的获取和识别用户人脸，并且尽可能详尽的针对个人消费者人脸进行消费信息画像，通过人工智能和大数据分析以及训练不断丰富针对此用户的信息，包括消费习惯、生活信息等，将此用于商业领域来为消费者提供更好的服务，如推荐商品、食品、促销、优惠、折扣、服务等。

本发明的目的是这样实现的：本发明提供一种获取及识别客户信息的方法，建立视频采集区域，包括以下步骤：

a、采集进入视频采集区域的客户信息，以所述客户信息中的人脸特征值生成客户身份数据包；

b、将收到所述的客户身份数据包处理后形成客户信息数据包并发送；

c、匹配所述客户信息数据包中的人脸特征，如无人脸匹配项，将所述客户信息数据包存入数据库；如具有人脸匹配项，将所述客户信息数据包并入已有数据后存入数据库，并输出识别信息。

其中，所述的客户信息包括客户的生物信息，行为信息以及消费信息。

其中，所述的客户信息数据包中包括由所述客户身份数据包中的人脸信息转换成的唯一身份信息。

其中，在所述步骤c具体匹配步骤为：

比对所述客户信息数据包中的人脸特征，特征吻合度在80％以上时，确定是已知客户，执行以下步骤：

c1、将所述数据包中的人脸特征值并入现有数据库中的该客户的数据中；

c2、删除所述客户信息数据包中生成的身份信息，使用该客户在数据库中的原身份信息。

其中，在步骤a中，可以采用配合式单体采集或随机式海量采集。

还包括客户信息识别步骤：

e、接收需要识别的数据包；

f、根据数据包中的人脸特征值在数据库中进行匹配，如果匹配失败，返回“无匹配对象”；如果匹配成功，则反馈对应数据库中的客户信息数据的识别结果。

同时本发明还提供一种获取及识别客户信息的装置，至少包括数据采集端，信息传输端，中央处理器，数据存储单元以及识别端，

所述数据采集端采集进入视频采集区域的客户信息，以所述客户信息中的人脸特征值生成客户身份数据包传输至信息传输端；

所述数据传输端将所述数据采集端发送的客户身份数据包处理后形成客户信息数据包并发送至中央处理器；

所述中央处理器对所述客户信息数据包中的人脸特征进行匹配，如无人脸匹配项，将所述客户信息数据包存入所述数据存储单元的数据库；如具有人脸匹配项，将所述客户信息数据包并入已有数据后存入所述数据存储单元的数据库，并输出识别信息至所述识别端。

其中，所述的识别单元为智能手机，智能相机，智能眼镜或智能耳机。

本发明的有益技术效果为：通过该方法，无需特意采集用户的个人信息(姓名、年龄、电话、住址、出生日期、身份证号等)即可实现对用户个人消费习惯和消费能力信息立体画像，各个商户、餐馆、宾馆、酒店等服务单位通过该信息，可精准的为用户提供可口的美食、适合的商品以及优质的服务，同时经过大量数据采集、分析和学习，实现人工智能的信息处理、识别和推荐。真正实现“最懂用户”“最贴心的消费管家”。

附图说明

图1为本发明的方法的数据处理示意图；

图2为本发明的方法中匹配过程示意图；

图3a为本发明的方法中采用的配合式单体采集图片；

图3b为本发明的方法中的非配合式海量采集图片；

图4a为本发明的方法中的单体特征输出示意图图片；

图4b为本发明的方法中的群体特征输出示意图图片；

图5为本发明的方法流程图。

具体实施方式

如图1以及图5所示，本发明提供一种获取及识别客户信息的方法，建立视频采集区域，包括以下步骤：

a、采集进入视频采集区域的客户信息，以所述客户信息中的人脸特征值生成客户身份数据包；

b、将收到所述的客户身份数据包处理后形成客户信息数据包并发送；

c、匹配所述客户信息数据包中的人脸特征，如无人脸匹配项，将所述客户信息数据包存入数据库；如具有人脸匹配项，将所述客户信息数据包并入已有数据后存入数据库，并输出识别信息。

在本实施例中，步骤a中所采集的客户信息包括：客户的生物信息，行为信息，以及消费信息等，其中客户的生物信息包括至少包括面部特征，在客户的允许情况下，还可以采用智能音频采集设备来采集客户的声音特征，采用智能掌纹采集设备来采集客户的掌纹特征等；行为信息包括行走轨迹、浏览记录、关注表情等，消费信息包括购买记录、银行卡、消费金额、会员记录等，而在此步骤中以人脸特征值为存储基础，捆绑以如上信息(在本实施例中可统称为人物概要描述)，自动生成用户身份数据包，在本发明所述的方法中，采集步骤中不进行数据分析和识别，每次默认采集的都是新的数据，通过步骤b进行封包，再通过步骤c进行比对。

本发明的方法中，参考图3a以及图3b，在客户进入视频采集区域时，采集单元自动识别人脸进行对焦抓取采集(主要包括配合式单体采集以及非配合式海量采集)，将采集到的人脸上传到服务器进行数据打包和处理。

在步骤b中，将客户人脸转换成特征值匹配以唯一的身份信息id，同时将采集到的其他客户的生物信息，行为和消费信息等与该id进行绑定，形成客户信息数据包，数据包格式为：[人脸特征值+唯一id+生物特征(声纹+掌纹+……)+行为记录(行走轨迹+浏览记录+关注表情+……)+消费记录(购买记录+银行卡+代金券+金额+会员卡号+会员信息+……)]，传输至中央处理器处理匹配。

参考图2所示，中央处理器在收到客户信息数据包时，每次收到一个新的数据包，中央处理器从现有数据库中进行人脸特征之比对。(1)比对结果在85％——99％(改值为特征吻合度，区域可调)之间的，认为是已知人脸，将新数据包中的：(a)人脸特征值合并入现有数据库中的人脸特征值，使得此人脸的特征值更加丰富(此过程叫做人脸学习过程，为了以后提高更加精准的识别率)，(b)新生成的人脸id删除，使用数据库中的原id，(c)新数据包捆绑的“生物特征”“行为记录”“消费记录”全部增加到现有数据库中对应的数据包中，以用于对该客户进行更加丰富的消费画像和人物概要描述。(2)对比结果失败(无匹配对象)时，认为是新入库人脸，将新数据包完整的存入系统中。

在本实施例中，中央处理器在收到需要识别的数据包时，根据数据包中的人脸特征值在数据库中进行匹配，如果匹配失败，返回“无匹配对象”；如果匹配成功，则反馈对应数据库中的识别结果“人物概要描述”(即客户信息数据)。

本实施例中，中央处理器处理后的数据包，以既定的数据包格式进行存储，并且可以针对人脸特征值和客户id进行快速检索。

所述识别的数据包，是使用终端硬件设备(智能手机、智能相机、智能眼镜、智能耳机等)通过特有的应用程序针对某一个客户(人脸)进行特征采集，将采集到的人脸特征值传输到中央处理器进行识别的，处理端识别后，调用对应存储于数据库中的数据，将识别结果(人物概要描述)返回给识别端，识别端通过智能硬件设备以光学或者音频方式对识别结果进行输出，参考图4a和图4b。

同时本发明还提供一种可使用上述方法的获取及识别客户信息的装置，至少包括数据采集端，信息传输端，中央处理器，数据存储单元以及识别端，

所述数据采集端采集进入视频采集区域的客户信息，以所述客户信息中的人脸特征值生成客户身份数据包传输至信息传输端；

所述数据传输端将所述数据采集端发送的客户身份数据包处理后形成客户信息数据包并发送至中央处理器；

所述中央处理器对所述客户信息数据包中的人脸特征进行匹配，如无人脸匹配项，将所述客户信息数据包存入所述数据存储单元的数据库；如具有人脸匹配项，将所述客户信息数据包并入已有数据后存入所述数据存储单元的数据库，并输出识别结果至所述识别端。

在本发明中，所示的识别结果(即此人物概要描述信息)可以对客户、店铺以及广场三方面提供实际意义的有益效果：

客户角度：客户会获得更好的购物、餐饮、住宿以及娱乐等服务体验，商铺会通过该客户画像了解客户身材尺寸、穿衣喜好，无需对客户进行任何打扰，即可提供适合客户的衣物等商品；餐厅可以了解客户口味习惯，推荐甚至自动为用户订菜品、订座位等；客户入住宾馆酒店，服务人员可以立即识别客户，引领客户直接进入客房，并且根据历史画像提供相关的客房服务等等。

店铺角度：店铺可以根据入店客户的消费画像，推荐适合客户的商品，甚至根据用户喜好提供让用户愉悦甚至惊喜的购物体验，根据用户对某种商品的历史关注度，提供相应的促销和优惠，促进用户购买商品。同时让店员在单位时间内更加有效的服务客户，推销商品，提高成单概率，提升店铺的销售业绩。

广场角度：商场和酒店等大型广场，可以通过累积的大数据分析，对本广场制定更加合理的招商计划，引入更符合消费者的商铺、餐饮和娱乐等服务。并且对未来广场的选址，规划和建设提供更加有效的数据，使商业地产广场项目的有效率和盈利达到最大化。

在本发明中，采用了通用的人脸识别技术，因此具体原理在此不再赘述，但是本发明通过对人脸识别中数据的整个应用，实现人工智能的信息处理、识别和推荐。

以上是本发明的较佳实例，并非对本发明作任何形式上的限制。凡是依据本发明的技术是指对以上的实例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。