无效客流的去除方法、系统、设备及计算机可读存储介质与流程

[0001]
本发明属于计算机视觉技术领域，涉及一种去除方法和系统，特别是涉及一种无效客流的去除方法、系统、设备及计算机可读存储介质。


背景技术：

[0002]
基于计算机视觉技术的客流统计技术，一直以来都是各个研究机构、企业的研究热点，它有着广泛的应用场景，和极高的商业价值。
[0003]
在巡店系统中，客流统计是一项具有重要价值的指标数据。店员产生的客流计数会对店铺真实客流数据产生严重的干扰。因此，店员产生的客流数据会视作无效客流。在巡店系统中，去除无效客流具有很高的实际应用价值。
[0004]
为了解决这个问题，传统方法一般有两种方案：基于wifi探针的店员定位和基于视觉技术的店员识别。
[0005]
前者的技术原理是在店铺部署wifi探针，识别店员的手机信号，由此来定位店员在店铺的位置。根据定位信息去排除由店员产生的客流计数。但这种技术存在三个问题：一是业务逻辑错误。因为定位的是手机，但手机和店员没有绑定关系。二是部署成本高，运维成本高。三是定位精度差。
[0006]
基于视觉技术的店员识别是目前的主流方案。需要在部署时录入店员的人脸信息，通过店铺监控抓拍顾客人脸，与识别库中的店员人脸进行匹配，从而去除无效客流。属于配合式的店员识别技术。但这种方法也存在缺陷，一是抓取不到人脸的客流数据无法判断，二是部署成本高，运维成本高。
[0007]
在巡店系统中，客流统计是一项具有重要价值的指标数据。店员产生的客流计数会对店铺真实客流数据产生严重的干扰。因此，店员产生的客流数据会视作无效客流。在巡店系统中，去除无效客流具有很高的实际应用价值。但是，现有配合式的店员手动入库的传统方法存在部署成本高、部署时间长、维护工作量等缺点。
[0008]
因此，如何提供一种无效客流的去除方法、系统、设备及计算机可读存储介质，以解决现有技术存在抓取不到人脸的客流数据无法判断，及部署成本高，运维成本高等缺陷，实已成为本领域技术人员亟待解决的技术问题。


技术实现要素：

[0009]
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种无效客流的去除方法、系统、设备及计算机可读存储介质，用于解决现有技术存在抓取不到人脸的客流数据无法判断，及部署成本高，运维成本高的问题。
[0010]
为实现上述目的及其他相关目的，本发明一方面提供一种无效客流的去除方法，包括：实时检测巡店视频中独立个体的人脸目标和人体目标，形成人体轨迹线，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线；分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨
迹线；在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0011]
于本发明的一实施例中，所述实时检测巡店视频中独立个体的人脸目标和人体目标，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线的步骤包括：实时检测巡店视频中每一帧的人脸检测框和人体检测框；对所述人体检测框进行实时跟踪，形成人体轨迹线；所述人体轨迹线包含每一帧的跟踪框；将所述人脸检测框与所述人体轨迹线关联，以形成所述结构化轨迹线。
[0012]
于本发明的一实施例中，所述将所述人脸检测框与所述人体轨迹线关联，以形成所述结构化轨迹线的步骤包括：计算所述人体检测框与跟踪框的交并比，并依据交并比，查找出人体检测框与跟踪框的最佳匹配；计算所述人脸检测框与人体检测框的相对偏移，并依据该相对偏移，查找出人脸检测框与人体检测框的最佳匹配；将最佳匹配的人体检测框和人脸检测框加入所述人体轨迹线，以形成结构化轨迹线；所述结构化轨迹线包括人体轨迹线、绑定的人脸检测框及绑定的人体检测框以及人脸检测框和人体检测框对应的绑定人脸图片和绑定人体图片。
[0013]
于本发明的一实施例中，所述分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线的步骤包括：对所述结构化轨迹线中绑定人脸图片和绑定人体图片进行识别；于预设数据库中查找与该绑定人脸图片最相似的人脸图片，以获取两者相似度及与最相似的人脸图片对应的结构化轨迹线id；于预设数据库中查找与该绑定人体图片最相似的人体图片，以获取两者相似度及与最相似的人体图片对应的结构化轨迹线id；判断与最相似的人脸图片对应的结构化轨迹线id和与最相似的人体图片对应的结构化轨迹线id是否相同；若是，则将该id设置为所述结构化轨迹线的id；若否，则判断人脸图片的相似度是否超过人脸置信阈值；若超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则判断人体图片的相似度是否超过人体置信阈值；若超过，则选择与与最相似的人体图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id。
[0014]
于本发明的一实施例中，对所述结构化轨迹线中绑定人脸图片进行识别的步骤包括：筛选出符合标准的人脸图片，并为所述结构化轨迹线打上符合标准的人脸图片的标签；提取符合标准的人脸图片的人脸特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人脸特征；对所有人脸图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一的人脸图片最为做相似的人脸图片；将排名第一的人脸图片对应的结构化轨迹线的id加入到原结构化轨迹线中；对所述结构化轨迹线中绑定人体图片进行识别的步骤包括：筛选出符合标准的人体图片，并为所述结构化轨迹线打上符合标准的人体图片的标签；提取符合标准的人体图片的人体特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人体特征；对所有人体图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一的人体图片最为做相似的人体图片；将排名第一的人体图片对应的结构化轨迹线的id加入到原结构化轨迹线中。
[0015]
于本发明的一实施例中，筛选出符合标准的人脸图片的步骤包括：从所述符合标准的人脸图片中提取人脸关键点，计算人脸角度、计算人脸模糊度、计算人脸完整度及计算
人脸图片的质量分数；从所述符合标准的人体图片中提取人体关键点，计算人体模糊度、计算人体完整度和计算人体图片的质量分数。
[0016]
于本发明的一实施例中，所述当天独立个体的客流信息包括当天独立个体出现次数、累计独立个体出现时长、历史轨迹覆盖区域网格比例；独立个体的非顾客可能性分数的计算公式为：其中，c表示当天独立个体出现次数，t表示累计独立个体出现时长，s表示历史轨迹覆盖区域网格比例。
[0017]
本发明另一方面提供一种无效客流的去除系统，包括：检测模块，用于实时检测巡店视频中独立个体的人脸目标和人体目标，形成人体轨迹线，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线；识别模块，用于分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线；去除模块，用于在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0018]
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述无效客流的去除方法。
[0019]
本发明最后一方面提供一种无效客流的去除设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述去除设备执行所述无效客流的去除方法。
[0020]
如上所述，本发明所述的无效客流的去除方法、系统、设备及计算机可读存储介质，具有以下有益效果：
[0021]
本发明所述无效客流的去除方法、系统、设备及计算机可读存储介质提出一种结合人脸识别、人体重识别技术，非配合式去除无效客流的方法，解决了需要人工干预的配合式入库和维护问题。大大减低企业使用巡店系统的运维成本。
附图说明
[0022]
图1显示为本发明的无效客流的去除方法于一实施例中的流程示意图。
[0023]
图2显示为本发明的无效客流的去除系统于一实施例中的原理结构示意图。
[0024]
元件标号说明
[0025]
2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
无效客流的去除系统
[0026]
21
ꢀꢀꢀꢀꢀꢀꢀꢀ
检测模块
[0027]
22
ꢀꢀꢀꢀꢀꢀꢀꢀ
识别模块
[0028]
23
ꢀꢀꢀꢀꢀꢀꢀꢀ
去除模块
[0029]
s11～s13
ꢀꢀ
步骤
具体实施方式
[0030]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离
本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0031]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0032]
本发明所述无效客流的去除方法、系统、设备及计算机可读存储介质的技术原理如下：
[0033]
本技术针对巡店系统场景，提出了一种非配合式的去除无效客流方法，有效地解决店员对客流计数系统照成多计的问题。主要利用了人脸检测与识别技术、人体检测与重识别技术与客流类型判别技术，对店铺客流进行结构化分析，识别与匹配每一条客流动线，统计独立个体的出现次数、出现累计时长、出现区域分布等信息，计算独立个体是店员的可能性分数。依据这个分数，去除独立个体关联的客流动线触发的客流计数。
[0034]
实施例一
[0035]
本实施例提供一种无效客流的去除方法，包括：
[0036]
实时检测巡店视频中独立个体的人脸目标和人体目标，形成人体轨迹线，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线；
[0037]
分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线；
[0038]
在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0039]
以下将结合图示对本实施例所提供的无效客流的去除方法进行详细描述。请参阅图1，显示为无效客流的去除方法于一实施例中的流程示意图。如图1所示，所述无效客流的去除方法具体包括以下步骤：
[0040]
s11，实时检测巡店视频中独立个体的人脸目标和人体目标，形成人体轨迹线，形成人体轨迹线，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线。
[0041]
在本实施例中，所述s11包括以下步骤：
[0042]
实时检测巡店视频中每一帧的人脸检测框和人体检测框。
[0043]
具体地，通过通用的人脸检测技术实时检测巡店视频中每一帧的人脸检测框。通过通用的人体检测技术实时检测巡店视频中每一帧的人体检测框。
[0044]
常用的模型，例如有ssd模型，yolo系列模型等。
[0045]
对所述人体检测框进行实时跟踪，形成人体轨迹线；所述人体轨迹线包含每一帧的跟踪框；
[0046]
常用的跟踪方法有deepsort，fairmot等。
[0047]
将所述人脸检测框与所述人体轨迹线关联，以形成所述结构化轨迹线。
[0048]
所述将所述人脸检测框与所述人体轨迹线关联，以形成所述结构化轨迹线的步骤包括：
[0049]
计算所述人体检测框与跟踪框的交并比，并依据交并比，查找出人体检测框与跟
踪框的最佳匹配。
[0050]
具体地，人体检测框与跟踪框的交并比(iou)＝(人体检测框∩跟踪框)/(人体检测框∪跟踪框)。
[0051]
在本实施例中，使用匈牙利算法，找出人体检测框和跟踪框的最佳匹配，使总体的iou总和最大。
[0052]
计算所述人脸检测框与人体检测框的相对偏移，并依据该相对偏移，查找出人脸检测框与人体检测框的最佳匹配。
[0053]
具体地，计算每个人体检测框的人脸假定中心坐标假设，人体框的坐标是(cx，cy)，宽是w，高是h，则人脸假定中心坐标是(cx，cy-0.4*h)；计算所有人脸检测框和所有假定人脸中心的距离(即相对偏移)；同样使用匈牙利算法，找出最佳匹配对，使总体的距离最小。
[0054]
将最佳匹配的人体检测框和人脸检测框加入所述人体轨迹线，以形成结构化轨迹线；所述结构化轨迹线包括人体轨迹线、绑定的人脸检测框及绑定的人体检测框以及人脸检测框和人体检测框对应的绑定人脸图片和绑定人体图片。
[0055]
s12，分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线。
[0056]
在本实施例中，所述s12包括以下步骤：
[0057]
对所述结构化轨迹线中绑定人脸图片和绑定人体图片进行识别；
[0058]
对所述结构化轨迹线中绑定人脸图片进行识别的步骤包括：
[0059]
筛选出符合标准的人脸图片，并为所述结构化轨迹线打上符合标准的人脸图片的标签；
[0060]
在本实施例中，筛选符合标准的人脸图片的步骤包括：从所述符合标准的人脸图片中提取人脸关键点，计算人脸角度、计算人脸模糊度、计算人脸完整度及计算人脸图片的质量分数。
[0061]
在本实施例中，提取人脸关键点的目的是计算人脸角度；使用预存计算模型预测人脸的角度(水平偏转角，俯仰角，旋转角)、模糊度和完整度(左眼完整度、右眼完整度、鼻子完整度和嘴巴完整度)。人脸角度分数是按角度段如表1进行赋值
[0062]
表1：人脸角度分数是按角度段赋值表
[0063][0064][0065]
人脸完整度的分数是人脸各部位完整度预测值的均值。且按照公式计算得到人脸图像质量分数：
[0066]
人脸图像的质量分数＝0.6
×
(0.6
×
水平偏转角分数+0.3
×
俯仰角分数+0.1
×
旋转角分数)+0.2
×
(1-模糊度)+0.2
×
完整度的分数
[0067]
在本实施例中，使用0.7作为人脸图像的质量分数作为筛选阈值。高于这个阈值的
人脸图片会保留。
[0068]
提取符合标准的人脸图片的人脸特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人脸特征；
[0069]
在本实施例中，可以使用facenet，insightface等模型提取人脸图片的人脸特征。
[0070]
对所有人脸图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一(top-1)的人脸图片最为做相似的人脸图片；
[0071]
将排名第一(top-1)的人脸图片对应的结构化轨迹线的id加入到原结构化轨迹线中；
[0072]
对所述结构化轨迹线中绑定人体图片进行识别的步骤包括：
[0073]
筛选出符合标准的人体图片，并为所述结构化轨迹线打上符合标准的人体图片的标签。
[0074]
在本实施例中，筛选符合标准的人体图片的步骤包括：从所述符合标准的人体图片中提取人体关键点，计算人体模糊度、计算人体完整度和计算人体图片的质量分数。
[0075]
具体地，使用人体关键点技术有openpose，alphapose等。人体模糊度可以使用一个模型进行图片模糊度预测。人体完整度计算方式是根据openpose检测结果，如果某个位置的关键点缺失，则扣除对应分数。在本实施例中，完整度初始分数为1，头部、躯干关键点分数为0.15，四肢的关键点分数为0.1。缺一个点扣除对应点的分数。完整度分数阈值为0.4，如果分数低于这个阈值，则直接结束这个流程。
[0076]
人体图片的质量分数计算公式如下：
[0077]
人体图片的质量分数＝0.8
×
(人体完整度的分数)+0.2
×
(1-人体模糊度)
[0078]
在本发明中，使用0.5作为人体图片的质量分数筛选阈值,高于这个阈值的人体图片会保留。
[0079]
提取符合标准的人体图片的人体特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人体特征；
[0080]
对所有人体图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一(top-1)的人体图片最为做相似的人体图片；
[0081]
将排名第一(top-1)的人体图片对应的结构化轨迹线的id加入到原结构化轨迹线中。
[0082]
于预设数据库中查找与该绑定人脸图片最相似的人脸图片，以获取两者相似度及与最相似的人脸图片对应的结构化轨迹线id；
[0083]
于预设数据库中查找与该绑定人体图片最相似的人体图片，以获取两者相似度及与最相似的人体图片对应的结构化轨迹线id；
[0084]
判断与最相似的人脸图片对应的结构化轨迹线id和与最相似的人体图片对应的结构化轨迹线id是否相同；若是，则将该id设置为所述结构化轨迹线的id；若否，则判断人脸图片的相似度是否超过人脸置信阈值；若超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则判断人体图片的相似度是否超过人体置信阈值；若超过，则选择与与最相似的人体图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id。
[0085]
s13，在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0086]
在本实施例中，所述当天独立个体的客流信息包括当天独立个体出现次数c、累计独立个体出现时长t、历史轨迹覆盖区域网格比例s。
[0087]
其中，c的取值范围是0到正无穷；t的单位是分钟，取值范围是0到1440；s是比例，取值范围是0到1。
[0088]
s的计算方式为：将监控画面划分为10x10的网格，如果轨迹线击中某个网格，s_hit加一。s＝s_hit/100。
[0089]
独立个体的非顾客可能性分数f的计算公式如下：
[0090][0091]
具体地，使用0.8作为独立个体的非顾客可能性分数f作为分数阈值以判断是否顾客，如果非顾客可能性分数大于这个阈值，该独立个体判别为非顾客。
[0092]
本实施例所述无效客流的去除方法提出一种结合人脸识别、人体重识别技术，非配合式去除无效客流的方法，解决了需要人工干预的配合式入库和维护问题。大大减低企业使用巡店系统的运维成本。
[0093]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述无效客流的去除方法。
[0094]
本领域普通技术人员可以理解计算机可读存储介质：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0095]
实施例二
[0096]
本实施例提供一种无效客流的去除系统，包括：
[0097]
检测模块，用于实时检测巡店视频中独立个体的人脸目标和人体目标，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线；
[0098]
识别模块，用于分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线；
[0099]
去除模块，用于在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0100]
以下将结合图示对本实施例所提供的无效客流的去除系统进行详细描述。请参阅图2，显示为无效客流的去除系统于一实施例中的原理结构示意图。如图2所示，所述无效客流的去除系统2包括检测模块21、识别模块22及去除模块23。
[0101]
所述检测模块21用于实时检测巡店视频中独立个体的人脸目标和人体目标，将人脸目标和人体目标与所述人体轨迹线进行关联，获取用于描述客流的结构化轨迹线。
[0102]
在本实施例中，所述检测模块21实时检测巡店视频中每一帧的人脸检测框和人体检测框。
[0103]
具体地，所述检测模块21通过通用的人脸检测技术实时检测巡店视频中每一帧的人脸检测框。通过通用的人体检测技术实时检测巡店视频中每一帧的人体检测框。
[0104]
所述检测模块21对所述人体检测框进行实时跟踪，形成人体轨迹线；所述人体轨迹线包含每一帧的跟踪框；
[0105]
所述检测模块21将所述人脸检测框与所述人体轨迹线关联，以形成所述结构化轨迹线。
[0106]
所述检测模块21计算所述人体检测框与跟踪框的交并比，并依据交并比，查找出人体检测框与跟踪框的最佳匹配。计算所述人脸检测框与人体检测框的相对偏移，并依据该相对偏移，查找出人脸检测框与人体检测框的最佳匹配。将最佳匹配的人体检测框和人脸检测框加入所述人体轨迹线，以形成结构化轨迹线；所述结构化轨迹线包括人体轨迹线、绑定的人脸检测框及绑定的人体检测框以及人脸检测框和人体检测框对应的绑定人脸图片和绑定人体图片。
[0107]
具体地，人体检测框与跟踪框的交并比(iou)＝(人体检测框∩跟踪框)/(人体检测框∪跟踪框)。
[0108]
在本实施例中，所述检测模块21使用匈牙利算法，找出人体检测框和跟踪框的最佳匹配，使总体的iou总和最大。
[0109]
具体地，所述检测模块21计算每个人体检测框的人脸假定中心坐标假设，人体框的坐标是(cx，cy)，宽是w，高是h，则人脸假定中心坐标是(cx，cy-0.4*h)；计算所有人脸检测框和所有假定人脸中心的距离(即相对偏移)；同样使用匈牙利算法，找出最佳匹配对，使总体的距离最小。
[0110]
所述识别模块22用于分析所述结构化轨迹线，对筛选出的人脸图像和人体图像进行最佳识别匹配，以识别出最优结构化轨迹线。
[0111]
在本实施例中，所述识别模块22对所述结构化轨迹线中绑定人脸图片和绑定人体图片进行识别；对所述结构化轨迹线中绑定人脸图片进行识别的步骤包括：筛选出符合标准的人脸图片，并为所述结构化轨迹线打上符合标准的人脸图片的标签；
[0112]
在本实施例中，所述识别模块22从所述符合标准的人脸图片中提取人脸关键点，计算人脸角度、计算人脸模糊度、计算人脸完整度及计算人脸图片的质量分数；提取符合标准的人脸图片的人脸特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人脸特征；对所有人脸图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一的人脸图片最为做相似的人脸图片；将排名第一的人脸图片对应的结构化轨迹线的id加入到原结构化轨迹线中。
[0113]
在本实施例中，提取人脸关键点的目的是计算人脸角度；使用预存计算模型预测人脸的角度(水平偏转角，俯仰角，旋转角)、模糊度和完整度(左眼完整度、右眼完整度、鼻子完整度和嘴巴完整度)。
[0114]
人脸完整度的分数是人脸各部位完整度预测值的均值。且按照公式计算得到人脸图像质量分数：
[0115]
人脸图像的质量分数＝0.6
×
(0.6
×
水平偏转角分数+0.3
×
俯仰角分数+0.1
×
旋转角分数)+0.2
×
(1-模糊度)+0.2
×
完整度的分数
[0116]
在本实施例中，使用0.7作为人脸图像的质量分数作为筛选阈值。高于这个阈值的
人脸图片会保留。
[0117]
在本实施例中，可以使用facenet，insightface等模型提取人脸图片的人脸特征。
[0118]
所述识别模块22筛选出符合标准的人体图片，并为所述结构化轨迹线打上符合标准的人体图片的标签。
[0119]
在本实施例中，所述识别模块22从所述符合标准的人体图片中提取人体关键点，计算人体模糊度、计算人体完整度和计算人体图片的质量分数；提取符合标准的人体图片的人体特征，并与预设数据库中的特征一一比对，以查找到相似度最高的人体特征；对所有人体图片进行匹配操作，获取最相似图片的相似度分数序列，以选取降序排序后排名第一的人体图片最为做相似的人体图片；将排名第一的人体图片对应的结构化轨迹线的id加入到原结构化轨迹线中。
[0120]
具体地，所述识别模块22使用人体关键点技术有openpose，alphapose等。人体模糊度可以使用一个模型进行图片模糊度预测。人体完整度计算方式是根据openpose检测结果，如果某个位置的关键点缺失，则扣除对应分数。在本实施例中，完整度初始分数为1，头部、躯干关键点分数为0.15，四肢的关键点分数为0.1。缺一个点扣除对应点的分数。完整度分数阈值为0.4，如果分数低于这个阈值，则直接结束这个流程。
[0121]
人体图片的质量分数计算公式如下：
[0122]
人体图片的质量分数＝0.8
×
(人体完整度的分数)+0.2
×
(1-人体模糊度)
[0123]
在本发明中，使用0.5作为人体图片的质量分数筛选阈值,高于这个阈值的人体图片会保留。
[0124]
所述识别模块22于预设数据库中查找与该绑定人脸图片最相似的人脸图片，以获取两者相似度及与最相似的人脸图片对应的结构化轨迹线id；于预设数据库中查找与该绑定人体图片最相似的人体图片，以获取两者相似度及与最相似的人体图片对应的结构化轨迹线id；判断与最相似的人脸图片对应的结构化轨迹线id和与最相似的人体图片对应的结构化轨迹线id是否相同；若是，则将该id设置为所述结构化轨迹线的id；若否，则判断人脸图片的相似度是否超过人脸置信阈值；若超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则判断人体图片的相似度是否超过人体置信阈值；若超过，则选择与与最相似的人体图片对应的结构化轨迹线id作为所述结构化轨迹线的id；若未超过，则选择与与最相似的人脸图片对应的结构化轨迹线id作为所述结构化轨迹线的id。
[0125]
所述去除模块用于在结束当天营业后，统计当天独立个体的客流信息，根据当天独立个体的客流信息分析所述独立个体的非顾客可能性分数，依据所述非顾客可能性分数，去除无效客流。
[0126]
在本实施例中，所述当天独立个体的客流信息包括当天独立个体出现次数c、累计独立个体出现时长t、历史轨迹覆盖区域网格比例s。
[0127]
其中，c的取值范围是0到正无穷；t的单位是分钟，取值范围是0到1440；s是比例，取值范围是0到1。
[0128]
s的计算方式为：将监控画面划分为10x10的网格，如果轨迹线击中某个网格，s_hit加一。s＝s_hit/100。
[0129]
独立个体的非顾客可能性分数f的计算公式如下：
[0130][0131]
具体地，使用0.8作为独立个体的非顾客可能性分数f作为分数阈值以判断是否顾客，如果非顾客可能性分数大于这个阈值，该独立个体判别为非顾客。
[0132]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，一个或多个微处理器(digital singnal processor，简称dsp)，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0133]
实施例三
[0134]
本实施例提供一种无效客流的去除设备，该去除设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使去除设备执行如上无效客流的去除方法的各个步骤。
[0135]
上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0136]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0137]
本发明所述的无效客流的去除方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括
在本发明的保护范围内。
[0138]
本发明还提供一种无效客流的去除系统，所述无效客流的去除系统可以实现本发明所述的无效客流的去除方法，但本发明所述的无效客流的去除方法的实现装置包括但不限于本实施例列举的无效客流的去除系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0139]
综上所述，本发明所述无效客流的去除方法、系统、设备及计算机可读存储介质提出一种结合人脸识别、人体重识别技术，非配合式去除无效客流的方法，解决了需要人工干预的配合式入库和维护问题。大大减低企业使用巡店系统的运维成本。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0140]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。