门店客流统计方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机视觉技术领域，特别是涉及一种门店客流统计方法、装置、计算机设备和存储介质。


背景技术：

2.门店客流统计是指统计一段时间内客户上门的人数，门店客流统计广泛应用于购物中心、大型超市、银行、专卖店与物流行业等各行各业，通过门店客流统计得到的门店客流量对商家进行各种商业活动具有重要参考价值。以物流行业为例，通过统计一天之内客户上门的人数与当天客户上门的寄件量得到当天的转换率，对于评估门店的运行情况具有重要意义。
3.目前，常用的门店客流统计方式包括：基于人工的手动客流统计、红外客流统计与基于人脸识别的客流统计。基于人工的手动客流统计需要耗费大量的人力物力，且存在准确性低的问题，尤其是在门店客流量较大时因误计或漏技等原因会进一步降低客流统计的准确性。而基于红外客流统计与基于人脸识别的客流统计，对硬件设备的安装位置具有严格要求，且针对存在障碍物与重复进出等复杂场景，存在误判与漏判的问题，从而降低了客流统计的准确性。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高客流统计的准确性的门店客流统计方法、装置、计算机设备和存储介质。
5.一种门店客流统计方法，所述方法包括：
6.获取目标图像帧；
7.对所述目标图像帧进行人员上半身检测，得到所述目标图像帧中每个目标人员对应的上半身检测框与人员类别；
8.根据每个上半身检测框在所述目标图像帧中对应的上半身图像，确定相应目标人员的特征向量；
9.根据所述上半身检测框与所述特征向量对相应目标人员进行跟踪得到相应的跟踪记录；所述上半身检测框作为人员跟踪框新增至相应跟踪记录；所述上半身检测框对应的人员类别，作为所述人员跟踪框对应的人员类别新增至相应跟踪记录；
10.根据所述每个目标人员对应的跟踪记录，以及所述跟踪记录中每个人员跟踪框对应的人员类别进行客流统计。
11.一种门店客流统计装置，所述装置包括：
12.获取模块，用于获取目标图像帧；
13.检测模块，用于对所述目标图像帧进行人员上半身检测，得到所述目标图像帧中每个目标人员对应的上半身检测框与人员类别；
14.确定模块，用于根据每个上半身检测框在所述目标图像帧中对应的上半身图像，
确定相应目标人员的特征向量；
15.跟踪模块，用于根据所述上半身检测框与所述特征向量对相应目标人员进行跟踪得到相应的跟踪记录；所述上半身检测框作为人员跟踪框新增至相应跟踪记录；所述上半身检测框对应的人员类别，作为所述人员跟踪框对应的人员类别新增至相应跟踪记录；
16.统计模块，用于根据所述每个目标人员对应的跟踪记录，以及所述跟踪记录中每个人员跟踪框对应的人员类别进行客流统计。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各方法实施例中的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方法实施例中的步骤。
19.上述门店客流统计方法、装置、计算机设备和存储介质，通过对目标图像帧中的目标人员进行人员上半身检测，得到每个目标人员对应的上半身检测框与人员类别，能够避免因下半身遮挡程度较高而导致目标人员的检测准确性较低的问题，以便于基于目标人员对应的、且准确性较高的上半身检测框与人员类别进行人员跟踪与客流统计时，能够提高客流统计的准确性。进一步地，基于准确性较高的上半身检测框能够从目标图像帧中准确定位目标人员的上半身图像，基于该准确性较高的上半身图像能够准确得到目标人员的特征向量，并通过结合每个目标人员对应的上半身检测框与特征向量对目标人员进行跟踪，进而根据每个目标人员的跟踪记录，以及跟踪记录中每个人员跟踪框对应的人员类别进行客流统计，能够进一步提高客流统计的准确性。
附图说明
20.图1为一个实施例中门店客流统计方法的流程示意图；
21.图2为一个实施例中门店客流统计的原理示意图；
22.图3另一个实施例中门店客流统计方法的流程示意图；
23.图4为一个实施例中门店客流统计装置的结构框图；
24.图5为一个实施例中计算机设备的内部结构图。
具体实施方式
25.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
26.在一个实施例中，如图1所示，提供了一种门店客流统计方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
27.步骤102，获取目标图像帧。
28.其中，目标图像帧是待进行人员上半身检测的图像帧，具体可以是从视频中提取出的视频帧。
29.具体地，终端通过图像采集设备获取目标图像帧。图像采集设备比如摄像头或相
机等。图像采集设备可作为组成部分内置于终端，也可作为独立设备外接于终端。图像采集设备可通过有线或无线方式与终端进行通信。
30.在一个实施例中，终端通过图像采集设备实时采集视频，并从所采集的视频中依次提取视频帧作为目标图像帧，进而基于依次提取出的目标图像帧，按照本技术提供的门店客流统计方法进行门店客流统计。终端具体可按照预设采样频率从视频中依次提取目标图像帧。预设采样频率可根据实际需求自定义，比3帧/每秒。
31.步骤104，对目标图像帧进行人员上半身检测，得到目标图像帧中每个目标人员对应的上半身检测框与人员类别。
32.其中，目标人员是指当前所获取到的目标图像帧中待检测的人员。上半身检测框用于从目标图像帧中定位相应目标人员的人员上半身。人员类别是指目标人员的所属类别，具体可包括员工与客户。
33.具体地，终端在获取到目标图像帧后，对该目标图像帧中的目标人员进行上半身检测，即进行上半身识别和确认，针对所检测出的每个目标人员的上半身确定最小外接矩形得到相应的上半身检测框，将该上半身检测框作为相应目标人员在该目标图像帧中所对应的上半身检测框，并根据所检测出的每个目标人员的上半身确定该目标人员对应的人员类别。
34.在一个实施例中，由于每个目标人员在目标图像帧中对应有一个上半身检测框与一个人员类别，由此，可将每个目标人员对应的人员类别，确定为该目标人员对应的上半身检测框所对应的人员类别，也即是每个上半身检测框对应一个人员类别。可以理解，终端可将目标图像帧中穿着较为明显的员工外衣的目标人员的人员类别确定为员工，并将其他目标人员的人员类别确定为客户。
35.在一个实施例中，终端通过已训练好的目标检测模型对目标图像帧进行人员上半身检测，得到该目标图像帧中每个目标人员对应的上半身检测框与人员类别。具体地，终端将目标图像帧输入已训练好的目标检测模型进行人员上半身检测，得到该目标图像帧中每个目标人员对应的上半身检测框与人员类别。可以理解，目标人员对应的上半身检测框，是目标图像帧中该目标人员的上半身的最小外接矩形，目标图像帧中处于该上半身检测框内的图像区域为该目标人员对应的上半身图像，由此，基于上半身检测框能够从目标图像帧中定位相应目标人员的上半身，以及提取出该目标人员的上半身图像。
36.在一个实施例中，目标检测模型的训练步骤包括：获取多个样本图像帧，对每个样本图像帧中每个人员的人员上半身与人员类别进行标注，得到每个样本图像帧中每个人员对应的上半身检测框与人员类别，根据该多个样本图像帧与每个样本图像帧中每个人员对应的上半身检测框与人员类别，得到第一训练样本集，将样本图像帧作为输入特征，将该样本图像帧中每个人员对应的上半身检测框与人员类别，作为期望的输出特征进行模型训练，得到已训练好的目标检测模型。
37.在一个实施例中，第一训练样本集中的样本图像帧，是从多个门店分别采集的，具体可从每个门店采集多个样本图像帧。由于不同门店的前台位置与图像采集设备的采集角度存在差异，由此，通过从多个门店采集样本图像帧，能够增加样本图像帧的采集场景，这样，基于不同场景下采集的样本图像帧训练得到目标检测模型，能够适用于不同场景下的目标图像帧的人员上半身检测，也即是能够提高目标检测模型的场景适应性。
38.在一个实施例中，在模型训练阶段，通过图像采集设备采集初始样本图像帧，将每个初始样本图像帧的尺寸缩放至预设尺寸，并对尺寸缩放后的初始样本图像帧进行一种或多种图像增强，得到用于训练目标检测模型的样本图像帧。预设尺寸可根据实际情况自定义，比如512*416像素。图像增强的方式包括但不限于是随机翻转、颜色变换与几何变换等。
39.在一个实施例中，在模型训练阶段，终端可按照获取第一训练样本集的类似方式，获取第一测试样本集，以便于通过第一测试样本集对由第一训练样本集训练得到的目标检测模型进行测试，并在测试通过时，将训练得到的目标检测模型确定为已训练好的目标检测模型，否则，继续对该目标检测模型进行迭代训练。
40.在一个实施例中，目标检测模型的训练过程中所涉及的机器学习算法包括但不限于是yolov3(一种利用多尺度特征进行对象检测的机器学习算法)。
41.步骤106，根据每个上半身检测框在目标图像帧中对应的上半身图像，确定相应目标人员的特征向量。
42.其中，上半身图像是指目标人员的上半身在目标图像帧中所对应的图像或图像区域。特征向量是用于表征目标人员的上半身特征的向量，同一目标人员对应的多个特征向量之间的特征距离较小，不同目标人员对应的特征向量之间的特征距离较大，由此，当两个特征向量之间的特征距离足够小时，则判定该两个特征向量为同一个目标人员所对应的特征向量。两个特征向量之间的特征距离足够小，具体可以是指特征距离小于或等于预设特征距离阈值，预设特征距离阈值，可基于后续的第一特征距离阈值与第二特征距离阈值动态确定，在此不作具体限定。可以理解，由于本技术通过检测目标人员的上半身来实现目标人员的检测与定位，由此，可将目标人员的上半身图像对应的特征向量，确定为该目标人员对应的特征向量。
43.具体地，终端从目标图像帧中检测出每个目标人员对应的上半身检测框后，根据每个目标人员对应的上半身检测框，从该目标图像帧中提取出该目标人员对应的上半身图像，并根据所提取出的每个上半身图像分别确定相应目标人员所对应的特征向量。
44.在一个实施例中，终端从目标图像帧中分别提取每个上半身检测框所在的图像区域，作为该上半身检测框对应的上半身图像。
45.在一个实施例中，终端通过已训练好的行人重识别模型，分别对从目标图像帧中提取出的每个上半身图像进行识别，得到每个上半身图像对应的特征向量，并将每个上半身图像对应的特征向量，确定为相应目标人员所对应的特征向量。
46.在一个实施例中，行人重识别模型的训练步骤包括：获取样本图像帧集，该样本图像帧集包括多个样本图像帧子集，每个样本图像帧子集中的多个样本图像帧采集至同一个门店，且该多个样本图像帧是从同一视频中连续提取的多个视频帧，或者，该多个样本图像帧是从同一视频中按照预设采样频率依次提取的多个视频帧，每个样本图像帧子集中的多个样本图像帧包括同一个人员；通过已训练好的目标检测模型或人工标注方式，确定该每个样本图像帧中的每个人员在该样本图像帧中对应的上半身检测框，根据上半身检测框从相应样本图像帧中提取相应的上半身样本图像。
47.进一步地，针对每个样本图像帧子集，根据相邻两个样本图像帧中的上半身检测框之间的交并比，对每个人员对应的上半身样本图像进行聚类，将每个人员在该样本图像帧子集中对应的多个上半身样本图像聚类为一个上半身样本图像序列；按照类似方式确定
样本图像帧集中每个人员对应的上半身样本图像序列，并根据各人员对应的上半身样本图像序列，得到上半身样本图像集，作为第二训练样本集；根据上半身样本图像集迭代的进行模型训练，得到已训练好的行人重识别模型。
48.在基于上半身样本图像集训练行人重识别模型的训练过程中，将该上半身样本图像集划分为多个上半身样本图像子集，每个上半身样本图像子集包括多个人员各自对应的多个上半身样本图像，在每次迭代训练过程中，将任一个上半身样本图像子集中的各上半身样本图像作为输入特征，输入待训练的行人重识别模型进行识别，得到该每个上半身样本图像对应的预测特征向量，并按照相同人员对应的多个预测特征向量之间的特征距离较小，不同人员对应的预测特征向量之间的特征距离较大，确定目标损失函数，并基于目标损失函数反向调整该待训练的行人重识别模型的模型参数，进而按照上述方式对该已调整模型参数的行人重识别模型继续进行迭代训练，直至迭代停止，得到已训练好的行人重识别模型。
49.在一个实施例中，在模型训练阶段，将每个上半身样本图像的尺寸重置为目标尺寸，对尺寸重置后的每个上半身样本图像向外填充目标数量的、且像素值为零的像素点，并将填充像素点后的上半身样本图像随机裁减为目标尺寸的上半身样本图像，作为用于训练行人重识别模型的上半身样本图像。其中，目标尺寸比如256*128像素，目标数量比如10像素。
50.在一个实施例中，行人重识别模型的训练过程中所涉及的机器学习算法包括但不限于是reid网络(person re-identification，行人重识别)。在一个实施例中，reid网络中具体可包括用于从上半身图像中提取特征图，并将特征图输入后续网络中进行处理的resnet50网络。
51.步骤108，根据上半身检测框与特征向量对相应目标人员进行跟踪得到相应的跟踪记录；上半身检测框作为人员跟踪框新增至相应跟踪记录；上半身检测框对应的人员类别，作为人员跟踪框对应的人员类别新增至相应跟踪记录。
52.具体地，终端根据目标图像帧中的每个目标人员对应的上半身检测框与特征向量，对该每个目标人员进行匹配与跟踪得到每个目标人员对应的跟踪记录。终端将每个目标人员对应的上半身检测框作为人员跟踪框，将该上半身检测框对应的人员类别作为该人员跟踪框对应的人员类别，并将该人员跟踪框与相应人员类别新增至该目标人员所对应的跟踪记录中。
53.在一个实施例中，终端还将每个上半身检测框对应的特征向量，作为相应人员跟踪框所对应的特征向量，并将特征向量与相应人员跟踪框及人员类别一并新增至相应跟踪记录中。
54.在一个实施例中，若终端本地已存储有一个或多个跟踪记录，每个跟踪记录中包括同一个人员对应的一个或多个人员跟踪框，以及每个人员跟踪框对应的特征向量。终端将目标图像帧中每个目标人员对应的上半身检测框与特征向量，分别与本地已存储的每个跟踪记录中的人员跟踪框与特征向量进行匹配，以根据匹配结果从本地确定与目标图像帧中的每个目标人员相匹配的跟踪记录。若本地存在与目标人员相匹配的跟踪记录，终端则根据该目标人员对应的上半身检测框与特征向量，更新该目标人员对应的跟踪记录，也即是将目标人员对应的上半身检测框作为人员跟踪框新增至该目标人员对应的跟踪记录中，
并将该目标人员对应的特征向量作为人员跟踪框对应的特征向量新增至相应跟踪记录中。若不存在与目标人员相匹配的跟踪记录，则表明该目标人员为新增人员，终端则根据该目标人员对应的上半身检测框与特征向量，初始化得到该目标人员对应的跟踪记录。
55.在一个实施例中，终端根据目标图像帧中各目标人员对应的上半身检测框与特征向量，以及匹配器中每个人员标识对应的人员跟踪框与特征向量，从匹配器中确定与目标图像帧中的每个目标人员相匹配的人员标识，并根据每个目标人员对应的上半身检测框与特征向量，对应更新匹配器中与该目标人员相匹配的人员标识所对应的跟踪记录，也即是对应更新该目标人员对应的跟踪记录，以基于跟踪记录实现对目标人员的跟踪。可以理解，对于从视频中依次提取出的多个目标图像帧，终端按照上述方式确定当前提取出的目标图像帧中的每个目标人员所对应的上半身检测框与特征向量，并按照上述跟踪方式将每个目标人员对应的上半身检测框与特征向量，更新至匹配器中相匹配的人员标识对应的跟踪记录中，以将该多个目标图像帧中相同目标人员对应的上半身检测框与特征向量，对应于相同人员标识进行存储，并得到该人员标识对应的跟踪记录。
56.步骤110，根据每个目标人员对应的跟踪记录，以及跟踪记录中每个人员跟踪框对应的人员类别进行客流统计。
57.具体地，在基于当前获取到的目标图像帧中的各目标人员对应的上半身检测框与特征向量，按照本技术中的一个或多个实施例中提供的记录更新方式，对应更新各目标人员对应的跟踪记录后，终端根据每个目标人员对应的跟踪记录中的人员跟踪框数量，以及每个人员跟踪框对应的人员类别进行客流统计，得到当前对应的客流量。
58.在一个实施例中，终端根据每个目标人员对应的跟踪记录中处于计数区域的人员跟踪框，以及该处于计数区域的每个人员跟踪框对应的人员类别进行客流统计。针对每个目标人员，当该目标人员对应的跟踪记录中处于计数区域的人员跟踪框的第一跟踪框数量大于或等于数量阈值、且该处于计数区域的各人员跟踪框中人员类别为客户的第二跟踪框数量大于或等于第二数量阈值时，则对该目标人员进行客流计数，也即是将客流量加1。由此，在基于前一个目标图像帧得到的客流量的基础上，针对当前获取的目标图像帧中的各目标人员按照客流计数方式分别进行客流计数，得到当前对应的客流量，并将该当前对应的客流量确定为基于该当前获取到的目标图像帧得到的客流量，该客流量是截至该目标图像帧的采集时间点所统计到的客流量。其中，计数区域是指可对目标人员进行计数的有效区域，具体可以是指目标图像帧中包括前台位置的图像区域。
59.在一个实施例中，若目标人员对应的跟踪记录不满足客流计数条件，则不会针对该目标人员进行客流计数。若针对跟踪记录满足客流计数条件的目标人员，按照客流计数方式进行客流计数后，则会对应于该目标人员的跟踪记录存储已计数标识，以便于在后续的客流统计流程中不会再对该目标人员进行重复计数，能够提高客流统计的准确性。可以理解，若目标人员已进行客流计数，在后续客流统计流程中仍然会根据该目标人员对应的上半身检测框与特征向量，对应更新该目标人员的跟踪记录，但不会再对该目标人员进行客流计数。
60.在一个实施例中，针对每个目标人员，终端根据该目标人员对应的跟踪记录中处于计数区域的各人员跟踪框，统计该目标人员处于计数区域内的时间长度。具体地，终端根据每个目标人员对应的跟踪记录中处于计数区域的人员跟踪框的第一跟踪框数量，以及目
标图像帧的预设采样频率确定该目标人员处于计数区域内的时间长度。比如，预设采样频率为3帧/秒，第一跟踪框数量为180，则表明该目标人员处于计数区域的时间长度为1分钟。可以理解，该时间长度可以是指目标人员持续处于计数区域内的持续时长，也可以是指目标人员间断性的处于计数区域的累计时长。
61.在一个实施例中，终端按照本技术中一个或多个实施例中提供的匹配方式与客流统计方式，确定目标图像帧中的各目标人员各自匹配的人员标识，以及截至该目标图像帧的采集时间点所统计到的客流量，以及截至该目标图像帧的采集时间点每个目标人员处于计数区域的时间长度，并通过每个目标人员对应的上半身检测框在目标图像帧中标注出相应目标人员的上半身，并按照上半身检测框的标注位置对应标注出每个目标人员所匹配的人员标识，以及每个目标人员处于计数区域的时间长度，还可在目标图像帧中的预设位置标注出截至该目标图像帧的采集时间点所统计到的客流量，预设位置比如目标图像帧的左上角，在此不作具体限定。这样，能够实现可视化的客流统计与跟踪。进一步地，基于将已标注的各目标图像帧按照提取顺序依次进行展示，能够实现动态的、且可视化的客流统计与跟踪。
62.门店客流统计方法，通过对目标图像帧中的目标人员进行人员上半身检测，得到每个目标人员对应的上半身检测框与人员类别，能够避免因下半身遮挡程度较高而导致目标人员的检测准确性较低的问题，以便于基于目标人员对应的、且准确性较高的上半身检测框与人员类别进行人员跟踪与客流统计时，能够提高客流统计的准确性。进一步地，基于准确性较高的上半身检测框能够从目标图像帧中准确定位目标人员的上半身图像，基于该准确性较高的上半身图像能够准确得到目标人员的特征向量，并通过结合每个目标人员对应的上半身检测框与特征向量对目标人员进行跟踪，进而根据每个目标人员的跟踪记录，以及跟踪记录中每个人员跟踪框对应的人员类别进行客流统计，能够进一步提高客流统计的准确性。
63.在一个实施例中，步骤108，包括：根据上半身检测框与特征向量，确定目标人员与匹配器中的人员标识之间的匹配关系；匹配器用于存储目标客户对应的跟踪记录；匹配器中的每个目标客户对应一个人员标识；当匹配器中存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，对匹配器中相匹配的人员标识所对应的跟踪记录进行更新，得到更新后的跟踪记录。
64.其中，匹配器用于存储目标客户对应的跟踪记录，也即是用于存储需要进行客流计数的人员对应的跟踪记录。目标客户是指需要进行客流计数的人员。匹配器中的每个目标客户通过一个人员标识来表征。
65.在一个实施例中，匹配器可理解为跟踪队列组，包括一个或多个跟踪队列，每个人员标识对应一个跟踪队列，每个人员标识对应的跟踪队列用于存储对与该人员标识相匹配的目标人员进行跟踪时所得到的人员跟踪框与相应的特征向量，每个跟踪队列中依次存储的人员跟踪框构成相应目标人员所对应的跟踪记录，以便于基于跟踪队列中依次存储的人员跟踪框能够实现对相应目标人员的跟踪，也即是能够确定相应目标人员的运动轨迹。
66.具体地，终端将目标图像帧中各目标人员对应的上半身检测框与匹配器中各人员标识对应的人员跟踪框进行匹配，以及将目标图像帧中各目标人员对应的特征向量与匹配器中各人员标识对应的特征向量进行匹配，并根据匹配结果确实目标图像帧中的各目标人
员与匹配器中的各人员标识之间的匹配关系，也即是判断匹配器中是否存在与每个目标人员相匹配的人员标识。当判定匹配器中存在与目标图像帧中的目标人员相匹配的人员标识时，终端根据该存在相匹配的人员标识的每个目标人员对应的上半身检测框与特征向量，分别对匹配器中与该目标人员相匹配的人员标识所对应的跟踪记录进行更新，也即是在匹配器中对应更新该目标人员所对应的跟踪记录，得到该目标人员对应的更新后的跟踪记录。
67.在一个实施例中，每个人员标识对应的跟踪记录中的各人员跟踪框，是从多个目标图像帧中依次检测出的、且与同一个目标人员对应的上半身检测框，由此，基于当前目标图像帧中每个目标人员对应的上半身检测框与特征向量，判定目标人员与匹配器中的人员标识相匹配时，表明该目标人员与匹配器中相匹配的人员标识所对应的人员为相同人员，由此，将该目标人员对应的上半身检测框与特征向量，更新至相匹配的人员标识对应的跟踪记录中。
68.上述实施例中，将每个目标人员对应的上半身检测框与特征向量，更新至匹配器中相匹配的人员标识所对应的跟踪记录中，以实现对目标人员对应的跟踪记录的更新，以便于基于更新的跟踪记录实现对目标人员的准确跟踪。
69.在一个实施例中，根据上半身检测框与特征向量，确定目标人员与匹配器中的人员标识之间的匹配关系，包括：根据每个目标人员对应的上半身检测框与匹配器中每个人员标识对应的人员跟踪框之间的交并比与中心距离，以及每个目标人员对应的特征向量与每个人员标识对应的特征向量之间的特征距离，确定匹配器中的人员标识与目标人员之间的匹配关系。
70.其中，上半身检测框与人员跟踪框之间的交并比也即是指iou，具体是指上半身检测框与人员跟踪框之间的相交面积，除以该上半身检测框与人员跟踪框之间的合并面积。可以理解，由于依次提取的每个目标图像帧的尺寸均一致，而上半身检测框与人员跟踪框在相应目标图像帧中均对应有坐标信息，根据上半身检测框与人员跟踪框各自的坐标信息，能够在同一目标图像帧中分别确定该上半身检测框与人员跟踪框的位置，由此基于该上半身检测框与人员跟踪框各自在同一图像帧中的位置，能够计算得到二者的相交面积与合并面积，并基于相交面积与合并面积能够得到相应的交并比。上半身检测框与人员跟踪框之间的中心距离，是指上半身检测框的中心点与人员跟踪框的中心点之间的距离。特征向量之间的特征距离用于表征该两个特征向量之间的相似程度，具体可包括但不限于是欧式距离、余弦相似度与相关系数等。
71.具体地，终端分别计算目标图像帧中的每个目标人员对应的上半身检测框，与匹配器中的每个人员标识对应的人员跟踪框之间的交并比与中心距离，以及分别计算每个目标人员对应的特征向量与匹配器中每个人员标识对应的特征向量之间的特征距离，并根据计算得到的交并比、中心距离与特征距离，确定目标图像帧中的各目标人员与匹配器中的各人员标识之间的匹配关系。
72.在一个实施例中，终端将目标图像帧中的各目标人员分别与匹配器中的各人员标识进行组合，得到多个组合对，每个组合对包括一个目标人员与一个人员标识。终端从该多个组合对中筛选目标人员对应的上半身检测框处于目标图像帧的第一预设区域的第一组合对。终端将每个第一组合对中的目标人员对应的上半身检测框，与人员标识对应的最新
记录的人员跟踪框进行交并比计算，得到该第一组合对对应的交并比。当各第一组合对各自对应的交并比中，有且仅有一个交并比大于或等于交并比阈值时，则判定该交并比大于或等于交并比阈值的第一组合对中的目标人员与人员标识相匹配，也即是判定该目标人员对应的上半身检测框与人员标识对应的最新记录的人员跟踪框相匹配，并将该交并比大于或等于交并比阈值的第一组合对确定为匹配对，进而根据该目标人员对应的上半身检测框与特征向量，更新匹配器中相匹配的该人员标识所对应的跟踪记录。
73.可以理解，第一预设区域是指目标图像帧中预先设定的图像区域，比如计数区域，或者，由第一预设数值范围确定的图像区域。计数区域是指可对目标人员进行计数的有效区域，具体可以是指目标图像帧中包括前台位置的图像区域，当目标人员处于目标图像帧中的计数区域时，表明该目标人员可能想要寄件，则表明可能需要对该目标人员进行客流计数。上半身检测框处于计数区域，是指该上半身检测框的中心点处于该计数区域内。第一预设数值范围由第一数值与第二数值确定，第一数值小于第二数值，第一数值与第二数值可自定义，比如第一数值为0.05，第二数值为0.95，则第一预设数值范围为0.05至0.95，当上半身检测框的右边框的横坐标大于或等于目标图像帧的宽度与第一数值的乘积，或者，当上半身检测框的左边框的横坐标小于或等于目标图像帧的宽度与第二数值的乘积时，则判定该上半身检测框处于目标图像帧的第一预设区域。交并比阈值可自定义，比如0.85。
74.进一步地，终端从初始构建的多个组合对中剔除交并比大于或等于交并比阈值的第一组合对，以及包括该交并比大于或等于交并比阈值的第一组合对中的目标人员或人员标识的组合对，得到第二组合对。终端根据每个第二组合对中的目标人员与人员标识各自对应的特征向量进行特征距离的计算，得到每个第二组合对对应的特征距离。针对每个第二组合对，终端可将该第二组合对中的目标人员对应的特征向量，与人员标识对应的最新记录的特征向量进行特征距离的计算，得到该第二组合对对应的特征距离，终端还可将该第二组合对中的目标人员对应的特征向量，分别与人员标识对应的最近记录的预设数量的特征向量进行特征距离的计算，得到预设数量的特征距离，并将由该预设数量的特征距离得到的平均特征距离，作为该第二组合对对应的特征距离。当各第二组合对各自对应的特征距离中，最小的特征距离小于或等于第一特征距离阈值时，则判定该特征距离最小的第二组合对中的目标人员与人员标识相匹配，并将该特征距离最小的第二组合对确定为匹配对，进而根据该目标人员对应的上半身检测框与特征向量，对应更新匹配器中相匹配的该人员标识所对应的跟踪记录。其中，第一特征距离阈值可自定义，比如1.1。预设数量可自定义，比如20。可以理解，当匹配器中人员标识对应的跟踪记录中的特征向量数量小于预设数量，则基于该跟踪记录中的所有特征向量与相应目标人员对应的特征向量，按照上述特征距离计算方式确定相应第二组合所对应的特征距离。
75.进一步地，终端从第二组合对中剔除特征距离最小、且该最小的特征距离小于或等于第一特征距离阈值的第二组合对，以及目标人员对应的上半身检测框不处于目标图像帧的第二预设区域的第二组合对，得到第三组合对。针对每个第三组合对，终端计算该第三组合对中的目标人员对应的上半身检测框与人员标识对应的最新记录的人员跟踪框之间的中心距离，以及该目标人员对应的特征向量与该人员标识对应的特征向量之间的特征距离，得到该第三组合对对应的中心距离与特征距离。当各第三组合对中存在中心距离小于或等于中心距离阈值、且特征距离小于或等于第二特征距离阈值的第三组合对时，从该中
心距离小于或等于中心距离阈值、且特征距离小于或等于第二特征距离阈值的第三组合对中，选取中心距离最小的第三组合对作为匹配对，并判定该所选取出的第三组合对中的目标人员与人员标识相匹配，进而根据该目标人员对应的上半身检测框与特征向量，更新匹配器中相匹配的该人员标识所对应的跟踪记录。
76.可以理解，第二预设区域比如计数区域，或者，由计数区域与第二预设数值范围确定的图像区域。计数区域的定义与一致，在此不再赘述。第二预设数值范围由第三数值与第四数值确定，第三数值小于第四数值，第三数值与第四数值可自定义，比如第三数值为0.01，第四数值为0.99，则第二预设数值范围为0.01至0.99，根据计数区域与第二预设数值范围，按照类似方式确定第二预设区域，在此不再赘述。中心距离阈值由相应第三组合对中的目标人员对应的上半身检测框，以及人员标识对应的最新记录的人员跟踪框动态确定，具体可以是该上半身检测框与该人员跟踪框各自的对角线之和的一半。第二特征距离阈值可自定义，比如1.3。
77.进一步地，终端从第二组合对中剔除特征距离最小、且该最小的特征距离小于或等于第一特征距离阈值的第二组合对，以及按照上述方式从第三组合对中所确定的匹配对，得到第四组合对。按照类似流程，终端分别计算得到每个第四组合对对应的中心距离与特征距离，并从中心距离小于或等于中心距离阈值、且特征距离小于或等于第二特征距离阈值的第四组合对中，选取中心距离最小的第四组合对作为匹配对，并判定该所选取出的第四组合对中的目标人员与人员标识相匹配，进而根据该目标人员对应的上半身检测框与特征向量，更新匹配器中相匹配的该人员标识所对应的跟踪记录。
78.可以理解，在针对目标图像帧中的目标人员与匹配器中的人员标识依次执行的匹配过程中，若已确定每个目标人员与匹配器中相应人员标识之间的匹配关系，则无需再继续执行后续匹配流程。这样，将交并比、中心距离与特征距离相结合的匹配方式来确定目标人员与人员标识的匹配关系，并对应更新目标人员的跟踪记录，能够减少误判和漏判，以便于基于跟踪记录进行客流统计时，能够提高客流统计的准确性。
79.在一个实施例中，上半身检测框通过检测框数据来表征，基于检测框数据能够在目标图像帧中唯一定位相应的上半身检测框。检测框数据，比如包括上半身检测框的中心点坐标、高度与宽度，还比如包括上半身检测框的左上点坐标与右下点坐标，在此不作具体限定。类似地，人员跟踪框通过跟踪框数据来表征，基于跟踪框数据能够在目标图像帧中唯一定位相应的人员跟踪框。可以理解，一个或多个实施例中，上半身检测框与人员跟踪框之间的中心距离与交并比，是基于该上半身检测框与人员跟踪框各自在目标图像帧中的位置对应确定的，也即是根据上半身检测框对应的检测框数据，以及人员跟踪框对应的跟踪框数据对应确定的。
80.上述实施例中，根据各目标人员各自对应的上半身检测框与匹配器中各人员标识各自对应的人员跟踪框之间的交并比与中心距离，以及各目标人员对应的特征向量与各人员标识对应的特征向量之间的特征距离，动态确定目标人员与人员标识之间的匹配关系，能够提高匹配关系的准确性，以便于按照准确性较高的匹配关系对应更新各目标人员对应的跟踪记录，能够提高跟踪记录的准确性。
81.在一个实施例中，步骤108，还包括：当匹配器中不存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，从跟踪器中确定相匹配的人员标
识；跟踪器用于存储干扰客户对应的跟踪记录；跟踪器中的每个干扰客户对应一个人员标识；根据目标人员对应的上半身检测框与特征向量，对跟踪器中相匹配的人员标识对应的跟踪记录进行更新，得到更新后的跟踪记录；将跟踪器中满足记录迁移条件的跟踪记录迁移至匹配器。
82.其中，跟踪器用于存储干扰客户对应的跟踪记录，也即是用于存储可能需要进行客流计数的对象所对应的跟踪记录。干扰客户是指可能需要进行客流计数的的对象。该可能需要进行客流统计的对象，可能是后续实际需要进行客流统计的人员，也可能是短暂出现于图像采集设备的视野区域的人员，还可能是误判为人员的物体，比如衣服。跟踪器中的每个干扰客户对应一个人员标识。
83.跟踪器中记录的是干扰客户对应的跟踪记录，匹配器中记录的是目标客户对应的跟踪记录。当跟踪器中针对干扰客户记录的跟踪记录满足记录迁移条件时，将该干扰客户确定为目标客户，并将跟踪器中针对该干扰客户记录的跟踪记录作为该目标客户的跟踪记录迁移至匹配器中，并基于后续依次获取的目标图像帧对匹配器中该目标客户对应的跟踪记录进行更新。由此，跟踪器中通过跟踪记录进行跟踪的干扰客户是不需要进行客流计数的客户，而匹配器中通过跟踪记录进行跟踪的目标客户是需要进行客流计数的客户。
84.记录迁移条件是用于判断是否将跟踪器中的跟踪记录迁移至匹配器的条件或依据。记录迁移条件比如跟踪记录对应的人员标识在依次提取的指定数量的目标图像帧中均存在相匹配的目标人员，也即是依次提取的多个目标图像帧中均存在与该人员标识相匹配的目标人员。指定数量可自定义，比如9。
85.在一个实施例中，跟踪器可理解为跟踪队列组，包括一个或多个跟踪队列，每个人员标识对应一个跟踪队列，每个人员标识对应的跟踪队列用于存储对与该人员标识相匹配的目标人员进行跟踪时所得到的人员跟踪框与相应的特征向量，每个跟踪队列中依次存储的人员跟踪框构成相应目标人员所对应的跟踪记录，以便于基于跟踪队列中依次存储的人员跟踪框能够实现对相应目标人员的跟踪，也即是能够确定相应目标人员的运动轨迹。
86.具体地，当按照一个或多个实施例中提供的匹配方式，判定匹配器中不存在与目标人员相匹配的人员标识时，终端按照一个或多个实施例中提供的匹配方式，根据该在匹配器中不存在相匹配的人员标识的各目标人员各自对应的上半身检测框与特征向量，以及跟踪器中的各人员标识各自对应的他、人员跟踪框与特征向量，确定各目标人员与跟踪器中各人员标识之间的匹配关系，也即是从跟踪器中确定与该在匹配器中不存在相匹配的人员标识的每个目标人员所匹配的人员标识。当按照上述匹配方式从跟踪器中确定与目标人员相匹配的人员标识后，根据该目标人员对应的上半身检测框与特征向量，对应更新跟踪器中相匹配的人员标识对应的跟踪记录。当按照上述匹配方式判定跟踪器中也不存在与目标人员相匹配的人员标识时，则判定该目标人员为新增人员，则根据该目标人员对应的上半身检测框与特征向量，在跟踪器中初始化得到该目标人员对应的跟踪记录，并针对该跟踪记录配置相应的人员标识，作为与该目标人员相匹配的人员标识。
87.进一步地，终端在按照上述更新方式根据目标人员对应的上半身检测框与特征向量，更新跟踪器中相匹配的人员标识对应的跟踪记录后，动态判断该跟踪器中的每个人员标识对应的跟踪记录是否符合预设的记录迁移条件，并将符合记录迁移条件的跟踪记录迁移至匹配器，也即是在匹配器中新增该跟踪记录，并在跟踪器中删除该跟踪记录。
88.在一个实施例中，针对新进入图像采集设备的视野区域的人员，也即是针对新增人员，在跟踪器中新增该新增人员对应的跟踪记录，并根据后续依次提取的目标图像帧按照上述方式对该新增人员的跟踪记录进行更新，直至依次提取的多个目标图像帧中均存在与该新增人员相匹配的目标人员时，则判定该目标人员是需要进行客流统计的人员，则将该新增人员在跟踪器中对应的跟踪记录迁移至匹配器中，以便于基于匹配器对该新增人员的跟踪记录进行进一步地更新，且基于更新后的跟踪记录按照本技术提供的客流统计方式进行客流计数。这样，通过跟踪器对从新增的目标人员进行跟踪与过滤，能够避免对存在误判的目标人员进行后续的跟踪与客流计数，从而能够提高客流统计的准确性。
89.在一个实施例中，目标图像帧中包括多个目标人员。终端按照上述匹配方式分别确定每个目标人员在匹配器中是否存在相匹配的人员标识。针对在匹配器中存在相匹配的人员标识的目标人员，终端根据该目标人员对应的上半身检测框与特征向量，对应更新匹配器中相匹配的人员标识所对应的跟踪记录。而针对在匹配器中不存在相匹配的人员标识的目标人员，终端根据该目标人员对应的上半身检测框与特征向量，对应更新跟踪器中相匹配的人员标识所对应的跟踪记录，或者，根据该目标人员对应的上半身检测框与特征向量，在跟踪器中初始化得到该目标人员对应的跟踪记录。
90.上述实施例中，通过匹配器与跟踪器相结合的方式进行目标人员的跟踪与客流统计，能够降低误判与漏判的情况，从而能够提高客流统计的准确性。
91.在一个实施例中，步骤110，包括：根据匹配器中与每个目标人员相匹配的人员标识对应的跟踪记录，分别统计相应目标人员所对应的、且处于计数区域的人员跟踪框的第一跟踪框数量；当第一跟踪框数量大于或等于第一数量阈值时，根据相应跟踪记录中处于计数区域的每个人员跟踪框对应的人员类别，统计相应目标人员所对应的、且人员类别为客户的第二跟踪框数量；当第二跟踪框数量大于或等于第二数量阈值时，对相应目标人员进行客流计数。
92.其中，第一跟踪框数量是指匹配器中单个人员标识对应的跟踪记录中处于计数区域的人员跟踪框的数量。第二跟踪框数量是指匹配器中单个人员标识对应的跟踪记录中处于计数区域的、且相应人员类别为客户的人员跟踪框的数量。第一数量阈值可自定义，比如120，也可根据目标图像帧的预设采样频率与客流计数的时长阈值动态确定。客流计数的时长阈值是用于与目标人员处于计数区域的时间长度进行比较，以判断是否对该目标人员进行客流计数的时长阈值。当根据目标人员对应的跟踪记录，判定该目标人员处于计数区域的时间长度大于或等于客流计数的时长阈值时，则针对该目标人员触发客流计数流程。比如，预设采样频率为3帧/秒，客流统计的时长阈值为2分钟，则动态确定的第一数量阈值为3*60*2＝360。第二数量阈值可自定义，比如70，也可根据第一数量阈值动态确定，比如将第一数量阈值的一半确定为第二数量阈值，比如当第一数量阈值为360时，第二数量阈值为180。
93.具体地，终端按照本技术中一个或多个实施例中提供的匹配方式，从匹配器中确定与目标图像帧中的各目标人员相匹配的人员标识，并根据各目标人员标识各自对应的上半身检测框与特征向量，对应更新匹配器中相匹配的人员标识所对应的跟踪记录后，将该匹配器中各人员标识对应的跟踪记录，作为与该人员标识相匹配的目标人员所对应的跟踪记录，并对每个目标人员对应的跟踪记录中处于计数区域的人员跟踪框进行统计，得到该
目标人员对应的、且处于计数区域的人员跟踪框的第一跟踪框数量。针对每个目标人员，终端将该目标人员对应的第一跟踪框数量与预设的第一数量阈值进行比较，当判定该第一跟踪框数量大于或等于第一数量阈值时，则根据该目标人员对应的跟踪记录中处于计数区域的每个人员跟踪框对应的人员类别，对该跟踪记录中处于计数区域、且人员类别为客户的人员跟踪框进行统计，得到该目标人员对应的第二跟踪框数量，并将该第二跟踪框数量与第二数量阈值进行比较，当判定该第二跟踪框数量大于或等于第二数量阈值时，则对该目标人员进行客流计数。
94.上述实施例中，根据每个目标人员对应的处于计数区域的第一跟踪框数量，以及处于计数区域、且人员类别为客户的第二跟踪框数量，判断是否对该目标人员进行客流计数，根据判断结果进行客流计数，能够提高客户统计的准确性。
95.在一个实施例中，步骤104，包括：将目标图像帧输入已训练好的目标检测模型，通过目标检测模型对目标图像帧进行人员上半身检测，得到目标图像帧中每个目标人员对应的上半身检测框与人员类别。
96.其中，目标检测模型是基于第一训练样本集训练得到的、能够用于从目标图像帧中检测出每个目标人员对应的上半身检测框与人员类别的模型。
97.具体地，终端将目标图像帧输入已训练好的目标检测模型，通过该目标检测模型对该目标图像帧中的每个目标人员进行人员上半身检测，得到该目标图像帧中每个目标人员对应的上半身检测框与人员类别。
98.上述实施例中，通过已训练好的目标检测模型对目标图像帧中的目标人员进行上半身检测，能够快速而准确的得到每个目标人员对应的上半身检测框与人员类别，以便于基于该准确性较高的上半身检测框与人员类别进行人员跟踪与客流统计时，能够提高客流统计的准确性。
99.在一个实施例中，步骤106，包括：从目标图像帧中提取与每个上半身检测框对应的上半身图像；通过已训练好的行人重识别模型对每个上半身图像进行识别，得到相应目标人员的特征向量。
100.其中，行人重识别模型是根据第二训练样本集训练得到的、能够用于对每个目标人员的上半身图像进行识别得到相应特征向量的模型。
101.具体地，终端根据目标图像帧中每个目标人员对应的上半身检测框，从该目标图像帧中分别提取每个上半身检测框所对应的上半身图像，作为相应目标人员在该目标图像帧中对应的上半身图像。终端将所提取出的每个上半身图像分别输入已训练好的行人重识别模型，通过该行人重识别模型分别对该每个上半身图像进行识别，得到相应目标人员所对应的特征向量。
102.可以理解，目标图像帧中处于上半身检测框内的图像区域，即为该上半身检测框对应的目标人员在该目标图像帧中所对应的上半身图像，由此，根据每个目标人员对应的上半身检测框，能够在目标图像帧中定位该目标人员的上半身，并提取该目标人员对应的上半身图像。
103.上述实施例中，通过已训练好的行人重识别模型对每个上半身图像进行识别，能够快速而准确地得到相应目标人员的特征向量。
104.图2为一个实施例中门店客流统计的原理示意图。终端在获取到目标图像帧后，将
该目标图像帧输入已训练好的目标检测模型中进行人员上半身检测框，得到目标图像帧中每个目标人员对应的上半身检测框，根据每个上半身检测框从目标图像帧中提取相应目标人员的上半身图像，将每个上半身图像分别输入已训练好的行人重识别模型进行识别，得到每个上半身图像对应的特征向量，并作为相应目标人员所对应的特征向量。进一步地，终端根据目标图像帧中的各目标人员对应的上半身检测框与特征向量，以及匹配器中各人员标识对应的人员跟踪框与特征向量，从匹配器中确定与每个目标人员相匹配的人员标识，并根据每个目标人员更新匹配器中相匹配的人员标识所对应的跟踪记录。进一步地，终端根据匹配器中各人员标识对应的跟踪记录，对相应目标人员处于计数区域的时间长度进行统计，以及对截至该目标图像帧的采集时间点的客流量进行统计，并通过上半身检测框在目标图像帧中标注出相应目标人员的上半身，以及按照目标人员与匹配器中的人员标识之间的匹配关系，在目标图像帧中标注相应上半身检测框的相应位置，标注出每个目标人员对应的人员标识，以及每个目标人员处于计数区域的时间长度，并在目标图像帧中的左上角标注出截至该目标图像帧的采集时间点的客流量。
105.如图2所示，目标图像帧中包括两个目标人员，按照流程确定一个目标人员的人员类别为员工，该目标人员所匹配的人员标识为001，另一个目标人员的人员类别为客户，该目标人员所匹配的人员标识为002，且该目标人员处于计数区域内的时间长度为50秒。可以理解，由于本技术主要在于统计人员类别为客户的客流量，由此，可无需统计人员类别为员工的人员标识处于计数区域的时间长度。
106.上述实施例中，通过结合检测与多目标匹配，能够同时捕获每个目标人员的运动轨迹，且通过检测并提取目标人员上半身图像，并基于上半身图像进行人员跟踪与客流统计，能够减少因目标人员之间的相互遮挡或者目标人员被物体遮挡所带来的影响，从而能够提高客流统计的准确性。而通过人员类别区分客户与员工，能够避免因对员工进行客流计数而降低客流统计准确性的问题。
107.可以理解，本技术中一个或多个实施例中提供的门店客流统计方法，基于门店现有监控摄像头即可实现视频与目标图像帧的采集，无需安装复杂的设备，能够在降低设备成本的情况下，提高客流统计的准确性。而且，该门店客流统计方法在不同场景下，均能够保证客流统计的准确性，具有场景普适性。
108.如图3所示，在一个实施例中，提供了一种门店客流统计方法，该方法具体包括以下步骤：
109.步骤302，获取目标图像帧。
110.步骤304，将目标图像帧输入已训练好的目标检测模型，通过目标检测模型对目标图像帧进行人员上半身检测，得到目标图像帧中每个目标人员对应的上半身检测框与人员类别。
111.步骤306，从目标图像帧中提取与每个上半身检测框对应的上半身图像。
112.步骤308，通过已训练好的行人重识别模型对每个上半身图像进行识别，得到相应目标人员的特征向量。
113.步骤310，根据每个目标人员对应的上半身检测框与匹配器中每个人员标识对应的人员跟踪框之间的交并比与中心距离，以及每个目标人员对应的特征向量与每个人员标识对应的特征向量之间的特征距离，确定匹配器中的人员标识与目标人员之间的匹配关
系。
114.步骤312，当匹配器中存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，对匹配器中相匹配的人员标识所对应的跟踪记录进行更新。
115.步骤314，当匹配器中不存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，从跟踪器中确定相匹配的人员标识。
116.步骤316，根据目标人员对应的上半身检测框与特征向量，对跟踪器中相匹配的人员标识对应的跟踪记录进行更新。
117.步骤318，将跟踪器中满足记录迁移条件的跟踪记录迁移至匹配器。
118.步骤320，根据匹配器中与每个目标人员相匹配的人员标识对应的跟踪记录，分别统计相应目标人员所对应的、且处于计数区域的人员跟踪框的第一跟踪框数量。
119.步骤322，当第一跟踪框数量大于或等于第一数量阈值时，根据相应跟踪记录中处于计数区域的每个人员跟踪框对应的人员类别，统计相应目标人员所对应的、且人员类别为客户的第二跟踪框数量。
120.步骤324，当第二跟踪框数量大于或等于第二数量阈值时，对相应目标人员进行客流计数。
121.在一个实施例中，当由服务器执行一个或多个实施例中由终端执行的门店客流统计方法时，该服务器可用于针对多个门店执行门店客流统计方法，还可用于对各门店的客流量进行汇总分析，比如可按照区域对每个区域内的各门店的客流量进行汇总分析。
122.在一个实施例中，终端在获取到目标图像帧后，通过已训练好的目标检测模型对该目标图像帧中的目标人员进行人员上半身检测，得到每个目标人员对应的上半身检测框与人员类别，根据每个目标人员的上半身检测框从目标图像帧中提取该目标人员的上半身图像，通过已训练好的行人重识别模型对每个目标人员的上半身图像进行识别，得到该目标人员的特征向量。进一步地，终端本地配置有跟踪器与匹配器，跟踪器与匹配器中分别存储有人员标识对应的、且包括人员跟踪框、人员类别与特征向量的跟踪记录。终端根据目标图像帧中每个目标人员对应的上半身检测框与特征向量，从匹配器中查询与该目标人员相匹配的人员标识，当匹配器中存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框、人员类别与特征向量，对应更新匹配器中相匹配的人员标识所对应的跟踪记录，当匹配器中不存在与目标人员相匹配的人员标识时，进一步根据该目标人员对应的上半身检测框与特征向量，从跟踪器中查询与该目标人员相匹配的人员标识，并根据该目标人员对应的上半身检测框、人员类别与特征向量，对应更新跟踪器中相匹配的人员标识所对应的跟踪记录。终端在按照上述方式更新匹配器或跟踪器中的跟踪记录后，动态检测跟踪器中的各跟踪记录是否满足记录迁移条件，并将满足记录迁移条件的跟踪记录迁移至匹配器。
123.应该理解的是，虽然图1与图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1与图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地
执行。
124.在一个实施例中，如图4所示，提供了一种门店客流统计装置400，包括：获取模块401、检测模块402、确定模块403、跟踪模块404和统计模块405，其中：
125.获取模块401，用于获取目标图像帧；
126.检测模块402，用于对目标图像帧进行人员上半身检测，得到目标图像帧中每个目标人员对应的上半身检测框与人员类别；
127.确定模块403，用于根据每个上半身检测框在目标图像帧中对应的上半身图像，确定相应目标人员的特征向量；
128.跟踪模块404，用于根据上半身检测框与特征向量对相应目标人员进行跟踪得到相应的跟踪记录；上半身检测框作为人员跟踪框新增至相应跟踪记录；上半身检测框对应的人员类别，作为人员跟踪框对应的人员类别新增至相应跟踪记录；
129.统计模块405，用于根据每个目标人员对应的跟踪记录，以及跟踪记录中每个人员跟踪框对应的人员类别进行客流统计。
130.在一个实施例中，跟踪模块404，还用于根据上半身检测框与特征向量，确定目标人员与匹配器中的人员标识之间的匹配关系；匹配器用于存储目标客户对应的跟踪记录；匹配器中的每个目标客户对应一个人员标识；当匹配器中存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，对匹配器中相匹配的人员标识所对应的跟踪记录进行更新，得到更新后的跟踪记录。
131.在一个实施例中，跟踪模块404，还用于根据每个目标人员对应的上半身检测框与匹配器中每个人员标识对应的人员跟踪框之间的交并比与中心距离，以及每个目标人员对应的特征向量与每个人员标识对应的特征向量之间的特征距离，确定匹配器中的人员标识与目标人员之间的匹配关系。
132.在一个实施例中，跟踪模块404，还用于当匹配器中不存在与目标人员相匹配的人员标识时，根据目标人员对应的上半身检测框与特征向量，从跟踪器中确定相匹配的人员标识；跟踪器用于存储干扰客户对应的跟踪记录；跟踪器中的每个干扰客户对应一个人员标识；根据目标人员对应的上半身检测框与特征向量，对跟踪器中相匹配的人员标识对应的跟踪记录进行更新，得到更新后的跟踪记录；将跟踪器中满足记录迁移条件的跟踪记录迁移至匹配器。
133.在一个实施例中，统计模块405，还用于根据匹配器中与每个目标人员相匹配的人员标识对应的跟踪记录，分别统计相应目标人员所对应的、且处于计数区域的人员跟踪框的第一跟踪框数量；当第一跟踪框数量大于或等于第一数量阈值时，根据相应跟踪记录中处于计数区域的每个人员跟踪框对应的人员类别，统计相应目标人员所对应的、且人员类别为客户的第二跟踪框数量；当第二跟踪框数量大于或等于第二数量阈值时，对相应目标人员进行客流计数。
134.在一个实施例中，检测模块402，还用于将目标图像帧输入已训练好的目标检测模型，通过目标检测模型对目标图像帧进行人员上半身检测，得到目标图像帧中每个目标人员对应的上半身检测框与人员类别。
135.在一个实施例中，确定模块403，还用于从目标图像帧中提取与每个上半身检测框对应的上半身图像；通过已训练好的行人重识别模型对每个上半身图像进行识别，得到相
应目标人员的特征向量。
136.关于门店客流统计装置的具体限定可以参见上文中对于门店客流统计方法的限定，在此不再赘述。门店客流统计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
137.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种门店客流统计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
138.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
139.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
140.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
141.本领域普通技术人员可以理解实现实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
142.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
143.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。